第三章：信源、熵率及冗余度
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 一般来说，信源输出的随机序列的统计特性比较复杂，分 析起来也比较困难。为了便于分析，我们假设信源输出的 是平稳的随机序列，也就是序列的统计性质与时间的推移 无关。很多实际信源也满足这个假设。
离散信源－平稳信源的数学模型（二维）
➢ 最简单的离散平稳信源：二维平稳信源 X=X1X2 ➢ 每两个符号看做一组，每组代表信源X=X1X2的一个消息；
• 对单符号离散信源U
有：
UP
U
u1 U p1
pi
ui
Hale Waihona Puke Baidu
U
un pn
例3－1：对于二进制数字信源：U={0,1}，则有
U P
u1 p0
0
u2 p1
1
当p0
p1
1 2
0 1 2
1
1
2
离散信源－离散多符号信源
• 实际的信源输出的消息是时间或空间上离散的一系列随机 变量。这类信源每次输出的不是一个单个的符号，而是一 个符号序列。在信源输出的序列中，每一位出现哪个符号 都是随机的，而且一般前后符号的出现是有统计依赖关系 的。这种信源称为多符号离散信源。
• 例3－2： THEY ARE MY FRIENDS.
离散信源－多符号离散信源的数学描述
• 多符号离散信源可用随机矢量/随机变量序列描述， 即
X=X1X2X3…
• 信源在不同时刻的随机变量Xi和Xi+r的概率分布 P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量的 统计特性随着时间的推移而有所变化。
– 在实际情况中，存在着很多这样的信源。例如投硬 币、书信文字、计算机的代码、电报符号、阿拉伯 数字码等等。这些信源输出的都是单个符号(或代码) 的消息，它们符号集的取值是有限的或可数的。我 们可用一维离散型随机变量X来描述这些信源的输出。 它的数学模型就是离散型的概率空间：
离散信源－单符号离散信源的数学描述
➢ X的数学模型
离散信源－离散平稳无记忆信源
• 在某些简单的离散平稳信源情况下，信源先后发出的一 个个符号彼此是统计独立的。也就是说信源输出的随机 矢量X=(X１X２…XＮ）中，各随机变量Xi (i=1,2,…N)之间 是无依赖的、统计独立的，则N维随机矢量的联合概率
分布满足P(X)=P（Ｘ１）P（Ｘ２）…P（ＸＮ）
空间。
例3－3：
A B D A C B B AC C D
X1 0 0 0 0 0 0 0 0 0 0 0 X2 1 1 1 1 1 1 1 1 1 1 1 X3 0 0 0 0 0 0 0 0 0 0 0 X4 0 0 0 0 0 0 0 0 0 0 0 X5 0 0 0 0 0 0 0 0 0 0 0 X6 0 0 1 0 0 0 0 0 0 0 1 X7 0 1 0 0 1 1 1 0 1 1 0 X8 1 0 0 1 1 0 0 1 1 1 0
➢ 每组中的后一个符号和前一个符号有统计关联，这种概率 性的关系与时间起点无关；
➢ 假定符号序列的组与组之间是统计独立的。
➢设X1,X2 ∈{x1,x2,…,xn},矢量 X∈{x1x1, …x1xn,x2x1, …,x2xn, …xnx1, …,xnxn} 令
i1,i2 1, 2,，n i 1, 2,, n2 p(ai ) p(xi1 xi2 ) p(xi1 ) p(xi2 / xi1 )
• 新信源输出的符号是N长的消息序列，用N维离散随机矢量来 描述。ai=(xi1xi2…xiN) i=1,2, …,n 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源X， 并且分量之间统计独立。
• 由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信
源。
• 离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重
离散信源－离散平稳信源
• 若每变而个信量且随源，随机输即机变出每矢量的个量随随XX的机机i (各i序变=1维列量,2概,XX…=i率的，分可N(Ｘ)布能都１都取是，与值取Ｘ时是值２间有，离起限…散点，的的无Ｘ或离关Ｎ可散，数型)的也中随，。就机 是在任意两个不同时刻随机矢量X的各维概率分布都相同。 这样的信源称为离散平稳信源。如中文自然语言文字，离 散化平面灰度图像都是这种离散型平稳信源。
X(t,ω)的源。
– 2）信源的主要特性
• 信源的最基本的特性是具有统计不确定性，它可用概率 统计特性来描述。
信源的分类
• 离散信源与连续信源 • 离散信源
– 单符号信源 – 序列信源
• 平稳&非平稳 • 有记忆&无记忆
• 连续信源
– 连续信源 – 波形信源
离散信源－单符号离散信源（1）
– 它是最简单也是最基本的信源，是组成实际信源 的基本单元。
第三章：信源、熵率及冗余度
问题一
• 信息论对信源的研究内容包括哪几个方面？
信息论对信源研究的内容
– 信源的建模：用恰当的随机过程来描述信号
• 关心角度：信号中携带的信息
– 信源输出信号中携带信息的效率的计算
• 熵率、冗余度
– 信源输出信息的有效表示
• 信源编码
问题二
• 从信息论的角度如何为信源建模？
• 我们称由信源空间［X，P(x)］描述的信源X为离散无记 忆信源。这信源在不同时刻发出的符号之间是无依赖的， 彼此统计独立的。
离散信源－离散无记忆信源的N次扩展信源
• 离散无记忆信源X={ x1,x2,…,xn}，对它的输出消息序列，可以 用一组组长度为N的序列来表示它。这时它就等效成了一个新 信源；
– 这类信源可能输出的消息数是有限的或可数的， 而且每次只输出其中一个消息。因此，可以用一 个离散型随机变量X来描述这个信源输出的消息。 这个随机变量X的样本空间就是符号集A；而X的 概率分布就是各消息出现的先验概率，信源的概 率空间必定是一个完备集。
离散信源－单符号离散信源（2）
– 当信源给定，其相应的概率空间就已给定；反之， 如果概率空间给定，这就表示相应的信源已给定。 所以，概率空间能表征离散信源的统计特性，因此 有时也把这个概率空间称为信源空间。
– 信源的统计特性如何？ – 如何对信源分类？ – 各类信源如何建模？
信源特性
• 信源的统计特性
– 1）什么是信源？
• 信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源，数
学上，信源是产生随机变量X，随机序列 X 和随机过程
离散信源－平稳信源的数学模型（二维）
➢ 最简单的离散平稳信源：二维平稳信源 X=X1X2 ➢ 每两个符号看做一组，每组代表信源X=X1X2的一个消息；
• 对单符号离散信源U
有：
UP
U
u1 U p1
pi
ui
Hale Waihona Puke Baidu
U
un pn
例3－1：对于二进制数字信源：U={0,1}，则有
U P
u1 p0
0
u2 p1
1
当p0
p1
1 2
0 1 2
1
1
2
离散信源－离散多符号信源
• 实际的信源输出的消息是时间或空间上离散的一系列随机 变量。这类信源每次输出的不是一个单个的符号，而是一 个符号序列。在信源输出的序列中，每一位出现哪个符号 都是随机的，而且一般前后符号的出现是有统计依赖关系 的。这种信源称为多符号离散信源。
• 例3－2： THEY ARE MY FRIENDS.
离散信源－多符号离散信源的数学描述
• 多符号离散信源可用随机矢量/随机变量序列描述， 即
X=X1X2X3…
• 信源在不同时刻的随机变量Xi和Xi+r的概率分布 P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量的 统计特性随着时间的推移而有所变化。
– 在实际情况中，存在着很多这样的信源。例如投硬 币、书信文字、计算机的代码、电报符号、阿拉伯 数字码等等。这些信源输出的都是单个符号(或代码) 的消息，它们符号集的取值是有限的或可数的。我 们可用一维离散型随机变量X来描述这些信源的输出。 它的数学模型就是离散型的概率空间：
离散信源－单符号离散信源的数学描述
➢ X的数学模型
离散信源－离散平稳无记忆信源
• 在某些简单的离散平稳信源情况下，信源先后发出的一 个个符号彼此是统计独立的。也就是说信源输出的随机 矢量X=(X１X２…XＮ）中，各随机变量Xi (i=1,2,…N)之间 是无依赖的、统计独立的，则N维随机矢量的联合概率
分布满足P(X)=P（Ｘ１）P（Ｘ２）…P（ＸＮ）
空间。
例3－3：
A B D A C B B AC C D
X1 0 0 0 0 0 0 0 0 0 0 0 X2 1 1 1 1 1 1 1 1 1 1 1 X3 0 0 0 0 0 0 0 0 0 0 0 X4 0 0 0 0 0 0 0 0 0 0 0 X5 0 0 0 0 0 0 0 0 0 0 0 X6 0 0 1 0 0 0 0 0 0 0 1 X7 0 1 0 0 1 1 1 0 1 1 0 X8 1 0 0 1 1 0 0 1 1 1 0
➢ 每组中的后一个符号和前一个符号有统计关联，这种概率 性的关系与时间起点无关；
➢ 假定符号序列的组与组之间是统计独立的。
➢设X1,X2 ∈{x1,x2,…,xn},矢量 X∈{x1x1, …x1xn,x2x1, …,x2xn, …xnx1, …,xnxn} 令
i1,i2 1, 2,，n i 1, 2,, n2 p(ai ) p(xi1 xi2 ) p(xi1 ) p(xi2 / xi1 )
• 新信源输出的符号是N长的消息序列，用N维离散随机矢量来 描述。ai=(xi1xi2…xiN) i=1,2, …,n 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源X， 并且分量之间统计独立。
• 由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信
源。
• 离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重
离散信源－离散平稳信源
• 若每变而个信量且随源，随机输即机变出每矢量的个量随随XX的机机i (各i序变=1维列量,2概,XX…=i率的，分可N(Ｘ)布能都１都取是，与值取Ｘ时是值２间有，离起限…散点，的的无Ｘ或离关Ｎ可散，数型)的也中随，。就机 是在任意两个不同时刻随机矢量X的各维概率分布都相同。 这样的信源称为离散平稳信源。如中文自然语言文字，离 散化平面灰度图像都是这种离散型平稳信源。
X(t,ω)的源。
– 2）信源的主要特性
• 信源的最基本的特性是具有统计不确定性，它可用概率 统计特性来描述。
信源的分类
• 离散信源与连续信源 • 离散信源
– 单符号信源 – 序列信源
• 平稳&非平稳 • 有记忆&无记忆
• 连续信源
– 连续信源 – 波形信源
离散信源－单符号离散信源（1）
– 它是最简单也是最基本的信源，是组成实际信源 的基本单元。
第三章：信源、熵率及冗余度
问题一
• 信息论对信源的研究内容包括哪几个方面？
信息论对信源研究的内容
– 信源的建模：用恰当的随机过程来描述信号
• 关心角度：信号中携带的信息
– 信源输出信号中携带信息的效率的计算
• 熵率、冗余度
– 信源输出信息的有效表示
• 信源编码
问题二
• 从信息论的角度如何为信源建模？
• 我们称由信源空间［X，P(x)］描述的信源X为离散无记 忆信源。这信源在不同时刻发出的符号之间是无依赖的， 彼此统计独立的。
离散信源－离散无记忆信源的N次扩展信源
• 离散无记忆信源X={ x1,x2,…,xn}，对它的输出消息序列，可以 用一组组长度为N的序列来表示它。这时它就等效成了一个新 信源；
– 这类信源可能输出的消息数是有限的或可数的， 而且每次只输出其中一个消息。因此，可以用一 个离散型随机变量X来描述这个信源输出的消息。 这个随机变量X的样本空间就是符号集A；而X的 概率分布就是各消息出现的先验概率，信源的概 率空间必定是一个完备集。
离散信源－单符号离散信源（2）
– 当信源给定，其相应的概率空间就已给定；反之， 如果概率空间给定，这就表示相应的信源已给定。 所以，概率空间能表征离散信源的统计特性，因此 有时也把这个概率空间称为信源空间。
– 信源的统计特性如何？ – 如何对信源分类？ – 各类信源如何建模？
信源特性
• 信源的统计特性
– 1）什么是信源？
• 信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源，数
学上，信源是产生随机变量X，随机序列 X 和随机过程