第二章信息论基本概念总结
合集下载
信息论名词解释
信息论部分基本概念和名词术语消息(或称为符号) ：信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：自信息量： 一个随机事件发生某一结果后所带来的信息量成为自信息量，定义为其发生概率对数的负值。
平均互信息：)()|(log),();(),();(i j i j i j i j i j i j i x p y x p y x p y x I y x p Y X I ∑∑∑∑==表达平均互信息量的熵I(X;Y), 是确定通过信道的信息量的多少，因此称它为信道传输率或传信率。
I(X;Y)就是接收到符号Y 后平均每个符号获得的关于后平均每个符号获得的关于X 的信息量——平均意义上每传送一个符号流经信道的平均信息量。
离散平稳无记忆信源：假定随机变量欲裂的长度是有限的，如果信源输出地信息序列中，符号之间的无相互依赖关系，则称这类信源为离散平稳无记忆信源。
信源冗余度：信源熵的相对率为信源实际的信息熵与同样符号数的最大熵的比值：η=H 无穷/H0，定义信源的冗余度为1减去信源熵的相对率η，即ξ=1-η。
信道容量：信道在单位时间上能够传输的最大信息量。
平稳信源：概率分布函数与时间起点无关，平稳信源是有记忆的，记忆的长度有限。
香农信息：信息是事物运动状态或存在方式的不确定性的描述。
无记忆信道：在某一时刻信道的输出消息仅与当时的信道输入消息有关，而与 前面时刻的信道输入或输出消息无关。
有记忆信道：在任意时刻信道的输出消息不仅与当时信道的输入消息有关，而且还与以前时刻的信道输入消息和（或）输出消息有关。
信道疑义度(含糊度) H(X|Y)：表示在输出端接收到Y 后，发送端X 尚存的平均不确定性。
这个对X 尚存的不确定性是由于干扰引起的。
信道散布度H(Y|X)：表示在已知X 后，对于输出Y 尚存的平均不确定性；平均失真度：定义平均失真度为失真函数的数学期望，及d（xi,yi）在X和Y 得联合概率空间P(XY)中的统计平均值：D=E[D（xi,yi）] ，起是在平均的意义上，从总体上对整个系统失真情况的描述。
信息论总结
D
香农编码：
二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki <1－log2 p(ai) ⑶令p(a1)=0,用Pi表示第i个码字的累加概率，
⑷将Pi用二进制表示,并取小数点后Ki位作为符 号ai的编码。
m元霍夫曼编码的编码方式类同于二元霍夫曼编码， 不同的是每次把m个符号合并成一个新的信源符号， 并分别用0,1，……，m-1等码元表示。 为了使短码得到充分利用，使平均码长为最短，必 须使最后一步缩减信源有m个信源符号。因此对于m 元编码，信源s的符号个数必须满足q=(m-1) θ+m, θ是 缩减的次数.
L →∞
5 马尔可夫信源的极限熵：
H ∞ = H m +1 = ∑ p ( si ) H ( X | si ) p( si ) = Wi
i
H ( X | si ) = −∑ p ( x j | si ) log p ( x j | si )
j
6
H∞ (X ) η 冗余度： = H ( X ) ０ ≤ η ≤１ m
游程编码：
若规定二元序列总是从“0”开始,第一个游程是“0”游 程,则第二个游程必为“1”游程,第三个又是“0”游程……。 对于随机序列,游程长度是随机的其取值可为1,2,3,…， 直至无穷。 游程长度序列/游程序列：用交替出现的“0”游程和“1” 游程长度表示任意二元序列。 游程变换： 是一种一一对应的变换,也是可逆变换。 例如：二元序列000101110010001… 可变换成如下游程序列 31132131
i i i =1 i =1 L L
Ｌ
第二章-信息论基本概念（3）
H ( X m1 / X1 X 2 X m )
这表明：m阶马尔可夫信源的极限熵H 就等于m阶条件熵，记为H m 1
akm )
设状态 Ei (ak1 ak2 akm ),信源处于状态Ei时，再发出下一个符号akm1
此时，符号序列 (ak2 ak3 a ) km1 就组成了新的信源状态
Ej (ak2 ak3 a ) km1 ，这时信源所处的状态由 Ei 转移到 Ej
状态转移图(香农线图)
0:0.5 E1
1:0.5 E3
1
0:0.6
E2
1:0.4
【注】E1、E2、E3是三种状态，箭头是指从一个状态转移到另
一个状态，旁边的数字代表发出的某符号和条件概率p(ak/Ei) 。 这就是香农提出的马尔可夫状态转移图，也叫香农线图。
二、马尔可夫信源
若信源输出的符号和信源所处的状态满足以下两个条 件，则称为马尔可夫信源：
a1 a2
p(sl
E2
/ xl
a3
sl1 E1 ) 0 sl1 E1 ) 1 sl1 E1 ) 1 sl1 E1 ) 0
可求得状态的一步转移概率：
1
2
1 4
0
1 4
0
0
1 2
1 2
0
0
p(E j
/
Ei
)
0
3
1
0
0
44
0
0
0
0
1
0
0
0
3 4
1 4
此信源满足马尔可夫的 两个条件，所以是马尔可夫 信源，并且是齐次马尔可夫 信源。
对于这个随机序列，若有：
p(xn Sin | xn1 Sin1 ,..., x1 Si1 ) p(xn Sin | xn1 S ) in1
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
第二章 信息论基本概念
i 1
一个信源总是包含着多个符号消息，各个符号消息又按概率 空间的先验概率分布，它的不确定度是各个符号的不确定度的数 学期望（即概率加权的统计平均值） 它的熵（平均不确定度）H（X）定义为： H（X）＝ E[I(x)]＝ P(X)I(X) ＝－ P(X)log2P(X) X
X
若信源X中的符号的概率空间简化表示为： X1，X2， „，XN X，PX＝ P1， P2，„， PN 则熵（平均不确定度）H（X）可写成： N H（X）＝－ PilogPi 注意：∵ I(X)为非负， P(X)为非负，且0≤P(X)≤1 ∴ H（X）也为非负
0.8 0.2
其中X1表示摸出的球为红球事件,X2表示摸出的球为白球事件
若告知摸出的是红球，则事件的自信息量为 I(X1)＝－logP(X1)＝－log20.8 bit 若告知摸出的是白球，则事件的自信息量为 I(X2)＝－logP(X2)＝－log20.2 bit 若取回后又放回摸取，如此摸取n此，红球出现的次数nP(X1)， 白球出现的次数为nP(X2)，则总信息量为 I＝nP(X1)I(X1)＋nP(X2)I(X2) 而平均随机摸取一次所获得的信息量为 H（X）＝ 1/n [nP(X1)I(X1)＋nP(X2)I(X2)] ＝－[P(X1)logP(X1)＋P(X2)logP(X2)] 2 ＝－ P(Xi)logP(Xi)
符号xi对联合事件符号yj zk之间的互信息量定义为： I(xi ; yj zk)＝ logP(xi|yj zk)/ P(xi) „„„„*
三. 条件互信息量 含义：在给定zk条件下，xi与yj之间的互信息量
条件互信息量I(xi ; yj|zk)定义为： I(xi ; yj|zk)＝ logP(xi|yj zk)/ P(xi|zk) 从上式，可使*式写成： I(xi ; yj zk)＝ I(xi ; zk) ＋ I(xi ; yj|zk) 推导如下: I(xi ; yj zk)＝ log P(xi|yj zk)/ P(xi)
一个信源总是包含着多个符号消息，各个符号消息又按概率 空间的先验概率分布，它的不确定度是各个符号的不确定度的数 学期望（即概率加权的统计平均值） 它的熵（平均不确定度）H（X）定义为： H（X）＝ E[I(x)]＝ P(X)I(X) ＝－ P(X)log2P(X) X
X
若信源X中的符号的概率空间简化表示为： X1，X2， „，XN X，PX＝ P1， P2，„， PN 则熵（平均不确定度）H（X）可写成： N H（X）＝－ PilogPi 注意：∵ I(X)为非负， P(X)为非负，且0≤P(X)≤1 ∴ H（X）也为非负
0.8 0.2
其中X1表示摸出的球为红球事件,X2表示摸出的球为白球事件
若告知摸出的是红球，则事件的自信息量为 I(X1)＝－logP(X1)＝－log20.8 bit 若告知摸出的是白球，则事件的自信息量为 I(X2)＝－logP(X2)＝－log20.2 bit 若取回后又放回摸取，如此摸取n此，红球出现的次数nP(X1)， 白球出现的次数为nP(X2)，则总信息量为 I＝nP(X1)I(X1)＋nP(X2)I(X2) 而平均随机摸取一次所获得的信息量为 H（X）＝ 1/n [nP(X1)I(X1)＋nP(X2)I(X2)] ＝－[P(X1)logP(X1)＋P(X2)logP(X2)] 2 ＝－ P(Xi)logP(Xi)
符号xi对联合事件符号yj zk之间的互信息量定义为： I(xi ; yj zk)＝ logP(xi|yj zk)/ P(xi) „„„„*
三. 条件互信息量 含义：在给定zk条件下，xi与yj之间的互信息量
条件互信息量I(xi ; yj|zk)定义为： I(xi ; yj|zk)＝ logP(xi|yj zk)/ P(xi|zk) 从上式，可使*式写成： I(xi ; yj zk)＝ I(xi ; zk) ＋ I(xi ; yj|zk) 推导如下: I(xi ; yj zk)＝ log P(xi|yj zk)/ P(xi)
信息论编码 第二章信息度量1
50个红球，50个黑球
Y
20个红球，其它4种 颜色各20个
Z
问题：能否度量、如何度量？？
2.3.2信源熵数学描述
信源熵
• 定义：信源各个离散消息的自信息量的数学期望 （即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 • 公式： n 1 H ( X ) = E[ I ( xi )] = E[log2 ] = −∑ p( xi ) log2 p( xi ) p( xi ) i =1 • 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。也是试验后平均 不确定性＝携载的信息 信息量为熵 • 单位：以2为底，比特/符号 • 为什么要用熵这个词，与热熵的区别？
3
( 2)
∑ p ( x ) = 1, ∑ p ( y
i =1 m i j =1
n
m
j
) = 1,∑ p ( xi / y j ) = 1,
i =1 n
n
概 率 复 习
∑ p( y
j =1 n
j
/ xi ) = 1, ∑ ∑ p ( xi y j ) = 1
j =1 i =1 m
m
( 3) ( 4) (5)
1
对天气x1 ,Q p( x1 / y1 ) = 0,∴不必再考虑x1与y1之间 信息量
对天气 x 2 : I ( x 2 : y 1 ) = log
2
p ( x 2 / y1 ) = log p ( x2 )
2
1/ 2 = 1( bit ) 1/ 4
同理 I ( x 3 : y 1 ) = I ( x 4 : y 1 ) = 1( bit ), 这表明从 y 1 分别得到了
第二章-信息论基本概念(1)
第二章信息论的基本概念第一节信源的描述和分类第二节离散信源的信息论概念第三节离散信源的熵第一节信源的描述和分类一、香农信息论的基本出发点用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。
二、信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类{信源离散信源连续信源1.连续信源连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。
2.离散信源离散信源是指发出在时间上是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。
离散信源{离散无记忆信源离散有记忆信源：{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源特例：马尔可夫信源•离散无记忆信源离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。
•离散有记忆信源离散有记忆信源所发出的各个符号的概率是有关联的。
•发出单个符号的信源发出单个符号的信源是指信源每次只发出一个符号代表一个消息；•发出符号序列的信源发出符号序列的信源是指信源每次发出一组含二个以上符号的符号序列代表一个消息。
•发出符号序列的有记忆信源发出符号序列的有记忆信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。
•发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。
三、先验概率及概率空间的形式一个离散信源发出的各个符号消息的集合为：},,,{21n x x x X =它们的概率分别为：)}(,),(),({21n x p x p x p P =)(i x p 为符号i x 的先验概率。
1)(,0)(1=≥∑=n i i i x p x p 先验概率一般信源可用一个概率空间来描述，信源的不确定程度可用该概率空间的可能状态数目及其概率来描述。
信息论基础第2章离散信源及其信息度量
《信息论基础》
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
第二章-信息论基本概念(2)(1)
(四） 平均互信息（平均交互信息熵/交互熵） 四 平均互信息（平均交互信息熵 交互熵） 交互熵
前面所述熵为单符号信源情况， 前面所述熵为单符号信源情况，是最简单的离散 信源。事务是普遍联系的，两个随机变量 ， 之间 信源。事务是普遍联系的，两个随机变量X，Y之间 也是相互联系的，比如： 在某种程度上 也是相互联系的，比如：
1、 离散无记忆信源 扩展信源 、 离散无记忆信源(扩展信源 扩展信源) 概率空间： （1）定义：若单符号离散信源 概率空间： ）定义：若单符号离散信源X概率空间
X a1 , a2 , L , ai , L , aq P( X ) = p(a ), p(a ),L , p(a ),L , p(a ) , ∑ p(ai ) = 1 i 2 i q 1
0( p )
q
X
[例] 二进制对称信道 例
1( p )
q q
q
0
Y
1
H ( X ) = H ( p) = − p log p − p log p
I(X;Y)
H (Y / X ) = H (q) = −q log q − q log q
H (Y ) = H ( pq + pq)
0
1-H(q) 0.5 I(X;Y) H(p) 1 p
5. 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义 信息不增原理 意义] 信息不增原理 原理—— 意义 处理， 每经一次 处理，可能丢失一部分信息 X Y P(Z/;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) I(X;Y) = H(X) + H(Y)－ H(XY) －
前面所述熵为单符号信源情况， 前面所述熵为单符号信源情况，是最简单的离散 信源。事务是普遍联系的，两个随机变量 ， 之间 信源。事务是普遍联系的，两个随机变量X，Y之间 也是相互联系的，比如： 在某种程度上 也是相互联系的，比如：
1、 离散无记忆信源 扩展信源 、 离散无记忆信源(扩展信源 扩展信源) 概率空间： （1）定义：若单符号离散信源 概率空间： ）定义：若单符号离散信源X概率空间
X a1 , a2 , L , ai , L , aq P( X ) = p(a ), p(a ),L , p(a ),L , p(a ) , ∑ p(ai ) = 1 i 2 i q 1
0( p )
q
X
[例] 二进制对称信道 例
1( p )
q q
q
0
Y
1
H ( X ) = H ( p) = − p log p − p log p
I(X;Y)
H (Y / X ) = H (q) = −q log q − q log q
H (Y ) = H ( pq + pq)
0
1-H(q) 0.5 I(X;Y) H(p) 1 p
5. 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义 信息不增原理 意义] 信息不增原理 原理—— 意义 处理， 每经一次 处理，可能丢失一部分信息 X Y P(Z/;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) I(X;Y) = H(X) + H(Y)－ H(XY) －
信息论理论基础(第二章)
第二章：基本信息论
§2.1 信息度量 §2.2 离散信源的熵 §2.3 二元联合信源的共熵与条件熵 §2.4 信源冗余度 §2.5 连续信源的熵 §2.6 熵速率和信道容量 §2.7 离散有噪信道的熵速率和信道容量 §2.8 连续有噪信道的熵速率和信道容量 §2.9 使信源与信道匹配的编码
2013-8-2 1
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi | y j ) p( xi )
（2-5）
互信息量 I ( xi ; y j ) 实际上就是已知事件 y j 后，所消除的关于事件 x i 的不肯定性，它等于事件 x i 本身的不肯定性 I ( xi ) 减去已知事件 y j 后对 x i 仍然存在的不肯定性 I ( xi | y j ) 。 互信息量的引出使信息的传递得到了定量的表示，是信息论发展的一个重要的里程碑。这里还 应指出，互信息量的单位的取法与自信息量的相同，不再详述。
I ( xi | y j ) log p( xi | y j )
2013-8-2
（2-4）
9
自信息量的单位与所用对数的底有关，如下： ⑴ 通常取对数的底为 2，信息量的单位为比特(bit,binary unit)。比特是信息论中最常 用的信息量的单位，当取对数的底为 2 时，2 常省略。 注意：计算机术语中 bit 是位的单位(bit,binary digit)，与信息量的单位不同。 ⑵ 若取自然对数（以 e 为底） ，自信息量的单位为奈特(nat,natural unit)。理论推导或 用于连续信源时用以 e 为底的对数比较方便。 1 nat= log2 e bit=1.443bit ⑶ 工程上用以 10 为底较方便。若以 10 为对数底，则信息量的单位为哈特莱(Hartley)。 这是用来纪念哈特莱首先提出用对数来度量信息的。 1 Hartley= log2 e bit=3.322bit
§2.1 信息度量 §2.2 离散信源的熵 §2.3 二元联合信源的共熵与条件熵 §2.4 信源冗余度 §2.5 连续信源的熵 §2.6 熵速率和信道容量 §2.7 离散有噪信道的熵速率和信道容量 §2.8 连续有噪信道的熵速率和信道容量 §2.9 使信源与信道匹配的编码
2013-8-2 1
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi | y j ) p( xi )
（2-5）
互信息量 I ( xi ; y j ) 实际上就是已知事件 y j 后，所消除的关于事件 x i 的不肯定性，它等于事件 x i 本身的不肯定性 I ( xi ) 减去已知事件 y j 后对 x i 仍然存在的不肯定性 I ( xi | y j ) 。 互信息量的引出使信息的传递得到了定量的表示，是信息论发展的一个重要的里程碑。这里还 应指出，互信息量的单位的取法与自信息量的相同，不再详述。
I ( xi | y j ) log p( xi | y j )
2013-8-2
（2-4）
9
自信息量的单位与所用对数的底有关，如下： ⑴ 通常取对数的底为 2，信息量的单位为比特(bit,binary unit)。比特是信息论中最常 用的信息量的单位，当取对数的底为 2 时，2 常省略。 注意：计算机术语中 bit 是位的单位(bit,binary digit)，与信息量的单位不同。 ⑵ 若取自然对数（以 e 为底） ，自信息量的单位为奈特(nat,natural unit)。理论推导或 用于连续信源时用以 e 为底的对数比较方便。 1 nat= log2 e bit=1.443bit ⑶ 工程上用以 10 为底较方便。若以 10 为对数底，则信息量的单位为哈特莱(Hartley)。 这是用来纪念哈特莱首先提出用对数来度量信息的。 1 Hartley= log2 e bit=3.322bit
信息论与编码第二章(1、2节)
以2为底比特bit以10为底奈特nat取自然对数笛特det0693nat0301det2不确定度不确定度是信源符号固有的不论符号是否发出自信息量是信源符号发出后给予收信它与自信息量在数字上大小相等但表示的物理含义不一样
第二章：信源与信源熵
2.1 信源的描述与分类
信源的统计特性
1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源， 数学上，信源是产生 随机变量 U， 随机序列 U和 随机 过程U(t,ω)的源。
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
1 [np(x1)I (x1) + np(x2 )I(x2 )] = −∑p(xi ) log p(xi ) n i
信源熵是在平均意义上来表征信源的总体特性。
1、离散信源熵 H(X) = −∑p(xi ) log p(xi )
i
例: 试验前：
X ＝ P（x）
1
2
3 1/6
4 1/6
5 1/6
6 1/6
2）信源的主要特性
信Hale Waihona Puke 的最基本的特性是具有统计不确定性，它可用概 率统计特性来描述。
第二章：信源与信源熵
2.1 信源的描述与分类
信源的统计特性
1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源， 数学上，信源是产生 随机变量 U， 随机序列 U和 随机 过程U(t,ω)的源。
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
1 [np(x1)I (x1) + np(x2 )I(x2 )] = −∑p(xi ) log p(xi ) n i
信源熵是在平均意义上来表征信源的总体特性。
1、离散信源熵 H(X) = −∑p(xi ) log p(xi )
i
例: 试验前：
X ＝ P（x）
1
2
3 1/6
4 1/6
5 1/6
6 1/6
2）信源的主要特性
信Hale Waihona Puke 的最基本的特性是具有统计不确定性，它可用概 率统计特性来描述。
第二章基本信息论1_信源不确定性-精品文档
X 1 0 例 2 ： pX ( ) 0 . 50 . 5
X 0 1 2 3 4 5 6 7 8 9 例 3 ： p ( X ) 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1
信息速率和信道容量的概念，离散有噪
信道的熵速率，可疑度的物理解释，连 续有噪信道的信道容量
三种多用户信道模型及其信道容量 信源编码原理，等长编码和变长编码
常用的信源编码：山农费诺编码、哈夫
曼编码和L-D编码
本章作业
P113： 1-9，11，15，17，20，21
2.1 信源及信源的不确定性
发生概率小的事件不确定性大， 发生概率大的事件不确定性小 4）两个独立事件的联合信息量应等于它们分别 信息量之和
三、信息度量
信源消息 x i 的自信息量：
Ix () l o g p () x i i
表示信源发出一个消息 x i 所含有（或所提供）的 非平均自信息量
ห้องสมุดไป่ตู้
也表示通信发生前，信源发送消息 x i 的不确定度。
n
p (x gp (x i )lo i)
即信源的非平均不确定度
条件自信息量
I (/ x ) l o g p (/ x ) i y j i y j
y 已 知 的 条 件 下 ， 发 生 x 所 带 来 的 信 息 量 j i
信宿接收到消息 y j 后，对信源发送消息 x i 尚存的不 确定度。
从信宿端看，信息量的定义：
I（信息量）=不肯定程度的减少量
log p( xi / y j ) p( xi )
X 0 1 2 3 4 5 6 7 8 9 例 3 ： p ( X ) 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1
信息速率和信道容量的概念，离散有噪
信道的熵速率，可疑度的物理解释，连 续有噪信道的信道容量
三种多用户信道模型及其信道容量 信源编码原理，等长编码和变长编码
常用的信源编码：山农费诺编码、哈夫
曼编码和L-D编码
本章作业
P113： 1-9，11，15，17，20，21
2.1 信源及信源的不确定性
发生概率小的事件不确定性大， 发生概率大的事件不确定性小 4）两个独立事件的联合信息量应等于它们分别 信息量之和
三、信息度量
信源消息 x i 的自信息量：
Ix () l o g p () x i i
表示信源发出一个消息 x i 所含有（或所提供）的 非平均自信息量
ห้องสมุดไป่ตู้
也表示通信发生前，信源发送消息 x i 的不确定度。
n
p (x gp (x i )lo i)
即信源的非平均不确定度
条件自信息量
I (/ x ) l o g p (/ x ) i y j i y j
y 已 知 的 条 件 下 ， 发 生 x 所 带 来 的 信 息 量 j i
信宿接收到消息 y j 后，对信源发送消息 x i 尚存的不 确定度。
从信宿端看，信息量的定义：
I（信息量）=不肯定程度的减少量
log p( xi / y j ) p( xi )
第二章-信息论基本概念
马尔可夫信源：以信源输出符号序列内各
符号间条件概率来反映记忆特性的一类信 源。 m阶马尔可夫信源：信源输出的当前符号 仅与前面m个符号有关的马尔可夫信源。
m 阶马尔可夫信源的数学 模型
X x1 x2 xn X x im1 m 1 P( ) p( ) X1 X m xi1 xim 此时，状态si ( xi1 , , xim )
1 a1 : 2
1 a2 : 4
E2
a1 : 3 4
E3
a3 :
1 4
E1
a3 :
1 4
E4
1 a2 : 4
a1 :1
E5
a1 :
1 4
a3 :
1 2
此信源满足马尔可夫信源的两个条件， 是马尔可夫信源，并且是齐次马尔可夫信源。
例： 设两位二进制码所代表的四个状态分别为 00，01，10，11，其 符号转移概率和状态转移概率由下列两表给出：
回顾： 单符号无记忆信源熵：H(X) bit/符号 bit/序列
符号序列无记忆信源熵：KH(X)
符号序列有记忆信源熵：联合熵 H(X1X2…XN) bit/序列
平均符号熵 极限熵
1 H ( X 1 X 2 X N ) bit/符号 N 1 H lim H N ( X ) lim H ( X 1 X 2 X N )bit/符号 N N N
5.在第k次发出的符号xik 与前面m个 符号有关。 （xik-m xik-m+1 xik-1 ) 称为状态 这种关联性用条件概率表示： p( xik | xik m xik 1 )
6.在第k次发出的符号xik ,状态改变 si =（xik-m xik-m+1 xik-1 ) sj =（xik-m+1 xik-m+1 xik ) 用状态转移概率表示： p ( S m 1 s j | S m si ) p ( xik | xik m xik 1 ) 7.齐次马尔可夫信源 p ( S m 1 s j | S m si ) ＝p ( S1 s j | S0 si ) ＝p ( s j | si )
第二章：信息论的基本概念
连续性
等概时单调增函数性
可加性
则此函数必为
N
f ( p1, p2 ,, pn ) C pn log pn
n 1
证明：作业二
熵函数的性质－－唯一性
唯一性－－限制条件
D.A.Fadiev:
连续性 可加性 对称性
A.I.Khinchin:
连续性 可加性 极值条件：等概 事件集合中零概率事件不影响确定性
熵的引入熵的引入香农熵与热力学熵的关系香农熵与热力学熵的关系熵可以作为信息的度量熵可以作为信息的度量熵函数的性质熵函数的性质联合熵和条件熵联合熵和条件熵互信息互信息??互信息的定义互信息的定义??多个随机变量下的互信息多个随机变量下的互信息??互信息函数的性质互信息函数的性质连续随机变量下的熵与互信息连续随机变量下的熵实际中
熵函数的性质
香农熵是概率矢量的非负的上凸函数
性质1：非负性 性质2：上凸性 性质3：唯一性（连续性、可加性、等概单调增）
熵函数的性质－－非负性
证明一： 而： 故：
所以：
N
H ( p1, p2 ,..., pN ) pn log pn n1 0 pn 1
log pn 0
p(ak , bj ) log
p(ak ,b j ) p(bj )
k 1 j1
k 1 j1
KJ
＝
p(ak , bj ) log
p(ak ,b j ) p(ak ) p(bj )
k 1 j1
这里：
J
K
p(ak ) p(ak ,bj ); p(bj ) p(ak ,bj )
(1 ) D,0 1
则称：区域D是凸域。
信息论复习提纲
信道传递概率可以用信道矩阵来表示：
x1 x2 P xr
y1 p( y1 | x1 ) p( y | x ) 1 2 p( y1 | xr )
y2 p( y2 | x1 )
p( y2 | x2 ) p( y2 | xr )
ys p( ys | x1 ) 1 p( ys | x2 ) p( ys | xr )
i
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续14）
例3：求二元删除信道的 H ( X )、H (Y )、H ( X | Y )和I ( X ;Y ) 。
已知
1 3 PX 4 4
1 1 2 2 0 P 1 2 0 3 3
3. 后验概率（后向概率）: 贝叶斯公式
p ( xi | y j ) p ( xi y j ) p( y j ) p ( xi ) p ( y j | xi )
p( x ) p( y
i 1 i
r
j
| xi )
（i =1，2，…，r;j =1，2，…，s）
且
p ( xi | y j ) 1
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y j | xi ) 1
j 1
s
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
r s
第四章：信道及信道容量
第二章信息论
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
补充解释 信源和信宿
信源亦称信息源，它能够形成和发送一组有待于传输
给接收端的消息或消息序列。
信宿即信息接受者，它能够接收信息并使信息再现从
而达到通信的目的。
说明：
信源和信宿是多方面的，既可以是人，也可以是 物
信源和信宿是相对的 信源发出的信息对于信宿来说是不确定的
第二节 信息论基础知识
一、通信系统模型 1、通信系统模型
申农认为通信应该是信息在系统中识别、 传输、变换、存储、处理、显示的过程。因此 通信系统必须是一个发送与接收，输入与输出 两者相互联系的不可分割的统一体。
通信系统模型
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。 各种通信系统，一般可概括为下图所示的统计模型：
信源
信源编码器 信道编码器
等效信源 等效信宿
信宿
信源译码器 信道译码器
等效干扰 信道
信
干
道
扰
源
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
维纳从控制和通信的角度研究了信息问题，以自动 控制的观点解决了信号被噪声干扰时的处理问题，建立 了“维纳滤波理论”，从而扩大了信息论的研究范围。
申农信息论
申农使信息论成为了一门独立的学科，主要解决 了信息编码问题和如何提高通信的效率和可靠性。
《通信中的数学理论》和《在噪声中的通信》集 中了申农的研究成果，系统的论述了信息理论，奠定 了现代信息论的基础。
信息论第二章
第二章 信息的量度
主要内容： 主要内容： 一、自信息量 平均自信息量（ 二、平均自信息量（熵）及性质 教学要求: 教学要求: 一、了解信息论的基本内容 会自信息量、互信息量、 二、会自信息量、互信息量、平均自 信息量的计算
引言
有效性和可靠性是通信系统中研究的中心问 信息论是在信息可度量基础上， 题，信息论是在信息可度量基础上，研究有效地 和可靠地传递信息的科学。因此，概率论、 和可靠地传递信息的科学。因此，概率论、随机 过程是信息论研究的基础和工具。 过程是信息论研究的基础和工具。
( )
I ( xi y j ) = I ( xi ) + I ( y j )
小结
1、出现概率小的随机事件所包含的不确定性大，也就是它 出现概率小的随机事件所包含的不确定性大， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 也就是它的自信息量小。在极限情况下，出现概率为1 也就是它的自信息量小。在极限情况下，出现概率为1的随 机事件，其自信息量为零。 机事件，其自信息量为零。 随机事件的不确定性在数量上等于它的自信息量， 2、随机事件的不确定性在数量上等于它的自信息量，两者 单位也相同。 单位也相同。 信宿收到从信道传来的所消息携带的信息量后， 3、信宿收到从信道传来的所消息携带的信息量后，可以全 部或部分消除信宿对信源发出消息的不确定性。特别地， 部或部分消除信宿对信源发出消息的不确定性。特别地，当 信宿收到的信息量等于信源包含的不确定性（即自信息量） 信宿收到的信息量等于信源包含的不确定性（即自信息量） 就可以唯一地确定信源发出的消息。 时，就可以唯一地确定信源发出的消息。 例如：当某随机事件x 出现的概率为P 1/8时 例如：当某随机事件xi出现的概率为P（xi）= 1/8时，它包 含3比特的不确定性；当信宿能收到3比特的信息量，就能唯 比特的不确定性；当信宿能收到3比特的信息量， 一的确定信源发出的是消息x 一的确定信源发出的是消息xi。
主要内容： 主要内容： 一、自信息量 平均自信息量（ 二、平均自信息量（熵）及性质 教学要求: 教学要求: 一、了解信息论的基本内容 会自信息量、互信息量、 二、会自信息量、互信息量、平均自 信息量的计算
引言
有效性和可靠性是通信系统中研究的中心问 信息论是在信息可度量基础上， 题，信息论是在信息可度量基础上，研究有效地 和可靠地传递信息的科学。因此，概率论、 和可靠地传递信息的科学。因此，概率论、随机 过程是信息论研究的基础和工具。 过程是信息论研究的基础和工具。
( )
I ( xi y j ) = I ( xi ) + I ( y j )
小结
1、出现概率小的随机事件所包含的不确定性大，也就是它 出现概率小的随机事件所包含的不确定性大， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 也就是它的自信息量小。在极限情况下，出现概率为1 也就是它的自信息量小。在极限情况下，出现概率为1的随 机事件，其自信息量为零。 机事件，其自信息量为零。 随机事件的不确定性在数量上等于它的自信息量， 2、随机事件的不确定性在数量上等于它的自信息量，两者 单位也相同。 单位也相同。 信宿收到从信道传来的所消息携带的信息量后， 3、信宿收到从信道传来的所消息携带的信息量后，可以全 部或部分消除信宿对信源发出消息的不确定性。特别地， 部或部分消除信宿对信源发出消息的不确定性。特别地，当 信宿收到的信息量等于信源包含的不确定性（即自信息量） 信宿收到的信息量等于信源包含的不确定性（即自信息量） 就可以唯一地确定信源发出的消息。 时，就可以唯一地确定信源发出的消息。 例如：当某随机事件x 出现的概率为P 1/8时 例如：当某随机事件xi出现的概率为P（xi）= 1/8时，它包 含3比特的不确定性；当信宿能收到3比特的信息量，就能唯 比特的不确定性；当信宿能收到3比特的信息量， 一的确定信源发出的是消息x 一的确定信源发出的是消息xi。
信息论基础第2章
若
U
(t
,
)
a.e.
0，
a.e.
当t T /2时
U (t,) U (t,), 当 t T / 2时
这里，U (t, )为一周期性随机过程；
“a.e.”为almost everywhere, 几乎处处含义下相等（收敛）
2019/10/14
P.10
常用的展开式 (续）：
类似于周期性确知信号，在时域内可做下列付氏级数展开：当 t T / 2 时，
b
a R(t1t2 ) (t2 )dt2 (t1 )
下面简要介绍积分方程的概念，所谓积分方程，是指未知函数在积 分号内的方程式，我们这里讨论的是最常见的线性积分方程。即一 般积分方程可写为：
b
a(x)(x) f (x) a K (x, )( )d
2019/10/14
对消息序列信源有：
UL
pu
U u1U unL p(u1) p(unL )
2019/10/14
P.5
2）实际信源 （续）
例：最简单L=3的三位PCM信源：这时L=3, n=2, 即i={0,1}，则有：
U3 p(u)
U
000,U p03 ,
2019/10/14
P.14
常用的展开式 (续）：
U
(t
,
)
a.e
ai ()i (t)
则
i 1
ቤተ መጻሕፍቲ ባይዱi
(
)
a.e
b
a U (t,)i (t)dt
第二章-信号分析与信息论基础
设ξ(t)表示一个随机过程，则在任意一个时刻t1 上，ξ(t1)是一个随机变量。显然，这个随机变量的统 计特性，可以用概率分布函数或概率密度函数去描述。
4、随机过程的数字特征 随机过程的数字特性，比如，随机过程的数学期望、
方差及相关函数等。 1）数学期望
随机过程ξ(t)的数学期望被定义为
可把t1直接写成t。随机过程的 数学期望被认为是时间t的函数。
2.1 确知信号分析
信号是通过电的某一物理量（如电压或电流）表 示出的与时间t之间的函数关系。 确知信号：能用函数表达式准确表示出来的信号。它 与时间的关系是确知的。 随机信号：与上述相反。
通信中传输的信号及噪声都是随机信号。
2.1.1 周期信号与非周期信号 周期信号：满足条件 s(t)=s(t+T0) -∞＜t＜∞，T0＞0 非周期信号：不满足上述条件。 功率信号：信号在（0，T）内的平均功率S(式2-2)值为 一定值。 能量信号：当T→ ∞时，式(2-3)是绝对可积的。
解： Γ[COS ω0 t]= π[δ(ω- ω0)+ δ(ω+ω0)] 冲激 强度为π，根据卷积定理：
Γ[f(t)COS ω0 t] =（1/2 π)F(ω)* {π[δ(ω- ω0)+ δ(ω+ω0)] }
=(1/2) [F(ω- ω0)+ F(ω+ω0)]
2.1.3 信号通过线性系统
线性系统：输出信号与输入信号满足线性关系（允许
说，如果对于任意的n和τ，随机过程ξ(t)的n维概率
密度函数满足：
则称ξ(t)是平稳随机过程。
6、广义平稳过程 广义平稳概念：若一个随机过程的数学期望及方差 与时间无关，而其相关函数仅与τ有关，则称这个随
4、随机过程的数字特征 随机过程的数字特性，比如，随机过程的数学期望、
方差及相关函数等。 1）数学期望
随机过程ξ(t)的数学期望被定义为
可把t1直接写成t。随机过程的 数学期望被认为是时间t的函数。
2.1 确知信号分析
信号是通过电的某一物理量（如电压或电流）表 示出的与时间t之间的函数关系。 确知信号：能用函数表达式准确表示出来的信号。它 与时间的关系是确知的。 随机信号：与上述相反。
通信中传输的信号及噪声都是随机信号。
2.1.1 周期信号与非周期信号 周期信号：满足条件 s(t)=s(t+T0) -∞＜t＜∞，T0＞0 非周期信号：不满足上述条件。 功率信号：信号在（0，T）内的平均功率S(式2-2)值为 一定值。 能量信号：当T→ ∞时，式(2-3)是绝对可积的。
解： Γ[COS ω0 t]= π[δ(ω- ω0)+ δ(ω+ω0)] 冲激 强度为π，根据卷积定理：
Γ[f(t)COS ω0 t] =（1/2 π)F(ω)* {π[δ(ω- ω0)+ δ(ω+ω0)] }
=(1/2) [F(ω- ω0)+ F(ω+ω0)]
2.1.3 信号通过线性系统
线性系统：输出信号与输入信号满足线性关系（允许
说，如果对于任意的n和τ，随机过程ξ(t)的n维概率
密度函数满足：
则称ξ(t)是平稳随机过程。
6、广义平稳过程 广义平稳概念：若一个随机过程的数学期望及方差 与时间无关，而其相关函数仅与τ有关，则称这个随
信息论与编码第二版答案 (3)
信息论与编码第二版答案第一章：信息论基础1.问题：信息论的基本概念是什么？答案：信息论是一种数学理论，研究的是信息的表示、传输和处理。
它的基本概念包括：信息、信息的熵和信息的编码。
2.问题：什么是信息熵？答案：信息熵是信息的度量单位，表示信息的不确定度。
它的计算公式为H(X) = -ΣP(x) * log2(P(x))，其中P(x)表示事件x发生的概率。
3.问题：信息熵有什么特性？答案：信息熵具有以下特性：•信息熵的值越大，表示信息的不确定度越高；•信息熵的值越小，表示信息的不确定度越低；•信息熵的最小值为0，表示信息是确定的。
4.问题：信息熵与概率分布有什么关系？答案：信息熵与概率分布之间存在着直接的关系。
当概率分布均匀时，信息熵达到最大值；而当概率分布不均匀时，信息熵会减小。
第二章：数据压缩1.问题：数据压缩的目的是什么？答案：数据压缩的目的是通过消除冗余和重复信息，使数据占用更少的存储空间或传输更快。
2.问题：数据压缩的两种基本方法是什么？答案：数据压缩可以通过无损压缩和有损压缩两种方法来实现。
无损压缩是指压缩后的数据可以完全还原为原始数据；而有损压缩则是指压缩后的数据不完全还原为原始数据。
3.问题：信息压缩的度量单位是什么？答案：信息压缩的度量单位是比特（bit），表示信息的数量。
4.问题：哪些方法可以用于数据压缩？答案：数据压缩可以通过以下方法来实现：•无结构压缩方法：如霍夫曼编码、算术编码等；•有结构压缩方法：如词典编码、RLE编码等；•字典方法：如LZW、LZ77等。
第三章：信道容量1.问题：什么是信道容量？答案：信道容量是指在给定信噪比的条件下，信道传输的最大数据速率。
2.问题：信道容量的计算公式是什么？答案：信道容量的计算公式为C = W * log2(1 + S/N)，其中C表示信道容量，W表示信道带宽，S表示信号的平均功率，N表示噪声的平均功率。
3.问题：信道容量与信噪比有什么关系？答案：信道容量与信噪比成正比，信噪比越高，信道容量越大；反之，信噪比越低，信道容量越小。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
是随机出
i
现的，它是X的一个样值，所以是一个随机量。
而 I(xi ) 是 xi 的函数，它必须也是一个随机量。
d. 自信息量单位的确定
• 在信息论中常用的对数底是2，信息量的单位为比特 （bit），用log2或lb表示；（ bit /符号）
• 若取自然对数，则信息量的单位为奈特（nat），用loge 或ln表示；（nat/符号）
（4）英文字母中“e” 出现的概率为0.105，“c”出现的概 率为0.023，“o”出现的概率为0.001。分别计算它们的 自信息量。
解：“e”的自信息量 I（e）= - lb0.105=3.25 （bit/符号） “c”的自信息量 I（c）= -lb0.023=5.44 （bit/符号） “o”的自信息量 I（o）= -lb 0.001＝9.97 （bit/符号）
4. 联合自信息量
随机变量Z是两个随机变量X、Y的联合，即Z=XY，其概率空间：
[ XY , PXY ] [(xi , y j ), p(xi , y j ) | i 1, 2,..., N; j 1, 2,..., M ]
NM
( p(xi , y j ) 1, 概率空间完备） i1 j1
第二节 离散信源的信息论概念
问题： 什么叫自信息量？ 什么叫不确定度？ 什么叫互信息量？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 熵的性质有哪些？ 什么叫平均互信息量？ 什么叫信源熵？如何计算离散信源熵？
（一） 自信息量
I
( x1 )
I (x2 )
I
( x3 )
I
(x4 )
lb
1 4
2(bit
/
符号)
注：
bit的含义是二进制数字（0、1），自信息量为2（bit/ 符号），意味着其不确定性可用2位二进制数字来度 量（00、01、10、11）。
若取4为对数底，自信息量为1（四进制单位/符号）， 意味着其不确定性可用1位四进制数字来度量（0、1、 2、3）。
I 14I (x1) 13I (x2 ) 12I (x3) 6I (x4 ) 87.81(bit / 符号)
平均一个符号的自信息量：
I / 45 87.81/ 45 1.95(bit / 符号)
（6）同时抛掷一对质地均匀的骰子，每个骰子各面朝上的概 率均为1/6，试求： (a). 事件“3和5同时发生”的自信息量？ (b). 事件“两个1同时发生”的自信息量？ (c). 事件“两个点数中至少有一个是1”的自信息量？
I (xi ) log p(xi )
说明：
a. 自信息量 I (xi )是非负的。
b. 对于离散无记忆信源，符号串中各符号统计独 立，符号串自信息量具有可加性：
I logp(xi )
i
c. 因为概率 p(xi ) 越小，xi的出现就越稀罕，一旦出
现，所获得的信息量也就较大。由于
x
棋子落入的方格位置可以用取值于序号集合的随机变量Z来描述
Z {zl | l 1, 2,L ,64}
（1）由于棋子落入任一方格都是等可能的，则
p(zl
)
1 64
l 1, 2,L ,64
棋子落入某方格的不确定性就是自信息量
1 I (zl ) l b p(zl ) l b 64 6
第二章 信息论的基本概念
第一节 信源的描述和分类 第二节 离散信源的信息论概念 第三节 离散信源的熵
第一节 信源的描述和分类
一、香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和 随机过程的理论来研究信息。
二、信源的分类
按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类
• 若以10为对数底，则信息量的单位为哈脱莱(Hartley)， 用log10或lg表示；（hartley/符号）
• 若对数底为r，则信息量的单位为r进制用单位/符号。
这三个信息量单位之间的转换关系如下：
1 nat＝log2e l.433 bit，
l Hartley ＝log210 3.322 bit
解: (a) 存在两种情况：甲3乙5，甲5乙3。
P(A)=1/36×2=1/18，I(A)=-lbP(A)=4.17（bit）。
(b) 存在一种情况：甲1乙1。
P(B)=1/36，I(B)=-lbP(B)=5.17（bit）。 (c) P(C)=1－5/6×5/6=11/36，I(C)=-lbP(C)=1.17（bit）。
求该消息的自信息量以及消息中平均每符号的自信息量？
解：信源符号的自信息量：
1 I (x1) log2 3/8 1.415
1 I (x2) I (x3) log2 1/ 4 2
1
I
(x4
)
log 1/
8
3
单位都是 bit/符号
信源无记忆，发出的符号串中各符号统计独立，由自信 息量的可加性，符号串自信息量等于各符号自信息量之和：
（7）在布袋中放入81枚硬币，它们的外形完全相同。已知有一 枚硬币与其它80枚硬币重量不同，但不知这个硬币比其它硬 币的重量是重还是轻。问确定随意取出的一枚硬币恰好是重 量不同硬币的所需要的信息量是多少？并进一不确定它比其 它硬币是重还是轻所需要的信息量是多少？
解: (a) P(A)=1/81，I(A)=-lbP(A)=6.34（bit）。 (b) P(B)=1/2，P＝P(A)×P(B)＝1/162; I=-lbP=7.34（bit）。
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
• 离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的，发出 的符号序列中的各个符号之间没有统计关联性，各个符 号的出现概率是它自身的先验概率。
• 离散有记忆信源 离散有记忆信源所发出的各个符号的概率是有关联的。
先验概率
一个离散信源发出的各个符号消息的集合为：
X {x1, x2, , xn} ——状态空间
它们的概率分别为：
P {p(x1), p(x2 ), , p(xn )}
n
p(xi ) 0, p(xi ) 1 p(xi )为符号 xi的先验概率。
i 1
概率空间
• 发出符号序列的马尔可夫信源 发出符号序列的马尔可夫信源是指某一个符号出 现的概率只与前面一个或有限个符号有关，而不 依赖更前面的那些符号，这样的信源可以用信源 发出符号序列内各个符号之间的条件概率来反映 记忆特征。
三、先验概率及概率空间的形式
一般信源可用一个概率空间来描述，信源的不确 定程度可用该概率空间的可能状态数目及其概率 来描述。
{ 离散信源
信源 连续信源
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
2. 离散信源
离散信源是指发出在时间和幅度上都是离散分布的
离散消息的信源，如文字、数字、数据等符号都是
离散消息。 离散无记忆信源
{ 离散信源
{ { 离散有记忆信源
在观察到符号yj的条件下xi还剩下的不确定性
I (xi | y j ) lbp(xi | y j )
bit/符号
p( y j | xi ) 转移概率
代表输入xi且观察到yj时干扰引入的不确定性
I ( y j | xi ) lbp( y j | xi )
bit/符号
几个关于条件自信息量的例子：
反之，一个出现概率很小的随机事件，很难猜测 在某个时刻它能否发生，所以它包含的不确定度 就很大；
若是确定性事件，出现概率为1，则它包含的不确 定度为0。
几个关于自信息量的例子： （1） 一个以等概率出现的二进制码元（0，1）所包含
的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit/符号
X P
x1 p( x1 )
x2 p(x2 )
xn p(xn )
状态空间X中各状态 xi相互独立。
举例（二进制信源）：
X P
1 0.5
0 0.5
信息论所关心的就是这种随机变量的不确定性，驱使我们 对随机变量进行观察和测量，从中获取信息。
• 发出单个符号的信源 发出单个符号的信源是指信源每次只发出一个符号代 表一个消息；
• 发出符号序列的信源 发出符号序列的信源是指信源每次发出一组含二个以 上符号的符号序列代表一个消息。
• 发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个 符号序列的整体概率（即联合概率）反映有记忆信 源的特征。
bit/符号
（2）棋盘方格可分为8行×8列，已知行号 xi (i 1, 2,L ,8)
后，棋子落入某方格的不确定性就是条件自信息量 I (zl | xi )
它与条件概率 p(zl | xi ) 有关，由于
I ( y j | xi ) lbp( y j | xi ) bit/符号
注意: 在给定yj条件下，随机事件xi所包含的不确定度在数值上
与条件自信息量相同，但两者含义不同。
条件自信息量物理意义：
条件自信息量的物理意义，要根据具体情况来做出相应的解释
如果X是观察输入，Y是观察输出：
p(xi | y j ) 后验概率
1. 甲在一个8×8的方格棋盘上随意放入一个棋子，在乙看来棋子落 入的位置是不确定的。试问： （1）在乙看来，棋子落入某方格的不确定性为多少？ （2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋 子落入某方格的不确定性为多少？