第二章信息论
合集下载
信息论第二章(2)
5 联合自信息量：
若有两个消息xi，yj 同时出现，它们所带有的信息量， 称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自 信息量
I ( xi y j ) log p( x｜y j ) （bit） ｜ i
i
j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右 边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分 代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征 信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,
若有两个消息xi，yj 同时出现，它们所带有的信息量， 称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自 信息量
I ( xi y j ) log p( x｜y j ) （bit） ｜ i
i
j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右 边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分 代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征 信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,
《信息论与编码》课件1第2章
I(ai)是一个随机变量并不难理解。因为ai发生可以使收 信者获得大小为I(ai)的自信息，然而在信源未发出消息之 前，收信者不仅对ai是否发生具有不确定性，而且对于能 够获得多少自信息也是不确定的。因此，伴随着X=ai的随 机发生而发生的自信息I(ai)是一个随机变量，并且与随机 变量X具有相同的概率分布, 即自信息I(ai)是一个发生概率 为P(X=ai)
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
信息论第二章信息的度量
I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特）
（2）在二维联合集X Y上的条件分布概率为 事件提供给甲的信息量为条件自信息量
p(y j
1 xi ) 12
，这一
I(yj︱xi) = -log p(yj︱xi) = log12 = 3.585（比特）
2．1．2 互信息量和条件互信息量
2.联合自信息量
XY
P
(
XY
)
p(a a 11 b b 11 ,) ,,,pa (1 a b 1m bm ,) ,,,pa (a nb n1 b,1) ,,,p a(nb am nbm )
其中 0 p(aibj ) 1(i 1,2,,n; j 1,2,,m)
nm
p(aibj ) 1。
根据概率互换公式p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj) 互信息量I(xi ;yj )有多种表达形式:
I(xi;yj)loq(p x g (ix ) iy (jy )j)I(xi)I(yj)I(xiyj) (2-7)
I(xi;yj)lopg (y(yjjx)i)I(yj)I(yj xi)(2-8)
第2章 信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。
பைடு நூலகம் 2.1 自信息量和互信息量
x
i（i = 1，2，
X q(X)
x1 1
3
x2 1
信息论基础第二章PPT
8
则用转移概率矩阵表示为 0.25 0.75 p 0.6 0.4
也可用状态转移图表示为
0.75
0.25
0
1
0.4
0.6
9
其n长序列的联合分布为：
Pr { X n x n } Pr {( X 1 X 2 X n ( x1 x2 xn )} ( x1 )i 1 Pr ( X i 1 xi 1 | X i xi )
Pr {( X1 , X 2 , X n ) ( x1 , x2 xn )}
( x1, x2 xn ) n , n 1, 2
p( x1 , x2 xn )
唯一决定
4
无记忆信源
当 X1, X 2 X n 为相互独立的随机变量， 且服从相同的分布：
Pr ( X i x) p( x)
P(0 | 00) 0.8, P (1|11) 0.8, P (1| 00) P (0 |11) 0.2 P(0 | 01) P(0 |10) P (1| 01) P (1|10) 0.5
用转移概率矩阵表示为
11
0 0.8 0.2 0 0 0 0.5 0.5 P 0.5 0.5 0 0 0 0.2 0.8 0
1 k
1 k
Pr {( X t1 , X t2 , , X tm ) ( x1 , x2 ,, xm )} Pr {( X t1 k , X t2 k , , X tm k ) ( x1 , x2 xm )}
14
如果一个马氏过程是平稳的，则
Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X1 x1} Pr {X m xm | X m1 xm1} Pr {X 2 xm | X1 xm1}
第二章-信息论基本概念（3）
H ( X m1 / X1 X 2 X m )
这表明：m阶马尔可夫信源的极限熵H 就等于m阶条件熵，记为H m 1
akm )
设状态 Ei (ak1 ak2 akm ),信源处于状态Ei时，再发出下一个符号akm1
此时，符号序列 (ak2 ak3 a ) km1 就组成了新的信源状态
Ej (ak2 ak3 a ) km1 ，这时信源所处的状态由 Ei 转移到 Ej
状态转移图(香农线图)
0:0.5 E1
1:0.5 E3
1
0:0.6
E2
1:0.4
【注】E1、E2、E3是三种状态，箭头是指从一个状态转移到另
一个状态，旁边的数字代表发出的某符号和条件概率p(ak/Ei) 。 这就是香农提出的马尔可夫状态转移图，也叫香农线图。
二、马尔可夫信源
若信源输出的符号和信源所处的状态满足以下两个条 件，则称为马尔可夫信源：
a1 a2
p(sl
E2
/ xl
a3
sl1 E1 ) 0 sl1 E1 ) 1 sl1 E1 ) 1 sl1 E1 ) 0
可求得状态的一步转移概率：
1
2
1 4
0
1 4
0
0
1 2
1 2
0
0
p(E j
/
Ei
)
0
3
1
0
0
44
0
0
0
0
1
0
0
0
3 4
1 4
此信源满足马尔可夫的 两个条件，所以是马尔可夫 信源，并且是齐次马尔可夫 信源。
对于这个随机序列，若有：
p(xn Sin | xn1 Sin1 ,..., x1 Si1 ) p(xn Sin | xn1 S ) in1
信息论第二章答案
信息论第二章答案(总17页) -CAL-FENGHAI.-(YICAI)-Company One1-CAL-本页仅作为文档封面，使用请直接删除试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}二进制脉冲可以表示2个不同的消息，例如：{0, 1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1===八进制脉冲的平均信息量symbol bit n X H / 38log log )(2===二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： !521)(=i x p bit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：(a)p(x i )=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42 * 8/41 * 4/40=(b)总样本：C 1352, 其中13点数不同的数量为4*4*4*…*4=413。
所以，抽取13张点数不同的牌的概率：bit C x p x I C x p i i i 208.134log )(log )(4)(135213135213=-=-==居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息论第二章答案(南邮研究生作业)
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：(1)“3和5同时出现”这事件的自信息量。
(2)“两个1同时出现”这事件的自信息量。
(3)两个点数的各种组合（无序对）的熵或平均信息量。
(4)两个点数之和（即2，3，…，12构成的子集）的熵。
(5)两个点数中至少有一个是1的自信息。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2 设有一离散无记忆信源，其概率空间为[]⎥⎦⎤⎢⎣⎡=====8/14/14/18/332104321x x x x P X（1） 求每个符号的自信息量；（2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。
第二章 信息论基本概念
i 1
一个信源总是包含着多个符号消息，各个符号消息又按概率 空间的先验概率分布，它的不确定度是各个符号的不确定度的数 学期望（即概率加权的统计平均值） 它的熵（平均不确定度）H（X）定义为： H（X）＝ E[I(x)]＝ P(X)I(X) ＝－ P(X)log2P(X) X
X
若信源X中的符号的概率空间简化表示为： X1，X2， „，XN X，PX＝ P1， P2，„， PN 则熵（平均不确定度）H（X）可写成： N H（X）＝－ PilogPi 注意：∵ I(X)为非负， P(X)为非负，且0≤P(X)≤1 ∴ H（X）也为非负
0.8 0.2
其中X1表示摸出的球为红球事件,X2表示摸出的球为白球事件
若告知摸出的是红球，则事件的自信息量为 I(X1)＝－logP(X1)＝－log20.8 bit 若告知摸出的是白球，则事件的自信息量为 I(X2)＝－logP(X2)＝－log20.2 bit 若取回后又放回摸取，如此摸取n此，红球出现的次数nP(X1)， 白球出现的次数为nP(X2)，则总信息量为 I＝nP(X1)I(X1)＋nP(X2)I(X2) 而平均随机摸取一次所获得的信息量为 H（X）＝ 1/n [nP(X1)I(X1)＋nP(X2)I(X2)] ＝－[P(X1)logP(X1)＋P(X2)logP(X2)] 2 ＝－ P(Xi)logP(Xi)
符号xi对联合事件符号yj zk之间的互信息量定义为： I(xi ; yj zk)＝ logP(xi|yj zk)/ P(xi) „„„„*
三. 条件互信息量 含义：在给定zk条件下，xi与yj之间的互信息量
条件互信息量I(xi ; yj|zk)定义为： I(xi ; yj|zk)＝ logP(xi|yj zk)/ P(xi|zk) 从上式，可使*式写成： I(xi ; yj zk)＝ I(xi ; zk) ＋ I(xi ; yj|zk) 推导如下: I(xi ; yj zk)＝ log P(xi|yj zk)/ P(xi)
一个信源总是包含着多个符号消息，各个符号消息又按概率 空间的先验概率分布，它的不确定度是各个符号的不确定度的数 学期望（即概率加权的统计平均值） 它的熵（平均不确定度）H（X）定义为： H（X）＝ E[I(x)]＝ P(X)I(X) ＝－ P(X)log2P(X) X
X
若信源X中的符号的概率空间简化表示为： X1，X2， „，XN X，PX＝ P1， P2，„， PN 则熵（平均不确定度）H（X）可写成： N H（X）＝－ PilogPi 注意：∵ I(X)为非负， P(X)为非负，且0≤P(X)≤1 ∴ H（X）也为非负
0.8 0.2
其中X1表示摸出的球为红球事件,X2表示摸出的球为白球事件
若告知摸出的是红球，则事件的自信息量为 I(X1)＝－logP(X1)＝－log20.8 bit 若告知摸出的是白球，则事件的自信息量为 I(X2)＝－logP(X2)＝－log20.2 bit 若取回后又放回摸取，如此摸取n此，红球出现的次数nP(X1)， 白球出现的次数为nP(X2)，则总信息量为 I＝nP(X1)I(X1)＋nP(X2)I(X2) 而平均随机摸取一次所获得的信息量为 H（X）＝ 1/n [nP(X1)I(X1)＋nP(X2)I(X2)] ＝－[P(X1)logP(X1)＋P(X2)logP(X2)] 2 ＝－ P(Xi)logP(Xi)
符号xi对联合事件符号yj zk之间的互信息量定义为： I(xi ; yj zk)＝ logP(xi|yj zk)/ P(xi) „„„„*
三. 条件互信息量 含义：在给定zk条件下，xi与yj之间的互信息量
条件互信息量I(xi ; yj|zk)定义为： I(xi ; yj|zk)＝ logP(xi|yj zk)/ P(xi|zk) 从上式，可使*式写成： I(xi ; yj zk)＝ I(xi ; zk) ＋ I(xi ; yj|zk) 推导如下: I(xi ; yj zk)＝ log P(xi|yj zk)/ P(xi)
信息论编码 第二章信息度量1
50个红球，50个黑球
Y
20个红球，其它4种 颜色各20个
Z
问题：能否度量、如何度量？？
2.3.2信源熵数学描述
信源熵
• 定义：信源各个离散消息的自信息量的数学期望 （即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 • 公式： n 1 H ( X ) = E[ I ( xi )] = E[log2 ] = −∑ p( xi ) log2 p( xi ) p( xi ) i =1 • 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。也是试验后平均 不确定性＝携载的信息 信息量为熵 • 单位：以2为底，比特/符号 • 为什么要用熵这个词，与热熵的区别？
3
( 2)
∑ p ( x ) = 1, ∑ p ( y
i =1 m i j =1
n
m
j
) = 1,∑ p ( xi / y j ) = 1,
i =1 n
n
概 率 复 习
∑ p( y
j =1 n
j
/ xi ) = 1, ∑ ∑ p ( xi y j ) = 1
j =1 i =1 m
m
( 3) ( 4) (5)
1
对天气x1 ,Q p( x1 / y1 ) = 0,∴不必再考虑x1与y1之间 信息量
对天气 x 2 : I ( x 2 : y 1 ) = log
2
p ( x 2 / y1 ) = log p ( x2 )
2
1/ 2 = 1( bit ) 1/ 4
同理 I ( x 3 : y 1 ) = I ( x 4 : y 1 ) = 1( bit ), 这表明从 y 1 分别得到了
第二章基本信息论5信源冗余度
适当的冗余可提高抗干扰能力
信源编码：通过减少冗余来提高通信效率 信道编码：通过增加冗余来提高通信的抗干扰能力
E 0.103 N 0.057 W 0.018 F 0.021 O 0.063 X 0.001 G 0.015 P 0.015 Y 0.016
27
p(xi ) lb p( xi )
i 1
H 0.047 Q 0.001 Z 0.001
4.03比特/符号
I 0.058 R 0.048 空格 0.189
3）看成一阶马尔可夫信源，则信源熵： H2 ( X ) H11( X ) 3.32比特/符号
4）看成二阶马尔可夫信源，则信源熵： H3( X ) H21( X ) 3.1比特/符号
5）看成无穷阶马尔可夫信源，则信源熵： H ( X ) 1.4比特/符号
二、冗余的利用
消息的冗余为提高通信效率、压缩信号容量提供 了基础。
lb
1 27
英语 出现 英语 出现 英语 出现 字母 概率 字母 概率 字母 概率
4.75比特/符号
A 0.064 J 0.001 S 0.051 2）按实际概率分布，且 B 0.013 K 0.005 T 0.08 无相关性，则信源熵：
C 0.022 L 0.032 U 0.023
D 0.032 M 0.020 V 0.008 H1( X ) H01( X )
2
Hmax ( X ) p( xi ) lb p( xi )
i 1
2 1 lb 1 1比特/符号
i1 2 2
若发送12个符号，则12个符号含有的信息量为：
I12 12H max ( X ) 12比特
若信源符号间有相关性，则信源熵达不到最大熵。 若实际上为0.8比特/符号，则发送12个符号只能传 递12*0.8=9.6比特的信息量。
信源编码：通过减少冗余来提高通信效率 信道编码：通过增加冗余来提高通信的抗干扰能力
E 0.103 N 0.057 W 0.018 F 0.021 O 0.063 X 0.001 G 0.015 P 0.015 Y 0.016
27
p(xi ) lb p( xi )
i 1
H 0.047 Q 0.001 Z 0.001
4.03比特/符号
I 0.058 R 0.048 空格 0.189
3）看成一阶马尔可夫信源，则信源熵： H2 ( X ) H11( X ) 3.32比特/符号
4）看成二阶马尔可夫信源，则信源熵： H3( X ) H21( X ) 3.1比特/符号
5）看成无穷阶马尔可夫信源，则信源熵： H ( X ) 1.4比特/符号
二、冗余的利用
消息的冗余为提高通信效率、压缩信号容量提供 了基础。
lb
1 27
英语 出现 英语 出现 英语 出现 字母 概率 字母 概率 字母 概率
4.75比特/符号
A 0.064 J 0.001 S 0.051 2）按实际概率分布，且 B 0.013 K 0.005 T 0.08 无相关性，则信源熵：
C 0.022 L 0.032 U 0.023
D 0.032 M 0.020 V 0.008 H1( X ) H01( X )
2
Hmax ( X ) p( xi ) lb p( xi )
i 1
2 1 lb 1 1比特/符号
i1 2 2
若发送12个符号，则12个符号含有的信息量为：
I12 12H max ( X ) 12比特
若信源符号间有相关性，则信源熵达不到最大熵。 若实际上为0.8比特/符号，则发送12个符号只能传 递12*0.8=9.6比特的信息量。
信息论与编码第二章(1、2节)
以2为底比特bit以10为底奈特nat取自然对数笛特det0693nat0301det2不确定度不确定度是信源符号固有的不论符号是否发出自信息量是信源符号发出后给予收信它与自信息量在数字上大小相等但表示的物理含义不一样
第二章：信源与信源熵
2.1 信源的描述与分类
信源的统计特性
1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源， 数学上，信源是产生 随机变量 U， 随机序列 U和 随机 过程U(t,ω)的源。
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
1 [np(x1)I (x1) + np(x2 )I(x2 )] = −∑p(xi ) log p(xi ) n i
信源熵是在平均意义上来表征信源的总体特性。
1、离散信源熵 H(X) = −∑p(xi ) log p(xi )
i
例: 试验前：
X ＝ P（x）
1
2
3 1/6
4 1/6
5 1/6
6 1/6
2）信源的主要特性
信Hale Waihona Puke 的最基本的特性是具有统计不确定性，它可用概 率统计特性来描述。
第二章：信源与信源熵
2.1 信源的描述与分类
信源的统计特性
1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源， 数学上，信源是产生 随机变量 U， 随机序列 U和 随机 过程U(t,ω)的源。
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
1 [np(x1)I (x1) + np(x2 )I(x2 )] = −∑p(xi ) log p(xi ) n i
信源熵是在平均意义上来表征信源的总体特性。
1、离散信源熵 H(X) = −∑p(xi ) log p(xi )
i
例: 试验前：
X ＝ P（x）
1
2
3 1/6
4 1/6
5 1/6
6 1/6
2）信源的主要特性
信Hale Waihona Puke 的最基本的特性是具有统计不确定性，它可用概 率统计特性来描述。
信息论与编码第二章答案
第二章 信息的度量2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2 平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数； 若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3 熵是对信源什么物理量的度量？答：平均信息量2.4 设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：k k k xi q xi q X H ilog 1log 1)(log )()(=-=-=∑2.5 根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I +=2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log);(xi q yj xi Q y x I =，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7 一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201======s x p s x p s x p s x p s x p s x p即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100=========s s p s s p s s p s s p s s p s s p s s p s s p s s p可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200=+++=+=+=s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210===s p s p s p=+-+-+-=)]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8 一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(====x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
信息论复习提纲
信道传递概率可以用信道矩阵来表示：
x1 x2 P xr
y1 p( y1 | x1 ) p( y | x ) 1 2 p( y1 | xr )
y2 p( y2 | x1 )
p( y2 | x2 ) p( y2 | xr )
ys p( ys | x1 ) 1 p( ys | x2 ) p( ys | xr )
i
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续14）
例3：求二元删除信道的 H ( X )、H (Y )、H ( X | Y )和I ( X ;Y ) 。
已知
1 3 PX 4 4
1 1 2 2 0 P 1 2 0 3 3
3. 后验概率（后向概率）: 贝叶斯公式
p ( xi | y j ) p ( xi y j ) p( y j ) p ( xi ) p ( y j | xi )
p( x ) p( y
i 1 i
r
j
| xi )
（i =1，2，…，r;j =1，2，…，s）
且
p ( xi | y j ) 1
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y j | xi ) 1
j 1
s
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
r s
第四章：信道及信道容量
信息论第二章
第二章 信息的量度
主要内容： 主要内容： 一、自信息量 平均自信息量（ 二、平均自信息量（熵）及性质 教学要求: 教学要求: 一、了解信息论的基本内容 会自信息量、互信息量、 二、会自信息量、互信息量、平均自 信息量的计算
引言
有效性和可靠性是通信系统中研究的中心问 信息论是在信息可度量基础上， 题，信息论是在信息可度量基础上，研究有效地 和可靠地传递信息的科学。因此，概率论、 和可靠地传递信息的科学。因此，概率论、随机 过程是信息论研究的基础和工具。 过程是信息论研究的基础和工具。
( )
I ( xi y j ) = I ( xi ) + I ( y j )
小结
1、出现概率小的随机事件所包含的不确定性大，也就是它 出现概率小的随机事件所包含的不确定性大， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 也就是它的自信息量小。在极限情况下，出现概率为1 也就是它的自信息量小。在极限情况下，出现概率为1的随 机事件，其自信息量为零。 机事件，其自信息量为零。 随机事件的不确定性在数量上等于它的自信息量， 2、随机事件的不确定性在数量上等于它的自信息量，两者 单位也相同。 单位也相同。 信宿收到从信道传来的所消息携带的信息量后， 3、信宿收到从信道传来的所消息携带的信息量后，可以全 部或部分消除信宿对信源发出消息的不确定性。特别地， 部或部分消除信宿对信源发出消息的不确定性。特别地，当 信宿收到的信息量等于信源包含的不确定性（即自信息量） 信宿收到的信息量等于信源包含的不确定性（即自信息量） 就可以唯一地确定信源发出的消息。 时，就可以唯一地确定信源发出的消息。 例如：当某随机事件x 出现的概率为P 1/8时 例如：当某随机事件xi出现的概率为P（xi）= 1/8时，它包 含3比特的不确定性；当信宿能收到3比特的信息量，就能唯 比特的不确定性；当信宿能收到3比特的信息量， 一的确定信源发出的是消息x 一的确定信源发出的是消息xi。
主要内容： 主要内容： 一、自信息量 平均自信息量（ 二、平均自信息量（熵）及性质 教学要求: 教学要求: 一、了解信息论的基本内容 会自信息量、互信息量、 二、会自信息量、互信息量、平均自 信息量的计算
引言
有效性和可靠性是通信系统中研究的中心问 信息论是在信息可度量基础上， 题，信息论是在信息可度量基础上，研究有效地 和可靠地传递信息的科学。因此，概率论、 和可靠地传递信息的科学。因此，概率论、随机 过程是信息论研究的基础和工具。 过程是信息论研究的基础和工具。
( )
I ( xi y j ) = I ( xi ) + I ( y j )
小结
1、出现概率小的随机事件所包含的不确定性大，也就是它 出现概率小的随机事件所包含的不确定性大， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 也就是它的自信息量小。在极限情况下，出现概率为1 也就是它的自信息量小。在极限情况下，出现概率为1的随 机事件，其自信息量为零。 机事件，其自信息量为零。 随机事件的不确定性在数量上等于它的自信息量， 2、随机事件的不确定性在数量上等于它的自信息量，两者 单位也相同。 单位也相同。 信宿收到从信道传来的所消息携带的信息量后， 3、信宿收到从信道传来的所消息携带的信息量后，可以全 部或部分消除信宿对信源发出消息的不确定性。特别地， 部或部分消除信宿对信源发出消息的不确定性。特别地，当 信宿收到的信息量等于信源包含的不确定性（即自信息量） 信宿收到的信息量等于信源包含的不确定性（即自信息量） 就可以唯一地确定信源发出的消息。 时，就可以唯一地确定信源发出的消息。 例如：当某随机事件x 出现的概率为P 1/8时 例如：当某随机事件xi出现的概率为P（xi）= 1/8时，它包 含3比特的不确定性；当信宿能收到3比特的信息量，就能唯 比特的不确定性；当信宿能收到3比特的信息量， 一的确定信源发出的是消息x 一的确定信源发出的是消息xi。
信息论基础第2章
若
U
(t
,
)
a.e.
0，
a.e.
当t T /2时
U (t,) U (t,), 当 t T / 2时
这里，U (t, )为一周期性随机过程；
“a.e.”为almost everywhere, 几乎处处含义下相等（收敛）
2019/10/14
P.10
常用的展开式 (续）：
类似于周期性确知信号，在时域内可做下列付氏级数展开：当 t T / 2 时，
b
a R(t1t2 ) (t2 )dt2 (t1 )
下面简要介绍积分方程的概念，所谓积分方程，是指未知函数在积 分号内的方程式，我们这里讨论的是最常见的线性积分方程。即一 般积分方程可写为：
b
a(x)(x) f (x) a K (x, )( )d
2019/10/14
对消息序列信源有：
UL
pu
U u1U unL p(u1) p(unL )
2019/10/14
P.5
2）实际信源 （续）
例：最简单L=3的三位PCM信源：这时L=3, n=2, 即i={0,1}，则有：
U3 p(u)
U
000,U p03 ,
2019/10/14
P.14
常用的展开式 (续）：
U
(t
,
)
a.e
ai ()i (t)
则
i 1
ቤተ መጻሕፍቲ ባይዱi
(
)
a.e
b
a U (t,)i (t)dt
第二章-信号分析与信息论基础
设ξ(t)表示一个随机过程，则在任意一个时刻t1 上，ξ(t1)是一个随机变量。显然，这个随机变量的统 计特性，可以用概率分布函数或概率密度函数去描述。
4、随机过程的数字特征 随机过程的数字特性，比如，随机过程的数学期望、
方差及相关函数等。 1）数学期望
随机过程ξ(t)的数学期望被定义为
可把t1直接写成t。随机过程的 数学期望被认为是时间t的函数。
2.1 确知信号分析
信号是通过电的某一物理量（如电压或电流）表 示出的与时间t之间的函数关系。 确知信号：能用函数表达式准确表示出来的信号。它 与时间的关系是确知的。 随机信号：与上述相反。
通信中传输的信号及噪声都是随机信号。
2.1.1 周期信号与非周期信号 周期信号：满足条件 s(t)=s(t+T0) -∞＜t＜∞，T0＞0 非周期信号：不满足上述条件。 功率信号：信号在（0，T）内的平均功率S(式2-2)值为 一定值。 能量信号：当T→ ∞时，式(2-3)是绝对可积的。
解： Γ[COS ω0 t]= π[δ(ω- ω0)+ δ(ω+ω0)] 冲激 强度为π，根据卷积定理：
Γ[f(t)COS ω0 t] =（1/2 π)F(ω)* {π[δ(ω- ω0)+ δ(ω+ω0)] }
=(1/2) [F(ω- ω0)+ F(ω+ω0)]
2.1.3 信号通过线性系统
线性系统：输出信号与输入信号满足线性关系（允许
说，如果对于任意的n和τ，随机过程ξ(t)的n维概率
密度函数满足：
则称ξ(t)是平稳随机过程。
6、广义平稳过程 广义平稳概念：若一个随机过程的数学期望及方差 与时间无关，而其相关函数仅与τ有关，则称这个随
4、随机过程的数字特征 随机过程的数字特性，比如，随机过程的数学期望、
方差及相关函数等。 1）数学期望
随机过程ξ(t)的数学期望被定义为
可把t1直接写成t。随机过程的 数学期望被认为是时间t的函数。
2.1 确知信号分析
信号是通过电的某一物理量（如电压或电流）表 示出的与时间t之间的函数关系。 确知信号：能用函数表达式准确表示出来的信号。它 与时间的关系是确知的。 随机信号：与上述相反。
通信中传输的信号及噪声都是随机信号。
2.1.1 周期信号与非周期信号 周期信号：满足条件 s(t)=s(t+T0) -∞＜t＜∞，T0＞0 非周期信号：不满足上述条件。 功率信号：信号在（0，T）内的平均功率S(式2-2)值为 一定值。 能量信号：当T→ ∞时，式(2-3)是绝对可积的。
解： Γ[COS ω0 t]= π[δ(ω- ω0)+ δ(ω+ω0)] 冲激 强度为π，根据卷积定理：
Γ[f(t)COS ω0 t] =（1/2 π)F(ω)* {π[δ(ω- ω0)+ δ(ω+ω0)] }
=(1/2) [F(ω- ω0)+ F(ω+ω0)]
2.1.3 信号通过线性系统
线性系统：输出信号与输入信号满足线性关系（允许
说，如果对于任意的n和τ，随机过程ξ(t)的n维概率
密度函数满足：
则称ξ(t)是平稳随机过程。
6、广义平稳过程 广义平稳概念：若一个随机过程的数学期望及方差 与时间无关，而其相关函数仅与τ有关，则称这个随
信息论第二章课后习题解答
这样，平均每个像素携带的信息量为：
每帧图像含有的信息量为：
按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率 为：
（2）需30个不同的色彩度，设每个色彩度等概率出现，则其概 率空间为：
由于电平与色彩是互相独立的，因此有
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
【2.13】每帧电视图像可以认为是由3×105个像素组成，所以 像素均是独立变化，且每一像素又取128个不同的亮度电平，并 设亮度电平等概率出现。问每帧图像含有多少信息量？ 若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述 此电视图像，试问广播员描述此图像所广播的信息量是多少 （假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描 述此图像，广播员在口述中至少需用多少汉字？
解： 信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述c) ，
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源, X={白 黑} ，设黑色出现的概率为 P(黑) =0.3 ，白色出现的 概率为P(白)=0.7。 （1） 假设图上黑白消息出现前后没有关联，求熵H(X) ； （2） 假设消息前后有关联，其依赖关系为P(白|白)=0.9 ， P(白|黑)=0.2 ，P(黑|白)=0.1 ，P(黑|黑)=0.8 ，求此一阶马 尔克夫信源的熵H2 。 （3） 分别求上述两种信源的冗余度，并比较H(X)和H2的大小， 并说明其物理意义。
解：（1）如果出现黑白消息前后没有关联，信息熵为：
（2）当消息前后有关联时，首先画出其状态转移图，如下所 示：
设黑白两个状态的极限概率为Q(黑) 和Q (白) ，
解得：
此信源的信息熵为： （3）两信源的冗余度分别为：
结果表明：当信源的消息之间有依赖时，信源输出消息的不确 定性减弱。有依赖时前面已是白色消息，后面绝大多数可能 是出现白色消息；前面是黑色消息，后面基本可猜测是黑色 消息。这时信源的平均不确定性减弱，所以信源消息之间有 依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明 信源熵正是反映信源的平均不确定的大小。而信源剩余度正 是反映信源消息依赖关系的强弱，剩余度越大，信源消息之 间的依赖关系就越大。
每帧图像含有的信息量为：
按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率 为：
（2）需30个不同的色彩度，设每个色彩度等概率出现，则其概 率空间为：
由于电平与色彩是互相独立的，因此有
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
【2.13】每帧电视图像可以认为是由3×105个像素组成，所以 像素均是独立变化，且每一像素又取128个不同的亮度电平，并 设亮度电平等概率出现。问每帧图像含有多少信息量？ 若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述 此电视图像，试问广播员描述此图像所广播的信息量是多少 （假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描 述此图像，广播员在口述中至少需用多少汉字？
解： 信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述c) ，
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源, X={白 黑} ，设黑色出现的概率为 P(黑) =0.3 ，白色出现的 概率为P(白)=0.7。 （1） 假设图上黑白消息出现前后没有关联，求熵H(X) ； （2） 假设消息前后有关联，其依赖关系为P(白|白)=0.9 ， P(白|黑)=0.2 ，P(黑|白)=0.1 ，P(黑|黑)=0.8 ，求此一阶马 尔克夫信源的熵H2 。 （3） 分别求上述两种信源的冗余度，并比较H(X)和H2的大小， 并说明其物理意义。
解：（1）如果出现黑白消息前后没有关联，信息熵为：
（2）当消息前后有关联时，首先画出其状态转移图，如下所 示：
设黑白两个状态的极限概率为Q(黑) 和Q (白) ，
解得：
此信源的信息熵为： （3）两信源的冗余度分别为：
结果表明：当信源的消息之间有依赖时，信源输出消息的不确 定性减弱。有依赖时前面已是白色消息，后面绝大多数可能 是出现白色消息；前面是黑色消息，后面基本可猜测是黑色 消息。这时信源的平均不确定性减弱，所以信源消息之间有 依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明 信源熵正是反映信源的平均不确定的大小。而信源剩余度正 是反映信源消息依赖关系的强弱，剩余度越大，信源消息之 间的依赖关系就越大。
第二章基本信息论1_信源不确定性
1 1 H ( X ) = − ∑ lb = lb 26 = 4.701比特/字母 26 i =1 26
26
五、熵函数H(X)的性质
1、非负性 、
H ( X ) = − ∑ p ( x )log p ( x ) ≥ 0
x
2、确定性 、
H (1,0) = H (1,0,L,0) = H (0,1,L,0) = 0
= − log p ( xi ) + log p ( xi / y j )
信宿收到消息yj后 所获得的关于xi的 信息量
= log
p( xi / y j ) p ( xi )
后验概率 = log 先验概率
=关于xi的先验不确定度–收到消息yj后对xi尚存的 不确定度 =收到消息yj后关于xi的不确定性减少的程度
x1 --摸到红球 X x1 x2 p( X ) = 0.9 0.1， x --摸到黄球 2
1）摸到一个红球获得的信息量：
I ( x1 ) = − log p( x1 ) = − log 0.9 = 0.1520比特
2）摸到一个黄球获得的信息量：
I ( x2 ) = − log p( x2 ) = − log 0.1 = 3.3219比特
i =1
N
= Np log(1/ p ) = log N
♦条件熵
H ( X / Y ) = E [ I ( xi / y j )] = ∑∑ p ( xi y j ) I ( xi / y j )
j =1 i =1 m n
= − ∑∑ p ( xi y j )log p( xi / y j )
j =1 i =1
∑ p( x ) = 1
i =1 i
信息论第二章课件及习题答案
2013-8-1
2
§2.1 离散型随机变量的非平 均信息量（事件的信息量）
（本章将给出各种信息量的定义和 它们的性质。）
I ( xk ; y j )
loga rkj qk w j
定义2.1.1(非平均互信息量) 给定 一个二维离散型随机变量 {(X, Y), (xk, yj), rkj, k=1~K; j=1~J} （因此就给定了两个离散型随机 变量 {X, xk, qk, k=1~K}和{Y, yj, wj, j=1~J}）。 事件xk∈X与事件yj∈Y的互信息 量定义为I(xk; yj)
2013-8-1
3
§2.1 离散型随机变量的非平 均信息量（事件的信息量）
（本章将给出各种信息量的定义和 它们的性质。）
I ( xk ; y j )
loga loga rkj qk w j P(( X , Y ) ( xk , y j )) P( X xk ) P(Y y j )
2013-8-1 17
图2.2.1
H(X) 1.0
0.5
0
2013-8-1
0.5
1
P
18
§2.2 离散型随机变量的平均 自信息量（熵）
定义2.2.2(条件熵) 给定一个二维离散型 随机变量 {(X, Y), (xk, yj), rkj, k=1~K; j=1~J}。
称如下定义的H(X|Y) 为X相对于Y的条件 熵。
2013-8-1 13
§2.1 离散型随机变量的非平 均信息量（事件的信息量）
小结 非平均互信息量I(xk; yj)。 非平均自信息量h(xk)，h(yj)。 条件的非平均自信息量h(xk|yj)， h(yj|xk)。 联合的非平均自信息量h(xk, yj)。 相互关系： I(xk; yj)≤min{h(xk)，h(yj)}。 h(xk|yj)=h(xk)-I(xk; yj) 。 h(xk, yj)=h(yj)+h(xk|yj)=h(xk)+h(yj|xk)。 h(xk, yj)=h(xk)+h(yj)-I(xk; yj)。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
两种极端情况
必然事件：概率为1，信息量为0。 不可能事件：概率为0，信息量无穷大。
信息量的表示
说明：
信息量的单位随a的取值不同而不同（a＝2，比特； a＝e，奈特；a＝10，笛特） 使用对数是为了计算方便 使用负号是为了保证信息量总是正的
实得信息量的表示
一般情况下，如果某事件发生的概率为P1(先验概 率)，在获得一定的信息后该事件发生的概率为P2（后 验概率），则获得的信息量为
A的概率，则这种概率叫事件A在事件B发生条件下的条 件概率，记做P（A/B）
乘法原则
两事件的积的概率等于其中一事件的概率与另一 事件在前一事件已发生的条件下的条件概率的乘积。 记做 P(AB)=P(A)*P(B/A)=P(B)*P(A/B)
实例
1>任取一件恰是合格品的概率？（A事件） 2>若已知取出的是第一台车床加工的零件（B事件）的 条件概率？ 3>已知取出的是第二台车床加工的零件的条件概率？
2、概率信息的表示－概率空间法
概率空间
由随机试验中的基本事件及其发生的相应的概率 组成，即： X1 X2 Xn X P1 P2 Pn ＝ P
其中Xi表示事物运动的n种可能状态；Pi则是相应的运 动状态发生的概率，且P1＋P2＋„＋Pn＝1
第二节
信息论基础知识
一、通信系统模型 1、通信系统模型
申农认为通信应该是信息在系统中识别、 传输、变换、存储、处理、显示的过程。因此 通信系统必须是一个发送与接收，输入与输出 两者相互联系的不可分割的统一体。
通信系统模型
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。 各种通信系统，一般可概括为下图所示的统计模型： 等效干扰 信道
主观信息 客观信息 外部信息 内部信息 有用信息 无用信息 确定信息 概率信息 模糊信息
二、信息论的产生与发展 1、信息论的产生 背景
生产社会化程度的提高迫切要求通信技术解 决一系列信息问题：怎样从各种接收信号中虑 去各种噪声，怎样才能充分利用信道容量等问 题的研究逐渐形成了信息论。
雏形
20世纪20年代，卡森纠正了当时流行的“可 以通过调频将载频的频带扩大”的错误观点
申农信息论
申农使信息论成为了一门独立的学科，主要解决 了信息编码问题和如何提高通信的效率和可靠性。 《通信中的数学理论》和《在噪声中的通信》集 中了申农的研究成果，系统的论述了信息理论，奠定 了现代信息论的基础。
基本理论：
把信息抽象为一个单纯的量，并用数学方法进行 量化的描述 抽象出了通信系统模型 初步解决了信息的提取、表达的问题
有记忆信源 X的各时刻取值互相有关联。
补充解释 信源和信宿 信源亦称信息源，它能够形成和发送一组有待于传输
给接收端的消息或消息序列。
信宿即信息接受者，它能够接收信息并使信息再现从
而达到通信的目的。
说明：
信源和信宿是多方面的，既可以是人，也可以是 物 信源和信宿是相对的 信源发出的信息对于信宿来说是不确定的
证明：
2、信息的组合 当几条信息是互不包含、完全独立的信息 时，其组合信息量满足信息加法原则。 例：设教室有20排座位，每排30个位置。先寻找某为
1924年，奈奎斯特提出电信号的传输速率与频道带 宽有比例关系。 1928年，哈特莱发表了《信息传输》，第一次把信 息和消息区别开来，并首次提出信息量的概念，同时指 出可以用消息出现的概率的对数来度量信息量。
维纳信息论
维纳从控制和通信的角度研究了信息问题，以自动 控制的观点解决了信号被噪声干扰时的处理问题，建立 了“维纳滤波理论”，从而扩大了信息论的研究范围。
先验信息概率空间
后验信息概率空间 设试验结果出现了X1状态，则不确定性消除，其 概率空间为：
实得信息概率空间
三、概率信息的度量 信息度量的总原则:以关于事物的运动状态 和方式的知识量来计算。 1、用概率的负对数度量信息 概率是用来是表示随机事件发生的可能性 大小的量，所以可以用它来定量的描述信息量。 信息量的大小取决于事件发生的可能性的大小， 概率小的事件，信息量多，概率大的事件信息 量小，所以信息量是概率的单调递减函数。
申农信息定义
信息是用来消除不确定性的东西。
维纳信息定义
信息就是人和外界相互作用的过程中相互交换的内容总称。
维纳信息定义的改进
信息是控制系统进行调节活动时与外界相互作用、相互 交换的内容。
通讯领域
信息是关于客观事物的可通讯的知识。
系统开发领域
信息是经过加工处理的具有特定含义的数据，它对使用 者的行为具有现实的或者潜在的价值。
Claude Elwood Shannon (1916-2001)
信息的层次
统计信息/语法信息/客观信息 语义信息 价值信息
申农信息论的局限性
信息量的相等与接收者的主观方面有关 相同的信息对于不同的接收者价值不同 不能对模糊信息定量描述
4、信息论的研究范畴
• 狭义信息论，即通信的数学理论，主要研究狭义信息 的度量方法，研究各种信源、信道的描述和信源、信 道的编码定理。 • 实用信息论，研究信息传输和处理问题，也就是狭义 信息论方法在调制解调、编码译码以及检测理论等领 域的应用。 • 广义信息论，包括信息论在自然和社会中的新的应用， 如模式识别、机器翻译、自学习自组织系统、心理学、 生物学、经济学、社会学等一切与信息问题有关的领 域。
统一原则 一一对应原则 最大可靠性原则
利用编码译码技术抗噪声干扰 提高信澡比
信澡比就是发送信号功率和噪声功率之比。
途径：
提高发送信号功率 降低噪声功率
降低传递信号的速度或传信率 多信道传输 3、增加带宽
三、通信的效率
1、影响通信效率的因素 传信率
指一条信道在单位时间内传递的信息量。 传信率越高，通信效率越高。
信息论的定义
从客观角度上讲信息是物质和能量在空间和时间上分布 的不均匀程度，或者说信息是关于事物运动的状态和规律。 从使用者角度上说信息是关于事物运动状态和方式的知识。
2、信息的基本特征 客观性 知识性 共享性 传播性 时效性 价值性 无限性
3、分类 哲学角度
系统与环境的关系 效用 事物运动方式
现象
3、概率 用来表示随机事件发生的可能性大小的量， 记做P（0<P<1）。 4、概率的基本原则 加法原则 若A、B是两个互不相容事件，则事件A和B 之和的概率等于这两个事件的概率之和，记做 P(A+B)=P(A)+P(B)。 这个规则可以推广到m个互不相容的随机事 件。
除法原则
条件概率：如果在事件B已经发生的条件下计算事件
信源
信源编码器 等效信源 等效信宿
信道编码器
信 道
信道译码器
干 扰 源
信宿
信源译码器
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。 2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。 信源编码器，提高传输效率 编码器 信道编码器，提高传输可靠性 3. 信道 信道是信息传输和存储的媒介。 4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
前事先了解到的关于某随机事件x的不定度，记做H1 （x）。
后验信息：是信宿接收到信源所发出的信息之后所
了解到的关于某随机事件x的不定度，记做H2（x）。
实得信息：是信宿在通信过程中所消除了的不定度，
即认识主体在认识过程中所获得得知识量，记做I （x）。
三者关系
I（x）＝H1（x）－ H2（x） 1>最好的情况： H2（x）＝0，则I（x）＝H1（x） 2>最坏的情况： H1（x）＝ H2（x），则I（x）＝0 3>常见的情况：0< H2（x）< H1（x）, 则0<I（x）<H1（x）
译码是编码的逆过程，它把信道中传输过来
的信号转换成信息序列。
通信系统模型的应用
普适性 抽象性 描述了通信过程的各个环节
二、通信的可靠性
通信要求将信息准确无误的传给信宿，使之能够在信宿 端清晰的再现，也就是说要保证通信的可靠性，这主要 通过编码译码和抗噪声干扰两个环节实现。 1、正确的编码译码 通过编码译码原则来确保编码译码本身的可靠性：
第三节
信息的量化
一、概率的概念及有关知识 1、申农关于信息量化的观点 完全撇开信息的具体内容，也不考虑主观 因素对信息的影响，把信息加以形式化，用信 息发生的概率对信息进行量化。 2、自然现象的分类 必然事件：在一定条件下必然发生的现象 不可能事件：在一定条件下不会发生的现象 随机事件：在一定条件下可能发生，也可能不发生的
5. 信宿 信宿是消息的接收者。
离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下 类型： 连续信 源 时间 离散信源 波形信源 离散而 消息集X 时间连续 空间连 为离散集 的信源。 续的信 合。 源。 根据信源的统计特性，离散信源又分为两种： 无记忆信源 X的各时刻取值相互独立。
联合事件与条件概率无关。 例如： 一袋中有6个红球，4个蓝球，2个白球。用 A、B、C分别表示随便拿出一个球是红、蓝、 白色的球的事件。则
1>P(AB)表示连续从袋中拿两次，现拿出红球再拿 出蓝球的概率？ 2>P(AB)表示从袋中拿出一个红球后在放回袋中的 联合概率？
二、概率信息的表示 概率信息是表示关于事物的随机运动状态 和方式的信息，它与事物的运动方式有关，不 同的方式有不同信息表示。 1、基本概念 先验信息：就是信宿在接收到信源所发出的信息之
信道和噪声 信道是传输信息的媒介，是信源和信宿交换信息的通
路。他不但具有传输信息的作用，同时也具有存储信 息的任务。
噪声是除信源发出的信号以外的各种干扰信号，包括
系统外噪声和系统内噪声两部分，它会造成信息失真。