信息论3第3章1
信息论第三版课后答案
信息论第三版课后答案【篇一：西电邓家先版信息论与编码第3章课后习题解答】6x11/6y13/41/4x2图3.1 二元信道y2?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信道传递概率如p(x)????图3.33所示。
求：（1）信源x中事件x1,和x2分别含有的自信息。
（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。
（3）信源x和信源y的信息熵。
（4）信道疑义度h（x|y）和噪声熵h（y|x）。
（5）接收到消息y后获得的平均互信息。
解：（1）由定义得：i（x1）= －log0.6=0.74biti（x2）= －log0.4=1.32biti（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）]= log[p（yj|xi）/p（yj）]则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2）= log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit（3）由定义显然 h（x）=0.97095bit/符号h（y）=0.72193bit/符号（4）h（y|x）=?22p（xy）log[1/p（y|x）]=??i?1j?1p（xi）p（yj|xi）log[1/p（yj|xi）]h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号(5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。
八个消息相应编成下述码字：m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互信息。
信息论讲义-第三章(8讲)
2006-11-61信息理论基础第8讲北京航空航天大学201教研室陈杰2006-11-62当前状态u l =(a l1, a l2, a l3, …, a lm )当前输出X l =a l1.信源状态S={S 1, S 2 ,…S J }, J =q m⎧⎪⎪⎨⎪⎪⎩()12|m q i j S S S p S S ⎡⎤⎢⎥⎢⎥⎣⎦()112|m mi i i i p a a a a + 状态转移概率p (S i |S j )由条件符号概率确定u lu l+1X l =a l新状态u l+1=(a l2, a l3, …, a lm ,a l )2.状态空间2006-11-633.极限熵当时间足够长时，遍历的m 阶马尔可夫信源可视为平稳信源()121lim |N N N H H X X X X ∞−→∞= ()112|m m H X X X X += 1m H +=()()|jj j s p S H X S =∑H (X|S j )是信源处于状态S j 时的条件熵()()()||log |jj i j i j S H X S p a S p a S =∑()()|log |ji j i j S p S S p S S =∑2006-11-64例3.7一阶马尔可夫信源的状态如例题图所示，信源X 的符号集为{0，1，2}。
（1）求平稳后的信源的概率分布；（2）求信源熵H ∞（3）求当p =0或p =1时信源的熵12pppppp2006-11-65解（1）状态转移矩阵令信源的平稳分布为则0 00 p p p p p p ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P []012 W W W =W 0011120121W pW pW W pW pW W W W =+⎧⎪=+⎨⎪++=⎩2006-11-66整理得，平稳后信源的概率分布（2）求信源熵H ∞。
根据平稳分布01213W W W ===()()jj k j s H p S H a S ∞=∑1113[lo g lo g ]3p p p p =×+11log logp p p p=+2006-11-67（3）p =0时p =1时∞→→=+=−=0311lim [loglog]lim ()log 0p p H p p ppp e∞→→=+=−=0311lim [loglog]lim ()log 0P P H p p ppp e3.5.3 马尔可夫信源解释：•信源熵表示的是信源的平均不确定性。
信息论第3章课后习题答案
信息论第3章课后习题答案信息论是一门研究信息传输、存储和处理的学科。
它的核心理论是香农信息论，由克劳德·香农于1948年提出。
信息论的应用范围广泛，涵盖了通信、数据压缩、密码学等领域。
在信息论的学习过程中，课后习题是巩固知识、检验理解的重要环节。
本文将对信息论第3章的课后习题进行解答，帮助读者更好地理解和掌握信息论的基本概念和方法。
1. 证明：对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
首先，根据联合熵的定义，有H(X,Y)=-∑p(x,y)log2p(x,y)。
而熵的定义为H(X)=-∑p(x)log2p(x)和H(Y)=-∑p(y)log2p(y)。
我们可以将联合熵表示为H(X,Y)=-∑p(x,y)log2(p(x)p(y))。
根据对数的性质，log2(p(x)p(y))=log2p(x)+log2p(y)。
将其代入联合熵的表达式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))。
再根据概率的乘法规则，p(x,y)=p(x)p(y)。
将其代入上式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))=-∑p(x,y)log2p(x)-∑p(x,y)log2p(y)。
根据熵的定义，可以将上式分解为H(X,Y)=H(X)+H(Y)。
因此，对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
2. 证明：对于一个随机变量X，有H(X)≥0。
根据熵的定义，可以得到H(X)=-∑p(x)log2p(x)。
由于概率p(x)是非负的，而log2p(x)的取值范围是负无穷到0之间，所以-p(x)log2p(x)的取值范围是非负的。
因此，对于任意一个随机变量X，H(X)≥0。
3. 证明：对于一个随机变量X，当且仅当X是一个确定性变量时，H(X)=0。
当X是一个确定性变量时，即X只能取一个确定的值，概率分布为p(x)=1。
信息论基础第3章离散信道及其信道容量
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
信息论基础第3章 渐近均分性与香农第一定理
例1
X 0 1 P(X) 0.9 0.1
二次、三次和四次扩展信源的概率分布特点
渐近均分性与香农第一定理
二次扩展信源的概率分布
P(00) 0.9 0.9 0.81 P(01) 0.9 0.1 0.09 P(10) 0.1 0.9 0.09 P(11) 0.1 0.1 0.01
渐近均分性与香农第一定理
P(0000) P(0001) P(0010) P(0100) P(1000) P(0011) P(0101) P(0110) P(1001) P(1010) P(1100) P(0111) P(1011) P(1101) P(1110) 0.6561 4 0.0729 6 0.0081 4 0.0009 0.9999 P(1111) 0.0001
渐近均分性与香农第一定理
四次扩展信源的概率分布
P(0000) 0.9 0.9 0.9 0.9 0.6561 P(0001) P(0010) P(0100) P(1000) 0.9 0.9 0.9 0.1 0.0729 P(0011) P(0101) P(0110) P(1001) P(1010) P(1100) 0.9 0.9 0.1 0.1 0.0081 P(0111) P(1011) P(1101) P(1110) 0.9 0.1 0.1 0.1 0.0009 P(1111) 0.1 0.1 0.1 0.1 0.0001
渐近均分性与香农第一定理
4、n次扩展信源的联合熵
H(X k X k 1 X k n 1 ) H(X1X 2 X n ) H(X n )
第三-1章信道及信道容量
说 明： 条件熵Hc(Y/X)是由于噪声引起的，它等于噪声信源的熵Hc(n) 。 所以称条件熵Hc(Y/X)为噪声熵。
9
《信息论基础》
2、一般离散信道（多维离散信道） 输入输出信号都是平稳随机矢量，其数学模型可用概率空间 [X，p(Y/X)，Y]来描述。 其中 为输入信号， 为输出信号。 X中 Y中 其中P(Y/X)是信道的传递概率，反映输入和输出信号之间统计 依赖关系。 根据信道是否存在干扰以及有无记忆，将信道分为： 1 ）无干扰（噪声）信道： 2 ）有干扰无记忆信道： 3）有干扰有记忆信道：
32
《信息论基础》
3、有噪无损信道： H（X/Y）= 0， H（Y/X）> 0
33
• 我们可以进一步用维拉图来表述有噪无损信 道和无噪有损信道中平均互信息、损失熵、 噪失熵以及信源熵之间的关系。
H（X）=I（X；Y） H（Y）
I（X；Y） I（X；Y）
H（Y）=I（X；Y） H（X）
H（Y/X）
其中：
19
《信息论基础》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。 一般情况下，上式不能满足，也就是连续信道任一时 刻的输出变量与以前时刻的输入输出有关，则称为连续有 记忆信道。
20
《信息论基础》
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
信息论第三章
□ 当信道输入等概率分布（输出也是等概率分布时）。
1. 对称离散无记忆信道容量（DMC）
对称DMC信道定义 输入对称 如果转移概率矩阵P的每一行都是第一行的置 换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵P的每一列都是第一列的置 换(包含同样元素)，称该矩阵是输出对称 对称的DMC信道 如果输入、输出都对称，称之为对称信道。
max I ( X ; Y ) max I ( X i ; Yi )
i 1
max I ( X
i 1 P(Xi )
i
; Yi )
C
i 1
N
i
即：CN = N×C 。 它表示离散无记忆信道的N次扩展信道 的容量等于原单符号信道容量的N倍。 一般情况下，消息序列在离散无记忆的N次扩展信道中传 输的信息量：
i 1
离散无记忆信道的 N 次扩展信道
离散无记忆信道 ( DMC，Discrete Memoryless Channel) 的N次扩展，其传递概率满足：
P ( y | x ) P ( y1 y 2 ... y N | x1 x 2 ... x N ) P ( y j | x i )
i 1
3.6
3.7
复习1： 离散信道的数学模型
X X {x1 , x2 ,..., xr }
p 11 p 21 P : p r1 p 12 p 22 : pr2 ... ... : ...
信道
p( y j | xi )
p1s p2s : p rs
Y Y { y1 , y2 ,..., ys }
定义一：信道容量定义为信息传输率或平 均互信息的最大值。
(信息论)第二、三章习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
2014.信息论.第3章离散信源
设信源输出符号集合，每次信源输
9
是⼀一个离散⽆无记忆信源，其概率空间为
其中
信源X的符号集合为
N次扩展信源X N符号集合为
15
的有记忆平稳信源（⼆二维平稳信源）输
23
当且仅当X 1和X 2统计独⽴立时等号成⽴立，此时信源相当于⼆二次⽆无记忆扩展；
当X 1和X 2之间相关时，联合熵⼩小于信息熵之和，即⼩小于单个消息符号X 熵的 2 倍。
由于
25
例：设某⼆二维离散信源X =的原始信源X 的信源模型为
中前后两个符号的条件概率
7/92/901/83/41/80
2/11
9/11
(1)若该信源为⼆二维⽆无记忆扩展信源，求信源的熵。
(2)若该信源为⼆二维平稳信源，如表，求信源的熵。
26
原始信源的熵为：
由条件概率确定的条件熵为：
由于符号之间的依赖性，条件熵⽐比信源熵减少了0.672bit
⼆二维离散⽆无记忆扩展信源的熵为：2H(X)=2*1.542=3.084(bit ）7/92/901/83/4
1/8
2/119/11
27
信源X=
平均每发⼀一个消息所能提供的信息量，即联合熵
则每⼀一个信源符号所提供的平均信息量
⼩小于信源X所提供的平均信息量H(X)=1.542bit，这是
由于符号之间的统计相关性所引起的。
28
维平稳信源输出序列每N个符号⼀一组；各
30
则有：
时：
随N的增加是⾮非递增的；
给定时，平均符号熵≥条件熵；
–平均符号熵随N增加是⾮非递增的；
34
解：
35
1,2,......,J 某时刻随机
……
43
44。
信息论与编码（第3版）第3章部分习题答案
3.1设信源()12345670.20.190.180.170.150.10.01X a a a a a a a P X ⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭ (1) 求信源熵()H X (2) 编二进制香农码(3) 计算平均码长及编码效率。
答：(1)根据信源熵公式()()()()21log 2.6087bit/symbol i i i H X p a p a ==−=∑(2)利用到3个关键公式：①根据()()()100,0i a i k k p a p a p a −===∑计算累加概率；②根据()()*22log 1log ,i i i i p a k p a k N −≤<−∈计算码长；③根据()a i p a 不断地乘m 取整（m 表示编码的进制），依次得到的i k 个整数就是i a 对应的码字根据①②③可得香农编码为(3)平均码长公式为()13.14i i i K p a k ===∑单符号信源L =1，以及二进制m =2, 根据信息率公式()2log bit/symbol m KR K L==编码效率()83.08%H X Rη==3.2对习题3.1的信源编二进制费诺码，计算其编码效率答：将概率从大到小排列，且进制m=2,因此，分成2组（每一组概率必须满足最接近相等）。
根据平均码长公式为()12.74i iiK p a k===∑单符号信源L=1，以及二进制m=2, 根据信息率公式()2log bit/symbolmKR KL==编码效率（信源熵看题3.1）()95.21%H XRη==3.3对习题3.1的信源编二进制赫夫曼码，计算平均码长和编码效率答：将n个信源符号的概率从大到小排列，且进制m=2。
从m个最小概率的“0”各自分配一个“0”和“1”，将其合成1个新的符号，与其余剩余的符号组成具有n-1个符号的新信源。
排列规则和继续分配码元的规则如上，直到分配完所有信源符号。
必须保证两点：(1)当合成后的信源符号与剩余的信源符号概率相等时，将合并后的新符号放在靠前的位置来分配码元【注：“0”位表示在前，“1”表示在后】，这样码长方差更小；(2)读取码字时是从后向前读取，确保码字是即时码。
信息论与编码理论-第3章信道容量-习题解答-Word版
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号 输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论讲义-第三章(7讲)
信息理论基础第7讲北京航空航天大学201教研室陈杰2006-12-423.5 马尔可夫信源3.5.1 马尔可夫过程3.5.2 有限状态马尔可夫链3.5.3 马尔可夫信源2006-12-433.5.1 马尔可夫过程1. 定义：设{X (t ), t ∈T }是随机过程，任取0 ≤t 1<t 2<···<t n ，t i ∈T,i=1,2, ···n ,若t 1,t 2,···,t n 时刻, 取值分别为x 1,x 2, ···,x n ，并有()()k n k n n n n n n n n n n n n n t x t x t x t x P t x t x t x t x P −−−−−−−−−−=,;;,;,|,,;;,;,|,2211112211 注：•k=0时，称为零阶马尔可夫过程。
•零阶马尔可夫过程=白噪声过程。
2006-12-443.5.1 马尔可夫过程2. 分类a. 状态离散时间参数集T 离散——马尔可夫链b. 状态离散时间参数集T 连续——离散马尔可夫过程c.状态连续时间参数集T 离散——马尔可夫序列（泊松过程）d. 状态连续时间参数集T 连续——连续马尔可夫过程2006-12-453.5.2 有限状态马尔可夫链1.定义：设{x n , n ∈N +}为一随机序列，时间参数集N +={0,1,2,…}, 其状态空间S={S 1,S 2,…S J }有限或可数，若对所有n ∈N +，有()()12111211|,,,|n n n n n n i n i n i i n i n i P X S X S X S X S P X S X S −−−−−−======= 则称, {x n ,n ∈N +}为马尔可夫链，即有限状态一阶马尔可夫链。
2006-12-463.5.2 有限状态马尔可夫链解释：(1)S={S 1,S 2,…S J }是状态空间即x n 所有可能取值nX t12……1n −n••••••••1n i S −⎫⎪⎪⎪⎬⎪⎪⎪⎭{}112,,,n i J S S S S −∈ 状态2006-12-473.5.2 有限状态马尔可夫链(2) 转移概率m 时刻状态S i ，经(n-m )步后转移到状态S j 的概率nX t012……n••••••••⎫⎪⎪⎪⎬⎪⎪⎪⎭m……••••••••⎧⎪⎪⎪⎨⎪⎪⎪⎩iS jS S ()()(),||,ij n j m i n m p m n P X S X S P X j X i i j S=====∈简记2006-12-483.5.2有限状态马尔可夫链•基本转移概率（即一步转移概率）一步转移概率p ij (m,m+1)记成p ij (m )()()1|ij m j m i p m P X S X S +===()()0,1ij ij j Sp m i j S p m i S ∈⎧≥∈⎪⎨=∈⎪⎩∑2006-12-493.5.2 有限状态马尔可夫链•k 步转移概率k 步转移概率p ij (m,m+k )记成p (k )ij (m )()()()|k ijm k j m i p m P X S X S +===()()()()0,1k ij k ij j Sp m i j S p m i S ∈⎧≥∈⎪⎨=∈⎪⎩∑2006-12-4103.5.2 有限状态马尔可夫链•k 步转移矩阵m 时刻的k 步转移矩阵()(){},,k ij P m i j S =∈P ()()()()()()()()()()()()()()()()()()111212122212k k k J k k k J k k k J J JJ p m p m p m p m p m p m p m p m p m ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦每行之和都为1()()()()0,1k ij k ij j Sm p m i j S p m i S ∈⎧⎪⎪≥∈⎨⎪=∈⎪⎩∑P 是随机矩阵，随变化2006-12-411(3) K 阶马尔可夫链()()1211212112|,,,|n n n n n n n kn i n i n i i n i n i n i n k i P X S X S X S X S P X S X S X S X S −−−−−−−−−−========= ，，，nX t12……••••••••••••••••n k −1n −n••••••••……n ki S −S {}112,,,n i J S S S S S −∈= 状态空间2006-12-412(4) 时齐马尔可夫链（齐次马尔可夫链）若p ij (m )=P (x m+1=S j |x m =S i )于时刻m 无关。
信息论-基础理论与应用第三版(傅祖芸)-第三章PPT课件
单符号离散信道的相关概率关系
（1）联合概率
Hale Waihona Puke P ( a ib j) P ( a i) P ( b j/a i) P ( b j) P ( a i/b j)
其中
P (b j / ai ) 前向概率，描述信道的噪声特性 P ( a i ) 输入符号的先验概率 P (ai / b j ) 后向概率（后验概率）
X ,Y
p ( x ) X ,Y
p(x | y)
p ( xy ) log p ( x | y ) p ( xy ) log p ( y | x )
X ,Y
p ( x ) X ,Y
p(y)
p ( xy )
p ( xy ) log
X ,Y
p(x) p(y)
I(X;Y)是I (x ; y)的统计平均，可以证明I(X;Y)≥0 。 若I(X;Y)
r
P(ai)P(bj |ai)
i1
(其中P(bj)0,i 1,2,...r,; j 1,2,...s,)
且
含义：
r
P(ai / bj ) 1
i 1
输出端收到的某符号，必是输入端某一符号输入所致。
3.2 信道疑义度与平均互信息
研究离散单符号信道的信息传输问题。
一、信道疑义度
先验熵：即信道输入信源X的熵
X,Y
p(x)p(y)
I(X;Y) = H(X) + H(Y) - H(XY)
其中：
H ( X |Y ) ＝ p ( x ) ly o1 g ;H ( Y |X ) ＝ p ( x ) ly o1 g
X ,Y
p ( x |y )
X ,Y
p ( y |x )
信息论与编码第3版第3章习题解答
第3章 无失真离散信源编码习题3.1 设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a P X(1) 求信源熵H (X )； (2) 编二进制香农码；(3) 计算其平均码长及编码效率。
解： (1)()()log ()(.log ..log ..log ..log ..log ..log ..log .).7212222222=-020201901901801801701701501501010010012609 i i i H X p a p a bit symbol(2)a i p (a i ) p a (a i ) k i 码字 a 1 0.2 0 3 000 a 2 0.19 0.2 3 001 a 3 0.18 0.39 3 011 a 4 0.17 0.57 3 100 a 5 0.15 0.74 3 101 a 6 0.1 0.89 4 1110 a 70.010.9971111110(3)()3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.1471i i i K k p a()() 2.609=83.1%3.14H X H X R K3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。
解：a i p (a i ) 编 码 码字 k i a 1 0.2 000 2 a 2 0.19 1 0 010 3 a 3 0.18 1 011 3 a 4 0.17 110 2 a 5 0.15 10 110 3 a 6 0.1 10 1110 4 a 70.011 11114()2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.7471i i i K k p a()() 2.609=95.2%2.74H X H X R K3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。
信息论第三章题解
第三章习题3.2 设一无记忆信源的符号集为{}1,0，已知信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡434110P X （1） 求消息符号的平均熵；（2） 由100个符号构成的序列，求每一序列（例如有m 个“0”和)100(m -个“1”构成）的自信息量的表达式；（3） 计算)2(中的熵。
解：（1）此消息符号的平均熵为)(8113.0)43log 4341log 41()(bit X H =+-=（2）设一特定序列含有m 个“0”和)100(m -个“1”，所以mm X p -⎪⎭⎫ ⎝⎛⎪⎭⎫ ⎝⎛=1004341)(，3log )100(2004341log )(log )(100-+=⎪⎭⎫⎝⎛⎪⎭⎫ ⎝⎛-=-=-m x p X I mm（4） 由定义13.818113.0100)(100)(100=⨯==X H X H 。
3.3 设离散无记忆信源为 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0654321a a a a a a P X 求信源的熵，并解释为什么6log )(>X H 不能满足信源的极值性。
解：因为信源是无记忆的，所以6571.2)17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(=+++++-=-=∑Xi i x p x p X H 而log6 = 2.5850 因为107.161>=∑=i ip，所以此空间不是概率空间，H(X)不存在。
3.7 设有一个信源，它产生0，1序列的消息。
该信源在任意时间而且不论以前发生过什么消息符号，均按6.0)1(,4.0)0(==p p 的概率付出符号。
（1） 试问这个信源是否平稳；（2） 试计算)(lim ),|(),(2132X H X X X H X H N N ∞→及；（3） 试计算符号信源中可能发出的所有并写出44)(X X H 。
信息论第三章答案
信息论第三章答案3.2.设二元对称信道的传的矩阵32313132。
（1）、若P （0）=43,P(1)=41,求H(X),H(X/Y),H(Y/X)和I(X;Y); （2）、求该信道的信道容量及其达到信道容量时的输入概率分布。
解：(1)、H(X)=-symbol bit x p ii /81.0)41log 4143log 43()(=+?-=∑ H(Y/X) =-)/(log )/()(i j i j i j i x y p x y p x p ∑∑ =-(32log 324131log 314131log 314332log 3243?+?+?+?) = 0.92bit/symbolP )/()()/()()()()(21211112111x y p x p x y p x p y x p y x p y +=+= =31413243?+?=0.58 同理可得：p(2y )=0.42H (Y)=-(0.42×log0.42+0.58×l og0.58)=0.980bit/symbol得：H(X/Y)=H(X)-H(Y)+H(Y/X)=0.81-0.98+0.92=0.75bit/symbolI(X;Y)=H(X)-H(X/Y)=0.81-0.75=0.06bit/symbol(2)由题：C=maxI(X;Y)=logm-mi H =log2-(32log 3231log 31+)=0.082bit/symbol 因为信道容量达到最大值即X 等概率出现即：p(i x )=21 3.6、有一个二元对称信道，其信道矩阵为??098.02.002.098.0。
设该信源以1500二元符号/每秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设P(0)=P(1)=21,问从消息传输的角度来考虑，10秒钟内能否将这些消息序列无失真的传递完？解：由题得：C=max[H(Y)-ni H ]=log2-ni H =1+0.98log0.98+0.02log0.02=0.859bit/symbol 即每输入一个信道符号，接收到的信息量是0.859bit,已知信源输入1500二元符号/每秒，那么每秒钟的信息量是：1I =(1500symbol/s )×0.859bit/symbol=1288bit/s10秒钟传输：2I =101I =12880bit传送14000个二元符号，P(0)=P(1)=21 则有：3I =14000×(21log 21×2)=14000bit 得出：2I ﹤3I 即10秒内不能将消息序列无失真传递完3.11、已知离散信源?=4.02.03.01.0)(4321x x x x X P X ，某信道的信道矩阵为2.04.03.01.02.01.02.05.01.01.02.06.04.01.03.02.0试求：（1）、“输入3x ，输出2y ”的概率；（2）、“输出4y ”的概率；（3）、“收到3y 的条件下推测输入2x ”的概率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
三 章
由定理3.1可知，对于每一个确定信道，都有一个信源分布，使得信息传 输率达到最大值，我们把这个最大值称为该信道的信道容量。
信
道 与
➢信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。
信
C max{I (X ,Y )} max{H ( X ) H ( X / Y )}
道 容
P(X )
❖ 有干扰无记忆信道可分为:
▪ 二进制离散信道
▪ 离散无记忆信道
▪ 离散输入、连续输出信道
▪ 波形信道
2020/4/1 西北大学信息学院
10
信息论与编码
第
三 ❖有干扰有记忆信道
章
一般情况都是如此，例如实际得数字信
信 道 与 信
道中，当信道特性不理想，存在码间干扰时，输 入信号不但与当前得输入信号有关，还和以前的 输入信号有关。
2020/4/1 西北大学信息学院
16
无干扰离散信道
信息论与编码
第
三 ❖无噪无损信道
章 ❖由
信
H (X | Y ) p(xi , y j ) log p(xi | y j )
道
ij
与
H (Y | X ) p(xi , y j ) log p( y j | xi )
信
ij
道 ❖ 计算得：
道
i
j
容
p(bj | ai ) log p(bj | ai )
j
H (Y | ai ) i 1,2, n
H(Y | X ) H(Y | ai ) H( p1, p2, pm)
2020/4/1 西北大学信息学院
26
对称DMC信道
信息论与编码
第 三 ❖对称DMC信道的容量： 章
信 道
C log m H ( p1, p2 pm )
❖ 不具有对称性,因而所对应的信道不是对称离 散信道。
2020/4/1 西北大学信息学院
24
对称DMC信道
信息论与编码
第 三 ❖ 若输入符号和输出符号个数相同,都等于n,且信道矩阵为 章
信 道 与 信
道
1 p
P
n
p 1
p n 1 1 p
p n p1 n 1
容
p n 1
p n 1
1 p
❖此信道称为强对称信道 (均匀信道)
2020/4/1 西北大学信息学院
28
信息论与编码
第 三 章
H(Y) ( p p)log 1 ( p p)log 1
p p
p p
信
H( p p)
道
与 H (Y | X ) p(ai ) p(bj | ai ) log p(bj | ai )
▪ 信道矩阵中各列之和也等于1
2020/4/1 西北大学信息学院
25
对称DMC信道
信息论与编码
第 三 ❖对称离散信道的平均互信息为 章
信 I(X ,Y) H(X ) H(X |Y) H(Y) H(Y | X )
道
与 信
H (Y | X ) p(ai ) p(bj | ai ) log p(bj | ai )
22
3.2.2 对称DMC信道
信息论与编码
第 三 ❖对称离散信道： 章 ❖对称性:
信 道 与
▪ 每一行都是由同一集{p1, p2,…pm} 的诸元素不 同排列组成——输入对称
信 ▪ 每一列都是由集{q1, q2,…qn}的诸元素不同排
道
列组成——输出对称
容
1 1 1 1
P
ቤተ መጻሕፍቲ ባይዱ
3
3
6
6
1 1 1 1
5
信道分类
信息论与编码
第
三 ❖ 按输入/输出之间关系的记忆性来划分：
章 ❖无记忆信道：
信 道 与
▪ 信道的输出只与信道该时刻的输入有关,而与 其他时刻的输入无关
信 ❖有无记忆信道：
道 容
▪ 信道的输出不但与信道现时的输入有关而且 还与以前时刻的输入有关
2020/4/1 西北大学信息学院
6
信道分类
21
无干扰离散信道
信息论与编码
第
三
章 ❖无噪无损信道
信 道 与
C
max
p(ai )
I
(
X
;Y
)
max
H
(
X
)
max
H
(Y
)
log
2
n
❖ 无噪有损信道
信
道 容
C
max
p(ai )
I
(
X
;Y
)
max
H
(Y
)
log
2
m
❖ 有噪无损信道
C
max
p(ai )
I
(
X
;Y
)
max
H
(
X
)
log
2
n
2020/4/1 西北大学信息学院
| |
b1 b2
) )
1 1
p(a1 | b3 ) 1
❖ 同理
p(a2 p(a2
| |
b4 ) b5 )
1 1
2020/4/1 西北大学信息学院
X
a1
a2
1/3 1/3 1/3 1/4
3/4
1 1 1
P
3
3
3
0
0
0
20
b1 Y
b2 b3
b4
b5
0
0
1 3
4 4
无干扰离散信道
信息论与编码
噪声熵等于零
2020/4/1 西北大学信息学院
19
而没有增加。
无干扰离散信道
信息论与编码
第 三 ❖有噪无损信道 章 ▪ 一个输入对应多个输出(n＜m)
信 道 与
❖
由
p(b1 p(b2
| |
a1 ) a1 )
1/ 3 1/ 3
信
p(b3 | a1) 1/ 3
道 容
❖
计算得
p(a1 p(a1
,) n 1
BSC信道容量
信息论与编码
第
三 ❖ 设二进制对称信道的输入概率空间 章 ❖ 信道矩阵： 信
X
P
0
1
道 与 信
道
P
1 p
p
p 1
p
p p
p p
容 1
p(b 0) p(ai ) p(b0 | ai ) p p
i0
1
p(b 1) p(ai )p(b1 | ai ) p p i0
道
容
2020/4/1 西北大学信息学院
11
信息论与编码
第
三 章
3.2 离散单个符号信道及其容量
信
道
3.2.1 无干扰离散信道
与
信
3.2.2 对称DMC信道
道
容
3.2.3 准对称DMC信道
3.2.4 一般DMC信道
2020/4/1 西北大学信息学院
12
信道容量
第 信息传输率：R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)] bit/符号
|
X
)
1, 0,
Y f(X) Y f(X)
2020/4/1 西北大学信息学院
9
信息论与编码
第
三 ❖有干扰无记忆信道
章 ▪ 信道的输出信号Y与输入信号X之间没有确定
信
的关系,但转移概率满足:
道
与 信
p(Y | X ) p( y1 | x1) p( y2 | x2) p( yL | xL )
道 容
信 ▪ 输入和输出的随机序列取值都是离散的信道
道 ❖连续信道：
与 信
▪ 输入和输出的随机序列取值都是连续的信道
道 ❖半离散(半连续)信道：
容 ▪ 输入变量取值离散而输出变量取值连续
▪ 输入变量取值连续而输出变量取值离散
❖ 波形信道：
▪ 信道的输入和输出都是一些时间上连续的随 机信号。
2020/4/1 西北大学信息学院
信 道
▪ 信息论不研究信号在信道中传输的物理过程,
容
并假定信道的传输特性已知,这样信息论就可
以抽象地将信道用下图所示的模型来描述。
输入量X (随机过程)
p(Y|X) 信道
输出量Y (随机过程)
2020/4/1 西北大学信息学院
4
3.1.1 信道分类
信息论与编码
第 三 ❖ 按输入/输出信号在幅度和时间上的取值: 章 ❖离散信道：
容
X a1
1
Y
b1
1 0 0
a2
1
b2 a3
P 0 1 0 0 0 1
2020/4/1 西北大学信息学院
1
b3
15
无干扰离散信道
第
三
章 ❖无噪无损信道
信
道
与
X a1 1
信
a2
道
容 an-1
an
1
信息论与编码
b1 Y
b2
bn-1 bn
0 0 P 0 1
0 0 1 0 1 0 1 0 0 0 0 0
X a1
a2 a3
1 1 1
道
a4
1
容
1
a5
Y
1 0
b1
1 0
P 1 0
b2
0 1 0 1
p(bi | a j ) 1或0
p(ai
|
bj
)
1或0
2020/4/1 西北大学信息学院