《信息论与编码》曹雪虹-张宗橙清华大学出版社可配北邮版本
第8章网络信息理论简介-信息论与编码(第3版)-曹雪虹-清华大学出版社
PS2
2 n
8.3.2 高斯多址接入信道
• 信号平均功率受限：
E[X12 ] PS1 ,
E[
X
2 2
]
PS2
• 可达速率区是满足下式的凸闭包：
R1 I ( X1;Y / X 2 ) R2 I ( X 2;Y / X1) R1 R2 I ( X1, X 2;Y )
8.3.2 高斯多址接入信道
信源1
编码器1 X1
Y1
译码器1
信宿1
信源2 U2 编码器2 X2
Y2
通 信 网
译码器2
信宿2
信源m Um 编码器m Xm
Ym
译码器n
信宿n
8.3 网络信道的信道容量域
8.3.1 离散多址接入信道
• 为了信息的可靠传输，各发送者不但要克 服信道噪声，而且还要克服各发送端彼此 之间的串扰。
信源U1 信源U2
C
送端各占一半的传送
D 时间，可达容量区域 是 AB 连线所围的区域。
0
B
R1
C12-C2
C1
C12
8.3.2 高斯多址接入信道
• 若设在总传送时间 T 内，QT用来传送X1，
(1- Q)T 用来传送X2，其中 0 Q 1 。
那么在传送 X1时，X 2 0 ；在传送 X2 时， X1 0 。若保持平均功率不变，则 传送 X1 时功率可以提高到 PS1 / Q ，而 X2 功率可提高到 PS2 。可得
C12
C12
max
P1 ( x1 ) P2 ( x2 )
I ( X1,
X 2;Y )
R1
8.3.2 高斯多址接入信道
• 各信源来的信号在接收端相加，并受加性
信息论与编码_曹雪虹_张宗橙_北京邮电大学出版社课后习题答案
得：随意取出一球时，所需要的信息量为 （1） P（红）= P（白）=1/2
1 1 1 1 H（X）= log 2 log 2 2 2 2 2
= 1比特
3 2013-8-9
（2）P（白）= 1/100 P（红）= 99/100 所以 1 H（X）= log 2
100
1 99 99 log 2 100 100 100
13 2013-8-9
2-10
解： (1)H(colour)=2/38log19+2*(18/38)log(38/18) =0.22+1.02=1.24bit (2)H(colour,number)=H(number)=log38 =5.25bit (3)H(number|colour)=H(c,n)-H(c) =5.25-1.24=4.01bit
8 2013-8-9
2-5
解： （1）I=log18=4.17bit （2）略
9 2013-8-9
2-6
解：
(1) 平均每个符号携带的信息量：
H(X)=14/45log(45/14)+13/45log(45/13) +12/45log(45/12)+6/45log(45/6) =1.95比特/符号 (2)消息自信息量： I=1.95*45=87.8
40 2013-8-9
信源熵
H w1 H ( x / s1) w2 H ( x / s2) w3 H ( x / s3) 1.435
41 2013-8-9
5
2-23
略
28 2013-8-9
2-24
解： 1 3 4 H ( x) log 4 log 0.81 (1)
信息论与编码(曹雪虹 张宗橙)第二、三章答案
2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为：对应的状态图如右图所示。
设各符号稳定概率为：1p ，2p ，3p 则可得方程组： 1p =211p +312p +313p 2p =211p +323p3p =322p1p +2p +3p =1解得各符号稳态概率为：1p =2510，2p =259，3p =256 2-2.解：该马尔可夫信源的符号条件概率矩阵为：状态转移概率矩阵为：对应的状态图如右图所示。
设各状态的稳态分布概率为1W ,2W ,3W ,4W ,则可得方程组为：1W =0.81W +0.53W 2W =0.21W +0.53W 3W =0.52W +0.24W4W =0.52W +0.84W1W +2W +3W +4W =1解得稳定分布的概率为:1W =145，2W =142，3W =142，4W =145 2-3.解：（1）“3和5同时出现”事件的概率为： p(3,5)=181故其自信息量为： I(3,5)=-㏒2181=4.17bit （2）“两个1同时出现”事件的概率为：p(1,1)=361故其自信息量为： I(1,1)=- ㏒2361=5.17bit （3）两个点数的各种组合构成的信源，其概率空间为：则该信源熵为： H(x 1)=6×361lb36+15×181lb18=4.337bit/事件（4）两个点数之和构成的信源，其概率空间为：则该信源的熵为： H(x 2)=2×361lb36+2×181lb18+2×121lb12+2×91lb9+2×365lb 536+61lb6=3.274bit/事件（5）两个点数中至少有一个是1的概率为： p(1)=3611 故其自信息量为：I(1)= -㏒23611=1.7105bit 2-7.解：（1）离散无记忆信源的每个符号的自信息量为I(x 1)= -㏒283=1.415bit I(x 2)= -㏒241=2bitI(x 3)= -㏒241=2bitI(x 4)= -㏒281=3bit（2）由于信源发出消息符号序列有12个2，14个0，13个1，6个3，故该消息符号序列的自信息量为： I(x)= -㏒2(83)14 (41)25 (81)6=87.81bit平均每个符号携带的信息量为： L H (x)=45)(x I =1.95bit/符号 2-10解：用1x 表示第一次摸出的球为黑色，用2x 表示第一次摸出的球为白色，用1y 表示第二次摸出的球为黑色，用2y 表示第二次摸出的球为白色，则(1)一次实验包含的不确定度为：H(X)=-p(1x )lbp(1x )-p(2x )lbp(2x )=-13lb 13-23lb 23=0.92 bit (2)第一次实验X 摸出的球是黑色，第二次实验Y 给出的不确定度: H(Y|1x )=-p(1y |1x )lb p(1y |1x )-p(2y |1x )lb p(2y |1x )= -27lb 27-57lb 57= 0.86 bit(3)第一次实验X 摸出的球是白色，第二次实验Y 给出的不确定度:H(Y|2x )=-p(1y |2x )lb p(1y |2x )-p(2y |2x )lb p(2y |2x )= -514lb 514-914lb 914= 0.94 bit（4）第二次Y 包含的不确定度：H （Y|X ）= -(,)(|)i j j i ijp x y lbp y x å= p(1x ) H(Y|1x )+p(2x )H(Y|2x ) =0.91 bit 2-11 解：（1）仅对颜色感兴趣的不确定度： H(colour)=H （238，1838，1838）= -238lb 238- 2´1838lb 1838=1.24 bit (2) 对颜色和数字都感兴趣的平均不确定度： H(clour,number)=H(number)= -18´118lb 118= 5.25 bit (3)颜色已知的条件熵：H （number|colour ）=H （colour,number ）- H(colour)=(5.25-1.24) bit=4.01 bit 2-12 解：（1）实验Ｘ和Ｙ的平均信息量： H(X,Y)= - (,)i j ijp x y ålb (,)i j p x y = -(,)i j ijr x y ålb (,)i j r x y=H(724,124,0,124,14,0,124,724) =2.3 bit/符号（2）由联合概率，可得p(1y )=11(,)p x y +21(,)p x y +31(,)p x y=11(,)r x y +21(,)r x y +31(,)r x y=724+124+0 =13同理可得P(2y )=p(3y )=13,则实验Y 的平均信息量：H(Y)=H(13,13,13)=1.58 bit/符号（3）在已知实验Y结果的条件下，实验X的平均信息量：H(X|Y)=H(X,Y)-H(Y)=(2.3-1.58) bit/符号=0.72 bit/符号2-13解：由X和Y的联合概率，可得P(x=0)=p(x=0,y=0)+p(x=0,y=1)= 18+38=12同理，p(x=1)= 12, p(y=0)=p(y=1)=12由于Z=XY，由X和Y的联合概率，可得P(z=0)= P(x=0,y=0)+P(x=1,y=0)+P(x=0,y=1)= 7 8P(z=1)=p(x=1,y=1)= 1 8P(x=0,z=0)= P(x=0,y=0)+ P(x=0,y=1)= 12, P(x=0,z=1)=0P(x=0,y=0)P(x=0,y=0) P(x=0,y=0) P(x=0,y=0)P(x=1,z=0)= P(x=1,y=0)= 38, P(x=1,z=1) =P(x=1,y=1)=18P(y=0,z=0)= 12P(y=0,z=1)=0 P(y=1,z=0)=38P(y=1,z=1)=18P(x=0,y=0,z=0)= 18P(x=0,y=0,z=1)=0 P(x=0,y=1,z=0)=38P(x=0,y=1,z=1)=0 P(x=1,y=0,z=0)= 38P(x=1,y=1,z=0)=0P(x=0,y=0,z=1)=0 P(x=0,y=1,z=1)=0 P(x=1,y=1,z=1)= 18,则:(1) H(X)=H(12,12)=1 bitH(Y)=H(12,12)=1 bitH(Z) =H(18,78)= 0.54 bitH(X,Z)=H(12,0,38,18)=1.41 bitH(Y,Z) =H(12,0,38,18)=1.41 bitH(X,Y,Z) =H(18,0,38,0,38,0,0,18)=1.8 bit(2) H(X,Y)=H(18,38,18, 38)=1.81 bitH(X|Y)= H(X,Y) – H(Y)=0.81 bit H(Y |X)= H(X,Y) – H(X)=0.81 bit H(X|Z)= H(X,Z) – H(Z)=0.87 bit H(Z|X)= H(X,Z) – H(X)=0.41 bit H(Y|Z)= H(Y ,Z) – H(Z)=0.87 bit H(Z|Y)=H(Y ,Z)-H(Y)=0.41bitH(X|Y ,Z)=H(X,Y ,Z)-H(Y ,Z)=0.4bit H(Y|X,Z)=H(X,Y ,Z)-H(X,Z)=0.4bit H(Z|X,Y)=H(X,Y ,Z)-H(X,Y)=0(3) I(X;Y)=H(X)-H(X|Y)=0.19bit I(X;Z)=H(X)-H(X|Z)=0.13bit I(Y;Z)=H(X)-H(Y|Z)=0.13bitI(X;Y|Z)=H(X|Z)-H(X|Y,Z)=0.47bit I(Y;Z|X)=H(Y|X)-H(Y|X,Z)=0.41bit I(X;Z|Y)=H(X|Y)-H(X|Y ,Z)=0.41bit 2-14 解：依题意，可得信道传输概率p(y=0|x=0)=1-p(y=1|x=0)=3/4, p(y=1|x=1)=1-p(y=0|x=1)=7/8 联合概率：p(x=0,y=0)=p(y=0|x=0)p(x=0)=3/8同理：p(x=0,y=1)=1/8,p(x=1,y=0)=1/16,p(x=1,y=1)=7/16 概率：p(y=0)=p(x=0,y=0)+p(x=1,y=0)=7/16 p(y=1)=p(x=0,y=1)+p(x=1,y=1)=9/16后验概率：p(x=0|y=0)=p(x=0,y=0)/p(y=0)=(3/8)/(7/16)=6/7 同理：p(x=1|y=0)=1/7,p(x=0|y=1)=2/9,p(x=1|y=1)=7/9,则（1） I （x;y=0）=(|0)(|0)log()i i ii p x y p x y p x ==å）22(0|0)(1|0)(0|0)log (1|0)log (0)(1)p x y p x y p x y p x y p x p x =======+====616177(log log )/0.41/117722bit bit =+=符号符号22222(|)()(|)log ()(0|0)(1|0)(0)(0|0)log (0)(1|0)log (0)(1)(0|1)(1|1)(0)(0|1)log (1)(1|1)log (0)(1)76(l 167i j j i j iji p x y p y p x y p x p x y p x y p y p x y p y p x y p x p x p x y p x y p y p x y p y p x y p x p x ========+=========+===+======å（2）I(X;Y)=222261277192977799og log log log )/111116716916922220.31/bit bit +++=符号符号21211111211212211212)(|)()(|)()(|)()112121722343412a P x a x a P x a P x a x a P x a P x a x a P x a =====+===+====???2-29 解：由已知起始概率和转移概率，可得：P(x 2223122211222122213255P(),()2424111111)(log log log ) 1.5224444111111H(|)(log log log ) 1.52244442211H(|)log 0log )0.9183333221H(|)log 333x a P x a bit bit x a bit bitx a bit bitx a =====---==---==-+-==--同理可得：由起始概率，可得：H(x 另外：21log 0)0.9183bit bit+=2111211222132332213122321333H(|)()(|)()(|)()(|)111( 1.50.9180.918) 1.209244H(|)()(|)()(|)()(|)755( 1.50.9180.918) 1.257122424x x P x a H x a P x a H x a P x a H x a bit bit x x P x a H x a P x a H x a P x a H x a bit bit H ==+=+==???==+=+==???12,31213121213212,3(,)H()H(|)H(|)H()H(|)H(|)(1.5 1.209 1.257) 3.996(,) 3.996()/331.322/L x x x x x x x x x x x x x x bit bitH x x x H x bit bit =++=++=++====符号符号12312311321231231231122332)w w w 122w w 23311w w 4311w w 43w w w 1833w ,w ,w ,141414()w (|)(|)(|)833( 1.50.9180.918) 1.251141414r r r w w w w H x H x a w H x a w H x a bit bit¥++=+=+=++=====++=???，（设各稳定时的概率为，，则解得：该链的极限平均符号熵为000111220(3)log 3 1.58/ 1.2511(/)10.211.417883333(log log log ) 1.4137/1414141414141.251()10.1151.4171.251/H bit r y H H H bit bit H r y H H H bit r ¥¥¥====-=-=-==---==-=-=-===符号符号符号2-30解：依题意，状态转移图如下图所示，其状态转移概率矩阵为P=213310⎛⎫⎪ ⎪ ⎪⎝⎭设状态稳定概率为1W 、2W ，则：231W +2W =1W 131W =2W 解得：1W =34 ；2W =141W +2W =1则：H(X |1S )=-232log 23-132log 13=0.918bit H(X |2S )=0信源熵为：H （X ）=1W H(X |1S )+2W H(X |2S )=(34*0.918+14*0)bit=0.688bit2-32解：（1）由状态图，可得状态转移概率矩阵为：P=122122122p p p p p p p p p ⎛⎫- ⎪ ⎪ ⎪- ⎪ ⎪ ⎪- ⎪⎝⎭设状态稳定概率为1W ,2W ,3W ，则： （1-p ）1W +2p 2W +2p3W =1W2p1W + (1-p) 2W +2p3W =2W 解得：1W =2W =3W =13，2p1W +2p2W +(1-p) 3W =3W 即p(0)=p(1)=p(2)= 131W +2W +3W =1(2) H(X|0)=H(X|1)=H(X|2)= - (1-p) 2log (1-p) -2p 2log 2p -2p 2log 2p= - (1-p) 2log (1-p) - p 2log 2pH ∞(X)=p(0)H(X|0)+p(1)H(X|1)+p(2)H(X|2)= - (1-p) 2log (1-p) - p 2log 2p bit (3) H(X)= 2log 3=1.58bit(4) 令()0dH X dp ∞=，得lnln(1)1120ln 2(1)ln 2ln 2ln 2pp p p --+---=- 解得p=23，则： 当p=23时，H ∞(X)= （- 132log 13-232log 13）bit =1.58 bit当p=0 时， H(X)=0当p=1时，H(X)=13-1 解（1）由输入概率分布和概率转移，可得： 00(,)p x y =00(|)p y x 0()p x =23*34=12同理，可得：01(,)p x y =14； 10(,)p x y =112； 11(,)p x y =16，则：0()p y =00(,)p x y +10(,)p x y =12+112=7121()p y =01(,)p x y +11(,)p x y =14+16=512因此，H(X)=( - 342log 34- 142log 14) bit =0.811 bit H(X ，Y)=( - 122log 12- 142log 14 - 1122log 112-162log 16)bit=1.73bit H(Y)=( -7122log 712 - 5122log 512)bit=0.98bit H(Y|X)=H(X ，Y)-H(X)=(1.73-0.811)bit=0.919 bitH(X|Y )= H(X ，Y)-H(X)=(1.73-0.98)bit=0.75bit I(X ；Y)=H(X)-H(X|Y)=(0.811-0.75)bit=0.061bit （2）该信道是对称DMC 信道，信道容量为 C= 2log m -1log mijij j pp =∑= 2log 2 +23 2log 23+ 13 2log 13=0.082bit 达到信道容量时输入概率分布为：0()p x = 1()p x =123-2 解：(1)由信源的概率分布和转移概率，可得11(,)p x y =11(|)p y x 1()p x =12α 同理可得：12(,)p x y =12α，13(,)p x y =0 ，21(,)p x y =12（1-α）， 22(,)p x y =14（1-α），23(,)p x y =14（1-α），则：1()p y =11(,)p x y +21(,)p x y =12α+12（1-α）=12，同理可得: 2()p y =14α+14；3()p y =14（1-α）因此，接收端的平均不确定度为：2222211111111log ()log ()(1)log (1)22444444311log (1)log (1)()244bit -??--??+??=-+?-?（2）由于噪声产生的不确定度为：22222111111111(|X )=l o g l o g 0l o g l o g l o g 22222244443()22H Y bit ????--?---¶=-由于互信息为：223113I X;Y)=H(Y)-(Y|X)=[-log (1)log (1)]24422+?抖+?-?-（（）令(;)0dI X Y d =¶,可得：35?，则：(3(;)()0.161bit 5max i p a C I X Y C ==?=）3-6 解：该信道的概率转移矩阵为 110022110022P=11002211022骣÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç桫 可见，该信道为对称DMC 信道，因此，该信道的信道容量为： 42222211111C log m log log 4log ()log ()12222ij ij j p p bit ==+=++=å3-7解：（1）由发送符号的概率分布和转移概率，可得： 1111111(,)(|)()0.536p x y p y x p x ==? 同理可得：12132122233132331121(,),(,),(,),(,)10151510113(,),(,),(,),(,)0103010p x y p x y p x y p x y p x y p x y p x y p x y ========11121311211()(,)(,)(,)615303p y p x y p x y p x y =++=++= 同理可得：2311(),()26p y p y ==;111111(,)16(|)1()23p x y p x y p y ===同理可得：21311222321323331221(|)(|)(|)(|)5555313(|)(|)(|)(|)05105p x y p x y p x y p x y p x y p x y p x y p x y ========，，，，，，因此，222222112233H Y)=p(y )log p(y )-p(y )log p(y )-p(y )log p(y )111111log log log 1.459332266bit=---=（（2）H Y|X)=(;)log (|i j j i ijp x y p y x -å（）222221113112213log log log log log 6210101551551010=----- 222131139log log log 101030101010--- 1.175bit =（3）当接收为2 y ，发出为2x 是正确，发出的是1x 和3x 为错误，由于各自概率为：122232113(|),(|),(|)555p x y p x y p x y === 因此，接收端收到一个符号2y 的错误概率为：123213(|)(|)0.855i p p x y p x y =+=+= （4）从接收端看的平均错误概率为：1213111232213233[(|)(|)]()[(|)(|)]()[(|)(|)]()e P p x y p x y p y p x y p x y p y p x y p x y p y =+++++ 213112321323(,)(,)(,)(,)(,)(,)p x y p x y p x y p x y p x y p x y =+++++ 211311153010101510=+++++0.733= （5）同理可得，从发送端看的平均错误概率为：__210.733e e p p == （6）从转移矩阵来看，正确发送的概率11x y -的概率为0.5，有一半失真；22x y -的概率为0.3，产生失真；33x y -的概率为0，完全失真。
信息论与编码(曹雪虹第三版)第一、二章
根据传输介质的不同，信道可分为有线信道和无线信道两大类。有线信道包括 双绞线、同轴电缆、光纤等；无线信道包括微波、卫星、移动通信等。
信道容量的定义与计算
信道容量的定义
信道容量是指在给定条件下，信道能 够传输的最大信息量，通常用比特率 (bit rate)来衡量。
信道容量的计算
信道容量的计算涉及到信道的带宽、 信噪比、调制方式等多个因素。在加 性高斯白噪声(AWGN)信道下，香农 公式给出了信道容量的理论上限。
信道编码分类
根据编码方式的不同，信道编码可分为线性分组码和卷积码 两大类。
线性分组码
线性分组码定义
线性分组码是一种将信息 序列划分为等长的组，然 后对每个组独立进行编码 的信道编码方式。
线性分组码特点
编码和解码过程相对简单 ，适用于各种信道条件， 且易于实现硬件化。
常见的线性分组码
汉明码、BCH码、RS码等 。
将信源消息通过某种数学变换转换到另一个域中，然后对变换 系数进行编码。
将连续的信源消息映射为离散的数字值，然后对数字值进行编 码。这种方法会导致量化噪声，是一种有损的编码方式。
信道编码的定义与分类
信道编码定义
信道编码是为了提高信息传输的可靠性、增加通信系统的抗 干扰能力而在发送端对原始信息进行的一种变换。
信息熵总是非负的，因 为自信息量总是非负的 。
当随机变量为确定值时 ，其信息熵为0。
对于独立随机变量，其 联合信息熵等于各自信 息熵之和。
当随机变量服从均匀分 布时，其信息熵达到最 大值。
03
信道与信道容量
信道的定义与分类
信道的定义
信道是信息传输的媒介，它提供了信号传输的通路，是通信系统中的重要组成 部分。
信息论与编码(伴随式译码) (1)概述
1 1
1 1
0 1
0 0 1 1 1 0 1
1.试由该矩阵指出（n,k）码的信息位k=?和监督元位数 r=?及码长n=? 2.求对应的校验矩阵H。
3.若接收到一个7位码 ，R1 (0 1 0 0 1 1 0)它是否码字？若不是,
判断所发的码字。
解：1. 信息位k=3，监督元位数 r=n-k=4，码长n=7。
码，为什么？该（n,k）码是完备码?为什么?
2022年3月23日
7
5.4.3 线性分组码的生成矩阵、校验矩阵、伴随式译码
1 0 0 1 1 1 0
例1 若线性分组码生成矩阵为：G 0 1 0 0 1 1 1
0 0 1 1 1 0 1
4. 伴随式有 2r=16个，由 S E H T 得到8个伴随式的译码表为：
2022年3月23日
12
5.4.3 线性分组码的生成矩阵、校验矩阵、伴随式译码
例1 若线性分组码生成矩阵为：
1 G 0
0 1
0 0
1 0
1 1
1 1
0 1
0 0 1 1 1 0 1
5.该（n,k）码的许用码集中包含 8个码字，由C=M*G得到，如下表。
信息序列M=(m1 m2 m3) 码字C=(c1 c2 c3 c4 c5 c6 c7)
例1 若线性分组码生成矩阵为：G 0 1 0 0 1 1 1
R1=(0 1 0 0 1 1 0)
1 0 0 1 1 1 0 1 C1=(0 1 0 0 1 1 )
4. 伴随式有 2r=16个，由 S E H T 得到8个伴随式的译码表为：
伴随式
错误图案
1 0 1 1 0 0 0 Si=（s1 s2 s3 s4 ）
信息论与编码(伴随式译码) (1)概述
2022年3月23日
16
举例说明信道编译码在实际应用中的实现方法
1. 汉明码概念——汉明码是能纠正单个错误的线性分组 码。如(n,k)码，它有以下特点：
码长
n=2m-1
信息码位 k=2m-m-1
监督码位 r=m=n-k
最小码距 d=3
纠错能力 t=1
这里m是正整数，m≥2。如(3,1)码、(7,4)码、(15,11)码等。
例1 若线性分组码生成矩阵为：G 0 1 0 0 1 1 1
0 0 1 1 1 0 1
4. 伴随式有 2r=16个，由 S E H T 得到8个伴随式的译码表为：
伴随式
错误图案
1 0 1 1 0 0 0 Si=（s1 s2 s3 s4 ）
H 1 1 1 0 1 0 0 1 1 0 0 0 1 0 0 1 1 0 0 0 1
码，为什么？该（n,k）码是完备码?为什么?
2022年3月23日
7
5.4.3 线性分组码的生成矩阵、校验矩阵、伴随式译码
1 0 0 1 1 1 0
例1 若线性分组码生成矩阵为：G 0 1 0 0 1 1 1
0 0 1 1 1 0 1
4. 伴随式有 2r=16个，由 S E H T 得到8个伴随式的译码表为：
3.若接收到一个7位码 ，R1 (0 1 0 0 1 1 0)它是否码字？若不是,
判断所发的码字。
解：1. 信息位k=3，监督元位数 r=n-k=4，码长n=7。
2.
1 0 1 1 0 0 0
H 1 1 1 0 1 0 0
1 1 0 0 0 1 0
0 1 1 0 0 0 1
3. R1 H T (0 0 0 1) (0 0 0 0)
信息论基础
教师：吴旭 手机：18236888638 Email：wuxu@
1
信息论与编码原理
教பைடு நூலகம்： 曹雪虹,张宗橙．信息论与编码(第二版)． 9 2009 北京：清华大学出版社，200
2
参考书：
1.叶中行．信息论基础．北京：高等教育出版社， 2.孙丽华，陈荣伶 ．信息论与编码．江西：科学技 术出版社，2002 3.田丽华．编码理论．西安：西安电子科技大学 出版社，2003 4.张鸣瑞，邹世开．编码理论．北京：北京航天航空 出版社，1990 5. 姜丹．信息论与编码．北京：中国科学技术大学 出版社， 2004 6. 曹雪虹，张宗橙．信息论与编码．北京：北京邮 电大学出版社， 2001 7. 傅祖芸．信息理论与编码学习辅导及精选题 解．北京：电子工业出版社，2004
1.2 通信系统的模型
�
�
通信系统的模型是什么？各部件的功能 作用是什么？ 通信系统的性能指标有哪些？
28
信息论基础的重要性
�
�
�
信息论是信息科学和技术的基本理论，信息科 学大厦的地基； 没有信息论的基础，从事通信与信息领域的研 究和创新是不可能的事情； 总之，信息论是高层次信息技术人才必不可少 的基础知识。
� 信息的基本概念在于它的不确定性，任 何已经确定的事物都不含有信息。 例.如果你问你的同学“明天是星期几”，则 答案中含有多少信息量？ 情况一.你不知道今天是星期几 情况二.你知道今天是星期一 � 通信过程是一种消除不确定性的过程, 不确定性的消除,就获得了信息。 例.同学对你说”你编码原理考试通过了”, 你得到了消息,获得了信息吗?
�
信息：是指各个事物运动的状态及状态变化的方式。 人们从来自对周围世界的观察得到的数据中获得信 息。信息是抽象的意识或知识，它是看不见、摸不 到的。人脑的思维活动产生的一种想法，当它仍储 存在脑子中的时候就是一种信息。信息是信号与消 息的更高表达层次。三个层次中，信号最具体，信 息最抽象。它们三者之间的关系是哲学上的内涵与 外延的关系。
信息论与编码(第二版)曹雪虹(最全版本)答案讲解
《信息论与编码（第二版）》曹雪虹答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==u 1u 2u 31/21/21/32/32/31/3于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：000110110.80.20.50.50.50.50.20.8设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
信息论与编码PPT教学课件
第二节 通信系统的模型
5. 密钥源 • 是产生密钥k的源 • 信源编码器输出信号x经过k的加密运算后，就 把明文x变换为密文y
三、通信系统的性能指标及相应的编码问题
第二节 通信系统的模型
问题：能否将三种码（信源编码、信道编码和密码） 合成一种码进行编译？
• 提高有效性必须去掉信源符号中的冗余部分， 此时信道误码会使接收端不能恢复原来的信息 ，也就是必须相应提高传送的可靠性，不然会 使通信质量下降；
• 反之，为了可靠而采用信道编码，往往需扩大 码率，也就降低了有效性。安全性也有类似情 况
▪ 到70年代，有关信息论的研究，从点与点间的单用 户通信推广到多用户系统的研究。1972年盖弗（Caer ）发表了有关广播信道的研究，以后陆续有关于多接 入信道和广播信道模型的研究，但由于这些问题比较 难，到目前为止，多用户信息论研究得不多，还有许 多尚待解决的课题。
第一节 信息论的形成和发展
➢ 几个概念
3．三处最有可能发展成为城 市的是哪一处？为什么？除此 而外，你知道哪些地方还分布 有较大的城市？ 4. 综上所述，影响聚落形成 和发展的因素有哪些？
• 通信系统的性能指标主要是有效性、可靠性、安全 性和经济性。通信系统优化就是使这些指标达到最 佳。
• 根据信息论的各种编码定理和上述通信系统的指标 ，编码问题可分解为三类：信源编码、信道编码和 密码。
第二节 通信系统的模型
1. 信源编译码器 信源编码器的作用 • 是把信源发出的消息变换成由二进制码元（或 多进制码元）组成的代码组，这种代码组就是 基带信号； • 同时通过信源编码可以压缩信源的冗余度（即 多余度），以提高通信系统传输消息的效率。
信息论与编码(伴随式译码) (1)概述
2022年3月23日
17
举例说明信道编译码在实际应用中的实现方法 2. (7,4) 汉明码的构造
1110100 H= 0 1 1 1 0 1 0
1101001
I3
1000101 0100111 G= 0 0 1 0 1 1 0 0001011
信息序列M=(m1 m2 m3) 码字C=(c1 c2 c3 c4 c5 c6 c7)
000
0000000
001
0011101 R1=(0 1 0 0 1 1 0)
010 100
0100111 1001110
C1=(0 1 0 0 1 1 1)
011
0111010
101
1010011
110
1101001
3.若接收到一个7位码 ，R1 (0 1 0 0 1 1 0)它是否码字？若不是,
判断所发的码字。
4.问其伴随式有多少个？写出该分组码对应一半伴随式数目的译码表。 5.该（n,k）码的许用码集中包含多少个码字？用列表的方式写出这些码
字。
6.该（n,k）码的最小汉明距离 dmin ? 7.该（n,k）码的纠错能力为多少位？该（n,k）码是不是极大最小距离
此题中：d min n k 1 5
该（n,k）码不是极大最小距离码。
t
7.（n,k）码是完备码的条件为：2nk
C
i n
此题中：
i0
t
2nk 16
C
i n
8
该（n,k）码不是完备码。
i0
2022年3月23日
15
本次课主要内容
5.4.3 线性分组码的生成矩阵、校验矩阵、伴 随式译码
举例说明信道编译码在实际应用中的实现方法 第五章内容总结 期中考试卷分析
《信息论与编码》曹雪虹-张宗橙清华大学出版社可配北邮版本
x8 0.04
编码 码长
1
1
001
3
011
3
0000
4
0100
4
0101
4
00010
5
00011
5
(3) 香农编码
信 源 符 号 符 号 概 率 累 加 概 率 -Logp(xi) 码长 Ki 码字
xi
pi
Pi
x1
0.4
0
1.322
2
00
x2
0.18
0.4
2.474
3
011
x3
0.1
0.58
3.322
4
1001
x4
0.1
0.68
3.322
4
1010
x5
0.07
0.78
3.837
4
1100
www.khd课后a答w案.网com
x6
0.06
0.85
4.059
5
x7
0.05
0.91
4.322
5
x8
0.04
0.96
4.644
5
平均码长:
11011 11101 11110
(4) 费诺编码：
3
2
6
www.khd课后a答w案.网com
（2） H(Y/X)=
1/3
1/3
1/3
1/3
2/3
00
2
x2 1/3
1/3
1/3
1/3
1/3
1/3
01
2
x3 1/9
1/9
1/9
2/9
1/3
100
信息论与编码第1章
第一章绪论（第一讲）（2课时）主要内容：（1）教学目标（2）教学计划（3）参考书（4）考试问题（5）信息论的基本概念（6）信息论发展简史和现状（7）通信系统的基本模型重点：通信系统的基本模型难点：通信系统的基本模型特别提示：运用说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。
信息论与编码(Informatic s & Coding)开场白教学目标：本课程主要讲解香农信息论的基本理论、基本概念和基本方法，以及编码的理论和实现原理。
介绍信息的统计度量，离散信源，离散信道和信道容量；然后介绍无失真信源编码、有噪信道编码，以及限失真信源编码等，然后介绍信道编码理论，最后也简单介绍了密码学的一些知识。
教学重点：信息度量、无失真信源编码、限失真信源编码、信道编码的基本理论及实现原理。
教学计划：信息论：约20学时信道编码：约19学时*密码学：约8学时参考书：1．信息论与编码，曹雪虹张宗橙编，北京邮电大学出版社，20012．信息论—基础理论与应用，傅祖芸编著，电子工业出版社，20013．信息理论与编码，姜丹钱玉美编著4．信息论与编码，吴伯修归绍升祝宗泰俞槐铨编著，1987考试问题：第一章绪论信息论的基本概念信息论发展简史和现状通信系统的基本模型§1.1 信息论的基本概念信息论是一门应用近代数理统计方法来研究信息的传输和处理的科学。
在涉及这门课程的具体内容之前，很有必要在引言中，首先放宽视野，从一般意义上描述、阐明信息的基本含意。
然后，再把眼光收缩到信息论的特定的研究范围中，指明信息论的假设前提，和解决问题的基本思路。
这样，就有可能帮助读者，在学习、研究这门课程之前，建立起一个正确的思维方式，有一个正确的思路，以便深刻理解、准确把握以下各章节的具体内容。
曹雪虹清华版教材《信息论与编码》课后答案
信息论与编码部分习题解答（对应曹雪虹清华版教材）(谢正光，2009-05-28，于江苏南通)作业及解答(谢正光，2008-02-28，于江苏南通)2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎞⎜⎟=⎜⎟⎜⎟⎝⎠设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩P(j/i)=解方程组求得W=2-2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎞⎜⎟⎜⎟=⎜⎟⎜⎟⎝⎠状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP WW ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2-3(4)2-4 设在一只布袋中装有100个用手角摸感觉完全相同的木球，每个球上涂有一种颜色。
信息论与编码(第二版)曹雪虹(最全版本)答案
《信息论与编码（第二版）》雪虹答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p ==(0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p ==(1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p ==(1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2-1
www.khd课后a答w案.网com
(4)
2-2
2-3
2-4
3 8
Log⎛⎜⎝
8 3
⎞⎟⎠
+
1 4
Log(4)
+
1 4
Log(4)
+
1 8
Log(8)
=
1.906
60⋅1.906 = 114.36
2-5
(1,2) (2,1) 共两种
Log⎛⎜⎝
36 2
(2) 信源熵为
H(X)=
=0.198bit/ms=198bit/s
3-3 与上题相同
3-5
111 1 1 1 1 1 (1)
2 4 8 16 32 64 128 128
H(U)=
1 Log(2)
+
1 Log(4) +
1 Log(8) +
1 Log(16) +
1 Log(32) +
1 Log(64) +
黑
白
2-17 (1) (2)
2-24
(1) H(X)=
(2)
=
(3)
2-25
解方程组
www.khd课后a答w案.网com
PT⋅W W
W1 + W2 1
即
⎛⎜⎝
0.25 0.75
0.5 0.5
⎞⎟⎠
⋅⎛⎜⎜⎝
W1 W2
⎞⎟ ⎟⎠
⎛⎜ W1 ⎞⎟ ⎜⎝ W2 ⎟⎠
解得 W1=0.4 W2=0.6 2-26
4
+
1 Log(24)
24
+
0+
1 Log(24)
24
+
7 24
Log⎛⎜⎝
24 7
⎞⎟⎠
= 2.301
(2) P=
得到
H(Y)=
(3) H(X/Y)=H(XY)-H(Y)= 2-12 (1) H( X) := 1 H(Y) := 1
(2)
(3) 2-13
P(i)=
P(ij)=
www.khd课后a答w案.网com
(1) I(●)= Log(4) = 2
I(－)＝ Log⎛⎜⎝
4 3
⎞⎟⎠
=
0.415
www.khd课后a答w案.网com
(2) H=
1 Log(4)
4
+
3 4
Log⎛⎜⎝
4 3
⎞⎟⎠
= 0.811
2.9
(2) P(黑/黑)=
P(白/黑)=
H(Y/黑)=
(3) P(黑/白)=
0.5 0.75 0.875 0.938 0.969 0.984 0.992 …
2
3
4
5
6
7
8
10 110 1110 11110 111110 1111110 11111110 …
www.khd课后a答w案.网com
（2）信源的信息量为
平均码长为：
码字的平均信息传输率为
R＝
相应的费诺码
信源 符号 xi
x1 x2 x3 x4 x5 x6 x7 x8
符号概 率 pi
1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128
第一 次分 组
0
1
第二 次分 组
0
1
第三 次分 组
0
1
第四 次分 组
0 1
第五 次分 组
0 1
第六 次分 组
0 1
第七 次分 组
0 1
(2)
www.khd课后a答w案.网com
(3) H(X)=log(3)=1.58
(4)
=
P=
当 p= 时
达到最大值 1.58
当 p 0 时 H( X) 0 当 p 1 时 H( X) 1
2-33 (1)
解方程组:
得 p(0)=p(1)=p(2)= (2)
(3) 当 p=0 或 p=1 时 信源熵为 0
c. 求H(X3/X2)
P(X2)=
则
www.khd课后a答w案.网com
方法 1：
P(X3/X2)=
)+
+
=
方法 2：P(X3/X2)=
d. 最后
＝ （2）首先求解稳定情况下的概率 解方程组
得到
W1 =
(3) 不做 2-32
(1)
）＋W2
＋W3
P(j/i)=
求解方程组
得 p(0)=p(1)=p(2)=
1/3
1/3
1/3
1/3
2/3
00
2
x2 1/3
1/3
1/3
1/3
1/3
1/3
01
2
x3 1/9
1/9
1/9
2/9
1/3
100
3
x4 1/9
1/9
1/9
1/9
101
3
www.khd课后a答w案.网com
x5 1/27
x6 1/27 x7 1/27
2/27 1/9 1/27
111
xi
pi
Pi
x1
1/2
0
1
1
0
x2
1/4
0.5
2
2
10
x3
1/8
0.75
3
3
110
x4
1/16
0.875
4
4
1110
x5
1/32
0.938
5
5
11110
x6
1/64
0.969
6
6
111110
x7
1/128
0.984
7
7
1111110
x8
1/128
0.992
7
7
11111110
3
2
6
www.khd课后a答w案.网com
（2） H(Y/X)=
4
1001
x4
0.1
0.68
3.322
4
1010
x5
0.07
0.78
3.837
4
1100
www.khd课后a答w案.网com
x6
0.06
0.85
4.059
5
x7
0.05
0.91
4.322
5
x8
0.04
0.96
4.644
5
平均码长:
11011 11101 11110
(4) 费诺编码：
x8 0.04
编码 码长
1
1
001
3
011
3
0000
4
0100
4
0101
4
00010
5
00011
5
(3) 香农编码
信 源 符 号 符 号 概 率 累 加 概 率 -Logp(xi) 码长 Ki 码字
xi
pi
Pi
x1
0.4
0
1.322
2
00
x2
0.18
0.4
2.474
3
011
x3
0.1
0.58
3.322
4444
Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2
p(y1) , p(y2) , p(y3) , p(y4)只要满足 p(y1)+p(y2)+p(y3)+p(y4)=1 在[0,1]区间可以任意取
值。
www.khd课后a答w案.网com
第五章 信道编码
5-1
5-2 (1)
0.18
0.18
0.22
0.32
11
2
x4
0.16
0.16
0.18
000
3
www.khd课后a答w案.网com
x5
0.08
0.12
x6
0.04
0010
4
0011
4
平均码长为： 编码效率：
3-12 （1） 信源熵
信息传输速率 2.552bit/s
(2)
信源 符号概 符 号 率 pi
bit/码
（3）编码效率
R＝
3-10 （1）H(X)＝
100％
（2）
信源符号 符号概率
xi
pi
编码过程
x1
0.37
0.37
0.37
0.38
x2
0.25
0.25
0.25
0.37
x3
0.18
0.18
0.20
0.25
x4
0.10
0.10
0.18
x5
0.07
0.10
x6
0.03
码 编码
长
0.62 1 00
2
2.184
3
x3
0.18
0.54
2.474
3
x4
0.16
0.72
2.644
3
x5
0.08
0.88
3.644
4
x6
0.04
0.96
4.644
5
平均码长：
编码效率为
010 100 101 1110 11110
（3）
费诺编码为
信源符 符号概
1
2
3
4
编码
码长
号 xi 率 pi