信息论与编码习题课新 57页PPT文档

假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量
H (X 1)lon glo4 g2b/istymb
八进制脉冲的平均信息量
H (X 2)lon glo8 g 3b/istymb
二进制脉冲的平均信息量
H (X0)lon glo2 g1b/istymb
所以，四进制、八进制脉冲所含信息量分别是二进制 脉冲信息量的2倍和3倍。
（3）
NH(XN)2.1106 158037 H(X) 13.288
2-26 一个信源发出二重符号序列消息（X1，X2),其中
第一个符号X1可以是A,B,C中的一个，第二个符号X2
可以是D,E,F,G中的一个。已知各个 px1i
x x 为p(A)=1/2,p(B)=1/3,p(C)=1/6;各个 p( 2j
2.7 设有一离散无记忆信源，其概率空间为
X x10 x21x32 x43
P3/8
1/4
1/4
1/8

（1）求每个符号的自信息量。 （2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}， 求该序列的自信息量和平均每个符号携带的信息量。
2
I(a1;b1)lopg (a1b1)lo2g (1 [)]
p(a1)
p(a1) p(b2a1) p(a1b2)
p(b2)
1
21

2
I(a1;b2)lop g(a1b2)lo2 g)(
p(a1)
p22
2.17 每帧电视图像可以认为是由3105个像素组成的， 所有像素均是独立变化，且每像素又取128个不同的 亮度电平，并设亮度电平是等概出现，问每帧图像含 有多少信息量？若有一个广播 员，在约10000个汉 字中选出1000个汉字来口述此电视图像，试问广播 员描述此图像所广播的信息量是多少（假设汉字字汇 是等概率分布，并彼此无依赖）？若要恰当的描述此 图像，广播员在口述中至少需要多少汉字？
j
ij
I( H
(XX;Y/Y)i )jHHp( X((xX)i))pH(yH(jX(xYi/))Yl)oHg2(HYp((/YxXi)p))(py(Hjy0)(j.Y8x1i/)1X)00..798409bi0t/.9s1y8mb0o.7l49

2 3
p(
yp2()y1)p(px1(yx20))p(py1(xx20y)2) p(xp1()xp1)(py1( yx12)/x143) 13p(x214)p(32y2/1x52 2)
3 4

H (HY )(X Y )p(y j ) p((0xi.,58y3j3)lolgo2gp2(0x.i5y83j)3 0.4167 log 2 0.4167 )
I(xi)lopg (xi)
条件自信息量：I(xi yi)lop(gxi yi)
平均自信息量、平均不确定度、信源熵：
条件熵：
H (X ) p(xi)lop(g xi)
i
H (X Y ) p (x i,yj)I(x iyj) p (x i,yj)lo p (x g iyj)
解：(1)
p(xi )16161616118
I(xi)logp(xi)lo
g1 4.170bit 18
(2)
p(xi )1616316
(3)两个点数I(的xi)排列l如o下gp(：xi)log3165.170bit
共有21种组合：其中11，22，33，1211
12 22
(4)两个点数求和的概率分布如下：
P(XX)312611381142195
67 51
366
89 51
369
110111112 121836
H(X) p(xi)logp(xi)
i
21log121log121log121lo1g25log51lo1g 36 36 18 18 12 12 9 9 36 366 6
解： I(x1)log2 1 log281.415bit
p(x1)
3
同理可以求得
I( x 2 ) 2 b ,I( i x 3 ) t 2 b ,I( i x 4 ) t 3 bi
因为信源无记忆，所以此消息序列的信息量就等 于该序列中各个符号的信息量之和，就有：
I 1 4 I ( x 1 ) 1 3 I ( x 2 ) 1 2 I ( x 3 ) 6 I ( x 4 ) 8 7 . 8 1 b i t
13 14 23 24
15 16 25 26
44，55，66的概率是
31 32 33 34 35 36
11 1 6 6 36
41 42 43 44 51 52 53 54 61 62 63 64
45 46 55 56 65 66
其他15个组合的概率是 211 1 6 6 18
H (X ) i p (x i)lo p (x ig ) 6 3 1l6 o 3 1 g 1 6 1 1 5l8 o 1 1 g 8 4 .3b 3/si7tym
ij
ij
联合熵：H (X Y ) p (x i,y j)I(x i,y j) p (x i,y j)lo p (x g i,y j)
ij
ij
互信息：I(X ;Y ) ijp (x i,yj)lop ( p g y (y jx )i) ijp (x i)p (yjx i)lop ( p g y (y jx )i)
3.27b4i/tsymbol
(5)包含1的组合：{(1,2),(1,3),(1,4),(1,5),(1,6), (2,1), (3,1),(4,1), (5,1),(6,1),(1,1)}
p(xi )1616113161 I(xi)logp(xi)log31611.710bit
2-9 国际莫尔斯电码用点和划的序列发送英文字母，划 用连续三个单位的电流脉冲表示，点用持续一个单位的 电流脉冲表示。其划出现的概率是点出现概率的1/3， 计算：（1）点和划的信息量；
（2）点和划的平均信息量。
解：
“－”出现的概率 是
“”出现概率的1/3
p()
(1) I()＝ Log43
j
j
熵的基本性质：非负性、对称性、确定性
2.3 同时掷出两个正常的骰子 ，也就是各面呈现的概 率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：（1） p(黑） 5 1 p(白) 10 2
15 3
15 3
H(Y)=
(2) P(黑/黑)=
P(白/黑)=
H (Y/黑 4 ） lo 1g 4 1l0 o 1g 4 0 .6 8 1441410
(3) P(黑/白)= H(Y/白)=
P(白/白)=
(4)
p(黑 )1 05541 151415143
解：（1）
H(X)lo2nglo21g278b/istymbol
H(XN)N(H X)315072.1160b/istymb
（2）
H (X)lo2nglo21g0 010 .2 30 8b8/istymb H (XN)N(H X)101 0.2 3 08 1832 b8 /ist8 ym

1 4

1 3
lg
1 3

1 4

2 3
lg
2 3
)

log
2
10
0.918 bit / symbol
p
(
yp1()y0)p(xp1(yx10))p(py(0x2xy01))pp(x(1x)1)pp((yy11x/1)x1) 43p(32x2 )14p(y131 /x217) 243
)
1i
值列成如下。求这个信源的熵（联合熵H(X1，X2)）。
x x1i 2j
A
B
C
D
1/4
3/10
1/6
E
1/4
1/5
1/2
F
1/4
1/5
1/6
G
1/4
3/10
1/6
解：
P(i)=
P(i，j)=
H (X 1 ,X 2 ) p (x 1 i,x 2 j)lo p (x 1 g i,x 2 j)
p ( b 1 a 1 ) p ( b 2 a 2 ) 1 ,p ( b 1 a 2 ) p ( b 2 a 1 )
。求互信息量I(a1;b1)和I(a1;b2)。 解：信道转移概率矩阵为 P(bj/ai)=
p(a1b1)p(a1)p(pb1()b1a1)12(11)1
i,j
第三章
信道容量的定义： CmaIx(X;Y)
无噪无损离散信道：
p (ia)
C I(X ;Y ) H (X ) H ( Y ) lo ng
对称DMC信道、准对称DMC信道的定义？
二元对称信道： C1H(p)
对称DMC信道： Clom gH(Yai)
准对称DMC信道： Clon gH (p1 ',p2 ',..ps'.),
H (X )
i
p(xi
)

( 3 4

log
2
3 4

1 4

log
2
1) 4

0.811
bit / symbol
H (Y / X ) p(xi ) p( y j / xi ) log p( y j / xi )