《信息论与编码》曹雪虹 张宗橙清华大学出版社部分课后答案

得到
信源熵为:
2-29
P(j/i)=
课
后
答
案 网
(2)
ww
2-30
w.
kh da w. co m
解方程组 得到 W1= , W2= , W3=
课后答案网 www.khdaw.com
P(i/j)=
解方程组
得W1=W2=W3=
信源熵为 2-31
P(X1)=
（1） a. b.
求H(X2/X1)有两种方法： 方法 1：
24 ⎞
(2) P=
w.
得到 (2) (3)
课
2-11 (1) H(XY)=
ww
2-13
(3) H(X/Y)=H(XY)-H(Y)= 2-12 (1) H( X) := 1 H( Y) := 1
kh da w. co m
P(白)= H(色数)=
后
答
案 网
H(Y)=
课后答案网 www.khdaw.com
平均码长：
编码效率为
x1 x2 x3 x4 x5 x6
0.32 0.18 0.16
课
信源符 号 xi
符号概 率 pi 0.22
后
（3） 费诺编码为
ww
w.
平均码长为： 编码效率：
（4）哈夫曼编码
kh da w. co m
11110 1
答
案 网
2
3
4
编码 00 10
码长 2 2 3
0
0 0
1
01
2
0.08
编码过程 0.40 0.38 0.32 0.60 0.40
编码 1 01 10 11 000 0010 0011
平均码长为： 编码效率：
（1） 信源熵
信息传输速率 2.552bit/s (2) 信源 符号 xi x1 x2 x3 x4 x5 x6 x7 x8 符号概 率 pi 0.4 0.18 0.1 0.1 0.07 0.06 0.05
课
1
后
答
1
⎟ = 4.17 ⎝ 2⎠ ⎟ = 2.585 ⎝ 6⎠
36 ⎞
36 ⎞
⎛ ⎞ I(－)＝ Log⎜ ⎟ = 0.415
4
案 网
1
⎝ 3⎠
课后答案网 www.khdaw.com
(2) H= 2.9 (2) P(黑/黑)= H(Y/黑)= (3) P(黑/白)= H(Y/白)= (4) P(黑)= H(Y)= 2-10 P(白/白)= P(白/黑)=
H(X)= (2) (3) = 解方程组
2-25
课
2-17
kh da w. co m
黑
后
答
案 网
白
课后答案网 www.khdaw.com
P ⋅W
1 T
W
2
W +W
1
即
W ⎞ 1⎟ ⎛ 0.25 0.5 ⎞ ⋅ ⎛ ⎜ ⎜ ⎟⎜ ⎝ 0.75 0.5 ⎠ ⎝ W 2 ⎟ ⎠
⎛ W1 ⎞ ⎜ ⎟ ⎜ W2 ⎟ ⎝ ⎠
编码
码 长 2 2 2 3 4 4
0.37 0.25 0.18 0.10 0.10
0.37 0.25 0.20 0.18
0.38 0.37 0.25
0.62 0.38
1
00 01 11 100 1010 1011
课后答案网 www.khdaw.com
3-11 （1）信源熵 （2）香农编码： 信源符号 xi x1 x2 x3 x4 x5 x6 符号概率 pi 0.32 0.22 0.18 0.16 0.08 0.04 累加概率 Pi 0 0.32 0.54 0.72 0.88 0.96 -Logp(xi) 1.644 2.184 2.474 2.644 3.644 4.644 码长 Ki 2 3 3 3 4 5 码字 00 010 100 101 1110
) − 0.0857Log( 0.0857 ) = 0.422 H(Y/黑)= −0.9143Log( 0.9143 H(Y/白)= −0.2 Log( 0.2) − 0.8Log( 0.8) = 0.722 H(Y/X)=W1 H(Y/黑)+ W2 H(Y/白)=
(1)
(2) 2-24
ww
(1)
w.
4
0.09 0.07
0100
4
0.09
0101
4
0.06
00010 00011
5 5
课后答案网 www.khdaw.com
信源符号 xi x1 x2 x3 x4 x5 x6 x7 x8 平均码长: 符号概率 pi 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04 累加概率 Pi 0 0.4 0.58 0.68 0.78 0.85 0.91 0.96 -Logp(xi) 1.322 2.474 3.322 3.322 3.837 4.059 4.322 4.644 码长 Ki 2 3 4 4 4 5 5 5 码字 00 011 1001 1010 1100 11011 11101 11110
2-5
⎛ (1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六种 Log⎜
ww
2-7 2-8
2-6
0—14 个 1---13 个 2----12 个 3---6 个
Log( 2) = 1 Log( 4) = 2 Log( 8) = 3
“－” 用三个脉冲 “●”用一个脉冲
kh da w. co m
0 时
1 时
解方程组:
ww
(3)
w.
(2) 当 p=0 或 p=1 时 信源熵为 0
得 p(0)=p(1)=p(2)=
kh da w. co m
时 达到最大值 1.58
0 H( X) H( X) 1
课
后
答
案 网
课后答案网 www.khdaw.com
第三章 无失真信源编码
3-1
3-2
答
1 16
(1) 因为 A,B,C,D 四个字母,每个字母用两个码,每个码为 0.5ms, 所以每个字母用 10ms 当信源等概率分布时,信源熵为 H(X)=log(4)=2
相应的费诺码 信 源 符号 xi x1 x2 x3 x4 x5 x6 x7 x8 符号概 率 pi 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128
（5）香农码和费诺码相同 平均码长为
ww
3-7
w.
编码效率为：
（1） pi=
累加概率分别为
kh da w. co m
11110 0.969 6 6 111110 1/128 1/128 0.984 0.992 7 7 7 7 1111110
ww
=
w.
c. 求H(X3/X2) P(X2)=
方法 2：H(X2/X1)=∑P(x1x2)log(x2/x1)
kh da w. co m
P(j/i)=
课
后
答
则
案 网
P(X1X2)=
课后答案网 www.khdaw.com
方法 1： P(X3/X2)= 方法 2：P(X3/X2)= )+ + =
d. 最后
P(j/i)=
1/3
S2
符号条件概率
w.
2-27 求平稳概率
ww
解方程组 得到 W= 2-28
kh da w. co m
解方程组 求得 W=
解得 W1=0.4 W2=0.6 2-26
课
1/2
后
2/3 2/3
S1
答
1/2 1/3
状态转移概率
案 网
S3
课后答案网 www.khdaw.com
(1) 求平稳概率 P(j/i)= 解方程组
P(1)= (3)
(4)
相应的香农编码 符号概率 pi 1/2 1/4 1/8 1/16 1/32 1/64 累加概率 Pi 0 0.5 0.75 0.875 0.938 -Logp(xi) 1 2 3 4 5 码长 Ki 1 2 3 4 5 码字 0 10 110 1110
信源符号 xi x1 x2 x3 x4 x5 x6 x7 x8
1 4 Log( 4) + 3 4 Log⎛ ⎜
⎟ = 0.811 ⎝ 3⎠
4⎞
(1) H(色)= (2) (3)
P(色数)=
H(数/色)= H(色数)- H(色)=
7 24
Log⎛ ⎜
1 1 1 1 7 24 ⎞ 1 + Log( 24) + 0 + Log( 24) + Log( 4) + Log( 24) + 0 + Log( 24) + Log⎛ ⎟ ⎜ ⎟ = 2.301 24 4 24 24 24 ⎝ 7 ⎠ 24 ⎝ 7⎠
P(i)=
P(ij)=
H(IJ)= 2-14 (1)
(2) 方法 1:
方法 2:
P(j/i)=
ww
2-16 (1)
w.
课
2-15
kh da w. co m
P(ij)= P(i/j)=
后
答
案 网
=
课后答案网 www.khdaw.com
1 1 黑 白
(2)
设最后平稳概率为 W1,W2
得W1=07 W2=0.3
(4)
费诺编码：
信源符 号 xi x1 x2 x3 x4 x5 x6 x7 x8
符号概 率 pi 0.4 0.1 0.1 0.18
ww
3-14
w.
kh da w. co m
案 网
码 码长 2 3
答
0
0
00
后
1
01
2
课
0
0
100
1 0
101
3
0.07 0.05
0.06 0.04
1
0 0
1100 1110 1111
答
后
案 网
3-12
w.
0.04
ww
(3) 香农编码
kh da w. co m
编码过程 编码
码长 1
课
0.4
0.4
0.4
0.4
0.4
0.6 0.4
1
0.18 0.1
0.18 0.1
0.19 0.13 0.1
0.23 0.18
0.27
001
3
0.1
0.13 0.1
0.18
0.19
0.23
011
3
0000
1
0
110
1
0.04
1
0
1110 1111
4
1
4
课后答案网 www.khdaw.com
信源符号 xi x1 x2 x3 x4 x5 x6 符号概率 pi 0.32 0.22 0.18 0.16 0.08 0.04 0.32 0.22 0.18 0.16 0.12 0.38 0.32 0.22 0.18 码 长 2 2 2 3 4 4
＝ （2）首先求解稳定情况下的概率 解方程组
得到
(3) 不做 2-32 (1)
P(j/i)=
ww
得 p(0)=p(1)=p(2)=
w.
求解方程组
课
后
=
答
W1
kh da w. co m
）＋W2
案 网
＋W3
课后答案网 www.khdaw.com
(2)
(3) (4)
H(X)=log(3)=1.5Biblioteka Baidu =
P= 当 p= 当p 当p 2-33 (1)
案 网
11111110
0
后
第 一 次 分 组
第 二 次 分 组 0
第 三 次 分 组
第 四 次 分 组
第 五 次 分 组
第 六 次 分 组
第 七 次 分 组
二元码
答
0
课
10
0
110
0
1110
1
1
0
11110
1
1
0
111110
1
1
0
1111110
1
11111110
累加概率为 Pi=
课后答案网 www.khdaw.com
H(X)=
=0.198bit/ms=198bit/s 3-3 3-5 (1) 与上题相同
H(U)=
1 2
w.
111 1 1 1 1 1 4 1 8
课
(2) 信源熵为
2 4 8 16 32 64 128 128 1 32 1 64 1 128 1 128
ww
Log( 2) +
Log( 4) +
后
1
平均信息传递速率为
4
1
1
1101
4
1
4
1
4
课后答案网 www.khdaw.com
信源 符号 xi x1 x2 x3 x4 x5 x6 x7 符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9 编码过程 编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101 码长 2 2 3 3 3 4 4
（2）信源的信息量为
平均码长为：
码字的平均信息传输率为 R＝ bit/码
（3）编码效率
R＝ 3-10 （1）H(X)＝
（2） 信源符号 xi
w.
符号概率 pi
x1 x2 x3
0.37 0.25 0.10
0.18 0.07 0.03
ww
x4
x5 x6
kh da w. co m
100％
课
后
答
案 网
编码过程
课后答案网 www.khdaw.com
第二章 信源及信源熵
2-1
(4)
2-2
2-3 2-4
3 8 Log⎛ ⎜
⎟ + Log( 4) + Log( 4) + Log( 8) = 1.906 4 8 ⎝ 3⎠ 4
Log⎛ ⎜
8⎞
60⋅ 1.906 = 114.36
w.
(1,2) (2,1) 共两种 P= I= (1) I(●)= Log( 4) = 2
符号 概率 累加 概率 码长 二 元码 x1 1/2 0 1 0 x1 1/4 0.5 2 10 x2 1/8 0.75 3 110 x3 1/16 0.875 4 1110 x4 1/32 0.938 5 11110 x5 1/64 0.969 6 111110 x6 1/128 0.984 7 1111110 x7 1/256 0.992 8 11111110 … … … …
(2)
每个信源使用 3 个二进制符号,出现 0 的次数为
出现 1 的次数为
P(0)=
kh da w. co m
Log( 8) +
案 网
Log( 16) +
bit/ms=200bit/s
Log( 32) +
Log( 64) +
Log( 128) +
Log( 128) = 1.984
课后答案网 www.khdaw.com