第四章 信源编码 习题解答
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4、离散无记忆信源S描述为:
1)计算信源熵及其冗余度;
2)对其进行费诺编码;
3)对其进行哈夫曼编码;
4*)对其进行香农-费诺-埃利阿斯编码;
5*)对其进行香农编码;
6)计算哈夫曼码得平均码长、编码效率与码冗余度;
7)把哈夫曼编码器得输出瞧成一个新信源X,计算其概率分布p(x1)与p(x2);
8)H[p(x1),p(x2)]就是否等于H码(即平均码元熵)？为什么？
解:1)信源熵:
冗余度:
2)费诺编码:
信源S
p(S)
编码过程
码字
码长
s1
0、37
0
0
00
2
s2
0、25
1
01
2
s4
0、18
1
0
10
2
s3
0、1
1
0
110
3
s6
0、07
1
0
1110
4
s5
0、03
1
1111
4
3)哈夫曼编码:
4）香农-费诺-埃利阿斯编码:
信源S
p(S)
F(s)
得二进制数
码长
码字
s1
0、37
6、有一冗余位序列,=15,码字为0000,试将其编成L-D码,并将L-D码译回原序列。
解:0000 N=15
编码:
,于就是得L-D码:0010 0101111
译码:
修正:
故译码恢复出原序列:0000
作业:1、2、4
1100
010
101
0011
x5
1/16
100
01111
11110
1001
110
110
101
x6
1/16
101
011111
111110
1111
101
111
1001
1）哪些就是非奇异码？哪些就是唯一可译码？哪些就是即时码？
2）分别计算每个唯一可译码得平均码长与编码效率。
解:1)A、B、C、D、E、F就是非奇异码。A、B、C、F就是唯一可译码(E不满足克拉夫特不等式)。A、C、F就是即时码(B就是续长码)。
2
D
3/16
1
0
10
2
C
2/16
1
0
110
3
B
1/16
1
0
1110
4
A
1/16
1
1111
4
平均码长:码元/符号
信源熵: 比特/符号
编码后平均码元熵:比特/码元
二元信源最大码元熵为1比特/码元,故编码效率:
哈夫曼编码:
由于平均码长与费诺编码一样,故编码效率也为99%。一般情况下哈夫曼编码效率较高,但费诺编码如果每次划分概率很接近,则效率也很高。
0、985
0、111111000、、
7Байду номын сангаас
5)香农编码:
信源S
p(S)
F(s)
F(s)得二进制数
码长
码字
s1
0、37
0
0、000、、、
2
00
s2
0、25
0、37
0、010、、、
2
01
s4
0、18
0、62
0、1001、、、
3
100
s3
0、1
0、8
0、11001、、、
4
1100
s6
0、07
0、9
0、11100、、、
0
0
00
2
x2
0、19
1
0
010
3
x3
0、18
1
011
3
x4
0、17
1
0
10
2
x5
0、15
1
0
110
3
x6
0、10
1
0
1110
4
x7
0、01
1
1111
4
平均码长: 码元/符号
信源熵:
编码后平均码元熵:比特/码元
编码效率:
2)哈夫曼编码:
码长
码字
信源X
p(X)
2
10
x1
0、20
2
11
x2
0、19
3
000
0、37
0、185
0、00101、、
3
001
s2
0、25
0、62
0、495
0、01111、、
3
011
s4
0、18
0、80
0、71
0、101101、、
4
1011
s3
0、1
0、90
0、85
0、1101100、、
5
11011
s6
0、07
0、97
0、935
0、1110111、、
5
11101
s5
0、03
1、00
5、设有6个消息,其出现概率分别为
A B C D E F
1/16 1/16 2/16 3/16 4/16 5/16
将它们分别进行费诺编码与霍夫曼编码,并比较编码效率。就是否在任何情况下费诺编码比霍夫曼编码效率都低？
解:信源:
费诺编码:
信源X
p(X)
编码过程
码字
码长
F
5/16
0
0
00
2
E
4/16
1
01
x3
0、18
3
001
x4
0、17
3
010
x5
0、15
4
0110
x6
0、10
4
0111
x7
0、01
平均码长: 码元/符号
编码后平均码元熵:比特/码元
编码效率:
与费诺编码相比,哈夫曼编码得编码效率要高于费诺编码。
一般情况下哈夫曼编码效率较高,但费诺编码如果每次划分概率很接近,则效率也很高。
3、离散无记忆信源X得概率空间为:
4
1110
s5
0、03
0、97
0、1111100、、、
6
111110
6)分析哈夫曼码,
其平均码长:
平均码元熵:
编码效率:
码冗余度:
7)把哈夫曼编码器得输出瞧成一个新信源X,计算其概率分布p(x1)与p(x2):
8)计算
相比平均码元熵:
可见,两者很相近,但理论上不相同。因为平均码元熵计算得就是算术平均值,而作得就是统计平均。
3）编码A:
平均码长:
信源熵:比特/消息
编码效率:
编码B与C:
平均码长:
编码效率:
编码F:
平均码长:
编码效率:
2、离散无记忆信源X得概率空间为:
1)对其进行费诺编码,并计算其编码效率;
2)对其进行哈夫曼编码,并将其编码效率与费诺编码相比较。
解:1)费诺编码:
信源X
p(X)
编码过程
码字
码长
x1
0、20
第四章信源编码习题解答
1、一个信源由6个消息组成,其概率分布已知,对其进行信源编码得如下表所示6种编码方法:
信源X
p(X)
A
B
C
D
E
F
G
x1
1/2
000
0
0
01
1
01
1
x2
1/4
001
01
10
10
000
001
01
x3
1/16
010
011
110
1101
001
100
101
x4
1/16
011
0111
1110
1)对其进行费诺编码;
2)对其进行哈夫曼编码。
解:1)费诺编码:
信源X
p(X)
编码过程
码字
码长
x1
0、22
0
0
00
2
x2
0、20
1
01
2
x3
0、18
1
0
0
100
3
x5
0、15
1
101
3
x4
0、1
1
0
110
3
x8
0、08
1
0
1110
4
x7
0、05
1
0
11110
5
x6
0、02
1
11111
5
2)哈夫曼编码:
1)计算信源熵及其冗余度;
2)对其进行费诺编码;
3)对其进行哈夫曼编码;
4*)对其进行香农-费诺-埃利阿斯编码;
5*)对其进行香农编码;
6)计算哈夫曼码得平均码长、编码效率与码冗余度;
7)把哈夫曼编码器得输出瞧成一个新信源X,计算其概率分布p(x1)与p(x2);
8)H[p(x1),p(x2)]就是否等于H码(即平均码元熵)？为什么？
解:1)信源熵:
冗余度:
2)费诺编码:
信源S
p(S)
编码过程
码字
码长
s1
0、37
0
0
00
2
s2
0、25
1
01
2
s4
0、18
1
0
10
2
s3
0、1
1
0
110
3
s6
0、07
1
0
1110
4
s5
0、03
1
1111
4
3)哈夫曼编码:
4）香农-费诺-埃利阿斯编码:
信源S
p(S)
F(s)
得二进制数
码长
码字
s1
0、37
6、有一冗余位序列,=15,码字为0000,试将其编成L-D码,并将L-D码译回原序列。
解:0000 N=15
编码:
,于就是得L-D码:0010 0101111
译码:
修正:
故译码恢复出原序列:0000
作业:1、2、4
1100
010
101
0011
x5
1/16
100
01111
11110
1001
110
110
101
x6
1/16
101
011111
111110
1111
101
111
1001
1）哪些就是非奇异码？哪些就是唯一可译码？哪些就是即时码？
2）分别计算每个唯一可译码得平均码长与编码效率。
解:1)A、B、C、D、E、F就是非奇异码。A、B、C、F就是唯一可译码(E不满足克拉夫特不等式)。A、C、F就是即时码(B就是续长码)。
2
D
3/16
1
0
10
2
C
2/16
1
0
110
3
B
1/16
1
0
1110
4
A
1/16
1
1111
4
平均码长:码元/符号
信源熵: 比特/符号
编码后平均码元熵:比特/码元
二元信源最大码元熵为1比特/码元,故编码效率:
哈夫曼编码:
由于平均码长与费诺编码一样,故编码效率也为99%。一般情况下哈夫曼编码效率较高,但费诺编码如果每次划分概率很接近,则效率也很高。
0、985
0、111111000、、
7Байду номын сангаас
5)香农编码:
信源S
p(S)
F(s)
F(s)得二进制数
码长
码字
s1
0、37
0
0、000、、、
2
00
s2
0、25
0、37
0、010、、、
2
01
s4
0、18
0、62
0、1001、、、
3
100
s3
0、1
0、8
0、11001、、、
4
1100
s6
0、07
0、9
0、11100、、、
0
0
00
2
x2
0、19
1
0
010
3
x3
0、18
1
011
3
x4
0、17
1
0
10
2
x5
0、15
1
0
110
3
x6
0、10
1
0
1110
4
x7
0、01
1
1111
4
平均码长: 码元/符号
信源熵:
编码后平均码元熵:比特/码元
编码效率:
2)哈夫曼编码:
码长
码字
信源X
p(X)
2
10
x1
0、20
2
11
x2
0、19
3
000
0、37
0、185
0、00101、、
3
001
s2
0、25
0、62
0、495
0、01111、、
3
011
s4
0、18
0、80
0、71
0、101101、、
4
1011
s3
0、1
0、90
0、85
0、1101100、、
5
11011
s6
0、07
0、97
0、935
0、1110111、、
5
11101
s5
0、03
1、00
5、设有6个消息,其出现概率分别为
A B C D E F
1/16 1/16 2/16 3/16 4/16 5/16
将它们分别进行费诺编码与霍夫曼编码,并比较编码效率。就是否在任何情况下费诺编码比霍夫曼编码效率都低？
解:信源:
费诺编码:
信源X
p(X)
编码过程
码字
码长
F
5/16
0
0
00
2
E
4/16
1
01
x3
0、18
3
001
x4
0、17
3
010
x5
0、15
4
0110
x6
0、10
4
0111
x7
0、01
平均码长: 码元/符号
编码后平均码元熵:比特/码元
编码效率:
与费诺编码相比,哈夫曼编码得编码效率要高于费诺编码。
一般情况下哈夫曼编码效率较高,但费诺编码如果每次划分概率很接近,则效率也很高。
3、离散无记忆信源X得概率空间为:
4
1110
s5
0、03
0、97
0、1111100、、、
6
111110
6)分析哈夫曼码,
其平均码长:
平均码元熵:
编码效率:
码冗余度:
7)把哈夫曼编码器得输出瞧成一个新信源X,计算其概率分布p(x1)与p(x2):
8)计算
相比平均码元熵:
可见,两者很相近,但理论上不相同。因为平均码元熵计算得就是算术平均值,而作得就是统计平均。
3）编码A:
平均码长:
信源熵:比特/消息
编码效率:
编码B与C:
平均码长:
编码效率:
编码F:
平均码长:
编码效率:
2、离散无记忆信源X得概率空间为:
1)对其进行费诺编码,并计算其编码效率;
2)对其进行哈夫曼编码,并将其编码效率与费诺编码相比较。
解:1)费诺编码:
信源X
p(X)
编码过程
码字
码长
x1
0、20
第四章信源编码习题解答
1、一个信源由6个消息组成,其概率分布已知,对其进行信源编码得如下表所示6种编码方法:
信源X
p(X)
A
B
C
D
E
F
G
x1
1/2
000
0
0
01
1
01
1
x2
1/4
001
01
10
10
000
001
01
x3
1/16
010
011
110
1101
001
100
101
x4
1/16
011
0111
1110
1)对其进行费诺编码;
2)对其进行哈夫曼编码。
解:1)费诺编码:
信源X
p(X)
编码过程
码字
码长
x1
0、22
0
0
00
2
x2
0、20
1
01
2
x3
0、18
1
0
0
100
3
x5
0、15
1
101
3
x4
0、1
1
0
110
3
x8
0、08
1
0
1110
4
x7
0、05
1
0
11110
5
x6
0、02
1
11111
5
2)哈夫曼编码: