信息论与编码习题课新

合集下载

信息论与编码习题

1 0 G 0 0 0 0 0 1 1 0 1 0 0 0 1 1 0 1 0 1 1 1 0 0 1 1 0 1
1 0 1 1 1 0 0 H 1 1 1 0 0 1 0 0 1 1 1 0 0 1
13为提高通信系统传输消息有效性，信源编码采用的方法是
A.压缩信源的冗余度 C.研究码的生成矩阵 B.在信息比特中适当加入冗余比特 D.对多组信息进行交织处理
14、给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj /xi)，（） A．数量上不等，单位不同 B．数量上不等，单位相同 C．数量上相等，单位不同 D．数量上相等，单位相同 15、条件熵和无条件熵的关系是： A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y)
8、对于相同的信息，不同的观察者所获得的信息量可能不同，指的是信息的（） A 可度量性 B 相对性 C 可替代性 D 可共享性 9、信源熵不满足以下哪个性质？（） A 确定性 B 非负性 C 连续性 D 可加性 10、二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出， u1:一个1发出，v0 :一个0收到，v1:一个1收到。则已知收到的符号，被告知发出的符号能得到的信息量是（）。 A H(U/V) B H(V/U) C H(U,V) D H(UV)

2,二元对称信道如图。
2）求该信道的信道容量。
x3 x4 x5 x6 x7 X x1 x2 3,.信源空间为 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01 ，试构造二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。

信息论编码与基础课后题(第二章)

第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。

当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ）的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。

显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits322.054log log passpass =-=-=P Ibits 25621loglog =-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。

信息论编码与基础课后题(第二章)

第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。

显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits 322.054loglog passpass =-=-=P Ibits 25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。

信息论与编码第四章课后习题答案

p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ，已知 X ≥ 0 ，其平均值受限，即数学期望为 A ，试求在此条件下获得的最大熵的最佳分布，并求出最大熵。解：给定条件如下：
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。解： 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log （2） e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注：（2）题直接借用了（1）的结论。

《信息论与编码》部分课后习题参考答案

i
1 5 1 5 1 1 1 1 1 1 1 1 = − 2 × log + 2 × log + 2 × log + 2 × log + 2 × log + log 6 36 6 36 9 9 12 12 18 18 36 36 = 3.274 bit / symbol
2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，从别人的答案中你能获得多少信息量（假设已知星期一至星期日得排序）？答：若不知道今天是星期几，则答案可能有 7 种，这 7 种都是有价值的，所以答案的信息量为：
2.5 4 个等概率分布的消息 M1、M2、M3、M4 被送入如题所示的信道进行传输，通过编码使 M1=00，M2=01、M3=10、M4=11.求输入是 M1 和输出的第一个符号是 0 的互信息量是多少?如果知道第二个符号也是 0，这时带来多少附加信息量？ X 0 p p 1 1-p 1-p Y
I(X N ) I (Y )
=
2.1 × 106 13.29
= 1.58 ×105 字
2.4 某居住地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的
消息，问获得多少信息量？答：设随机变量 X 代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1（身高>160cm） P(Y) 0.5
第二章
2.1 同时掷两个骰子，设每个骰子各个面向上的概率都是 1/6。试求：（1）事件“2 和 6 同时出现”的自信息量；（2）事件“两个 3 同时出现”的自信息量；（3）事件“两个点数中至少有一个是 5”的自信息量；（4）两个点数之和的熵。答：（1）事件“2 和 6 同时出现”的概率为：

《信息论与编码》习题集

第二章习题：补充题：掷色子，（1）若各面出现概率相同（2）若各面出现概率与点数成正比试求该信源的数学模型解：（1）根据61()1ii p a ==∑，且16()()p a p a ==，得161()()6p a p a ===，所以信源概率空间为123456111111666666⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P （2）根据61()1i i p a ==∑，且126(),()2,()6p a k p a k p a k ===，得121k =。

123456123456212121212121⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P 2-2 由符号集{}0,1组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。

画出状态图，并计算各状态的稳态概率。

解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5二进制二阶马氏链的状态集S={,1S 432,,S S S }={00，01，10，11}0.80.20.50.50.50.50.20.8⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P 状态转移图各状态稳定概率计算：⎪⎪⎩⎪⎪⎨⎧==∑∑==41411i jij i j j WP W W 即 ⎪⎪⎪⎩⎪⎪⎪⎨⎧=++++++=+++=+++=+++=143214443432421414434333232131342432322212124143132121111W W W W P W P W P W P W W P W P W P W P W W P W P W P W P W w P W P W P W P W W0.80.8得：14541==W W 14232==W W 即：P(00)=P(11)=145 P(01)=P(10)=1422-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？解：2211111(3)(1)(2)(2)(1)666618(3)log (3)log 18()P P P P P I p ⎧=⋅+⋅=⨯+⨯=⎪⎨⎪=-=⎩比特 226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log (7)log 6()P P P P P P P P P P P P P I p ⎧=⋅+⋅+⋅+⋅+⋅+⋅=⎪⎨⎪=-=⎩比特2-72-7设有一离散无记忆信源,其概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=====⎥⎦⎤⎢⎣⎡81,41,41,833,2,1,04321x x x x P X该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量?解:消息序列中,“0”个数为1n =14,“1”个数为2n =13,“2”个数为3n =12,“3”个数为4n =6. 消息序列总长为N =1n +2n +3n +4n =45(个符号)(1) 消息序列的自信息量: =I ∑==41)(i iix I n -)(log 412i i ix p n∑== 比特81.87)3(log 6)2(log 12)1(log 13)0(log 142222=----p p p p(2) 平均每个符号携带的信息量为:)/(95.14571.87符号比特==N I 2-14 在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P （1/0）=1/4，P （0/1）=1/8。

信息论与编码理论-11习题课

2012-4-27
15
解（1）消息符合的平均熵
1 1 3 3 H ( X ) = − log − log = 0.81( bit ) 4 4 4 4
（2）自信息量为
4 I ( X ) = m log4 + (100 − m) log = 200 − (100 − m) log3 3
熵为
H(X) = 1 m I ( X ) = 2 − 1 − log3 100 100
8
4. 棒球比赛中大卫和麦克在前面的比赛中打平，最后 3 场与其他选手的比赛结果最终决定他们的胜、负或平。试问： (1) 假定最后 3 场他们与其他选手的比赛结果胜负的概率均为 0.5，把麦克的最终比赛结果{胜、负、平}作为随机变量，计算他的商；（2）假定大卫最后 3 场比赛全部获胜，计算麦克的最终比赛结果的条件商；
因为
H ( X ) = log 4 = C2
所以信道 2 无噪声。
2012-4-27
14
X 0 6. 某一无记忆信源的符号集合为{0,1}，已知信源的概率空间为 =1 P 4
构成自信息量的表达式以及它的熵。
1 3 。 4
求（1）消息符合的平均熵；（2）由 100 个符号构成的序列中，有 m 个“0”和 100-m 个“1”
X Y Y X
= −0.49log0.49 − 0.01log0.01 − 0.1log0.1 − 0.4log0.4 = 1.34(bit ) I ( X ;Y ) = H ( X ) + H (Y ) − H ( X ,Y ) = 1 + 0.93 − 1.34 = 0.59(bit )
2012-4-27
I ( a1;b1 ) = I ( b1; a1 ) = log I ( a1;b2 ) = I ( b2; a1 ) = log

信息论编码与基础课后题(第二章)

信息论编码与基础课后题(第二章)第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}二进制脉冲可以表示2个不同的消息，例如：{0, 1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1===八进制脉冲的平均信息量symbolbit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbolbit n XH / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。

当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ）的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P为确定自己的成绩，甲还需信息bits 241log log score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。

显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即 67631=P 因此每个汉字所含的信息量为bits 7.1267631log log =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，bits 322.054loglog passpass =-=-=P I等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X XP P ，4/10=YP ，4/31=YP 。

信息论与编码习题

C 某事件为不可能事件，其信息量为0 D 信息量是一个随机变
量
7、当信源符合（）时，信源熵最大。
A 均匀分布 B 等概分布 C 泊松分布 D 正态分布
8、对于相同的信息，不同的观察者所获得的信息量可能不同，指的是信息的（）
A 可度量性 B 相对性 C 可替代性 D 可共享性
9、信源熵不满足以下哪个性质？（） A 确定性 B 非负性 C 连续性 D 可加性
1 0 0 0 1 1 0 G 0 1 0 0 0 1 1
0 0 1 0 1 1 1 0 0 0 1 1 0 1
1 0 1 1 1 0 0 H 1 1 1 0 0 1 0
0 1 1 1 0 0 1
性发病率为0.5%，如果问一位男士他是否色盲，他的回答有可能是“是”，或者“否”，从该男士的回答中得到平均信息量是
A 0.366bit/sym B 0.414bit/sym C 0.259bit/sym D 0.887bit/sym
12、彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64
4、下列离散信源，熵最大的是（）。
A. H（1/3,1/3,1/3）； B. H（1/2,1/2）；
C. H（0.9,0.1）；
D. H（1/2,1/4,1/8,1/8)
5、以下选项中不是香农信息论中主要研究对象的是 A 信息的测度 B 信道容量 C 信息率失真函数 D 信息的
变换
6、以下关于信息量性质描述正确的是（）。 A 信息量可以为负 B 信息量是事件发生概率的递增函数
8、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。
9、___提高通信的有效性，____目的是提高通信的可靠性，__

信息论编码部分课后习题习题

7
第3章习题章习题
8
第3章习题章习题
9
第3章习题章习题
10
第3章习题章习题
11
第4章习题章习题
12
第4章习题章习题
13
第6章习题章习题
14
第6章习题章习题
15
第8章习题章习题
16
第8章习题章习题
17
第8章习题章习题
18
第8章习题章习题
19
第8章习题章习题
20
第8章习题章习题
21
第9章习题章习题
某线性分组码的生成矩阵为
0 0 G= 1 1 1 0 1 0 1 0 1 1 1 0 0 1 1 1 0 0 1 0 0 1 0 1 0 1
求：（1）用系统码的形式表示G；（2）计算系统码的校验矩阵H；（3）若接收到的码字为R1=0010100，检验它是否为码字？
解：(1)对G作行运算，得到系统化后的生成矩阵为
1 0 G= 0 0 0 1 0 0 0 0 1 0 0 0 0 1 1 1 0 1 1 1 1 0 0 1 1 1
(3)计算
1 1 0 1 1 0 0 T R1 H = [ 0 0 1 0 1 0 0] 1 1 1 0 0 1 0 0 1 1 1 0 0 1 = [1 0 1] ≠ 0
T
(2)由系统化后的生成矩阵得系统码的校验矩阵H为
1 1 0 1 1 0 0 H = 1 1 1 0 0 1 0 0 1 1 1 0 0 1
因此可断言R1不是码字。
22
信息论课后习题答案信息论基础课后答案信息论导引习题答案信息论与编码信息论与编码论文信息论基础习题解答信息论基础习题信息论与编码试卷信息论与编码试题信息论与编码答案第2章 Nhomakorabea题章习题

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。

（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

信息论与编码习题答案

信息论与编码习题答案信息论与编码是通信和数据传输领域的基础学科，它涉及到信息的量化、传输和编码。

以下是一些典型的信息论与编码习题及其答案。

# 习题1：信息熵的计算问题：给定一个随机变量X，其可能的取值为{A, B, C, D}，概率分别为P(A) = 0.3, P(B) = 0.25, P(C) = 0.25, P(D) = 0.2。

计算X的熵H(X)。

答案：H(X) = -∑(P(x) * log2(P(x)))= -(0.3 * log2(0.3) + 0.25 * log2(0.25) + 0.25 *log2(0.25) + 0.2 * log2(0.2))≈ 1.846# 习题2：信道容量的计算问题：考虑一个二进制信道，其中传输错误的概率为0.01。

求该信道的信道容量C。

答案：C = log2(2) * (1 - H(error))= 1 * (1 - (-0.01 * log2(0.01) - 0.99 * log2(0.99))) ≈ 0.98 nats# 习题3：编码效率的分析问题：一个编码器将4位二进制数字编码为8位二进制码字。

如果编码器使用了一种特定的编码方案，使得每个码字都具有相同的汉明距离，求这个编码方案的效率。

答案：编码效率 = 信息位数 / 总位数= 4 / 8= 0.5# 习题4：错误检测与纠正问题：给定一个(7,4)汉明码，它能够检测最多2个错误并纠正1个错误。

如果接收到的码字是1101100，请确定原始的4位信息位是什么。

答案：通过汉明码的生成矩阵和校验矩阵，我们可以计算出接收到的码字的校验位，并与接收到的码字的校验位进行比较，从而确定错误的位置并纠正。

通过计算，我们发现原始的4位信息位是0101。

# 习题5：数据压缩问题：如果一个文本文件包含10000个字符，每个字符使用8位编码，如何通过霍夫曼编码实现数据压缩？答案：首先，我们需要统计文本中每个字符的出现频率。

信息论编码与基础课后题第二章

信息论编码与基础课后题(第二章)————————————————————————————————作者：————————————————————————————————日期：第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。

信息论与编码习题课

编码效率为
H ( X ) 2.23 0.9696
K
2.3
(3)信源序列的自信息方差为
2 ( X ) p(xi )[logp(xi )]2 [H ( X )]2
i
0.792 (bit)2
由 H ( X ) 0.9696得， 0.07 H(X)
由切比雪夫不等式可得
L
2(X ) 2
1101001 1101001 1101000 1101011 1100001 1101101 0101001 1111001 1001001
1110100 1110100 1110101 1110110 1111100 1110000 0110100 1100100 1010100
1111111 1111111 1111110 1111101 1110111 1111011 0111111 1101111 1011111
2.55bit / sym bol
信息传输速率为
Rt 2.55bit / s
（2）哈夫曼编码：
符号概率
x1 0.4
x2 0.18
x3 0.1
x4 0.1
0
x5 0.07 0 0.13 x6 0.06 1
x0 7 0.05 0.09 1
x8 0.04 1
0
0.23 1 0.19
0
0.37 0 0.6
解：（1)由题意，知生成矩阵为
0 0 1 1 1 0 1 1 0 0 1 1 1 0 G 0 1 0 0 1 1 1 0 1 0 0 1 1 1
1 0 0 1 1 1 0 0 0 1 1 1 0 1
C12 (1100010)C13 (1101001)C14 (1110100)C15 (1111111)