信息论编码作业

同时掷出两个正常的骰子，也确实是各面呈现的概率都为1/6，求： (1) “3和5同时显现”这事件的自信息； (2) “两个1同时显现”这事件的自信息； (3) 两个点数中至少有一个是1的自信息量。

居住某地域的女小孩有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女小孩中身高160厘米以上的占总数的一半。

假设咱们得知“身高160厘米以上的某女孩是大学生”的消息，问取得多少信息量？
掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包括的信息量是多少？当小圆点之和是7时，该消息所包括的信息量又是多少？
从大量统计资料明白，男性中红绿色盲的发病率为7%，女性发病率为%，若是你问一名男士：“你是不是是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每一个回答中含有多少信息量？若是问一名女士，那么答案中含有的平均自信息量是多少？
黑白气象图的消息只有黑色和白色两种，即信源X ={黑，白}。

设黑色显现的概率为P(黑) = ，白色显现的概率为P(白) = 。

假设图上黑白消息显现前后没有关联，求熵H(X)；
有两个随机变量X 和Y ，其和为Z = X + Y （一样加法），假设X 和Y 彼此独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)。

消息源以概率123451/2,1/4,1/8,1/16,1/16,P P P P P =====发送5种消息符号
12345,,,,m m m m m 。

（1） 假设每一个消息符号显现是独立的，求每一个消息符号的信息量。

（2） 求该符号集的平均信息量。

设离散无经历信源⎭⎬⎫
⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202032)，求
(1) 此消息的自信息量是多少？
(2) 此消息中平均每符号携带的信息量是多少？
汉字电报中每位十进制数字代码的显现概率如题9表所示，求该离散信源的熵。

设信源⎭⎬⎫⎩⎨⎧=⎥
⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321
x x x x x x X P X ，求那个信源的熵，并说明什么缘故H(X) > log6不知足信源熵的极值性。

每帧电视图像能够以为是由3 105个像素组成的，所有像素均是独立转变，且每像素又取128个不同的亮度电平，并设亮度电平是等概显现，问每帧图像含有多少信息量？假设有一个广播员，在约10000个汉字当选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率散布，并彼此无依托）？假设要适当的描述此图像，广播员在口述中至少需要多少汉字？
设有一个信源，它产生0，1序列的信息。

它在任意时刻而且不论以前发生过什么符号，均按P(0) = ，P(1) = 的概率发出符号。

(1) 试问那个信源是不是是平稳的？ (2) 试计算2()H X , 312(|)H X X X )及H ∞；
(3) 试计算4()H X 并写出4X 信源中可能有的所有符号。

设信源发出二重延长消息i x yi ,其中第一个符号为A 、B 、C 三种消息，第二个符号为D 、E 、F 、G 四种消息，概率()i P x 和(|)j i P y x 如题13表所示，求该二次扩
设有一概率空间，其概率散布为},,,,{21q p p p 并有21p p >。

假设取
εε+=-=2'
21'1,p p p p ，其中2120p p -≤<ε，而其他概率值不变。

试证明由
此所得新的概率空间的熵是增加的，并用熵的物理意义作以说明。

设有一离散无经历信源，其概率空间为
12()0.60.4X x x P X ⎡⎤⎡⎤
=⎢⎥⎢⎥⎣⎦⎣⎦
它们通过一干扰信道，信道输出端的接收符号集Y = [0 1]，信道转移矩阵为
5
1(0/0)(1/0)6
6(0/1)
(1/1)3144p p P p p ⎡⎤
⎢⎥⎡⎤==⎢⎥⎢
⎥⎣⎦⎢⎥⎢⎥⎣⎦
， 求：
(1) 信源X 中事件X 1和事件X 2别离包括的自信息量；
(2) 收到消息y j (j=1,2)后，取得的关于x i (i=1,2)的信息量； (3) 输出符号集Y 的平均信息量H(Y)； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后取得的平均互信息量。

设有扰离散信道的输入端是以等概显现的A 、B 、C 、D 四个字母，该信道的正确传输概率为1/2，错误传输概率均匀散布在其他三个字母上，验证在该信道上每一个字母传输的平均信息量为比特。

设有下述消息将通过一个有噪二元对称信道传送，消息为：100M =,
201M =，310M =，411M =，这四种消息在发送端是等概的。

试求： （1） 输入为1M ，输出第一个数字为0的互信息量是多少？ （2） 若是明白第二个数字也是0，这是又带来多少附加消息？
为了传输一个由字母A 、B 、C 、D 组成的符号集，把每一个字母编码成两个二元码脉冲序列，以00代表A ，01代表B ，10代表C ，11代表D ，每一个二元码元脉冲宽度为5ms 。

试求：
（1） 不同字母等概显现时，计算传输的平均信息速度？
（2） 假设每一个字母显现的概率别离为1/5A P =，1/4B P =，1/4C P =，
3/10D P =。

试计算传输的平均信息速度。

设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是，其余是。

现已知2 K Ω阻值的电阻中80%是，问通过测量阻值能够取得的关于瓦数的平均信息量是多少？
设二元对称信道的传递矩阵为
2133123
3P ⎡⎤
⎢⎥=⎢
⎥⎢⎥⎢⎥⎣⎦
(1) 假设P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其最正确输入散布；
在有扰离散信道上传输符号0和1，在传输进程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。

设有扰信道如题8图所示，试求此信道的信道容量及最正确输入散布。

求图中信道的信道容量及其最正确的输入概率散布。

有一个二元对称信道，其信道矩阵为⎥⎦⎤
⎢⎣⎡98.002.002.098.0。

设该信源以1500二元符号/秒的速度传输输入符号。

现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内可否将这消息序列无失真的传递完？
4．1什么是信源编码，试述香农第一编码定理的物理意义？
4．2假设有一信源 ⎥
⎦
⎤
⎢⎣⎡=⎥⎦⎤⎢
⎣⎡2.0,8.0,)(21s s s P S 每秒钟发出个信源符号。

将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损失），而信道每秒钟只传递2个二元符号。

试问信源不通过编码可否直接与信道连接？通过适当编码可否与信道连接？采纳何种编码，什么缘故？
4．3 有一信源，它有六个可能的输出，其概率散布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 、和F 。

（1） 求这些码中哪些是惟一可译码。

（2）对所有惟一可译码求出其平均码长L 。

已知一信源包括8个消息符号，其显现的概率为：
()0.10.180.430.050.060.10.070.01S A
B C D E F G H P S ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭
(1)该信源在每秒钟内发出1个符号，求该信源的熵及信息传输速度。

(2)对这8个符号作霍夫曼编码，写出个代码组，并求出编码效率。

4．5 某信道输入符号集为{0,1/2,1}X =，输出符号集为{0,1}Y =，信道矩阵为
1
01/21/201P ⎡⎤⎢⎥=⎢⎥
⎢⎥⎣⎦
，现有四个消息的信源（消息等概显现）通过该信道传输。

对该信源编码时选用12{(,,1/2,1/2)},01i C x x x ==或（i=1,2），码长n ＝4，并选取如下的译码规那么：123412(,,,)(,,1/2,1/2)y y y y y y =。

问： （1） 编码后信息传输率等于多少？
（2） 证明在该译码规那么下，对所有码字有0E P =
4．6一离散无经历信道，其信道矩阵为
⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢
⎢
⎢⎢⎢⎢
⎢⎢⎢⎣⎡=210002
12121000021
210
000
2121000021
21P （1）计算信道容量C 。

（2）找出一个码长为2的重复码，其信息传输率为5log 21
（即5个码字）。

若是
按最大似然译码准那么设计译码器，求译码器输出端的平均错误概率E P （输入码字等概率）。

4．7何谓单符号失真度、平均失真度？试举例说明之。

4．8信息率失真函数R （D ）如何概念？什么缘故R （D ）反映了信源的可紧缩程度。

8．当{n x }的R 0=1，R l =，R 2=，R 3=，p =3，试利用levinson —Duibin 迭代法求a l ，a 2，a 3
及E l ，E 2，E 3。

10．已知某信源的协方差矩阵100010101x Φ⎡⎤
⎢⎥=⎢⎥⎢⎥⎣⎦
，试计算DCT 变换后的y Φ。

12．设信源符号集
12,()0.1,0.9S s s P S ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
（1）求H (s )和信源剩余度。

（2）设码符号为X = [0，1]，编出S 的紧致码，并求出紧致码的平均码长L 。

（3）把信源的N 次无经历扩展信源S N 编成紧致码，试求当N =2，3，4，∞时的平均码长N L ()N。

（4）计算上述N=1，2，3，4这四种码的效率和码剩余度。

15．有二个信源X 和Y 如下：
1234567,
,,,,,()0.20,0.19,0.18,0.17,0.15,0.10,0.01X s s s s s s s P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
123456789,
,,,,,,,()0.49,0.14,0.14,0.07,0.07,0.04,0.02,0.02,0.01Y y y y y y y y y y P y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
（1）别离用霍夫曼码编成二元惟一可译码，并计算其编码效率。

（2）别离用香农编码法编成二元惟一可译码，并计算编码效率（即选取i l 是大于或等于1log i
P 的整数）。

（3）别离用费诺编码方式编成二元惟一可译码，并计算编码效率。

（4）从X ，Y 两种不同信源来比较这三种编码方式的优缺点。

第五章
1．令C 是既有偶数重量又有奇数重量码字的线性码，证明偶数重量码字的数量等于奇数重量码字的数量。

2．证明汉明距离知足三角不等式，即令x ，y ，z 是三个二元n 重码矢，那么有
d （x ，y ）+ d （y ，z ）≥d （x ，z ）
3．证明一个线性码，假设它的最小距离d 0≥e + t + l ，那么可纠正t 个之内的错误，且同时可检测e （e > t ）个之内的错误。

4．已知一码的8个组为（000000），（001110），（010101），（011011），（100011），（101101），（110110），（111000），求该码的最小距离。

5．题4给出的码假设用于检错，能检出几位错码？假设用于纠错，能纠正几位错？假设用于纠检结合方式，其纠、检错能力如何？
6．已知方阵码中码元错误情形如题6图所示，试问可否检测出来？
题6图
第六章
1．已知一个(7,4)码的生成矩阵为
G 0 = ⎥⎥⎥⎥⎦
⎤⎢⎢⎢
⎢⎣⎡01
11000
110010010100101110001 （1）求出该码的全数码字；
（2）求出该码的一致校验矩阵H 0。

2．对题1给出的(7,4)码列出标准陈列译码表。

3．令(6,3)码的一致校验矩阵为
H 0 = ⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡100101010011001111 （1）假设接收矢量别离为R l =（110110），R 2 =（010100），别离求对应的伴随式。

（2）试求该码的最小距离和纠错能力。

4．一个(8,4)系统码，其信息序列为（m 3 m 2 m 1 m 0）码字序列为（c 7 c 6 c 5 c 4 c 3 c 2 c l c 0）它的校验方程为
c 3 = m 3 + m 1 + m 0 c 2 = m 3 + m 2 + m 0 c 1 = m 2 + m 1 + m 0 c 0 = m 3 + m 2 + m 1
求出该码的一致校验矩阵H 0并证明该码最小重量为4。

7．关于一个码长为15的线性码，假设许诺纠正2个随机错误，需多少个不同的伴随式？至少要多少位校验元？
8．令C 1是最小距离为d 1，生成矩阵G 1 = []1
k P I 的(n 1,k )线性系统码；C 2是最小距
离为d 2，生成矩阵G 2 = []2k P I 的(n 2,k )线性系统码。

研究具有下述一致校验矩阵的线性码。

H = 1212T n n k
k T P I I P +-⎡
⎤⎢
⎥⎢⎥⎢⎥⎣
⎦
试求：
（1）码长，及信息位长度。

（2）证明此码的最小距离至少为d 1 + d 2。

12．已知(7,4)码的全数码字为：
0000000，0001011，0010110，0011101，0100111，0101100，0110001，0111010，1000101，101001l ，1011000，1100010，1101001，1110100，1111111，1001110 （1）试问该码是不是为循环码？什么缘故？
（2）试写出该码的生成多项式g (x )，及标准型的生成矩阵G 0。

（3）试写出标准型的一致校验矩阵H 0。

13．证明x 10 + x 8 + x 5 + x 4 + x 2 + x + 1为(15,5)循环码的生成多项式，并写出信息多项式为M (x )= x 4 + x + 1时的码多项式（按系统码的形式）。

14. 一个(n ,k )循环码，其生成多项式为g (x )。

假设n 为奇数，且x + 1不是g (x )的因式，试证全1码组是其中的一个码字。

15．在题14中，假设（x + 1）是g (x )的一个因式，证明全1的n 重不是码字，但假设n 是偶数，那么全1的n 重是一个码字。

16．已知g 1(x )= x 3 + x 2 +1，g 2(x )= x 3 + x + 1，g 3(x )= x + 1，试别离讨论： （1）g (x )= g 1(x )• g 2(x )。

（2）g (x )= g 3(x )• g 2(x )。

两种情形下，由g (x )生成的7位循环码能检测出哪些类型的单个错误和突发错误？ 17．令(15,11)循环码的生成多项式为g (x )= x 4 + x + 1。

试求：
（1）此码的一致校验多项式。

（2）此码的对偶码的生成多项式。

（3）此码的标准型的生成矩阵和一致校验矩阵。

（4）试讨论其纠错能力。

（5）假设信息序列多项式为M (x )= x 10 + x 8 + 1，试求其编码后的系统型码字。

19．假设需构造码长为15的循环码，试问共有多少种？列出它们的生成多项式。