信源熵习题答案

合集下载

第三章 信道与信道容量 习题解答

第三章 信道与信道容量 习题解答


,求




(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。
解:
(1)先写出

根据公式
计算联合概率:
信宿端符号分布概率:
根据公式
计算:
3
求各熵: 信源熵:
比特/消息
信宿熵:
比特/消息
可疑度:
平均互信息量: 噪声熵: (2)二元对称离散信道的信道容量:
比特/消息 比特/消息
比特/秒
信源等概分布时(
解:设下标 1为原状况,下标 2为改变后状况。由
可得:


如果功率节省一半则
倍 ,为 了 使 功 率 节 省 一 半 又 不 损 失 信 息 量 I,根 据
,可以: (1) 加大信道带宽 W,用带宽换取信噪比


7
缺点是对设备要求高。 (2) 加大传输时间 T,用传输时间换取信噪比,同理可得:
缺点是传输速度降低了。
噪声熵:
(5)平均互信息量:
2.有一个生产 A、B、C、D四种消息的信源其出现的概率相等,通过某一通信系统传输时,B和 C无误,A 以 1/4概率传为 A,以 1/4概率误传为 B、C、D,而 D以 1/2概率正确传输,以 1/2概率误传为 C,
(1)试求其可疑度?(2)收到的信号中哪一个最可靠?(3)散布度为多少? 解:(1)

将各数据代入: 解得:
如果

将各数据代入: 解得:
14.在理想系统中,若信道带宽与消息带宽的比为 10,当接收机输入端功率信噪比分别为 0.1和 10时,试
比较输出端功率信噪比的改善程度,并说明

之间是否存在阀值效应。

信息论、编码与密码学课后习题答案

信息论、编码与密码学课后习题答案
《信息论、编码与密码学》课后习题答案
第1章 信源编码
1.1考虑一个信源概率为{0.30,0.25,0.20,0.15,0.10}的DMS。求信源熵H(X)。
解: 信源熵
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
10100+11110=01010 10100+00111=10011
10100+01101=11001
11110+00111=11001 11110+01101=10011
00111+01101=01010
满足第一条性质
2、全零码字总是一个码字
{00000,01010,10011,11001,10100,11110,00111,01101}
(1)给出此信源的霍夫曼码并确定编码效率。
(2)每次考虑两个符号时,给出此信源的霍夫曼码并确定编码效率。
(3)每次考虑三个符号时,给出此信பைடு நூலகம்的霍夫曼码并确定编码效率。
解:
(1)本题的霍夫曼编码如下图所示:
图1.11 霍夫曼编码
则霍夫曼码如下表:
符号
概率
码字
x1
0.5
1
x2
0.4
00
x3
0.1
01
该信源的熵为:
(2)全零字总是一个码字,
(3)两个码字之间的最小距离等于任何非零码字的最小重量,即
设 ,即 , , , ,
首先证明条件(1):
, , , , , ,
很明显,条件(1)是满足的。条件(2)也是显然成立的。

信息论基础第五章课后答案

信息论基础第五章课后答案

5.1设有信源⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛01.01.015.017.018.019.02.0)(7654321a a a a a a a X P X (1)求信源熵H(X)(2)编二进制香农码(3)计算其平均码长及编码效率解:(1)H(X)=-)(log )(21i ni i a p a p ∑=H(X)=-0.2log 20.2-0.19log 20.19-0.18log 20.18-0.17log 20.17-0.15log 20.15-0.log 20.1-0.01log 20.01H(X)=2.61(bit/sign)(2)ia i P(ai)jP(aj)ki码字a 001a 10.210.0030002a 20.1920.2030013a 30.1830.3930114a 40.1740.5731005a 50.1550.7431016a 60.160.89411107a 70.0170.9971111110(3)平均码长:-k =3*0.2+3*0.19+3*0.18+3*0.17+3*0.15+4*0.1+7*0.01=3.14(bit/sign)编码效率:η=R X H )(=-KX H )(=14.361.2=83.1%5.2对习题5.1的信源二进制费诺码,计算器编码效率。

⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛0.01 0.1 0.15 0.17 0.18 0.19 2.0 )(7654321a a a a a a a X P X 解:Xi)(i X P 编码码字ik 1X 0.2000022X 0.191001033X 0.18101134X 0.17101025X 0.151011036X 0.110111047X 0.01111114%2.9574.2609.2)()(74.2 01.0.041.0415.0317.0218.0319.032.02 )(/bit 609.2)(1.5=====⨯+⨯+⨯+⨯+⨯+⨯+⨯===∑KX H R X H X p k K sign X H ii i η已知由5.3、对信源⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制赫夫曼码,计算各自的平均码长和编码效率。

信息论与编码习题答案-曹雪虹

信息论与编码习题答案-曹雪虹

3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为

第二章 信源熵-习题答案

第二章 信源熵-习题答案

· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?解:四进制脉冲可以表示4个不同的消息,例如:{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息,例如:{0, 1} 假设每个消息的发出都是等概率的,则:四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以:四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?解:设随机变量X 代表女孩子学历X x 1(是大学生) x 2(不是大学生) P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1(身高>160cm ) y 2(身高<160cm ) P(Y) 0.5 0.5已知:在女大学生中有75%是身高160厘米以上的 即:bit x y p 75.0)/(11=求:身高160厘米以上的某女孩是大学生的信息量 即:bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-=2.3 一副充分洗乱了的牌(含52张牌),试问(1) 任一特定排列所给出的信息量是多少?(2) 若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?解:(1) 52张牌共有52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:!521)(=i x p bit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:· 2 ·bit C x p x I C x p i i i 208.134log)(log )(4)(135213135213=-=-==2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ,其发出的信息为(202120130213001203210110321010021032011223210),求 (1) 此消息的自信息量是多少?(2) 此消息中平均每符号携带的信息量是多少?解:(1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是:bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是:bit n I 951.145/811.87/==2.5 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量是多少?解: 男士:sym bolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士:symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ,求这个信源的熵,并解释为什么H(X) > log6不满足信源熵的极值性。

信息论与编码课后习题答案

信息论与编码课后习题答案

1. 有一个马尔可夫信源,已知p(x 1|x 1)=2/3,p(x 2|x 1)=1/3,p(x 1|x 2)=1,p(x 2|x 2)=0,试画出该信源的香农线图,并求出信源熵。

解:该信源的香农线图为:1/3○ ○2/3 (x 1) 1 (x 2)在计算信源熵之前,先用转移概率求稳固状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程:)()()(1111x p x x p x p =+)()(221x p x x p=)()(2132x p x p +)()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得431)(=x p 412)(=x p马尔可夫信源熵H = ∑∑-IJi j i jix x p x xp x p )(log )()( 得 H=0.689bit/符号2.设有一个无经历信源发出符号A 和B ,已知4341)(.)(==B p A p 。

求:①计算该信源熵;②设该信源改成发出二重符号序列消息的信源,采纳费诺编码方式,求其平均信息传输速度; ③又设该信源改成发三重序列消息的信源,采纳霍夫曼编码方式,求其平均信息传输速度。

解:①∑-=Xiix p x p X H )(log )()( =0.812 bit/符号②发出二重符号序列消息的信源,发出四种消息的概率别离为1614141)(=⨯=AA p 1634341)(=⨯=AB p1634143)(=⨯=BA p 1694343)(=⨯=BB p用费诺编码方式 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3无经历信源 624.1)(2)(2==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号BX H R )(22==0.963 bit/码元时刻③三重符号序列消息有8个,它们的概率别离为641)(=AAA p 643)(=AAB p 643)(=BAA p 643)(=ABA p 649)(=BBA p 649)(=BAB p 649)(=ABB p 6427)(=BBB p用霍夫曼编码方式 代码组 b iBBB 6427 0 0 1 BBA 649 0 )(6419 1 110 3BAB 649 1 )(6418 )(644 1 101 3ABB 649 0 0 100 3AAB 6431 )(6461 11111 5 BAA 643 0 1 11110 5ABA6431 )(6440 11101 5 AAA641 0 11100 5)(3)(3X H X H ==2.436 bit/三重符号序列 3B =2.469码元/三重符号序列3R =BX H )(3=0.987 bit/码元时刻3.已知符号集合{ 321,,x x x }为无穷离散消息集合,它们的显现概率别离为 211)(=x p ,412)(=x p 813)(=x p ···ii x p 21)(=···求: ① 用香农编码方式写出各个符号消息的码字(代码组); ② 计算码字的平均信息传输速度; ③ 计算信源编码效率。

信息论与编码第五章课后习题答案

信息论与编码第五章课后习题答案

第五章课后习题【5.1】某信源按43)0(=P ,41)1(=P 的概率产生统计独立的二元序列。

(1)试求0N ,使当0N N >时有01.005.0)()(≤≥−S H N I P i α 式中,)(S H 是信源的熵。

(2)试求当0N N =时典型序列集N G ε中含有的信源序列个数。

解:(1)该信源的信源熵为811.0)(log )()(=−=∑i i s p s p S H 比特/符号自信息的方差为4715.0811.04log 4134log 43)()]([)]([22222=−+=−=S H s I E s I D i i 根据等长码编码定理,我们知道δεα−≤≥−1)()(S H N I P i 根据给定条件可知,05.0=ε,99.0=δ。

而[]2)(εδN s I D i =因此[]5.19099.0*05.04715.0)(220==≥δεi s I D N 取1910=N 。

(2)ε典型序列中信源序列个数取值范围为:])([])([22)1(εεεδ+−<<−S H N N S H N G代入上述数值得451.164351.1452201.0<<×N G ε【5.2】有一信源,它有六个可能的输出,其概率分布如下表所示,表中给出了对应的码A 、B 、C 、D 、E 和F 。

表5.2消息 )(i a P A B C D E F 1a 1/2 000 0 0 0 0 0 2a 1/4 001 01 10 10 10 100 3a 1/16 010 011 110 110 1100 101 4a 1/16 011 0111 1110 1110 1101 110 5a 1/16 100 01111 11110 1011 1110 111 6a1/1610101111111111011011111011(1) 求这些码中哪些是惟一可译码; (2) 求哪些码是非延长码(即时码); (3) 求对所有惟一可译码求出其平均码长L 。

信息论基础第二章信源熵-习题答案.doc

信息论基础第二章信源熵-习题答案.doc

为(202120130213001203210110321010021032011223210),求(1) 此消息的自信息量是多少?(2) 此消息中平均每符号携带的信息量是多少?解:(1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:(]\25X ——,4丿此消息的信息量是:/ =-log/? = 87.811 bit(2)此消息中平均每符号携带的信息量是://〃 = 87.811/45 = 1.951 bit解释为什么> Iog6不满足信源储的极值性。

解: 6 H(X)= -工 /?(%,) log p(xji= -(0.2 log 0.2+ 0.19 log 0.19 + 0.181og0.18 + 0.171og0」7 + 0.161og0.16 + 0.171og0.17) =2.657 bit / symbolW(X)>log 2 6 = 2.5856不满足极值性的原因是工#(兀)=1.07 > i 。

2.7同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:(1) “3和5同时出现”这事件的自信息;(2) “两个1同时出现”这事件的自信息;(3) 两个点数的各种组合(无序)对的*商和平均信息量;(4) 两个点数之和(即2, 3,…,12构成的子集)的储;(5) 两个点数中至少有一个是1的自信息量。

解:2.4 设离散无记忆信源X P(X) 兀[=0 兀2 = 1 兀3 = 2 X 4 =3 3/8 1/4 1/4 1/8 ,其发出的信息 2. 6 ■ X 'x 2 兀4 尤5 兀6 ' > P(X).[0.2 0.19 0.18 0.17 0.16 0」74H(X)=-工"(xjlog #(兀)= 2.010 /=!设信源 求这个信源的储,并⑴用随机事件兀表示“3和5同时出现”,贝UI(x i ) = - log p(xj = - log — = 4.170 bit 18(2)用随机事件齐表示“两个1同吋出现”,则 p(xj = — X —=—'6 6 36/(兀)=- log p{x i ) = -log — = 5」70 bit⑶两个点数的排列如下: 1112 13 14 15 16 2122 23 24 25 26 3132 33 34 35 36 4142 43 44 45 46 5152 53 54 55 56 61 62 63 64 65 6622, 33, 44, 55, 66的概率是卜卜召 其他"组合的概率是2x 肚诂H(X) =-工 p(x /)logp(x,) = -f6x-^log-^ + 15x-l-log-^/ I 3o 3b 1 o 1 o ⑷参考上而的两个点数的排列,可以得出两个点数求和的概率分布如H :Xf 2 3 4 5 6 7 8 9 1() 11 121 1 1 1 1 5 1 5 1 1 1 1]p(X)_ 、36 18 12 9 36 6 36 9 12 18 36.H(X) = -工卩(无)log pg1 . 1 c 1 I 1,1. 1,1. 1,5, 5 1 I 1)-2x ——log — + 2x —log — + 2x — log — + 2x —log —+ 2x — log — + —log —I 36 36 18 18 12 12 9 9 36 36 6 6)= 3.274 bit/symbol⑸p(x.) = —x — xl 1 =——'6 6 36/(x z ) = - log /?(%, ) = - log= 1.710 bit 36共有21种组合:其中11,= 4.337 bit I symbol2.10对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷 暖两个状态,调查结果得联合出现的相对频度如下:若把这些频度看作概率测度,求:(1) 忙闲的无条件爛;(2) 天气状态和气温状态已知时忙闲的条件爛;⑶从天气状态和气温状态获得的关于忙闲的信息。

信源熵的计算与理解习题3及详细解答

信源熵的计算与理解习题3及详细解答

习题3-1(情况二:认为事件“0/0”“1/1”不会出现;)
解:设X={S1=“0”, S2=“1”}, (1) Y={ t1=“0” , t2=“1”};
H ( X ) H (Y ) [0.8 log2 0.8 0.2 log2 0.2] 0.72bit / 符号
序列熵: 而 即:
p(1) [a(1) d (1)] max [a(1) d min] max
由于 t (1) [a(1) d min],
(6 8) (6 8)
且d (1) a(1) t (1)为确定值
H ( X Y ) H ( X ) H (Y / X )
n 2 m2 i 1 j 1 n 2 m2 i 1 j 1
H (Y / X ) rij log2 (rij / p(s i )) rij log2 Pij
即:
[r11log2 P 11 r12 log2 P 21 r 21log2 P 12 r 22 log2 P 22 ]
n 2 m2 i 1 j 1 n 2 m2 i 1 j 1
H (Y / X ) rij log2 (rij / p(s i )) rij log2 Pij
即:
[r11log2 P 11 r12 log2 P 21 r 21log2 P 12 r 22 log2 P 22 ]
信源熵的计算与理解习题3及详细解答
公式:
习题3-1(?)
解:设X={S1=“0”, S2=“1”}, Y={ t1=“0” , t2=“1”};
(1)
H ( X ) H (Y ) [0.8 log2 0.8 0.2 log2 0.2] 0.72bit / 符号

1-4 信源熵-习题答案

1-4 信源熵-习题答案

600
1030 3408 2520
382
489 1808 859
3.137
3.1595 3.1415929 3.1795
利用蒙特卡罗(Monte Carlo)法进行计算机模拟. 取a 1, b 0.85. 单击图形播放/暂停 ESC键退出

概率的公理化定义
概率 P 是在事件域 上有定义的集合函数,它
§1.4

概率的公理化定义及概率的性质
几何概率 古典概型中试验结果是有限的,但许多问题试验
结果是无限的,一般的情况是不易解决的,下面考虑 所谓的“等可能性”问题. 在一个面积为 S 的区域 中,等可能地投点.这 里“等可能”的确切意义是:设在区域 中有任意一个 小区域 A ,如果它的面积为 S A,则点落入 A 中的可 能性大小与 S A成正比,而与 A 的位置和形状无关。
所以 1 P ( S ) P ( A A) P ( A) P ( A) . P ( A) 1 P ( A).
(6) ( 加法公式) 对于任意两事件 A, B 有 P ( A B ) P ( A) P ( B ) P ( AB ).
证明 由图可得
A B A ( B AB),
通常,在
代数 上有定义的非负、可列可加的

集函数称作是 上的测度.概率不过是事件域
的一个规范化的测度.
一般地描述一个随机试验的数学模型,应该有 三件东西: (1) 样本空间 (2) 事件域 (3) 概率(上的规范测度) P 三者写成 ( , , P) 并称它是一个概率空间.
会面问题
例7 甲、乙两人相约在 0 到 T 这段时间内, 在预 定地点会面. 先到的人等候另一个人, 经过时间 t ( t<T ) 后离去.设每人在0 到T 这段时间内各时刻

第四章 信息论基础 习题及解答

第四章 信息论基础 习题及解答

第四章 习题解答4-1、某一信源以概率1/2、1/4、1/8、1/16、1/32和1/32产生6种不同的符号1x 、2x 、3x 、4x 、5x 和6x ,每个符号出现是独立的,符号速率为1000(符号)/秒。

(1)请计算每个符号所含的信息量;(2)求信源的熵;(3)求单位时间内输出的平均信息量。

解:(1)按定义,各符号所含的信息量分别为()()()12121log log 12I x p x bit =-=-= ()()()22221log log 24I x p x bit =-=-= ()()()32321log log 38I x p x bit =-=-= ()()()42421log log 416I x p x bit =-=-= ()()()52521log log 532I x p x bit =-=-= ()()()62621log log 532I x p x bit =-=-=(2)信源的熵()()()()521222222log 111111111111log log log log log log 22448816163232323211345516168555025228163232323216i i i H X p x p x ==-=------++++=+++++===∑比特符号(3)单位时间内输出的平均信息量()()2510001562.516S I H X R ==⨯=比特4-2 一个离散信号源每毫秒发出4种符号中的一个,各相互独立符号出现的概率分别为0.4、0.3、0.2和0.1,求该信号源的平均信息量与信息速率。

解:信号源的平均信息量,即熵为:()()()()5212222log 0.4log 0.40.4log 0.40.4log 0.40.4log 0.41.864i i i H X p x p x ==-=----=∑比特 因为符号速率R S =1/10-3=103,信息速率R b()()31.86410b S R H X R ==⨯比特秒4-3 设有4个消息符号,其出现的概率分别是1/8、1/8、1/4和1/2,各消息符号的出现是相对独立的,求该符号集的平均信息量。

信源及信源熵习题答案

信源及信源熵习题答案
解:
(1)
(2)
(3)
H(X) > H2(X)
表示得物理含义就是:无记忆信源得不确定度大与有记忆信源得不确定度,有记忆信源得结构化信息较多,能够进行较大程度得压缩。
2、12 同时掷出两个正常得骰子,也就就是各面呈现得概率都为1/6,求:
(1) “3与5同时出现”这事件得自信息;
(2) “两个1同时出现”这事件得自信息;
第二章:
2、1 试问四进制、八进制脉冲所含信息量就是二进制脉冲得多少倍?
解:
四进制脉冲可以表示4个不同得消息,例如:{0, 1, 2, 3}
八进制脉冲可以表示8个不同得消息,例如:{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示2个不同得消息,例如:{0, 1}
假设每个消息得发出都就是等概率得,则:
若把这些频度瞧作概率测度,求:
(1) 忙闲得无条件熵;
(2) 天气状态与气温状态已知时忙闲得条件熵;
(3) 从天气状态与气温状态获得得关于忙闲得信息。
解:
(1)
根据忙闲得频率,得到忙闲得概率分布如下:
(2)
设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量Z
(3)
2、15 有两个二元随机变量X与Y,它们得联合概率为
(1) 求符号得平均熵;
(2) 有100个符号构成得序列,求某一特定序列(例如有m个“0”与(100m)个“1”)得自信息量得表达式;
(3) 计算(2)中序列得熵。
解:
(1)
(2)
(3)
2、14 对某城市进行交通忙闲得调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,调查结果得联合出现得相对频度如下:
(2) 若从中抽取13张牌,所给出得点数都不相同能得到多少信息量?

信源熵理解练习知识题

信源熵理解练习知识题

信源熵理解练习知识题第一章绪论练习题一、填空题1. 信息是事物运动状态或存在方式的所有可能取值的描述,不确定性可以用概率来表达,因而可以用概率论与随机过程来描述信源输出的消息。

单符号信源用概率空间来描述,即信源符号的所有可能取值及其对应的概率。

信源的某一种取值概率大,则其不确定性(度)小;相反,某一种取值概率小,则其不确定性(度)大。

2. 信源发出消息,传输信息的过程是:发出消息之前,信源即将发出什么消息存在不确定性(度),不确定性(度)的大小由消息的概率决定;发出某个具体消息后,就消除了对应大小的不确定性(度)。

在这一过程中,从未知到已知,传递了信息,信息的大小就是消除的不确定性(度)的大小。

3. 一个随机事件发生某一结果后所带来的信息量称为自信息量,简称自信息,其定义为事件发生概率对数的负值,即 ()()2log i i I x p x =- ,自信息量的单位与所用的对数的底有关。

这就是香农信息的度量规则。

联合自信息是联合事件发生时所带来的信息量;条件自信息量是带有条件是事件发生时所带来的信息量。

4. 离散单符号信源熵是信源中各个消息符号(随机变量各个取值)不确定度(或者自信息量)的数学期望,代表了信息源的平均不确定度,记作H(X),用数学式子表达为()H X = ()()()1log qi i i i E I x p x p x ==-∑ 。

5. 离散信源熵有最大值,其取得最大值的条件是离散信源各个消息符号为等概率分布;离散信源熵一定有最大值的原因是熵函数是严格上。

例如,包含n 个不同离散消息的信源X 的熵()H X 2log n (选填<、>≥、≤或者=),当满足X 中各个消息出现的率全相等(或者表达出等概率的意思的文字)条件时,上式取得等号。

6. 联合熵是联合离散符号集合XY 上,联合消息i j x y 的联合自信息量的数学期望(或者概率统计/加权平均),在数学上表达为()1111()()()log ()n m n mi j i j i j i j i j i j H XY p x y I x y p x y p x y ======-∑∑∑∑ 。

(完整版)信息论基础与编码课后题答案(第三章)

(完整版)信息论基础与编码课后题答案(第三章)

3-1 设有一离散无记忆信源,其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦,信源发出符号通过一干扰信道,接收符号为12{,}Y y y =,信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦,求: (1) 信源X 中事件1x 和2x 分别含有的自信息量;(2) 收到消息j y (j =1,2)后,获得的关于i x (i =1,2)的信息量; (3) 信源X 和信宿Y 的信息熵;(4) 信道疑义度(/)H X Y 和噪声熵(/)H Y X ; (5) 接收到消息Y 后获得的平均互信息量(;)I X Y 。

解:(1)12()0.737,() 1.322I x bit I x bit ==(2)11(;)0.474I x y bit =,12(;) 1.263I x y bit =-,21(;) 1.263I x y bit =-,22(;)0.907I x y bit =(3)()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==(4)()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =(5)(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。

该信道的正确传输概率为0.5,错误传输概率平均分布在其他三个字母上。

验证在该信道上每个字母传输的平均信息量为0.21比特。

证明:信道传输矩阵为:11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦,信源信宿概率分布为:1111()(){,,,}4444P X P Y ==, H(Y/X)=1.79(bit/符号),I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21(bit/符号)3-3 已知信源X 包含两种消息:12,x x ,且12()() 1/2P x P x ==,信道是有扰的,信宿收到的消息集合Y 包含12,y y 。

信息论与编码第四章习题参考答案

信息论与编码第四章习题参考答案

4.1某离散无记忆信源概率空间为分别使用长度为10和100的序列进行等长无失真编码,分别计算最短平均码长和编码效率。

解:信源的熵为881.03.03.07.07.0)(H =--=lb lb X 比特/符号当N=10时,序列码长应当满足 81.81881.0102)(L 1=⨯=>lb X NH 比特/序列考虑到序列码长应该为整数,取L1=9比特/符号,平均每个符号的码长为9.0NL L 11==比特/符号 所以编码效率为%9.97L )(H 11==X η 当N=100时,序列码长为1.881881.01002)(L 1=⨯=>lb X NH 比特/100符号取L1=89比特/符号,平均每个符号的码长为89.0NL L 22==比特/符号 编码效率为%99L )(H 22==X η 4.2设离散无记忆信源为如果要求编码效率为,允许错误概率为,求编码序列的长度。

解:信源的熵为722.02.02.08.08.0)(H =--=lb lb X 比特/符号自信息量方差为64.0722.0-)2.0(2.0)8.0(8.0D 222=+=lb lb采用二进制码进行等长编码,序列长度应当满足72221062.1)1)((D N ⨯=-≥δηηX H4.3设离散无记忆信源的概率空间为要求编码效率为(1) 如果采用序列等长编码,而允许译码错误概率为,求编码序列的长度。

(2) 如果采用序列变长编码,求编码序列的长度,并且与(1)比较,说明为什么会有这样的结果。

解1)信源的熵为811.025.025.075.075.0)(H =--=lb lb X 比特/符号自信息量方差为471.0811.0-)25.0(25.0)75.0(75.0D 222=+=lb lb采用二进制编码,序列长度为62221029.1)1)((D N ⨯=-≥δηηX H2)对信源进行二次扩展,并采用下列编码方式构成唯一可译码平均码长为6875.13161316321631169L =⨯+⨯+⨯+⨯=比特/2符号 每个符号码长为84375.026875.12L L ===比特/符号 编码效率为%95%1.9684375.0811.0L H(X)=>===δη 由于变长编码能够更好利用不同序列的概率分布进行编码,概率越大,序列的码长越短,概率越小,序列的码长越长,所以相对等长编码而言,变长编码的平均码长很短。

第4章习题解答

第4章习题解答

4。

1 某集源按P (0)=3/4,P(1)=1/4的概率产生统计独立的二元序列.(1) 试求N 0,使当N>N 0时有: P {|I(a i )/N -H(S )| ≥0.05}≤0.01其中H (S)是信源的熵。

(2)试求当N= N 0时典型序列集G εN 中含有的信源序列个数.解:(1) H(S)= —∑Pi ㏒Pi= -3/4㏒(3/4)—1/4㏒(1/4) =0.811 比特/符号根据契比雪夫不等式,对于任意ε>0,当N >N0时,P {∣I(αi)/N – H(S )∣≥ε}≤D[I(Si )]/N ε2现有ε=0.05,欲证原式,只要 D [I(Si )]/N ε2≤0。

01根据信源,D [I (Si)]=∑P (Si )[㏒P(Si)]2– H 2(S)=3/4(㏒3/4)2+1/4(㏒1/4)2—(0。

811)2=0。

471∴N0= D[I(Si)]/0。

01ε2=0.471/0。

01×(0.05)2=18840(2) 序列G εN 是所有N 长的ε典型序列集合,(1-δ)2N [H (S )—ε]≤‖G εN ‖≤2N[H (S )-ε]0.99×214342。

5≤‖G εN ‖≤216226。

54。

2 设无记忆二元信源,其概率为P1=0.005, P0=0。

995.信源输出N =100的二元序列.在长为N =100的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。

(1)求码字所需的最小长度。

(2)计算式(4.27a )中的ε。

(3)考虑没有给予编码的信源序列出现的概率,该等长码引起的错误概率PE 是多少?若从契比雪夫不等式(4。

22)考虑,PE 应是多少?试加以比较。

解:(1)无记忆二元信源()⎢⎣⎡⎥⎦⎤=⎢⎣⎡⎥⎦⎤005.0995.01,0i s P S N=100的扩展信源()()()()()⎢⎢⎢⎣⎡⎥⎥⎦⎤⨯⨯=====⎢⎢⎣⎡⎥⎦⎤--N N N N NN N N i N N N P S 005.0,005.0995.0005.0995.0,995.0111,1011010001121221,,,,,- ααααα 现只对含有3个或小于3个“1”的各信源序列构成一一对应的一组二元等长码。

信源熵-习题答案

信源熵-习题答案

C
1 m1
C
2 m
2
+…+
C n1 m n 1
C n1 mn
P(A3)=
!! (
)!
[C
0 2
1

C 1
2
]
评注:
=
!! (
)!
C
1
1
=
如果把题中的“白球”、“黑球”换为“正品”、 “次品”或“甲物”、“乙物”等等,我们就可以得到各 种各样的“摸球模型”.
二. 古典概型的基本模型:分球入盒模型
排列.所以样本点总数为107.
(1)事件A1,要求所取的7个数是互不相同的,考虑到各 个数取出时有先后顺序之分,所以有利场合相当于从10个 相异元素里每次取出7个相异元素的排列.因此,A1所包含 的样本点数为 A170,于是
.
P(A1)=
A170 10 7
0.06048
(2)A2:不含10与1;
(1)杯子容量无限
问题1 把 4 个球放到 3个杯子中去,求第1、2个 杯子中各有两个球的概率, 其中假设每个杯子可 放任意多个球.
3
3
3
3
4个球放到3个杯子的所有放法 3 3 3 3 34种,
4种 2
2种 2
2个
2个
因此第1、2个杯子中各有两个球的概率为
p 4 2 34 2 .
个样本点,.这样
评注:
P(C)=
Cnm (N 1)nm Nn
Cnm
(
1 N
)m
(1
.
1 N
) nm
不难发现当n和N确定时P(C)只依赖于m.如果把 P(C)记作Pm,依二项式定理有

(完整版)信息论第五章答案

(完整版)信息论第五章答案

5.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X); (2) 编二进制香农码;(3) 计算平均码长和编码效率。

解: (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.2 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码,计算编码效率。

%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.3 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码,计算各自的平均码长和编码效率。

解:%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LK X H R X H x p k K ii i η5.4 设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X);(2) 编二进制香农码和二进制费诺码;(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率; (4) 编三进制费诺码;(5) 计算三进制费诺码的平均码长和编码效率;解: (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)二进制费诺码:香农编码效率:%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η费诺编码效率:%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η(5)%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η5.5 设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X先把信源序列编成数字0,1,2,……,8,再替换成二进制变长码字,如下表所示。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
解:
四进制脉冲可以表示4个不同的消息,例如:{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息,例如:{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示2个不同的消息,例如:{0, 1}
假设每个消息的发出都是等概率的,则:
若把这些频度看作概率测度,求:
(1) 忙闲的无条件熵;
(2) 天气状态和气温状态已知时忙闲的条件熵;
(3) 从天气状态和气温状态获得的关于忙闲的信息。
解:
(1)
根据忙闲的频率,得到忙闲的概率分布如下:
(2)
设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量Z
(3)
(1) 求符号的平均熵;
(2) 有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100 -m)个“1”)的自信息量的表达式;
(3) 计算(2)中序列的熵。
解:
(1)
(Hale Waihona Puke )(3)2.14 对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,调查结果得联合出现的相对频度如下:
四进制脉冲的平均信息量
八进制脉冲的平均信息量
二进制脉冲的平均信息量
所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
解:
设随机变量X代表女孩子学历
X
x1(是大学生)
x2(不是大学生)
P(X)
0.25
0.75
设随机变量Y代表女孩子身高
Y
y1(身高>160cm)
y2(身高<160cm)
P(Y)
0.5
0.5
已知:在女大学生中有75%是身高160厘米以上的
即:
求:身高160厘米以上的某女孩是大学生的信息量
即:
2.3一副充分洗乱了的牌(含52张牌),试问
(1) 任一特定排列所给出的信息量是多少?
(2) 若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?
解:
(1) 52张牌共有52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:
(2) 52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:
2.4 设离散无记忆信源 ,其发出的信息为(202120130213001203210110321010021032011223210),求
解:
男士:
女士:
2.6 设信源 ,求这个信源的熵,并解释为什么H(X)> log6不满足信源熵的极值性。
解:
不满足极值性的原因是 。
2.10一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。
(1)求平稳后信源的概率分布;
(2)求信源的熵H∞。
解:
(1)
(2)
2.13 某一无记忆信源的符号集为{0, 1},已知P(0)= 1/4,P(1)= 3/4。
(1) 此消息的自信息量是多少?
(2) 此消息中平均每符号携带的信息量是多少?
解:
(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:
此消息的信息量是:
(2)此消息中平均每符号携带的信息量是:
2.5 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量是多少?
相关文档
最新文档