信息论习题集

信息论习题集第二章2.1 同时掷2颗骰子，事件A 、B 、C 分别表示：（A ）仅有一个骰子是3；（B ）至少有一个骰子是4；（C ）骰子上点数的总和为偶数。

试计算A 、B 、C 发生后所提供的信息量。

2.3 一信源有4种输出符号i x ，i =0，1，2，3，且p(i x )=1/4。

设信源向信宿发出3x ，但由于传输中的干扰，接收者收到3x 后，认为其可信度为0.9。

于是信源再次向信宿发送该符号（3x ），信宿准确无误收到。

问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？ 2.5 一信源有6种输出状态，概率分别为()p A =0.5， ()p B =0.25， ()p C =0.125， ()p D = ()p E =0.05， ()p F =0.025试计算()H X 。

然后求消息ABABBA 和FDDFDF 的信息量（设信源先后发出的符号相互独立），并将之与长度为6的消息序列信息量的期望值相比较。

2.6 中国国家标准局所规定的二级汉字共6763个。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个16⨯16的二元点阵显示，试计算显示方阵所能表示的最大信息量。

显示方阵的利用率是多少？2.7 已知信源发出1a 和2a 两种消息，且12 ()()1/2p a p a ==。

此消息在二进制对称信道上传输，信道传输特性为1122(|)(|)1p b a p b a ε==-，1221(|)(|)p b a p b a ε==。

求互信息量11(;)I a b 和12(;)I a b 。

2.8 已知二维随机变量XY 的联合概率分布()i j p x y 为：(0,0)(1,1)1/8p p ==，(0,1)(1,0)3/8p p ==，求(|)H X Y 。

2.13 有两个二元随机变量X 和Y ，它们的联合概率分布如表2.5所列，同时定义另一随机变量Z X Y =（一般乘积）。

试计算：表2.5（1） 熵(),(),(),(),(),()H X H Y H Z H XZ H YZ H XYZ ；（2）(|),(|),(|),(|),(|),H X Y H Y X H X Z H Z X H Y Z 条件熵(|),H Z Y (|)H X YZ ，(|)H Y XZ 和(|)H Z XY ；（3）(;),(;),(;),(;|),(;|)(;|)I X Y I X Z I Y Z I X Y Z I Y Z X I X Z Y 互信息和。

2.14 假定123n X X X X →→→→形成一个马尔可夫链，那么12()n P x x x =1211()(|)(|)n n p x p x x p x x -，请简化12(;)N I X X X 。

2.15 给定X ，Y 的联合概率分布，如表2.10所示。

表2.10（1）()H X ，()H Y ； （2）(|)H X Y ，(|)H Y X ； （3）()H XY ；（4）()(|)H Y H Y X -； （5）(;)I X Y 。

2.23 判断题 （1）()0H X >；（2）若X 与Y 独立，则()(|)H X H X Y =； （3）(;)(;|)I X Y I X Y Z ≥；（4）如果(|)0H X YZ =，则要么(|)0H X Y =，要么(|)0H X Z =； （5）(;)()I X Y H Y ≤；（6）(|=0H X X ）； （7）若X 与Y 独立，则(|)(|)H Y X H X Y =； （8）(|)(|)H X Y H X YZ ≥。

2.24 设随机变量X 的概率分布为2221111,,,,,101010101010,10⎧⎫⎨⎬⎩⎭。

随机变量Y 是X 的函数，其分布为将X 的4个最小的概率分布合并为一个：2224,,,10101010⎧⎫⎨⎬⎩⎭。

（1）显然2()log 7H X ≤，请解释原因； （2）请解释为什么2()log 5H X >？ （3）计算()H X ，()H Y ； （4）计算(|)H X Y 并解释其结果。

第三章3.2 有一无记忆信源的符号集为{}0,1，已知信源的概率空间为011344X P ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦。

（1）求信源熵；（2）求由m 个"0"和(100)m -个"1"构成的某一特定序列自信息量的表达式； （3）计算由100个符号构成的符号序列的熵。

3.3 有一离散无记忆信源，其输出为{}0,1,2X ∈，相应的概率为014p =，114p =，212p =，设计两个独立的试验去观察它，其结果分别为{}10,1Y ∈，{}20,1Y ∈，已知条件概率如表3.1所列。

表3.1（1） 求1(;)I X Y 和2(;)I X Y ，并判断哪一个实验好些；（2）求12(;)I X YY ，并计算做1Y 和2Y 两实验比做1Y 或2Y 中的一个实验可多得多少关于X 的信息； （3）求12(;|)I X Y Y 和21(;|)I X Y Y ，并解释它们的含义。

3.4 某信源符号集的概率分布和对应的二进制代码如表3.6所示。

表3.6（1）求信源符号熵；（2）求平均每个消息符号所需要的二进制码元的个数或平均代码长度，进而用这一结果求码序列的二进制码元的熵；（3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进码序列中出现"0"和"1"的无条件概率(0)p 和(1)p ，以及相邻码元间的条件概率(0|0)p 、(1|0)p 、(0|1)p 和(1|1)p 。

3.6 一个马尔可夫过程的基本符号为0，1，2，这3个符号等概率出现，并且具有相同的转移概率。

（1）画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵1H 和信源剩余度； （2）画出二阶马尔可夫过程的状态图，并求稳定状态下的二阶马尔可夫信源熵2H 和信源剩余度。

3.7 一阶马尔可夫信源的状态转移图如图3.2，信源X 的符号集为{}0,1,2。

图3.2（1）求平稳后的信源的概率分布； （2）求信源熵H ∞；（3）求当0p =或1p =时信源的熵，并说明其理由。

3.8 有一个二元无记忆信源，其发0的概率为p ，而1p ≈，所以在发出的二元序列中经常出现的是那些一串为0的序列，称高概率序列。

对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。

这时新信源{}1231,,,,n n n S s s s s s +=，共有1n +个符号，它与高概率的二元序列的对应关系如下：二元序列：1，01，001，…，0001（共1n -个0），000（共n 个0）；新信源符号：1231,,,,n n s s s s s +。

（1） 求()n H S ；（2） 当n →∞时，求信源的熵()lim ()n n H S H S →∞=。

3.9 给定状态转移概率矩阵，110p p P -⎛⎫=⎪⎝⎭，求： （1）此两状态马尔可夫链的熵率H ∞； （2）此熵率的极大值及相应的p ；（3）在达到最大熵率的情况下，求出每一个n 长序列的概率。

3.11 图3.4是一张有4个节点的随机行走图，从任何一个节点走到下一个节点的概率都相等。

图3.4 （1） 求随机行走的稳态分布； （2） 求随机行走的熵率。

3.12 求具有如下概率密度函数的随机变量的熵。

（1）指数分布(),0xf x e x λλ-=≥；（2）||1()2x f x e λλ-=； （3）单边高斯分布22/2(),0xf x x σ-=≥。

3.13 连续随机变量X 和Y 的联合概率密度为221()122Np xy x xy yN S⎧⎫⎡⎤⎛⎫=-+-+⎨⎬⎪⎢⎥⎝⎭⎣⎦⎩⎭试求()h X，()h Y，(|)h Y X和(;)I X Y。

3.16 给定状态转移概率矩阵，11Pααββ-⎛⎫= ⎪-⎝⎭，求：此二状态马尔可夫信源的熵率H∞。

3.18 已知一个二元马尔可夫信源的状态转移概率矩阵0.90.10.20.8P⎛⎫= ⎪⎝⎭。

（1）求此马尔可夫信源的熵率；（2）求符号序列1000011的概率（根据平稳分布确定第一个符号的概率）；（3）计算分布函数()12()F x P X X x=<⎡⎤⎣⎦当x=1000011的值。

3.23 设以8000样值/秒的速率抽样一语音信号，并以82256M==级对抽样均匀量化，设抽样值取各量化值的概率相等，且抽样间相互统计独立。

求：（1）每抽样的信息熵；（2）求信源的信息输出率。

第四章4.1 设一个二元信道如图4.1所示，其输入概率空间为010.20.8XP⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，试计算(0;1)I X Y==，(1;)I X Y=和(;)I X Y。

4.2 二元删除信道有两个输入：0，1和3个输出：0，1，E，其中E表示可检出但无法纠正的错误。

信道前向转移概率是(0|0)1pα=-(|0)p Eα=(1|0)0p=(0|1)0p=(|1)p Eα=(1|1)1Pα=-求信道容量C。

图4.10.70.900110.30.14.3 设某二进制数字传输系统接受判决器的输入信号电平、噪声密度分布、及判决电平如图4.3所示。

试求：（1）信道模型；（2）平均互信息；（3）信道容量。

图4.34.4 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 4个字母。

该信道的正确传输概率为1/2，错误传输概率平均分布在其它3个字母上。

验证在该信道上每个字母传输的平均信息量为0.208比特。

4.5 Z 信道及它的输入、输出如图4.5所示。

10(|)1p y x εε⎡⎤=⎢⎥-⎣⎦{},0,1x y ∈ （1）求最佳输入分布；（2）求ε=1/2时的信道容量；（3）求当0ε→和1ε→时的最佳输入分布值。

4.6 如图4.6所示把n 个二元对称信道串接起来，每个二元对称信道的错误传递概率为p 。

证明这n个串接信道可以等效于一个二元对称信道，其错误传递概率为()11122np ⎡⎤--⎣⎦，并证明0l i m (;)0N n I X X →∞=，设0P ≠或1。

图4.64.8 试画出三元对称信道在理想（无噪声）和强噪声（输出不依赖于输入）的情况下的信道模型，设信道输入等概率分布。

4.9 串联信道如图4.9所示，求总的信道矩阵。

图4.94.14 设某一信号的信息输出率为5.6 kpbs ，噪声功率谱为6510N -=⨯mW/Hz ，在带宽B =4 kHz 的高斯信道中传输。

试求无差错传输需要的最小输入功率P 是多少？4.15 判断图4.13中各信道是否对称，如对称，求出其信道容量。