信息论离散信道及其容量习题
(完整word版)信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）7、互信息的统计平均为平均互信息量，都具有非负性。
（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）11、在信息处理过程中，熵是不会增加的。
（√）12、熵函数是严格上凸的。
（√）13、信道疑义度永远是非负的。
（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。
2012.信息论.第4章离散信道及其容量.习题
习题4.19 设有一批电阻，按阻值分70%是2KΩ，30%是5 KΩ；按瓦分64% 是0.125W，其余是0.25W。现已知2 KΩ阻值的电阻中80%是 0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多 少？ 建立数学模型
x 2 X阻值 1 0 .7 P(X )
b it / sy m b o l
(5) 接收到信息Y后获得的平均互信息量。
I ( X ; Y ) H ( X ) H ( X / Y ) 0 . 971 0 . 715 0 . 256 bit / symbol
5
习题4.20 设二元对称信道的传递矩阵为
2 3 1 3
2
0 .4
3 4
log log log
5/6
2
0 . 474 1 . 263 1 . 263 0 . 907
bit
p ( y1 ) p ( y 2 / x1 )
0 .6 1/ 6 bit
2
p( y2 ) p ( y1 / x 2 )
2
0 .4 1/ 4 bit
j i
4
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；
H (Y / X )
i
j
p ( x i ) p ( y j / x i ) lo g p ( y j / x i ) 5 lo g 5 0 .6 1 6 lo g 1 6 0 .4 1 4 lo g 1 4 0 .4 3 4 lo g 3 4 )
3 4
1 4
lo g 2
1 4
) 0 .8 1 1
b it / sy m b o l
H (Y / X )
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答第3章信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3??解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ?+?=+?=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-?-?=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为：1 0 0P=0 1 00 0 1??信道容量：()max (;)P X CI X Y bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333??第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1??，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴== H(Y)输出为等概率分布时可达到最大值，此值就是信道容量此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号第三种：有噪无损信道，由图可知：()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号输入最佳概率分布：11,22??3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论基础第3章离散信道及其信道容量
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
信息论习题
前三章习题选择题1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ 。
A 、1bit >B 、1bit <C 、1bit =D 、不能确定2、任意离散随机变量X 、Y 、Z ， 必定成立A 、)|()|(XZ Y H YZ X H =B 、)()()()(Z H Y H X H XYZ H ++=C 、)|()|(Y X H YZ X H ≤D 、0)|;(=Z Y X I3、|Y X P 给定时，(;)I X Y 是X P 的 函数。
A 、上凸B 、下凸C 、上升D 、下降4、使(;)I X Y 达到最大的 称为最佳分布。
A 、联合分布B 、后验分布C 、输出分布D 、输入分布5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P 。
A 、41B 、2C 、1D 、21 6、=);(Y X I 。
A 、)|()(X Y H X H -B 、)|()(Y X H Y H +C 、)|()(X Y H Y H -D 、)()(X H XY H -7、通常所说的“连续信源”是指 信源。
A 、时间连续且取值连续的B 、取值连续C 、时间离散且取值连续的D 、时间连续8、已知信道，意味着已知 。
A 、 先验分布B 、转移概率分布C 、 输入输出联合概率分布D 、输出概率分布9、已知X Y P |，可求出A 、)(XY HB 、 )|(X Y HC 、);(Y X ID 、)|(i j x y I10、连续信源的输出可用 来描述A 、常量B 、变量C 、离散随机变量D 、连续随机变量11、101)(=i x P ，则=)(i x I 。
A 、bit 10lnB 、dit 10lnC 、dit 1D 、dit 10log12、信道容量表征信道的 。
A 、最大通过能力B 、最大尺寸C 、最小通过能力D 、最小尺寸13、DMS 的信息含量效率等于信源的实际熵 信源的最大熵。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论习题解答
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论基础——信道容量的计算
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
信息论与编码第4章习题解答
《信息论与编码》第四章习题解答4.1 计算如下所示离散无记忆信道的容量： 习题4.1图［解］ （a ）信道概率转移矩阵为−−−−=δεδεεδδε11P ， 信道是准对称信道，因此在输入为等概分布时达到信道容量，即5.0)1()0(====X P X P 时达到信道容量。
这时δ5.05.0)0(−==Y P δ==)1(Y Pδ5.05.0)2(−==Y P相应的信道容量为);1();0(Y X I Y X I C ====∑==2)()0|(log)0|(j j p j p j p 0111-ε1-δε δ 00 121-ε-δ εδδ 1-ε-δ1ε0 221 0.5 δ 110.250.25 0.50.50 2 21-ε ε ε 1-ε1ε 11-ε 0 0 223/41/4 111/3 1/31/3 1/43/40 2 311/3 211/31/3 1/31/31/3 1/3 1/31/3 (c)(a)(b) (e)(f)(d)δεεδδδδδεδε5.05.0log log 5.05.01log)1(−++−−−−−=)5.05.0log()1(log )1log()1(δδεεδεδε−−−+−−−−= （b ）信道概率转移矩阵为=5.05.0025.025.05.0001P当5.0)2()0(====X P X P ，0)(=X P 时，5.0)0(==Y P ，25.0)1(==Y P ，25.0)2(==Y P1)()0|(log )0|();0(2===∑=j j p j p j p Y X I bit∑===2)()2|(log)2|();2(j j p j p j p Y X I 125.05.0log 5.025.05.0log 5.0=+= bit10);1(≤==Y X I ； 所以满足定理4.2.2条件，由达到信道容量充要条件可知，信道容量C =1 bit/次（c ）信道转移概率矩阵为−−−=εεεεεε101001P ，信道是对称信道，当输入为均匀分布时，即31)2()1()0(======X P X P X P 时，达到信道容量。
信息论基础离散无记忆信道信道容量
存储的最大信息量，即信息无差错传输的最大 速
率 ，就是信道容量问题.
12
第13页/共23页
信道容量
带宽 :信道可以不失真地传输信号的频率范围。为不同应用而设 计的
传输媒体所支持的带宽有所不同；在现代网络技术中， “带宽” 表示
信道的数据传输速率.
信道容量:信道在单位时间内可以传输的最大信号量，表示信道 的传
p
[P]=
1
p
1-p
p称为交叉 概率误差！
0
1-p 0
p
p
1
1-p
1
19
第20页/共23页
离散无记忆信道和信道容量
如果信道的输入概率分布X={w,1-w}，则
I (X ;Y ) H ( p p) H ( p)
由此可得
20
第21页/共23页
离散无记忆信道和信道容量
平均互信息对 即当
有极大值
I (X ;Y )
p(x, y) log p(x, y)
xX yY
p(x) p(y)
p(x) Q( y | x) log
xX
yY
Q(y | x) p(x)Q( y | x)
xX
15
第16页/共23页
离散无记忆信道和信道容量
通常，P(xi)称为信道的入口分布 P(yi)称为信道的出口分布 i(x;y)=logP(x,y)/P(x)P(y)为入口与
（1）有记忆信道
（2）无记忆信道
（任一时刻输出符号只统计依赖于对应时刻输入符 号的
信道）
7
第8页/共23页
离散无记忆信道
根据输入输出信号的特点，可分为
（1）离散信道
数字信道以数字 脉冲形式（离散 信号）传输数据
2012.信息论.第4章离散信道及其容量.习题
接收符号为Y={y1,y2}，信道转移矩阵为 5 6 1 4 1 6 3 4
习题4.1
求： (1) 信源X中事件x1和事件x2分别包含的自信息量； (2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。
1
（1）信源X中事件x1和事件x2分别包含的自信息量；
I ( x ) log p ( x ) log 0 . 6 0 . 737 bi t 1 2 1 2 I ( x ) log p ( x ) log 0 . 4 1 . 322 bi t 2 2 2 2
2
3 3 1 1 HX ( ) px ( )l o g px ( ) ( l o g l o g 0 .8 1 1b i t/s y m b o l i i 2 2 ) 4 4 4 4 i HY ( /X ) px ( i)p (y o gp (y j /x i)l j /x i)
(5) 接收到信息Y后获得的平均互信息量。
I ( X ; Y ) H ( X ) H ( X / Y ) 0 . 971 0 . 715 0 . 256 bit / sy
5
习题4.20 设二元对称信道的传递矩阵为
2 3 1 3
1 3 2 3
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
信息论基础——信道容量的计算-精品文档
3
Eg. 求信道容量
1 3 P 1 6 1 3 1 6
离散无记忆信道和信道容量
1 6 1 3
1 6 1 3
1 1 1 1 C log 4 H (, , , ) 0 . 082 bit / 符号 2 3 3 6 6
12
CDMA的机理相关。CDMA是一个自扰系统，所 有移动用户都占用相同带宽和频率，打个比方， 将带宽想像成一个大房子，所有的人将进入惟一 的大房子。如果他们使用完全不同的语言，他们 就可以清楚地听到同伴的声音而只受到一些来自 别人谈话的干扰。在这里，屋里的空气可以被想 像成宽带的载波，而不同的语言即被当作编码， 我们可以不断地增加用户直到整个背景噪音限制 住了我们。如果能控制住用户的信号强度，在保 持高质量通话的同时，我们就可以容纳更多的用 户。 数据可靠传输和信道编码
13
信道容量的计算—知识回顾
①互信息 I(X；Y）是输入信源的概率分布p(x) 的上凸函数； ——每个固定信道都有一个最大的信息传输 率，即信道容量C.
C max I ( X ; Y )
P (x i)
14
信道容量的计算
②最佳入口分布不一定是唯一的，但是最佳 输出分布是唯一的； ——单位时间内信道的最大信息传输率，即
可以将信道的扩展和信源的扩展联系起来看，当信 源扩展以后，信道也就称为了扩展信道。
6
离散无记忆信道和信道容量
因此，如果信源、信道都是无记忆的
IXY (N ;N ) N IX (; Y )
C N C
N
这就是离散无记忆信道序列的信道容量，该信道容 量在信源是无记忆信源且每一个输入变量Xi 达到最大入 口分布时达到。
信息论与编码第4章习题解答
P[ Z N
= 1|
X
= 0] =
P
Z
'
N
>
1 2
|
X
= 0
=
PZ 'N
−p
>
1 2
−
p|
X
=
0
≤
P|
Z
' N
−
p
|>
1 2
−
p|
X
=
0
≤
σ2 Z 'N |X =0
1 2
−
p 2
= p(1 − p) N (1 − p)2 2
当 p < 1 ，以及 N 充分大时 2
求该级联信道的容量 C N
，并证明
lim
N →∞
C
N
=0
X0
BSC X1
BSC X2 ……
BSC XN
习题 4.4（1）图 级联信道
（2）并联输入信道，把输入 X 并联接到各信道，输出是矢量，当 N → ∞ 时并联输
入信道容量趋于 1。
X
BSC Y1
BSC Y2
BSC YN
习题 4.4（2）图 并联输入信道
所以
C = 6 ⋅ 1 log 1/ 3 + 3 ⋅ 1 log 1/ 3 9 2/9 9 1/3
= 2 log 3 bit/次 32
（f）信道转移概率矩阵
P
=
1
− δ
ε
1
ε −
δ
利用方程求逆方法计算信道容量。设
p( X = 0) = q ， p( X = 1) = 1 − q ， 0 < q < 1
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论习题
信息论部分:1. 已经两个离散信源X 和Y ，其联合概率P(X,Y)为：P(0,0)=1/8，P(0,1)=3/8，P(1,0)=3/8，P(1,1)=1/8，现定义另一个随机变量：Z=XY(一般乘积)，试求H(X)，H(Y)，H(Z)及H(X,Y)。
2. 有一个一阶马尔柯夫信源X={A,B,C}，已知：p(A)=1/2，p(B)=p(C)=1/4，信源状态之间的转移概率p(j/i)分别为：p(A/A)=1/2, p(B/A)=1/4, p(C/A)=1/4, p(A/B)=2/3, p(B/B)=0, p(C/B)=1/3, p(A/C)=2/3, p(B/C)=1/3, p(C/C)=0。
求：信源的熵和剩余度？3. 设一个连续随机变量X 的概率密度函数为p x bx x ()=≤⎧⎨⎪⎩⎪202 π其它 求信源X 的熵H(X)。
4. 设一个连续随机变量X 的概率密度函数为 p x e ()=-12λλX －∞＜X ＜∞ 求信源X 的熵H(X)。
5.掷一枚均匀的硬币，直到出现“正面”为止。
令X 表示所需掷出的次数，求熵H(X)。
6.设有噪声二元对称信道(BSC)的信道误码率为p e =1/8，码速率为n=1000/s,（1）若p(0)=1/3, p(1)=2/3, 求信道熵速率， （2）求信道容量。
7.某无线电厂可生产A ，B ，C ，D 四种产品，其中，A 占10%，B 占20% ，C 占30% ，D 占40%。
有两种消息：“现完成一台B 种产品”，“现完成一台C 种产品”，试问哪一种消息提供的信息量大？ 8．设每帧电视图象是由3×105个象素组成，所有象素是相互独立的，且每个象素可取128个不同的亮度电平，并假设各种亮度电平是等概出现的。
问每帧电视图象含有多少信息量？9.设电话信号的信息速率为5.6×104bit/s ，在一个噪声功率谱密度为N 0=5×10-6mW/Hz ，频带为F ，限输入功率为P 的高斯信道中传送，若F=4KHz ，问无差错传输所需的最小功率是多少？若F 趋于无穷，则P 是多少瓦。
信息论习题集
信息论习题集一、名词解释（每词2分）（25道）1、“本体论”的信息（P3）2、“认识论”信息（P3）3、离散信源（11）4、自信息量（12）5、离散平稳无记忆信源（49）6、马尔可夫信源（58）7、信源冗余度 （66） 8、连续信源 （68） 9、信道容量 （95）10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138）16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181）19、游程变换 （181） 20、L-D 编码（184）、 21、冗余变换 （184）22、BSC 信道 （189） 23、码的最小距离 （193）24、线性分组码 （195）25、循环码 （213）二、填空（每空1分）（100道）1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的 可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵 是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
信息论习题——精选推荐
选择题1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ 。
A 、1bit >B 、1bit <C 、1bit =D 、不能确定2、任意离散随机变量X 、Y 、Z ， 必定成立A 、)|()|(XZ Y H YZ X H =B 、)()()()(Z H Y H X H XYZ H ++=C 、)|()|(Y X H YZ X H ≤D 、0)|;(=Z Y X I3、|Y X P 给定时，(;)I X Y 是X P 的 函数。
A 、上凸B 、下凸C 、上升D 、下降4、使(;)I X Y 达到最大的 称为最佳分布。
A 、联合分布B 、后验分布C 、输出分布D 、输入分布5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P 。
A 、41B 、2C 、1D 、216、=);(Y X I 。
A 、)|()(X Y H X H -B 、)|()(Y X H Y H +C 、)|()(X Y H Y H -D 、)()(X H XY H -7、通常所说的“连续信源”是指 信源。
A 、时间连续且取值连续的B 、取值连续C 、时间离散且取值连续的D 、时间连续8、已知信道，意味着已知 。
A 、 先验分布B 、转移概率分布C 、 输入输出联合概率分布D 、输出概率分布9、已知X Y P |，可求出A 、)(XY HB 、 )|(X Y HC 、);(Y X ID 、)|(i j x y I10、连续信源的输出可用 来描述A 、常量B 、变量C 、离散随机变量D 、连续随机变量11、101)(=i x P ，则=)(i x I 。
A 、bit 10lnB 、dit 10lnC 、dit 1D 、dit 10log12、信道容量表征信道的 。
A 、最大通过能力B 、最大尺寸C 、最小通过能力D 、最小尺寸13、DMS 的信息含量效率等于信源的实际熵 信源的最大熵。
第4章_离散信道及其容量题与答案
4.1 设有一离散无记忆信源，其概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 它们通过一干扰信道，信道输出端的接收符号集为Y = { y1, y2 }，信道转移概率如题图4.1所示。
求：(1) 信源X 中事件x 1和事件x 2分别含有的自信息； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息。
解：信道转移矩阵为：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡414361651)bitx p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(2211=-=-==-=-=2)bity p x y p y x I bity p x y p y x I bity p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 322.02.04/3log )()/(log);( 093.08.04/1log )()/(log );( 263.02.06/1log )()/(log );( 059.08.06/5log )()/(log );(2.0414.0616.0)/()()/()()(8.0434.0656.0)/()()/()()(2222212112212211111122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)bity p y p Y H bitx p x p X H jj j ii i 722.0)2.0log 2.08.0log 8.0()(log )()( 971.0)4.0log 4.06.0log 6.0()(log )()(=+-=-==+-=-=∑∑4)∑∑-=iji j i j i x y p x y p x p X Y H )/(log )/()()/(5/61/4 3/4 1/6 1x2x 2y1y 题图 4.1bitY H X Y H X H Y X H Y X H Y H X Y H X H bit964.0722.0715.0971.0 )()/()()/()/()()/()( 715.0 43log 434.041log 414.061log 616.065log 656.0 =-+=-+=∴+=+=⎪⎭⎫ ⎝⎛⨯+⨯+⨯+⨯-=5)bit Y X H X H Y X I 0075.0964.0971.0)/()();(=-=-=4.2 设有扰离散信道的输入端是以等概率出现的A, B, C, D 四个字母。
第三章 信道容量-习题答案
3.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量；(2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。
解： 1)bitx p x I bit x p x I 322.14.0log)(log)( 737.06.0log )(log )(22222121=-=-==-=-=2)bity p x y p y x I bit y p x y p y x I bit y p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04.04/3log)()/(log);( 263.16.04/1log)()/(log );( 263.14.06/1log )()/(log );( 474.06.06/5log )()/(log );(4.0434.0616.0)/()()/()()(6.0414.0656.0)/()()/()()(222222221212122212221211121122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)symbolbit y p y p Y H symbolbit x p x p X H jj j ii i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑4)symbolbit Y H X Y H X H Y X H Y X H Y H X Y H X H symbolbit x y p x y p x p X Y H iji j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10log )43log434.041log414.061log616.065log656.0( )/(log )/()()/(2=-+=-+=∴+=+=⨯⨯+⨯+⨯+⨯-=-=∑∑5)symbol bit Y X H X H Y X I / 256.0715.0971.0)/()();(=-=-=3.2 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i ii / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log4167.05833.0log5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243()/(log )/()()/(/ 811.0)41log4143log43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log)32lg 3231lg 31(2loglog );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.3 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。
2.7节信道容量
（conditional probability）。
P(y1/x1)
y1
P(ym/xn)
y2
y3
P(ym/x1)。 。
。 。 。 ym
接 收 端
P(yj)
离散信道模型
2
三、有扰信道中收到一个符号时获得的平均信息量
从信息量（information content）的概念我们知道：发送
xi时收到yj所获得的信息量等于发送xi前接收端对xi的不确定 程度（即xi的自信息量）减去收到yj后接收端对xi的不确定
(b / s)
(b / s)
19
【解法二】此信道模型画出如下：
0
P(0/0) = 127/128
0
发 送 端 P(0/1) = 1/128
接 收 P(1/0) = 1/128 端
1 p p
P( y j / xi )
p
1 p
1
P(1/1) = 127/12二进制对称信道，错误转
而条件熵可以展开成如下形式
m
n
H (x / y) P( y j ) P(xi / y j ) log 2 P(xi / y j )]
j 1
i 1
{P( y1 )P(x1 / y1 ) log 2 P(x1 / y1 ) P(x2 / y1 ) log 2 P(x2 / y1 )
P( y2 )P(x1 / y2 ) log 2 P(x1 / y2 ) P(x2 / y2 ) log 2 P(x2 / y2 )}
量为零。
（2）容量Ct为单位时间（秒）内能够传输的平均信息量
最大值，公式如下
Ct
max{r[H (x) H (x / y)]} P(x)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；
H (Y / X ) p( xi ) p( y j / xi )log p( y j / xi ) 5 5 1 1 1 1 3 3 (0.6 log 0.6 log 0.4 log 0.4 log ) 6 6 6 6 4 4 4 4 0.715 bit / symbol
11
i j
3 2 2 3 1 1 1 1 1 1 2 2 ( lg lg lg lg ) log 2 10 4 3 3 4 3 3 4 3 3 4 3 3 0.918 bit / symbol 3 2 1 1 p ( y1 ) p ( x1 ) p( y1 / x1 ) p( x2 ) p( y1 / x2 ) 0.5833 4 3 4 3 3 1 1 2 p ( y2 ) p ( x1 ) p( y2 / x1 ) p( x2 ) p( y2 / x2 ) 0.4167 4 3 4 3 6 H (Y ) (0.5833 log 2 0.5833 0.4167 log 2 0.4167) 0.980 bit / symbol
2 3 1 3
1 3 2 3
离散对称信道的信道容量为
C log s H ( p'1 , p'2 ,..., p's )
最佳信源为等概率分布信源。
1 2 C max I ( X ;Y ) log 2 ( l o g 3 l o g 3) 0.082bit 3 3 1 p( xi ) 2
1
（1）信源X中事件x1和事件x2分别包含的自信息量；
I ( x1 ) log2 p( x1 ) log2 0.6 0.737 bit I ( x2 ) log2 p( x2 ) log2 0.4 1.322 bit
2
(2) 收到消息yj 后，获得的关于xi 的信息量；
3
(3) 信源X和信宿Y的信息熵；
H ( X ) p( xi )log p( xi ) (0.6log0.6 0.4log0.4) 0.971bit H (Y ) p( y j )log p( y j ) (0.6log0.6 0.4log0.4) 0.971bit
3 3 1 1 H ( X ) p( xi ) log p( xi ) ( log 2 log 2 ) 0.811 bit / symbol 4 4 4 4 i H (Y / X ) p( xi ) p( y j / xi ) log p( y j / xi )
Y 瓦数 y1 1/ 8 y2 1/ 4 0.64 0.36 P(Y ; X )
I ( X ;Y ) H ( X ) H (Y ) H ( XY )
8
p( x1 y1 ) p( x1 ) p ( y1 / x1 ) 0.7 0.8 0.56 p( x1 y2 ) p( x1 ) p ( y2 / x1 ) 0.7 0.2 0.14 p( y1 ) p( x1 y1 ) p ( x2 y1 ) p( x2 y1 ) p ( y1 ) p ( x1 y1 ) 0.64 0.56 0.08 p( y2 ) p( x1 y2 ) p( x2 y2 ) p( x2 y2 ) p( y2 ) p( x1 y2 ) 0.36 0.14 0.22
X x1 x2 设信源 通过一干扰信道， P( X ) 0.6 0.4
5 6 接收符号为Y={y1,y2}，信道转移矩阵为 1 4 1 6 3 4
习题4.1
求： (1) 信源X中事件x1和事件x2分别包含的自信息量； (2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。
5 6 1 4
1 6 3 4
5 1 p( y1 ) p ( x1 ) p( y1 / x1 ) p ( x2 ) p ( y1 / x2 ) 0.6 0.4 0.6 6 4 1 3 p( y 2 ) p( x1 ) p ( y 2 / x1 ) p ( x2 ) p ( y 2 / x2 ) 0.6 0.4 0.4 6 4 p( y1 / x1 ) 5/ 6 I ( x1 ; y1 ) log2 log2 0.474 bit p( y1 ) 0.6 p ( y 2 / x1 ) 1/ 6 I ( x1 ; y 2 ) log2 log2 1.263 bit p( y2 ) 0.4 p ( y1 / x2 ) 1/ 4 I ( x2 ; y1 ) log2 log2 1.263 bit p( y1 ) 0.6 p ( y 2 / x2 ) 3/ 4 I ( x2 ; y 2 ) log2 log2 0.907 bit p( y2 ) 0.4
i j
H ( X ) H (Y / X ) H (Y ) H ( X / Y ) H ( X / Y ) H ( X ) H (Y / X ) H (Y ) 0.971 0.715 0.971 0.715 bit / symbol
(5) 接收到信息Y后获得的平均互信息量。
I ( X ; Y ) H ( X ) H ( X / Y ) 0.971 0.715 0.256 bit / symbol
5
习题4.20 设二元对称信道的传递矩阵为
2 3 1 3
1 3 2 3
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
7
习题4.19
设有一批电阻，按阻值分70%是2KΩ，30%是5 KΩ；按瓦分64% 是0.125W，其余是0.25W。现已知2 KΩ阻值的电阻中80%是 0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多 少？
建立数学模型
X 阻值 x1 2 x2 5 0.7 0.3 P( X ) p( y1 / x1 ) 0.8, p( y2 / x1 ) 0.2
I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X / Y ) H ( X ) H (Y ) H (Y / X ) 0.811 0.980 0.918 0.749bit I ( X ;Y ) H ( X ) H ( X / Y ) 0.811 0.749 0.062bit
10
习题4.37
0.98 0.02 有一个二元对称信道，其信道矩阵为 0 . 02 0 . 98
设该信源以1500二元符号/秒的速度传输输入符号。现有一 消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2， 问从消息传输的角度来考虑，10秒钟内能否将这消息序列无 失真的传递完？ C max I ( X ;Y ) max H (Y ) H (Y / X )
9
H ( X ) 0.7 log 2 0.7 0.3 log 2 0.3 0.881 bit / symbol H (Y ) 0.64 log 2 0.64 0.36 log 2 0.36 0.943 bit / symbol H ( XY ) p ( xi y j ) log p( xi y j )
i j
0.56 log 0.56 0.14 log 0.14 0.08 log 0.08 0.22 log 0.22 1.638 bit / symbol I ( X ;Y ) H ( X ) H (Y ) H ( XY ) 0.881 0.943 1.638 0.186 bit / symbol
log2 2 (0.98 log 2 0.98 0.02 log 2 0.02) 0.859 bit / symbol
I1 1500symbol/ s 0.859bit / symbol 1288 bit / s
I 14000 (0.5 log2 0.5 0.5 log2 0.5) 14000 bit