第3章 信道模型和信道容量 习题课(2)
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
第三章 信道与信道容量 习题解答
6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
信道与信道容量2
信道无噪声
C
信道强噪声
• 当p =1/2,
C1H(1,1)0 22
p
20
信道容量
• 定理：
• 给定转移概率矩阵P后,平均互信息I (X;Y)是输 入信源的概率分布p(ai)的 型上凸函数。
• 定理：
• 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数。
• 信能道 够容 传量 输是 的完最全大描信I(述息X;信量Y)道。 特i 性j p的(a参i)p量(bj,是|ai信)lo道gp(pb(jb|ja)i)
34
由 I (X ;Y ) 0 解得 1/2
• 将信道矩阵P的列划分成若干个互不相交的子 集mk,由mk为列组成的矩阵[P]k是对称矩阵。
1 1 1 1 1 1 1 1
P131
3 1
6 1
6113
16
13
16
6 3 6 3 6 3 3 6
• 它们满足对称性,所以P1所对应的信道为准对称
信道。
30
准对称信道的信道容量
• 准对称信道
0.70.20.1 0.70.2 0.1 P 20.20.10.7 0.20.7 0.1
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
10
无干扰离散信道
• 无噪无损信道 C m p ( a i)I ( X ; a Y ) x m H ( X a ) m xH ( Y a ) lx 2 o n • 有噪无损信道(一对多)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
• 对称离散信道的平均互信息为
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
第3章 信道模型和信道容量 习题课(2)
3、解： （1）已知二元对称信道的传递矩阵，又已知输入的
3 1 概率分布 P (0) , P (1) , 就可以计算得出 Y 的概率 4 4
分布如下：
P ( y 0) P ( x ) P ( y 0 | x )
x
P( x 0) P( y 0 | x 0) P( x 1) P( y 0 | x 1)
0
1
0
1
1
1
(a)
2
解
( a ) 图，由信道线图可得转移概率矩阵如下：
1
1
该矩阵为行列排列阵，信道为准对称信道，可以把按列分 成两个子矩阵如下：
1
1
PS 10 log10 1 20 PN
得到
PS 1 100 PN
信道传送的最大信息速率
PS Ct W log(1 ) 3 103 log 2 100 19.93 103 bit/s PN
（1）
信道不变， Ct 仍应为 19.93 10 （比特/秒） ，而
21s?121lognkkkskmmcshppprr??????????????????????11222loglog1222211loglog12hh????????????????????????????????????设在平均功率受限高斯可加波形信道中信道带宽为3khz又设信号功率噪声功率噪声功率20db
•设在平均功率受限高斯可加波形信道 中，信道带宽为3kHz，又设（信号功 率+噪声功率）/噪声功率=20 dB。
（1）试计算该信道传送的最大信息率 （单位时间）19.93*103(bit/s)。 （2）若功率信噪比降为5dB，要达到 相同的最大信息传输率，信道带宽应 是多少(12KHz)。
第三章 信道模型和信道容量
信息论基础 武汉科技大学
信道的基本概念
例：信源输出二元符号(0,1)调制时如采用正负 方波的传输，正负方波分别表示0和1
输入/输出统计关系 输入 X
0
信道
输出 Y
1
噪声干扰 Z
信息论基础 武汉科技大学
信道的基本概念
１. 无噪声干扰
0
0
1
1
P(0|0)=P(1|1)=1
信息论基础 武汉科技大学
P(1|0)=P(0|1)=0
b 1 b 2 b 3 b s
0.7
有干扰无记忆信道
不仅仅是有干扰信道，而且是无记忆的。 无记忆的信道指的是在任一时刻的输出符 号只统计依赖于对应时刻的输入符号，而 与其它时刻的输入符号和其它时刻的输出 符号无关。
p( y n | x1 x2 xn y1 y 2 y n1 ) p( y n | xn )
p p
p p
信道线图
X 0 p
1
Y 0 1
p
信息论基础 武汉科技大学
离散单符号信道举例
二元删除信道（BEC） 输入的取值有2个为0、1，输出的取值有3 个为0、1、2(或者?)，定义正确概率p
p(0 | 0) p p(1 | 0) 0 p(2 | 0) p p(0 | 1) 0
b1
a1 a2 ar p (b1 | a1 ) p (b1 | a 2 ) p(b | a ) 1 r
b2
bs
p (bs | a1 ) p (bs | a 2 ) p(bs | a r )
p (b2 | a1 ) p (b2 | a 2 ) p (b2 | a r )
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4 3.5 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7(1)联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=010330110110115215110161ij p ，⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0103101535152525121)|(j i y x p 31)(0=y p ，21)(1=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 30310log 301310log 101310log10152log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑ij i j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)平均错误概率为：733.010/115/110/310/130/115/2=+++++ (5)同样为0.733 (6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
第三章 信道容量 例题 20120917
对称DMC信道信道容量的计算：
。
1 1 1 1 3 3 6 6 例2：求信道P 的信道容量。 1 1 1 1 6 6 3 3 解：因为该信道是对称DMC信道，所以,当p ( ai ) 1/ 2, i 1, 2时 C log 2 m p (b j ai ) log 2 p (b j ai ) log 2 4 H (1/ 3,1/ 3,1/ 6,1/ 6) 0.082bit / 符号
当概率分布为的输入符号集中每一个概率不为零的符号提供相同的互信息量时平均互信息量达到信道容量其中2015716物理与信息工程学院第三章第二节例题一般dmc信道信道容量的例子
信息论与编码
福州大学物理与信息工程学院 郭里婷
物理与信息工程学院 郭里婷
1
2013-9-13
第三章第一节例题
离散单符号信道：
例1：若X l {0,1}，Yl {0,1, 2}，即n 2, m 3, 则 p(0 0) p(1 0) p(2 0) 当L 1时，转移概率p(Y X ), 转移矩阵P p(0 1) p(11) p(2 1)
二进制对称信道BSC——Binary Symmetric Channel： 1 p p 例2：若X l A {0,1},Yl B {0,1}, P p 1 p 离散序列信道：
例3：若X l {0,1}，Yl {0,1, 2}，即n 2, m 3, 则 当L 2时，转移概率p (Y X), 转移概率矩阵 p (00 00) p (00 01) P p (00 10) p (00 11) p(01 00) p(02 00) p(10 00) p(11 00) p(12 00) p(20 00) p (21 00) p (22 00) p(01 01) p(02 01) p(10 01) p(11 01) p(12 01) p(20 01) p (21 01) p (22 01) p(01 10) p(02 10) p (10 10) p(11 10) p(12 10) p(20 10) p(21 10) p(22 10) p (01 11) p(02 11) p(10 11) p(11 11) p(12 11) p(20 11) p (21 11) p (22 11)
31第3章3132信道模型信道容量
22
简单的离散无记忆信道
信道矩阵为： p11
p1m
P
且满足 m
p n1
p nm
pij 1; i 1,2, ,n
j1
这意味着矩阵中每一行之和为1。
其 中 pij p(yj/xi)P(Yyj/Xxi) 其 概 率 空 间 为 [X,P(yj/xi),Y].
p(x)
p(x)
28
无噪信道
无噪信道的一个输出对
应着多个互不相交的输 入，如右图所示。
当 m 2时 ， 信 道 矩 阵 为 :
1 0 0
1
0
0
P 0 1 0
0
1
0
0 1 0
前 向 概 率 p
y j | xi
0
限个或可数无限个取自连续集的序列
3
信道的分类２－按输入输出个数
根据信道的输入和输出个数： 两端信道（两用户信道）：输入和输出均只
有一个事件集； 多端信道（多用户信道）：输入和输出中至
少有一个具有两个或两个以上的事件集。
4
信道的分类３－按信道接入
根据信道接入的不同： 多元接入信道：多个不同信源的信息经编码
后送入统一信道传输，接收端译码后再送给 不同的信宿。如在卫星通信系统中的应用。 广播信道：单一输入，多个输出。
5
信道的分类４－按统计特性
根据信道的统计特性： 恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。
6
信道的分类５－按记忆特性
根据信道的记忆特性 无记忆信道：信道输出仅与当前的输入有关； 有记忆信道：信道输出不仅与当前输入有关，
信息理论与编码 第三章 信道模型和信道容量 PPT课件
(a)
PY
|X
0.98 0.05
0.02 0.95
(b)
PY|X
0.8 0.05
0.15 0.15
0.05 0.8
解：（a）因为输入等概分布，即 PX 0.5 0.5
PY
PX
PY
|X
0.5
0.5
0.98 0.05
0.02 0.95
0.515
0.485
H(Y ) 0.515log 0.515 0.485log 0.485 0.9994bit / 符号
5
（2）根据信道的记忆特性划分
无记忆信道：信道当前的输出只与当前的输入有关。
有记忆信道：信道当前的输出不但与当前的输入有关，还
与当前时刻以前的输入有关。
（3）根据信道的输入/输出的关系划分
无噪声信道：信道的输入/输出关系是确定关系。
有噪声信道：信道的输入/输出关系是统计依存关系。
（4）根据信道物理组成划分
22
2 信道的散布度
X {a1, a2 , , ar }
DMC
Y {b1, b2 ,
噪声
I( X;Y ) H(Y ) H(Y | X ) ,bs} H(Y)是在输出端得到的全部
信息，有两个来源：输入端
H(Y|X)：信道的散布度或噪声 和噪声。 H(Y|X)表示由噪声
熵。
引起的无序程度。
确定信道：噪声熵为零的信道。
, bs }
疑义度 损失熵
H (Y ) H (Y | X )
平均互信息量 1.信道的疑义度
散布度 噪声熵
由于存在后验平均不确定性H(X|Y)，说明收到输出Y 后对输入X还存有疑义。
输入X的平均信息H(X)不可能全部到达输出，由于干
信息理论与编码课后答案第3章
第3章 信道模型和信道容量3.1 基本要求通过本章学习，了解信道的模型和分类，掌握信道容量的定义，掌握无噪信道、对称信道的信道容量的计算，了解准对称信道信道容量的计算，了解一般离散无记忆信道（DMC ）达到信道容量的充要条件，掌握DMC 扩展信道的信道容量计算，了解加性高斯噪声信道的信道容量的结论，掌握香农信道容量公式。
3.2 学习要点3.2.1 信道的分类信道是信息传输的通道。
研究信道的目的，主要是为了描述和分析各种不同类型信道的特性，度量其信息的极限传输能力。
信息理论中常用的信道分类方法如下。
（1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为4类,如表3.1所示。
（2）根据信道的记忆特性划分，可分为2类：无记忆信道：信道当前的输出只与当前的输入有关。
有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。
（3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为2类： 无噪声信道：信道的输入/输出关系是确定关系。
有噪声信道：信道的输入/输出关系是统计依存关系。
3.2.2 信道的数学模型3.2.2.1 离散无记忆信道（DMC ）的数学模型离散无记忆信道（DMC ）的数学模型如图3.1所示，记为|{,,}Y X X P Y 。
信道的输入X 取值于集合12{,,,}r A a aa = ，输出Y 取值于集合12{,,,}s Bb b b = 。
|{(|)|1,2,,;1,2,,}Y X j i P P b a i r j s === （3.1） 为分析计算方便，常常把所有转移概率排成矩阵：图3.1 离散无记忆信道（DMC ）模型示意图噪声干扰12112111122222|12(|)(|)(|)(|)(|)(|)[](|)(|)(|)ss s Y X r r s r rb b b P b a P b a P b a a P b a P b a P b a a P P b a P b a P b a a ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦（3.2） 转移矩阵中各行s 个转移概率自身是完备的：1(|)1,1,2,,sji j P ba i r ===∑ （3.3）3.2.2.2 扩展信道的数学模型图3.2所示的是N 次扩展信道的模型，其输入和输出均为N 元随机变量序列。
第三章 信道与信道容量 习题解答
第三章 信道与信道容量 习题解答
1.设信源
通过一干扰信道，接收符号为
信道传递矩阵为
（1） 信源 中符号 和 分别含有的自信息量。
（4）说明如果信噪比降低，则为保持信道容量不变，必须加大信道带宽。反之加大信道带宽，则可降低对信 噪比的要求。如果信道带宽降低，则为保持信道容量不变，必须加大信号功率信噪比。反之加大信号功率信 噪比，则可降低对信道带宽的要求。
12.在一个理想通信系统中，已知信道中功率信噪比为 10分贝，为了使功率节省一半又不损失信息量，有 几种办法？请计算并讨论各自的优缺点。
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
解：已知
根据公式：
前者改善不明显，后者改善明显，故存在阀值效应。 15.设加性高斯白噪声信道中，信道带宽 3kHz，又设
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
6.有一以“点”和“划”构成的老式电报系统，“点”的长度为 30毫秒，“划”的长度为 150毫秒，“点”和“划”出现的
4
概率分别为 0.8和 0.2，试求信息速率为多少？“点”、“划”出现的概率相等时，信息速率为多少？是否“点”、“划” 出现的概率相等时信息速率一定最高？是否和理论相矛盾？为什么？ 解：
第3章信道与信道容量(参考)
max[ H (Y ) H (Y | X )]
p ( ai ) p ( ai )
max H (Y ) H (Y / X )
C log m H (Y | ai ) log m pij log pij
j 1
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 14
m
3.2离散单个符号信道及其容量
Eg. 求信道容量
1 3 P 1 6 1 3 1 6 1 6 1 3 1 6 1 3
1 1 1 1 C log2 4 H ( , , , ) 0.082bit / 符号 3 3 6 6
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 15
3.2离散单个符号信道及其容量
方法三
0.5 0.3 0.2 P 0.3 0.5 0.2
0.5 0.3, 0.2 0.3 0.5 0.2
C log2 2 H (0.5,0.3,0.2) 0.8 log2 0.8 0.2 log2 0.4 0.036bit / 符号
• 信道种类 • 无干扰信道 • 有干扰无记忆信道 • 有干扰有记忆信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
3
信道参数
无干扰（无噪声）信道
1, y f (x) p ( Y / X) 0, y f (x)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
C max I ( X ; Y )
p ( ai )
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
9
3.2离散单个符号信道及其容量
信道模型和信道容量
下面讨论上式的物理意义,并引入一些重要的基本 概念。
3.4.1 信道疑义度
由公式
I(X;Y)=H(X)－H(X|Y)
可知,从输出Y中所获得的关于输入X平均信息量
I(X;Y),等于先验平均不确定性H(X)减去X的后验
不确定性H(X|Y),也就则X的平均不确定性的减少
先验不确定性的度量。
r
H(X) P(ai)lo
i1
g1
P(ai)
X
P(x)loP g(x)
2、后验熵 —— H(X | bj )
当接收到输出符号y＝bj后，输入符号的概 率分布成为 P(x | bj ) ，则关于x 的平均不
确定性为
r
H (X |bj) P (ai|bj)loP (g ai|bj) i 1
b1 b2
Y
ar
bs
条件概率 P (y |x ) P (y b j|x a i) P ( b j|a i)
(i 1 ,2 , ,r)(j 1 ,2 , ,s)
称传递概率或转移概率
离散无记忆信道的输入是随机变量X,取值于 输入符号集A={a1,a2,…ar};相应时刻的输出是随 机变量Y,取值于输出符号集B={b1,b2,…bs}。对 信道的描述,实质上是对其干扰特性进行描述。 当信道无于扰时,输入某个符号ai∈A,在信道输出 端一定会收到某个确定的符号bj∈B与之对应。 但信道受到的干扰是客观存在的,有干扰时,就可 能有多个输出符号与之对应。当输入ai∈A时,收 到符号bj的可能可以用条件概率P(bj|ai)来表示。 称为转移概率,为方便起见,可用下式表示:
j1
i1
r s
1
i1
P(aibj)lo
j1
第三章 信道容量练习题
一1. 2.3.4.5. 一、 填信道是传输无线的，并噪声和干扰信息的传输通常用信道随机特性。
. 信道容量信道最大述信道特. 对一个给容量就是的平均互态。
因而信道的信. 信息传递要知道传系为t C=如果信道矩排的；如果矩阵是列可对称信道。
第三章填空题输信息的通并有多种传扰，而这些输。
由于噪声道的转移概 量C 是信道大信息“通行特性的信道转给定的信道是定值。
当信互信息量在量而，计算匹配信道容量。
递速率C t 描传输一个符C t，单矩阵P 的每果转移概率可排的；如如果信道章 信题 通道。
在通信传输媒介。
信些噪声和干扰声和干扰具概率矩阵/前道的最大信息行”能力的转移概率有，描述信道信源为匹配量值上等于配信源分布描述的是信道号所需的时单位为比特/秒每一行都是第率矩阵P 的每果信道矩阵道矩阵P 仅满信道容信系统中，信息在信道扰会叠加到具有随机特性向概率矩阵息传输率（的标志，因有关。
道特性的信配信源（信于信道容量布时，流经道在单位时时间t ，则信秒。
第一行诸元每一列都是阵P 同时满满足行可排容量练实际信道可道的传输过程到信息的载体性，从而使信阵这一概率（单位：比特此它与信源道转移概率源概率取最，即信道处信道的平均时间内平均传信息传递速元素的不同排是第一列诸元满足行可排和排不满足列可练习题可以是有线程中，不可体——信号信道也具有模型来描述特/符号）。
源的概率分率就一定了最佳分布）处于最大信均互信息量传递信息多率C t 与信道排列，则称元素的不同和列可排，可排，则称线的，也可以可避免地会引号上，从而影有随机特 性述信道的这信道容量分布无关，只，因而其信时，通过信信息“通行”量，就可以求多少的能力道容量C 的称该矩阵是行同排列，则称则称该信道称该信道为准以是引入影响性，一C 是只描信道信道”状求出，只的关行可称该道为准对称信道。
6. 具有一一对应关系的单符号离散无噪信道的信源熵符号数为n，则信道容量C为()2log H X n =比特/符号，且达到匹配信源的条件是信源呈等概分布。
第三章 信道容量-习题答案2
I ( X ; YZ ) = ∑∑∑ p( xi y j zk ) log
i j k
p ( xi / y j zk ) p( xi ) p( xi / y j zk ) p( xi / y j ) p ( xi ) p ( xi / y j ) p ( xi / y j ) p ( xi ) + ∑∑∑ p ( xi y j zk ) log
2)由题设知道信道为二元对称信道，于是有
1 1 2 2 C = max I ( X ; Y ) = log 2 m − H mi = log 2 2 + ( log 2 + log 2 ) = 0.082 bit / symbol 3 3 3 3 1 p( xi ) = 2
·2·
3.3 设有一批电阻， 按阻值分 70%是 2KΩ， 30%是 5 KΩ； 按瓦分 64%是 0.125W， 其余是 0.25W。现已知 2 KΩ 阻值的电阻中 80%是 0.125W，问通过测量阻值可 以得到的关于瓦数的平均信息量是多少？
解： 1)
I ( x1 ) = − log 2 p ( x1 ) = − log 2 0.6 = 0.737 bit I ( x 2 ) = − log 2 p ( x 2 ) = − log 2 0.4 = 1.322 bit
2)
5 1 p ( y1 ) = p ( x1 ) p ( y1 / x1 ) + p ( x2 ) p ( y1 / x2 ) = 0.6 × + 0.4 × = 0.6 6 4 1 3 p ( y2 ) = p ( x1 ) p ( y2 / x1 ) + p ( x2 ) p ( y2 / x2 ) = 0.6 × + 0.4 × = 0.4 6 4 p ( y1 / x1 ) 5/6 I ( x1 ; y1 ) = log 2 = log 2 = 0.474 bit p ( y1 ) 0.6 I ( x1 ; y2 ) = log 2 I ( x2 ; y1 ) = log 2 I ( x2 ; y2 ) = log 2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
输入信源熵为
1 3 H ( X ) H ( , ) 0.811 4 4
损失熵为
比特/符号
H ( X | Y ) P ( x ) P ( y | x ) log P ( x | y )
X Y
1 6 3 2 P( y 0) H ( , ) P( y 1) H ( , ) 0.7497 比特/符号 7 7 5 5
因为该信道为离散对称信道，故
所以
1 2 2 2 1 1 H (Y | X ) H ( , ) log log 3 3 3 3 3 3 0.390 0.528 0.918 比特/符号 I ( X ;Y ) H ( X ) H ( X | Y ) 0.062 比特/符号
选择题 若信道和信源均无记忆， 以下结论不成立的是_____ A. I ( X ; Y )
I(X
k 1
N
k
; Yk )
B． I ( X ; Y ) NI ( X ; Y ) C． I ( X ; Y ) D． C
N
I(X
k 1
N
k
; Yk )
NC
关于两个独立信道 Q1、 Q2 串联， 下列说法不正确的是_____
•设在平均功率受限高斯可加波形信道 中，信道带宽为3kHz，又设（信号功 率+噪声功率）/噪声功率=20 dB。
（1）试计算该信道传送的最大信息率 （单位时间）19.93*103(bit/s)。 （2）若功率信噪比降为5dB，要达到 相同的最大信息传输率，信道带宽应 是多少(12KHz)。
解： （1）平均功率受限高斯可加波形信道，其 W = 3kHz， 由题意可知
P C ( PS ) B log 1 S 已知香农公式 不能得出的结论是 N0 B ，
______ A. 在信噪比不变的前提下，增大频带，可增大信道容 量 B. 频带不变时，增大信噪比即可增大信道容量 C C. 在 PS 增大很多之后， 继续增大信号功率来实现信道 容量的增大是一个有效途径 D. 用扩频方法来增大信道容量，其作用是有限的
3、 设二元对称信道的转移概率矩阵为
2 3 1 3
1 3 2 3
(1) 若 P 0 3 4 ， P 1 1 4 ，求 H X ，
H X | Y ， H Y | X 和 I X ; Y ；
(2) 求该信道的信道容量及其达到信道容量 时的最佳输入概率分布。
（2）此信道为二元对称信道，所以信道容量
2 1 C 1 H ( p) 1 H ( , ) 0.082 bit/符号 3 3
根据二元对称信道的性质可知，输入符号为等
1 概率分布 ( 即 P(0) P(1) ) 时信道的信息 2
传输率可以达到这个信道容量值。
判断下图中各个信道是否对称，如 对称，求出其信道容量。
3、解： （1）Biblioteka 知二元对称信道的传递矩阵，又已知输入的
3 1 概率分布 P (0) , P (1) , 就可以计算得出 Y 的概率 4 4
分布如下：
P ( y 0) P ( x ) P ( y 0 | x )
x
P( x 0) P( y 0 | x 0) P( x 1) P( y 0 | x 1)
0
1
0
1
1
1
(a)
2
解
( a ) 图，由信道线图可得转移概率矩阵如下：
1
1
该矩阵为行列排列阵，信道为准对称信道，可以把按列分 成两个子矩阵如下：
1
1
第三章 习题课
填空题 1. 有记忆信道的当前输出不仅与______输入有关， 还与 ______输入有关。 2. 既代表__________，又代表__________，因此，通常 把 H(X|Y)称为信道的_____或_____ 3. 如果信道给定，那么 I(PX,PY|X)是输入概率 的_____ 凸函数。 如果信源给定， 那么 I(PX,PY|X)是转移概率 PY|X 的_____凸函数。 4. 衡量一个信息传递系统的好坏，有两个主要指标。其 一，_____；其二，_____。 5. 使得给定信道_____的输入分布，称为最佳输入(概率)
PX
* P 分布，记为 X
判断题 1. 信道容量 C 不仅与信道转移概率有关，也与信道的 输入分布有关。 （ ） 2. 噪声熵为 0 的信道称为确定信道。 （ ） 3. 离散对称信道输入等概率分布时，输出未必也等概 率分布。 （ ） 4. 一般 DMC 达到信道容量的充要条件为信源符号的 偏互信息均等于信道容量。 （ ） 5. 信道是 DMC 的充要条件是序列符号对之间的转移 概率等于各个时刻单个符号对转移概率之连乘。 （ ）
X
信道 I
Y
信道 II
Z
Q1
Q2
A. 串联信道的信道容量与组成串联信道的各分信道的信 道容量存在精确的定量关系 B．数据处理过程中，随着数据的不断处理，从处理后的数 据中所得的原始信息会愈来愈少 C． 串联信道的转移概率矩阵是各单元信道的转移概率矩阵 之积 D． XYZ 组成一个马尔可夫链
信源的输出与信道的输入匹配的目的不包括_____ A. 符号匹配；B. 信息匹配； C. 功率匹配；D. 降低信道剩余度 以下关于连续信道的说法中，不正确的是_____ A．连续信道是时间离散、幅值连续的信道 B．连续信道的统计特性由转移概率分布函数描述 C．加性噪声信道的转移概率密度函数等于噪声的概率 密度函数 D．对于无记忆加性噪声信道，若输入信号服从高斯分 布， 且噪声的平均功率受限， 则服从高斯分布的噪 声使信道平均互信息量达到最小
则
r 2 ； n 2 ； M1 1 ； M 2 2 ； s1 2 ； s2 1
Mk C sk r k 1
n
Mk log r
, p2 , H ( p1
) , ps
1 1 2 2 2 log log H (1 , , ) 2 2 2 2 1 1 log log H (1 , , ) 2
3 2 1 1 7 4 3 4 3 12
5 P( y 1) 1 P( y 0) 12
后验概率计算如下：
3 2 P ( x 0) P ( y 0 | x 0 ) 4 3 6 P( x 0 | y 0) 7 P ( y 0) 7 12 1 P( x 1| y 0) 1 P( x 0 | y 0) 7 3 1 P( x 0) P( y 1 | x 0) 4 3 3 P( x 0 | y 1) 5 P( y 1) 5 12 2 P( x 1| y 1) 1 P( x 1| y 0) 5
PS 10 log10 1 20 PN
得到
PS 1 100 PN
信道传送的最大信息速率
PS Ct W log(1 ) 3 103 log 2 100 19.93 103 bit/s PN
（1）
信道不变， Ct 仍应为 19.93 10 （比特/秒） ，而
3
PS 10 log10 1 5dB PN
可得
PS 1 3.16 PN
所以 得到
19.93 103 W log 2 3.16
W 12 KHz
由此可知，在传输相同的信息传输速率下，降低信噪比就需 要增加带宽。