陈运 信息论与编码 第三章 信道容量
信息论与编码(第二版)陈运主编课件第三章 (2)
H (Y1Y2 ...YN ) H (YK / X K )
K 1
N
H (Y1Y2 ...YN ) H (YK )
K 1 N N I ( X ;Y ) H (YK ) H (YK / X K ) K 1 K 1 N I ( X ; Y ) I ( X K ; YK ) K 1
j b j b j b j
1 2
N
j 1,2,......, m
N
j1 j2 ...... jN 1,2,......, m
信道矩阵
X P(Y X ) Y
p( 1 1 ) p( 2 1 ) p( ) p( ) 1 2 2 2 ...... p( 1 n ) p( 2 n )
N
离散无记忆信道的N次扩展信道
离散无记忆信道的N次扩展信道的平均 互信息量不大于N个变量X1X2...XN单独 通过信道 的 X P(Y X ) Y 平均互信息量之和。
N I ( X ;Y ) I ( X K ;Y K ) K 1
离散无记忆信道扩展信道信道容量
散信道。
多符号离散信道的数学模型
X X1 X 2 ...... X N
i ai ai ai
1 2
N
N
有n 个元素
N
i 1,2,......, n
Y Y1Y2 .....YN
i1i2 ......iN 1,2,......, n
X P(Y X ) Y
N N
...... p( m 1 ) ...... p( m 2 ) ...... ...... p( m n )
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ， （1） 对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
信息论与编码C 第三章 信道容量
3.2单符号离散信道的信道容量
信息传输率R: 信道中平均每个符号所能传送的信息量。由于 平均互信息I(X;Y)的含义是接收到符号Y后，平均每个符号获 得的关于X的信息量，因此信道信息传输率就是平均互信息。
噪声熵 H(Y/X) = 0 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(Y) H(X) ＞ H(Y)
思考：p(x)应该 怎样取值？
C max I ( X ; Y ) max H (Y ) log 2 m
p ( xi ) p ( xi )
3.2单符号离散信道的信道容量
例：对于二元对称信道
0( p)
q
I(X;Y)
X
1( p)
q q
q
0
Y
1
0
1-H(q) 0.5 1 p
如果信源分布X={p,1-p}，则
I ( X ; Y ) H ( pq pq) H (q)
信道容量为：
C max I ( X ; Y ) 1 H (q),
p ( xi )
3.2单符号离散信道的信道容量
二进制对称信道(n=2)
p C log 2 n p log 2 p p log 2 n 1 1 p log 2 p p log 2 p 1 H ( p)
H ( p) p log2 p p log2 p
C 1
0
0.5
1
p
3.2单符号离散信道的信道容量
（2）输出符号的概率 n P(b j ) p(ai ) p(b j / ai )
信息论与编码-第三章
是连续的；
信息论与编码-信道与信道容量
（3）半离散或半连续信道：输入序列是离散的但相 应的输出序列是连续的，或者反过来；
（4）波形信道：信道的输入输出不但取值是连续的， 而且还随时间连续变化。一般可用随机过程来描述 其输入输出。由于实际信道的带宽总是有限的，所 以输入信号和输出信号总可以分解成时间离散的随 机序列。序列的取值可以是连续的，也可以是离散 的，因此，波形信道可以分解成连续信道或离散信 道或半离散半连续信道。
• 二进制离散信道的一个特例：二进制对称信道（BSC-Binary Symmetric Channel）。如果描述二进制离散信道的转移概率对 称，即
p(Y0/X1)p(Y1/X0)p
p(Y1/X1)p(Y0/X0)1p
则称这种二进制输入、二进制输出的信道为二进制对称信道。
信息论与编码-信道与信道容量
• 再加上一组（mn个）转移概率
p (Yyj/Xxi)p (yj/xi)
这样的一种信道称为离散无记忆信道 • （DMC:Discrete Memoryless Channel）。
信息论与编码-信道与信道容量
可以把转移概率写成矩阵的形式，即
p00
P
p10
pn1,0
p01 p0,m1
• 对于特定的信道，信道容量是个定值，但在传 输信息时信道能否提供其最大传输能力，则取 决于输入端的概率分布。
信息论与编码-信道与信道容量
无干扰离散信道 • 设信道的输入符号集合是 X{x0,x1, ,xn1}
输出符号集合是 Y{y0,y1, ,ym 1} 按照X与Y的对应关系，可以分为如下几类 • 无噪无损信道 • 无噪有损信道 • 有噪无损信道 • 这些信道是部分理想化的，使用中比较少
信息论与编码 第三章：信道容量
3.1 信道的数学模型和分类
信道分类
从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；
信道的数学模型和分类
离散 无记忆 连续 信号类型 半离散 有记忆 半连续 无干扰：干扰少到可忽略； 信号与干扰类型 无源热噪声 线性叠加干扰 有源散弹噪声 脉冲噪声 干扰类型 有干扰 交调 乘性干扰 衰落 码间干扰
信道的数学模型和分类
出 Y x1 xn y1 ym 入 X p( x ) p( x ) →信道→ p( y ) p( y ) p ( x) p( y ) 1 n 1 m
其中： xi X
C maxI ( X ; Y ) max[ H (Y )] ( p log p p log
p ( xi ) p ( xi )
p ) n 1
单符号离散信道的信道容量
强对称离散信道的信道容量
强对称信道的信道容量
1 H (Y ) log n，当p ( y j ) 时，H (Y )达到最大值 n n 要获得这一最大值，通过公式p( y j ) p( xi ) p( y j / xi ), j 1, 2,, n
C = max[ H (Y )] H (q1 , q2 , , qm )
p ( xi )
log m H (q1 , q2 , , qm )
?
单符号离散信道的信道容量
准对称离散信道的信道容量
将H(Y)中的m项分成s个子集M1, M2,…, Ms,各子集分别 有m 1, m 2,…, m s个元素（ m 1+ m 2+…+ m s= m ）,则
信息论与编码_第3章信道容量
0.5 0.5
条件熵: H(X|Y) =0, H(Y|X) ≠ 0 互信息量: I(X; Y)=H(X) < H(Y) 信道容量: C = log |A|=logn.
x2
0.6 0.3 0.1 x3 1
16
3.2 离散无记忆信道容量
例3-2-1 设离散无噪有损信道的转移概率矩阵为
x1 x2 x3 1 1 1 y1 y2 y3
条件熵: H(X|Y)= H(Y|X)=0 互信息量: I(X;Y)=H(Y)=H(X) 信道容量: C=log|A|=log|B|=logn.
14
3.2 离散无记忆信道容量
无噪有损信道 X与Y是多对一关系.
1 1 P(Y | X ) = 0 0 0 0 1 1 .
随机变量的取值分类 根据输入与输出 随机变量的取值分类 离散信道(数字信道 时间、取值离散 数字信道: 离散) 离散信道 数字信道 时间、取值离散 连续信道(模拟信道 取值连续 模拟信道: 连续) 连续信道 模拟信道 取值连续 半连续信道( 时间、取值一个离散，另一个连续 半连续信道 时间、取值一个离散， 一个连续) 离散 连续 波形信道(时间 取值连续 时间、 连续) 波形信道 时间、取值连续
j
25
3.2 离散无记忆信道容量
准对称信道的最佳分布是等概的 设准对称信道的转移概率矩阵能够被列分割为等个对称 子矩阵。 当输入符号为等概分布时，互信息量在集合 上的统计平均值为
I ( X = ai , Y ) = ∑ p (b j / ai ) log
j
p ( b j / ai )
=∑
s
j∈Ω s
C = log n + ∑ p (b j | ai ) log p (b j | ai ) − ∑ N s log M s
信息论与编码理论_第3章信道容量_习题解答_071102
.. ..... . .第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
信息论与编码第三章
模
型
P<Y1=V1,Y2=V2…Yn=Vn/X=U1…X=Un>
n
Õ = p(YR = UR / X = uR )
决定DMC特点的条件概率P<yj/xi>可写成矩阵形 式
P = [ pij ]
3.2.1
转移概率矩阵
æ p( y0 / x0) p( y1 / x0)
数
ç
学 模
P
=
ç ç
p( y0 / x1)
数 即P<Y=0/X=1>=P<Y=1/X=0>=P
学
模 型
P<Y=1/X=1>=P<Y=0/X=0>=1-P
01
这种对称二进二出的
0 é P P ù 信道叫做二进制对称信
P=1
ê ëê
P
ú P ûú
道,简称BSC信道.
3.2.1
信道模型:
数 学 模
1-P
0
0
P
型
P
1
1
1-P
这种信道的输出符号仅与对应时刻输 入符号有关,与以前输入无关,故称此信道是 无记忆信道的.
3.1
信道分类：
信
道
1.有线信道和无线信道
分
类
有线信道：明线、对称电缆、同轴电
缆及
光缆等.
无线信道：地波传播、短波电离层反 射、
超短波或微波视距中继、
3.1
2．恒参信道和随参信道
信 道
恒参信道：信道的统计特性不随时间而变化.如明
分 线、对称电缆、同轴电缆、光缆、卫星中继信道
类
一般被视为恒参信道.
p0,Q - 1 ö ÷
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4 3.5 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7(1)联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=010330110110115215110161ij p ，⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0103101535152525121)|(j i y x p 31)(0=y p ，21)(1=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 30310log 301310log 101310log10152log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑ij i j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)平均错误概率为：733.010/115/110/310/130/115/2=+++++ (5)同样为0.733 (6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论与编码第3章 信道与信道容量
几点讨论： 1、对于给定信道最佳分布总是存在的。 如果信道输入满足最佳分布，信息传输率 最大，即达到信息容量C； 如果信道输入的先验分布不是最佳分布， 那么信息传输率不能够达到信息容量。 2、信道传输的信息量R必须小于信道容量C，否 则传输过程中会造成信息损失，出现错误； 如果R<C成立，可以通过信道编码方法保证 信息能够几乎无失真地传送到接收端。
p( y | x)
X
Y
信道
随机变量 随机变量
离散无记忆信道模型
输入符号集合X、输出符号集合Y内部不存在 关联性，集合X和集合Y之间有关联 。
条件转移概率
用来描述信道特性。 输入x=ai，输出y=bj对应的条件转移概率为
p( y | x) p( y bj | x ai ) p(bj | ai )
p( x)
上述的极值问题实际是有约束条件的，先验概率分布 p( x) 应当满足下列条件
p( x ai ) 0
p(a ) 1
i 1 i
r
对于给定信道，前向概率p(x)是一定的，所以信道容 量就是在信道前向概率一定的情况下，寻找某种先 验概率分布，从而使得平均互信息量最大，这种先 验分布概率称为最佳分布。
0 0 1 1
（3）有噪无损信道
信道输出符号Y集合的数量大于信道输入符号X集合 的数量，即r<s，形成一对多的映射关系，可得：
H (Y | X ) 0 H(X | Y) 0
p( x) p( x)
X
0.4 0.6 0.7 0.3
Y
信道容量 C max{I ( X ; Y )} max{H ( X )} lbr 输入符号分布等概时，即 p(ai ) 1/ r I(X;Y)最大，达到信道容量
信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习
![信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/b3091d87a0116c175f0e48d8.png)
第三章离散信道及其信道容量3．1．1 信道的分类在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。
信道的分类有：按照信道输入端或输出端的个数可分为单用户信道和多用户信道。
按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。
按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。
按照信道输入／输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。
按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。
按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。
按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。
3．1．2 离散信道的数字模型1．一般离散信道(多维离散信道)一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。
其数学模型可用离散型概率空间[X，P(y|x)，Y]来描述。
其中X=(X1X2…X N)为输入信号，Y= (Y1Y2…Y N)为输出信号。
X中X i∈A={a1，a2，…，a r}，Y中Y i∈B={b1，b2，…，b s}。
又P(y|x)(x∈X，y∈Y)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足概率空间[X，P(y|x)，Y]也可用图来描述。
2．基本离散信道(单符号离散信道)单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。
数学模型是概率空间[X，P(y|x)，Y]，(或[X，P(b j|a i)，Y])，其中X∈A={a1，a2，…，a r}，Y∈B={b1，b2，…，b s)，P(y|x)=P(b j|a i)(i=1，2，…，r；j=1，2，…，s)并满足概率空间[X，P(y|x)，Y]也可用图来描述，如图3．1所示。
第三章信道及信道容量
2但为有限值,即
p11
P
p2
1
p12 p22
,
p1m
p2m
pn1
pn2
pn
m
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p
0 p
0
1p p
p
P
p
1p
1
1
1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使
得 I（X；Y）达到最大。
C m ax { I(X ;Y )} (b it/符 号 ) p(x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为：
C T1 tm p(axx ){I(X;Y)}(bit/秒 )
即信道传输速率。
信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
这样，波形信道化为多维连续信道，信道转移概率密度 函数为
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。
信息论与编码3 信道与信道容量
3.2离散单个符号信道及其容量
无干扰离散信道的信道容量
X
Y
1
1
1 (a) 无噪无损信道
X
Y
1
1
1
1
1 (b) 无噪有损信道
X
Y
1
1
1
1
1 (c) 有噪无损信道
部分理想化的无干扰离散信道
9
3.2离散单个符号信道及其容量
X、Y一一对应
C＝maxI(X;Y)＝log n
多个输入变成一个输出
C＝maxI(X;Y)＝maxH(Y)
3 6
1/ 3 1/ 3
1/ 6 1/ 6
1/ 6 1/ 3
C log2 2 H (1/ 3,1/ 3,1/ 6,1/ 6)
(1/ 3 1/ 6) log2 (1/ 3 1/ 6)
10/.034lo1bgi2t(/1符/ 3号 1
/
3)
1/
6
log
2
(1/
6
1
/
6)
26
3.2离散单个符号信道及其容量
1 e( yai )2 / 2 2
2
G
6
3.1信道分类和表示参数
波形信道
x(t)
y(t)
+
n(t)
pY ( y / x) pY ( y1, y2 , yL / x1, x2 , xL )
pY ( y / x)
px,y (x, y) px (x)
px,y (x, n) px (x)
pn (n)
7
3.2离散单个符号信道及其容量
准对称DMC信道
如果转移概率矩阵P是输入对称而输出不对称，即转 移概率矩阵P的每一行都包含同样的元素而各列的元 素可以不同，则称该信道是准对称DMC信道
信息理论与编码 第三章 信道模型和信道容量 PPT课件
(a)
PY
|X
0.98 0.05
0.02 0.95
(b)
PY|X
0.8 0.05
0.15 0.15
0.05 0.8
解：（a）因为输入等概分布，即 PX 0.5 0.5
PY
PX
PY
|X
0.5
0.5
0.98 0.05
0.02 0.95
0.515
0.485
H(Y ) 0.515log 0.515 0.485log 0.485 0.9994bit / 符号
5
（2）根据信道的记忆特性划分
无记忆信道：信道当前的输出只与当前的输入有关。
有记忆信道：信道当前的输出不但与当前的输入有关，还
与当前时刻以前的输入有关。
（3）根据信道的输入/输出的关系划分
无噪声信道：信道的输入/输出关系是确定关系。
有噪声信道：信道的输入/输出关系是统计依存关系。
（4）根据信道物理组成划分
22
2 信道的散布度
X {a1, a2 , , ar }
DMC
Y {b1, b2 ,
噪声
I( X;Y ) H(Y ) H(Y | X ) ,bs} H(Y)是在输出端得到的全部
信息，有两个来源：输入端
H(Y|X)：信道的散布度或噪声 和噪声。 H(Y|X)表示由噪声
熵。
引起的无序程度。
确定信道：噪声熵为零的信道。
, bs }
疑义度 损失熵
H (Y ) H (Y | X )
平均互信息量 1.信道的疑义度
散布度 噪声熵
由于存在后验平均不确定性H(X|Y)，说明收到输出Y 后对输入X还存有疑义。
输入X的平均信息H(X)不可能全部到达输出，由于干
信息论与编码-第10、11讲-第3章信道容量
THANKS
感谢观看
信道容量决定了单位时间内传输 的信息量，容量越大，传输效率 越高。
02
编码技术对信息传 输效率的影响
采用高效的编码技术可以减小信 息的冗余度，提高信息传输效率 。
03
多路复用技术提高 信道利用率
多路复用技术允许多个信号在同 一信道上同时传输，提高了信道 的利用率。
信道容量与信号设计
1 2
信号设计对信道容量的影响
02
它反映了信道在噪声干扰下传输信息的能力，是衡量信道性 能的重要指标。
03
信道容量可以通过特定的编码方式和技术实现接近，但无法 达到。
信道容量的性质
确定性
对于确定的信道，其容量是确定的，与使用的信号和 编码方式无关。
可加性
对于并联的多个信道，其容量等于各个信道容量的总 和。
单调性
随着输入信号的平均功率增加，信道容量通常会增加 ，但增加的幅度逐渐减小。
通信系统设计中的关键问题
如何提高信号传输的可靠 性和速率？
如何平衡传输质量和系统 复杂度？
如何降低噪声和干扰对信 号的影响？
如何实现高效、低成本的 通信系统设计？
05
CATALOGUE
信道容量与实际应用
无线通信中的信道容量问题
无线信道的不确定性
无线通信中，由于信号传播的复杂性和多径效应，信道容量存在不 确定性。
信道容量的计算方法
离散无记忆信道容量
01
通过计算输入信号的熵和输出信号的熵，再根据互信息公式计
算得出。
连续无记忆信道容量
02
通过计算输入信号的功率谱密度和输出信号的功率谱密度，再
根据互信息公式计算得出。
有记忆信道容量
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
j
m
2 j
（7）
由(5)求出 p (b j ) 2
j C
n
（8）
由p(b j ) p(ai ) p(b j / ai（9） )
i 1
求出p(ai )
总结C的求法，过程如下：
1. ( 4)求 j; 由 2. (7)求C ; 由 3. (8)求P (b j ); 由 4. (9)求P ( ai )并验证。 由
1、一一对应的无噪信道
X a1 , a2 ,an Y b1, b2 ,bn
a1 a2 …… b1 b2
100......0 010......0 ...... 000......1
an
bn
a1
b1 ……
a2
b2 bn-1
bn
an-1
则（3）变为：
p (b
j m j
m
j
/ ai ) log p(b j / ai )
（4）
p (b j / a i ) j
由(4)求出 j : log p(b j ) j C
（5）
p (b ) 2
j j j
m
m
j C
1
（6）
2 2
C j
m
j
C log 2
j m
0
m m p(b j / ai )log p(b j / ai ) p(b j / ai )log p(b j ) j 1 j 1 log e 0
p(b j / ai ) log p(b j / ai )
j 1
m
(1)
p(b j / ai ) log p(b j ) log e
log log(1 )
log (1 ) 1
2 3
C log 2
2
j 1
m
j
log 2
j C 1 C
1 1 (1 )
p (b j ) 2 p(b1 ) 2 1
都是可排列的，则称相应的信道为准对称
信道。例如下面的矩阵：
1 2 1 4
1 4 1 2
1 8 1 8
1 8 1 8
H (Y / X ) Hmi
C max [ H (Y ) Hmi]
p ( ai )
假设此时将矩阵的列分为S个子集，每 个子集的元素个数分别是m1，m2，……，
第1章：概述 第2章：信源熵
第3章：信道容量
第4章：信息率失真函数
第5章：信源编码
第6章：信道编码
第7章：密码体制的安全性测度
§3.1 信道容量的数学模型和 分类
§3.2 单符号离散信源 §3.3 多符号离散信源 §3.4 多用户信道
§3.5 信道编码定理
§3.1 信道的数学模型和分类
信道的数学模型： {X P(Y/X) Y}
b1 a1 pb2 a1 pb3 a1 0 0 0 0 0 b5 b6 b4 0 0 p a2 p a2 p a2 0 0 0 0 0 0 0 0 0 pb7 a3 pb8 a3
一个输入对应多个输出 此时，H(X/Y)=0，H(Y/X) 0， 且 H(X) <H(Y)。 此时，C = max H(X) = log n
C log2 e
(2)
将（2）代入（1），则有：
p (b
j m j
m
j
/ ai ) log p(b j / ai )
p(b j / ai ) log p(b j ) C p(b j / ai )[log p(b j ) C ] （3）
j m
令 j log p(b j ) C
1 0.8 0.6 0.4 0.2 0
0
0.2
0.4
0.6
0.8
1
二进制均匀信道容量曲线
三、对称离散信道的信道容量
矩阵中的每行都 是集合P = {p1, p2, ……, pn}中的诸元素的不同排列，称 矩阵的行是可排列的。
矩阵中的每列都是集合Q = {q1, q2, ……,qm}中的诸元素的不同排列，称 矩阵的列是可排列的。
令 0, 则有 : P(ai )
m p(b j ) log p(b j ) p(ai ) j 1 p(ai ) p(b j / ai ) log p(b j / ai ) p(ai ) 1 i 1 j 1 i 1
n Xn
H (Y / X ) p(ai ) p(b j / ai ) log p(b j / ai )
i j
n
n
p(ai ) p(b j / ai ) log p(b j / ai )
i j
n
n
p p (1 p) log( 1 p ) ( log )( n 1) n 1 n 1 n p p(ai )[(1 p) log( 1 p) p log ] n 1 i p [(1 p) log( 1 p) p log ] n 1 Hni
an
X、Y一一对应
000......01 000......10 ...... 010......00 100......00
C＝maxI(X;Y)＝log n
p(ai)
2、具有扩展功能的无噪信道
a1
b1
a2
b4 b5 b6
b2
b3
a3
b7
b8
X a1 , a2 ,an Y b1, b2 ,bm
p 1 p n 1 p 1 p n 1 ...... p p n 1 n 1
P：总体错误概率
p ...... n 1 p ...... n 1 ...... p 1 p n 1
对称离散信道的信道容量
H (Y / X ) p(ai ) p(b j / ai ) log p(b j / ai )
i 1 j 1 n n m
p(ai )[ p(b j / ai ) log p (b j / ai )]
i 1 j 1
m
Hmi
C max [ H (Y ) Hmi] log m Hmi
x
P(Y/X)
Y
有干扰 信道
信道的分类
无干扰 信道
有记忆 信道
信道的分类
无记忆 信道
单符号 信道
信道的分类
多符号 信道
单用户 信道
信道的分类
多用户 信道
信道的分类
半离散 信道
离散 信道
§3.1 信道的数学模型和分类
§3.2 单符号离散信道
§3.3 多符号离散信道
§3.4 多用户信道 §3.5 信道编码定理
p ( xi ) p ( xi ) p ( xi )
1 Ct max I ( X ; Y ) t p ( ai )
§3.2 单符号离散信道的信道容量
§3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量
§3.2 .3 离散信道容量的一般计算方法
§3.2.2 几种特殊离散信道的容量
一、离散无噪信道
C max I ( X ; Y )
p ( ai )
max [ H (Y ) H (Y / X )]
p ( ai ) p ( ai )
max [ H (Y ) Hn ]
i
log n Hni
1 相应的 p ( ai ) n
二进制均匀信道容量 C＝1－H(p),
其中 H(p)=-((1-p)log(1-p)+plogp)
ms。
H (Y ) P(b j ) log P(b j )
j m
＝－ P(b j1 ) log P(b j1 ) ...... P(b js ) log P(b js )
j1 js
m1
ms
§3.2 单符号离散信道
§3.2.1 信道容量的定义 §3.2.2 几种特殊离散信道的容量
§3.2 单符号离散信道的信道容量
§3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量 §3.2 .3 离散信道容量的一般计算方法
§3.2.1 信道容量的定义
X a1 , a2 ,an Y b1, b2 ,bm
x
p(yi/xi)
Y
i=1,2,…n
信道转移概率矩阵：（见下页）
p a1 , p a1 ,, p a1 b1 bm b2 p a2 , p a2 , , p a2 b1 bm b2 p an , p an ,, p an
b1 b2 bm
信道容量
C max I ( X ; Y ) max H ( X ) H ( X Y ) max H (Y ) H (Y X )
n m n
p ( b j ) p ( a i ) p (b j / a i )
i
n
dp(b j ) dp(ai )
p(b j / ai ) log x ln x log e
m p(b j / ai )log p(b j ) p(b j / ai )log e p(ai ) j p(b j / ai )log p(b j / ai )
p(ai)
3、具有归并性的无噪信道
x1
x2 x3
y1
y2
1 1 0 0 0