第五章：信道与信道容量z
(最新整理)信道容量的计算
(完整)信道容量的计算编辑整理：尊敬的读者朋友们：这里是精品文档编辑中心，本文档内容是由我和我的同事精心编辑整理后发布的，发布之前我们对文中内容进行仔细校对，但是难免会有疏漏的地方，但是任然希望（(完整)信道容量的计算）的内容能够给您的工作和学习带来便利。
同时也真诚的希望收到您的建议和反馈，这将是我们进步的源泉，前进的动力。
本文可编辑可修改，如果觉得对您有帮助请收藏以便随时查阅，最后祝您生活愉快业绩进步，以下为(完整)信道容量的计算的全部内容。
§4.2信道容量的计算这里,我们介绍一般离散信道的信道容量计算方法,根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布)(x P 求平均互信息的极大值。
前面已知()Y X I ;是输入概率分布的上凸函数，所以极大值一定存在。
而);(Y X I 是r 个变量)}(),(),({21r x p x p x p 的多元函数。
并且满足1)(1=∑=ri i x p 。
所以可用拉格朗日乘子法来计算这个条件极值。
引入一个函数：∑-=ii x p Y X I )();(λφ解方程组0)(])();([)(=∑∂-∂∂∂i ii i x p x p Y X I x p λφ1)(=∑iix p （4.2。
1）可以先解出达到极值的概率分布和拉格朗日乘子λ的值，然后在解出信道容量C .因为 )()(log)()();(11i i i i i ri sj i y p x y Q x y Q x p Y X I ∑∑===而)()()(1i i ri i i x y Q x p y p ∑==，所以e e y p y p i i i i i x y Q i x p i x p log log ))(ln ()(log )()()(==∂∂∂∂。
解（4.2。
1）式有0log )()()()()()(log )(111=--∑∑∑===λe y p x y Q x y Q x p y p x y Q x y Q ii i ii r i s j i i i i sj i i (对r i ,,2,1 =都成立） 又因为)()()(1j k k rk k y p x y Q x p =∑=ri x y Q sj i j,,2,1,1)(1==∑=所以（4.2.1）式方程组可以转化为 ),,2,1(log )()(log)(1r i e y p x y Q x y Q j i j sj i j =+=∑=λ1)(1=∑=ri i x p假设使得平均互信息);(Y X I 达到极值的输入概率分布},,{21r p p p 这样有 e y p x y Q x y Q x p j i j i j ri sj i log )()(log)()(11+=∑∑==λ从而上式左边即为信道容量，得 e C log +=λ 现在令)()(log)();(1j i j sj i j i y p x y Q x y Q Y x I ∑==式中，);(Y x I i 是输出端接收到Y 后获得关于i x X =的信息量，即是信源符号i x X =对输出端Y 平均提供的互信息。
5-2 离散信道的信道容量
1
离散信道的信道容量
一、离散信道容量的定义 二、信道模型 三、离散信道容量的表达式
2
离散信道的信道容量
一、离散信道容量的定义
定义1： C－ 每个符号能够传输的平均信息量最大值
定义2： Ct －单位时间（秒）内能够传输的平均信息量最大值
两者之间可以互换：已知信道每秒能够传输的符号数
i =1
j=1
i =1
n
∑ H ( x ) = − P ( x i ) log 2 P ( x i ) i=1
－每个发送符号xi的平均信息量，称为信源的熵
m
n
∑ ∑ H( x / y) = − P( y j ) P( xi / y j )log2 P( xi / y j )
j =1
i =1
－接收yj符号已知后，发送符号xi的平均信息量
0
P(0/0) = 127/128
0
发 送 端 P(0/1) = 1/128
接
收
P(1/0) = 1/128
端
P(1/1) = 127/128
1
1
对称道模型
离散信道的信道容量
信源的平均信息量（熵）
∑ H
(x)
=
−
n i=1
P ( x i ) log
2
P ( xi
)
=
−
⎡ ⎢⎣
1 2
log
2
1 2
离散信道的信道容量
③ 无噪声信道 信道模型
发 x1
送 端
x2
x。 3
。
P(xi) 。 xn
P(y1/x1) P(yn/xn)
信道与信道容量
强对称信道 (均匀信道) 输入符号和输出符号个数相同 ( 都等于 n ) ，且正确传 输概率为1-ε，错误概率ε被对称地均分给 n -1 个输出 符号，信道矩阵为
各列之和 也等于 1
强对称信道的信道容量
信道与信道容量
二进制对称信道（ BSC ） 二进制对称信道的信道容量
C=1-H(p)
信道与信道容量
信道容量
2
1.1 信道的分类
用户数量：单用户、多用户
输入端和输出端关系：无反馈、有反馈
信道参数与时间的关系：固定参数、时变参数
噪声种类： 随机差错、突发差错 输入输出信号特点：离散、连续、半离散半连续、
波形信道等
信道与信道容量
3
信道与信道容量
ห้องสมุดไป่ตู้
1.2 信道参数
信道输入矢量为 输出矢量为
信道与信道容量
14
3.2 离散单个符号信道及其容量
信息传输率 R
信道中平均每个符号所能传送的信息量 复习 平均互信息 I (X ;Y) ：接收到 Y 后平均每个符
号获得的关于 X 的信息量。
信道的信息传输率就是平均互信息
信道与信道容量
15
信息传输速率 Rt
信道在单位时间内平均传输的信息量
Rt = R/t = I ( X ; Y )/t bit / s
信道与信道容量
1 信道的基本概念 2 离散单个符号信道及其容量 3 离散序列信道及其容量 4 连续信道及其容量
信道与信道容量
1
1 信道的基本概念
信道：信息传输的通道
广义：信源与信宿之间 狭义：中间远距离传输部分 定义：传输信息的载体 任务：以信号方式传输信息、存储信息
信道与信道容量
1.6.2 信道容量
根据香农信息论，对于连续信道，如果信道带宽为B， 并且受到加性高斯白噪声的干扰，则信道容量的理论公式为
C=B㏒2（1+S/N）（b/s） 式中。 N为白噪声的平均功率； S是信号的平均功率； S/N 为信噪比。信道容量C是指信道可能传输的最大信息速率 （即信道能达到的最大传输能力）。虽然上式是在一定条件 下获得的（要求输入信号也为高斯信号才能实现上述可能 性），但对其他情况也可作为近似式使用。
例1 已知彩色电视图象由5ⅹ105个像素组成。设每个像素有 64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和 亮度等级的组合机会均等，并统计独立。（1）试计算每秒 传送100个画面所需信道容量；（2）如果接受机信噪比为 30dB，为了传送彩色图象所需信道带宽为多少？
例2 设有一个图像要在电话线路中实现传真传输。大约要传输2.25ⅹ106个 像素，每个像素有12个亮度等级。假设所有亮度等级都是等概率的，电 话电路具有3kHz带宽和30dB信噪比。试求在该标准电话线路上传输一 张传真图片需要的最小时间。
在数字通信系统中，如果仅研究编码和解码问题， 可得到另一种广义信道---编码信道。编码信道的范围是 从编码器输出端至解码器输入端。这是因为从编码和解 码角度来看，编码器是把信源产生的消息信号转化为数 字信号。反之，解码器是将数字信号恢复原来的消息信 号；而编码器输出端至解码器输入端之间的一切环节只 是起了传输数字信号的作用，所以可以把它看成一个整 体---编码信道。当然，根据研究问题的不同，还可以定 义其他广义信道。
解： Rb = RBN㏒2N
RBN= Rb／×106 / 29.9 ×103=0.269 ×103s=4.5min
例3 已知八进制数字信号的传输速率为1600波 特。试问变换成二进制数字信号时的传输速率为多 少？ 解： Rb = RBN㏒2N = 1600× ㏒28 = 4800 b/s
离散信道的信道容量
综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下，
有CN = NC，即定理中等号成立，这时N长序列的传输问题可 归结为单符号传输问题。
5.2.1 达到信道容量的充要条件
定理5.2 使平均互信息量I（X; Y）达到信道容量C的
充要条件是信道输入概率分布
X q( X
)
x1 q( x1
1 3 1 3 1 3 1 3
1 2 1 6 2 6 3 6
1 6
1 18
1 9
1 6
6
满足 ( y j ) 1 j 1
再计算出：
I (x1;Y )
6 j 1
p( y j
x1) log
p( y j x1 )
(yj )
1 log 1 13
log3
I (x2 ;Y )
5.1 信道容量的定义
信息传输率是衡量通信质量的一个重要指标，定理
1.1知：对于固定信道，总存在某种输入概率分布q(x)，
使I（X; Y）达到最大值，定义这个最大值为信道容
量，记为C。
C max I (X ;Y ) （比特/码符号）
q(x)
（5-2）
使I（X; Y）达到信道容量的分布q (x)为最佳分布。
则信道容量
C = I (X; Y)︱a=0.5 = 1-q
3.信道转移概率矩阵为非奇异方阵
计算信道容量C按下面步骤进行： (1)先验证信道转移概率矩阵P =[p(yj︱xi)]是方阵，且矩阵P的行列 式︱[p(yj︱xi)]︱≠0；
(2)计算出逆矩阵P－１=[ p-1 (yj︱xk)]；
(3)根据式（5-17），计算出；
i 1
平均互信息量 I(X; Y) = H(Y) –H (Y︱X)
《信道容量》PPT课件
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数
信道带宽与信道容量
C
B
log2
1
S N
bit / s
（2-6-2）
例2.2 设一幅图片约有个像素，每个像素以后2个以等概率出 现的亮电平。若要求用3分钟传输这张图片，并且信噪比等于 30dB，试求所需的信道带宽。
解：由于每个像素有12个等概率出现的亮度电平，所以每个 像素的信息量为 I p log 2 12 3.585 b
每幅图像的信息量为 If 2.5106 Ip 8.963106 b 信息传输速率，即信道容量为
C If t 8.963 10 6 (3 60) 4.98 10 4
信噪比为 S N 30 dB 1000 由于信道容量 C B log2(1 S N)
所以所需信道带宽为
B
C
4.98104 5 kHz
案例分析2
地震预警信息是由电脑自动发送，该预警信息可通过多种通 信手段进行传输发送，例如：网络微博发送，计算机、手机、 专用预警接收服务器、电视等实时同步发布，如图2.37所示。 由于地震预警系统传递信息时需要保证信息的可靠性，因此 可以通过多种通信手段保证信息的发布，所涉及到的信道方 式也可能有多种形式。
地震发生时，首先出现的是上下震动的P波，震动幅度较 小，要过大约10秒到1分钟时间，水平运动的S波才会到来， 造成严重破坏。地震预警就是利用地震发生后，P波与S波之 间的时间差。原理上，在距离震源50公里内的地区，会在地
案例分析2
地震前10秒收到预警信息；90-100公里内的地区，能提前 20多秒收到预警信息。根据数据准确估计震级、震中位置以 及快速估计地震对预警目标的影响等。例如：地震波从震中 传到北川县城大概需要25秒。如果您在发震5秒后感受到了地 震波，并花了15秒钟打电话告诉北川的朋友地震波即将来临， 那么您北川的朋友将会获得5秒的应急时间。
第5章 信道容量
P ( X ) [1 / 2 1 / 2 ]
第5章 信道容量
3、弱对称信道
弱对称信道——单符号离散信道的信道矩阵行可 置换，且按列分为s个不相交的子信道，各子信道 的信道矩阵既行可置换又列可置换
第5章 信道容量
例5：二元删除信道 Y / X ~ P ( Y / X ) 0 .9 0 .1 0 P(Y / X ) 0 0 .1 0 .9
C 1 H (p)
达到信道容量的信源概率
P ( X ) [1 / 2 1 / 2 ]
第5章 信道容量
例3：三元对称信道Y / X ~ P ( Y / X ) 0 .3 0 .2 0 .5 P(Y / X ) 0 . 5 0 . 3 0 . 2 0 .2 0 .5 0 . 3
P( x ) NP( x ) 1
i 1 i i
N
1 P( x i ) N
i 1,2, , N
第5章 信道容量
C ቤተ መጻሕፍቲ ባይዱlog M H ( q 1 , q 2 , , q M 1 )
P ( X ) [1 / N 1 / N 1 / N ]
第5章 信道容量
二元对称信道的信道容量
i 1 j1 N M
P( x i )q j log q j
i 1 j1 M
N
M
q j log q j H (q1 , q 2 , , q M 1 )
j1
C max I( X ; Y ) max [ H ( Y ) H ( Y / X )]
P(X) P(X)
第5章 信道容量
1 P ( y1 ) p1 P ( x 1 ) p 2 P ( x 2 ) p N P ( x N ) M 1 P ( y 2 ) p 2 P ( x 1 ) p 3 P ( x 2 ) p1 P ( x N ) M 1 N 解出 P ( x 1 ) P ( x 2 ) P ( x N ) pi M i 1
5-1 连续信道的信道容量
0
1
2
34Biblioteka 5 B a n d w id t h
6
7
8
9
10 x 10
7
8
B →∞
lim C = 1.44 ⇒
EC S = 1.44 b n0 n0
Eb 1 = = −1.6dB n0 1.44
7
连续信道的信道容量
0 -0 . 2 -0 . 4
结论： -0 . 6 带宽增加到无穷大时，保证无差错极限信息传输速 -0 . 8 率的最小信噪比为 -1.6dB，该值通常称为AWGN信道的 -1 极限信噪比，或称为香农限
6
《通信原理》 国防科技大学电子科学与工程学院 马东堂 _______________________________________________________
连续信道的信道容量
③ 能否通过将带宽增加到无穷大，信噪比减小到任意小完成
极限信道容量传输？
令信息传输速率R = C，比特平均能量为Eb，信道容量 极限可以表示为：
《通信原理》 国防科技大学电子科学与工程学院 马东堂 _______________________________________________________
第五讲 信道容量
第一节 连续信道的信道容量
1
连续信道的信道容量
一、信道容量的概念 二、香农公式
2
《通信原理》 国防科技大学电子科学与工程学院 马东堂 _______________________________________________________
增大到一定程度后，信道容量不再增加。S/n0一定时无限大带 宽对应的信道容量称为信道容量极限
信息论基础——信道容量的计算
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
信道容量及其计算PPT课件
6 6 3 3
C log 4 H (1 , 1 , 1 , 1) 2 (1 log 1 1 log 1 1 log 1 1 log 1)
3366
3 33 36 66 6
0,0817(bit / symbol)
第12页/共27页
（2）、准对称信道的容量
准对称信道：信道矩阵（列）的子阵是对称矩阵。
信道容量定义为信道中每个符号所能传递的最大 信息量，也就是最大 I (X；Y)值。
C max{I (X ;Y )} P(x)
此时输入的概率分布称为最佳输入分布。
第5页/共27页
信道容量C与输入信源的概率无关（C只对应着一种 信源概率分布，即最佳概率分布），它只是信道传输概 率的函数（不同的转移概率对应不同的信道），只与信 道的统计特性有关，所以信道容量是完全描述信道特性 的参量。
I(x
k;Y )
j
P(
j
|
k) log
P( j | k) P(i)P( j
|
i)
i
第17页/共27页
一般信道容量的计算方法 （拉格朗日乘子法）
第18页/共27页
（4）、扩展信道的信道容量
定理1：如果信道的输入随机序列为 X (X1, X 2,X N ) 通过信道传输，接收到的随机序列为 Y (Y1,Y2 ,YN ) 若信道是无记忆的，即满足
级联信道：信道1的输出作为信道2的输入。
C min{ C1,C2}
第25页/共27页
第四讲 信道容量及其计算
结束
第26页/共27页
谢谢您的观看！
第27页/共27页
第13页/共27页
例：求二元对称删除信道的C。（例3.8中特例 ）
02 1
信道与信道容量
图3-3-1 离散、单消息信道
一、强对称信道
离散强对称信道见图3-3-2。 。 离散强对称信道见图
图3-3-2 离散强对称信道
二、对称信道
进一步分析上述强对称信道后， 进一步分析上述强对称信道后 ， 我们发现它具有下列两项重要特征。 我们发现它具有下列两项重要特征。 ① 其输入消息与输出消息相等 ， 其输入消息与输出消息相等， 均为n个 均为 个 ， 即 m=n。 且信道中总的误 。 差概率ε＝ 它将 平均分配给(n-1)个 它将ε平均分配给 差概率 ＝Pe,它将 平均分配给 个 传输的错误。 传输的错误。
五、一般化的离散单个消息 信道的信道容量迭代计算
前面， 前面，我们讨论了一些特殊情况下离 散单消息信道的信道容量计算的问题。 散单消息信道的信道容量计算的问题 。 下 面 ， 将讨论一般情况下离散单消息信道的 信道容量的计算机迭代算法。 信道容量的计算机迭代算法。
由信道容量定义， 由信道容量定义 ， 求信道容 量实际上就是求互信息I(X，Y)的 量实际上就是求互信息 ， 的 极大值。 极大值。而引用迭代法求互信息的 极值的关键在于寻求两个互为因果 关系的自变量来表达互信息， 关系的自变量来表达互信息，以便 进行循环迭代运算。 进行循环迭代运算。
3.2 无干扰离散信道
严格地说，信道总是存在干扰的。 严格地说，信道总是存在干扰的。 只有理想情况下，信道才无干扰。 只有理想情况下 ， 信道才无干扰 。 从 互信息角度看， 互信息角度看 ， 这时通过信道的互信 息即信宿所收到的信息就是信源所输 出的信息。 出的信息 。 信道中所通过的最大信息 量即信源所输出的最大熵。 量即信源所输出的最大熵。
频带正交复用(FDM)、 时间正交复用 、 频带正交复用 (TDM)、波形正交复用(WDM)。 、波形正交复用 。 所谓正交复用，即要求设计一组信号， 所谓正交复用 ， 即要求设计一组信号 ， 使它既能在发送端不重叠的合并， 使它既能在发送端不重叠的合并 ， 又能在 接收端不互相干扰的分开。 接收端不互相干扰的分开。
信道、信道容量、数据传输速率
信道、信道容量、数据传输速率简介：信道、信道容量、数据传输速率（⽐特率）、电脑装置带宽列表⼀、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
⼴义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最⼤速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意⼩的差错概率传输信息的极限速率。
信道容量的单位为⽐特每秒、奈特每秒等等。
⾹农在第⼆次世界⼤战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输⼊与输出的互信息量的最⼤值，这⼀最⼤取值由输⼊信号的概率分布决定。
⼆、信道的分类（⼀）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、⽆线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进⾏传输，信号的能量集中在导线附近，因此传输效率⾼，但是部署不够灵活。
这⼀类信道使⽤的传输媒质包括⽤电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. ⽆线信道⽆线信道主要有以辐射⽆线电波为传输⽅式的⽆线电信道和在⽔下传播声波的⽔声信道等。
⽆线电信号由发射机的天线辐射到整个⾃由空间上进⾏传播。
不同频段的⽆线电波有不同的传播⽅式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地⾯传播并绕过地⾯的障碍物。
长波可以应⽤于海事通信，中波调幅⼴播也利⽤了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进⾏传播。
短波电台就利⽤了天波传输⽅式。
天波传输的距离最⼤可以达到400千⽶左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
信道模型及信道容量
p(ai b j ) p(ai ) p(b j ) I (Y ; X )
p(b j ai ) log
i 1 j 1
r
s
p(b j ai ) p(b j ) p(ai )
I ( X ; Y ) I (Y ; X )
结 论 平均互信息特性：
平均互信息量的非负性 平均互信息量的极值性（凸函数） 平均互信息量的交互性（对称性）
单符号信道的数学模型：
{ X , p( y / x),Y }
单维离散信道的数学模型
输入输出的联合概率为：
p(bj ai ) p(ai ) p(bj / ai ) p(bi ) p(a j / bi )
P(ai )
称作输入概率/先验概率
P(bj / ai ) 称作前向概率 P(ai / bj ) 称作后向概率/后验概率
平均互信息量
当信宿Y收到某一具体符号bj(Y=bj)后，推测信 源X发符号ai的概率，已由先验概率p(ai)转变为 后验概率p(ai/bj)，从bj中获取关于输入符号的信 息量，应是互信息量I(ai ; bj)在两个概率空间X 和Y中的统计平均值：
I ( X ; Y ) p(ai b j ) I (ai ; b j )
称为信宿熵
H(Y/X)——散布度，噪声熵。 表示由噪声引起的不确定性的增加。
(3)
I ( X ; Y ) p(ai b j ) log
i 1 j 1
r
s
p(ai b j ) p(ai ) p(b j )
联合熵
H ( X ) H (Y ) H ( XY )
I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X ) H (Y ) H ( XY )
信道容量的定义
信道容量的定义
1、信道容量的定义在信息论中，称信道⽆差错传输信息的最⼤信息速率为信道容量，记为。
从信息论的观点来看，各种信道可概括为两⼤类：离散信道和连续信道。
所谓离散信道就是输⼊与输出信号都是取值离散的时间函数；⽽连续信道是指输⼊和输出信号都是取值连续的。
可以看出，前者就是⼴义信道中的编码信道，后者则是调制信道。
仅从说明概念的⾓度考虑，我们只讨论连续信道的信道容量。
信道容量是指信道中信息⽆差错传输的最⼤速率.
是⼀个理想的极限值
Shannon公式在信号平均功率受限的⾼斯⽩噪声信道中,计算信道容量的理论公式为:
C=Blog2(1+S/N) 单位(b/s)
由公式得出的结论:
1.增⼤信号功率S可以增加信道容量,若信号功率趋于⽆穷⼤,则信道容量也趋于⽆穷⼤
2.减⼩噪声功率N或者减⼩噪声功率谱密度可以增加信道容量,若噪声功率趋于零,则信道容量趋于⽆穷⼤.
3.增加信道带宽B 可以增加信道容量.但是不能使信道容量⽆限制增⼤.信道带宽B趋于⽆穷⼤时.信道容量的极限值为
limC=1.44(S/n0)。
信道带宽和信道容量
信道带宽模拟信道：模拟信道的带宽W=f2-f1其中f1是信道能够通过的最低频率，f2是信道能够通过的最高频率，两者都是由信道的物理特性决定的。
当组成信道的电路制成了，信道的带宽就决定了。
为了是信号的传输的失真小些，信道要有足够的带宽。
数字信道：数字信道是一种离散信道，它只能传送离散值的数字信号，信道的带宽决定了信道中能不失真的传输脉序列的最高速率。
一个数字脉冲称为一个码元，我们用码元速率表示单位时间内信号波形的变换次数，即单位时间内通过信道传输的码元个数。
若信号码元宽度为T秒，则码元速率B=1/T。
码元速率的单位叫波特(Baud)，所以码元速率也叫波特率。
早在1924年，贝尔实验室的研究员亨利·尼奎斯特就推导出了有限带宽无噪声信道的极限波特率，称为尼奎斯特定理。
若信道带宽为W，则尼奎斯特定理指出最大码元速率为B=2W(Baud)尼奎斯特定理指定的信道容量也叫尼奎斯特极限，这是由信道的物理特性决定的。
超过尼奎斯特极限传送脉冲信号是不可能的，所以要进一步提高波特率必须改善信道带宽。
码元携带的信息量由码元取的离散值个数决定。
若码元取两个离散值，则一个码元携带1比特(bit)信息。
若码元可取四种离散值，则一个码元携带2比特信息。
总之一个码元携带的信息量n(bit)与码元的种类数N有如下关系:n=log2N单位时间内在信道上传送的信息量(比特数)称为数据速率。
在一定的波特率下提高速率的途径是用一个码元表示更多的比特数。
如果把两比特编码为一个码元，则数据速率可成倍提高。
我们有公式:R=B log2N=2W log2N(b/s)其中R表示数据速率，单位是每秒比特，简写为bps或b/s数据速率和波特率是两个不同的概念。
仅当码元取两个离散值时两者才相等。
对于普通电话线路，带宽为3000HZ，最高波特率为6000Baud。
而最高数据速率可随编码方式的不同而取不同的值。
这些都是在无噪声的理想情况下的极限值。
信道及信道容量
第5章 信道及信道容量教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连续信道5．1信道模型及信道分类教学内容：1、一般信道的数学模型2、信道的分类3、信道容量的定义1、 一般信道的数学模型影响信道传输的因素：噪声、干扰。
噪声、干扰：非函数表述、随机性、统计依赖。
信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。
信道的一般数学模型：2、 信道的分类输出随机信号输入、输出随机变量个数输入和输出的个数信道上有无干扰有无记忆特性3、信道容量的定义衡量一个信息传递系统的好坏，有两个主要指标：图5.1.1 一般信道的数学模型离散信道、连续信道、半离散或半连续信道 单符号信道和多符号信道 有干扰信道和无干扰信道有记忆信道和无记忆信道单用户信道和多用户信道 速度指标质量指标速度指标：信息（传输）率R ，即信道中平均每个符号传递的信息量；质量指标：平均差错率e P ，即对信道输出符号进行译码的平均错误概率；目标：速度快、错误少，即R 尽量大而e P 尽量小。
信道容量：信息率R 能大到什么程度； )/()()/()();(X Y H Y H Y X H X H Y X I R -=-==若信道平均传送一个符号所需时间为t 秒，则);(1Y X I t R t =（bit/s ）称t R 为信息（传输）速率。
分析：对于给定的信道，总存在一个信源（其概率分布为*)(X P ），会使信道的信息率R 达到最大。
（);(Y X I 是输入概率)(X P 的上凸函数，这意味着);(Y X I 关于)(X P 存在最大值）每个给定的信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为C ，即);(max max Y X I R C XXP P ==bit/符号 （5.1.3）信道容量也可以定义为信道的最大的信息速率，记为t C⎭⎬⎫⎩⎨⎧==);(1max max Y X I t R C XX P t P t （bit /s ） （5.1.4） 解释：(1)信道容量C 是信道信息率R 的上限，定量描述了信道（信息的）最大通过能力； (2)使得给定信道的);(Y X I 达到最大值（即信道容量C ）的输入分布，称为最佳输入（概率）分布，记为*)(X P ；(3)信道的);(Y X I 与输入概率分布)(X P 和转移概率分布)/(X Y P 两者有关，但信道容量C 是信道的固有参数，只与信道转移概率)/(X Y P 有关。
信道与信道容量
• 离散信道可分成： • 无干扰(无噪)信道
– 无噪无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
29
3.2 离散单个符号信道 及其容量
• 信道的输入和输出均以单个符号的形式， 或者以序列形式但符号之间不相关，即 无记忆。这类信道分析起来较为简单。
• p(ai|bj):后向概率
– 已知信道输出端接收到符号bj但发送的输 入符号为ai的概率。
19
二进制离散信道BSC
• 二进制离散信道BSC
– 该信道模型的输入和输出 信号的符号数都是2； – 输入符号X取值{0,1}； – 输出符号Y取值{0,1}
1-p 0 p 1 1-p 1 0 p
• 很重要的一种特殊信道 • 信道转移概率：
30
3.2.1 无干扰离散信道
• 设信道的输入X∈A={a1 … an},输出Y∈B={b1 … bm}
• 无噪无损信道
– 输入和输出符号之间有确定的一一对应关系
0 p(b j | ai ) p(ai | b j ) 1
X a1 1 b1
i j i j
(i, j 1,2,3)
32
无干扰离散信道
• 无嗓无损信道
• 由 H(X |Y)
p( x , y ) log p( x | y ) H (Y | X ) p( x , y ) log p( y | x )
i j i j ij i j j i ij
• 计算得：
• 噪声熵H(Y|X) = 0 损失熵H(X|Y) = 0
21
二元删除信道BEC
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
了解信息论研究信道的目的、内容 了解信道的基本分类并掌握信道的基本描述方法
掌握信道容量/信道容量代价函数的概念，以及与互信息、
信道输入概率分布、信道转移函数的关系 能够计算简单信道的信道容量/信道容量代价函数（对称离 散信道、无记忆加性高斯噪声信道） 了解信道容量/容量代价函数在研究通信系统中的作用
i 1
N
§5.1:概述－1
• 信息论对信道研究的内容
– 信道的建模：用恰当的输入/输出两个随机过程来描述 – 信道容量 – 不同条件下充分利用信道容量的各种办法
• 什么是信道？ • 信道的作用
• 研究信道的目的
§5.1:概述－2
• 什么是信道？
– 信道是传送信息的载体——信号所通过的通道。
– 信息是抽象的，信道则是具体的。比如：二人 对话，二人间的空气就是信道；打电话，电话 线就是信道；看电视，听收音机，收、发间的 空间就是信道。
p( y1 / x1 ) p( y2 / x2 ).... p( yN / xN ) p( yi / xi )
i 1
N
则：
I ( X; Y) I ( X i ; Yi )
i 1
N
回顾－互信息函数的性质5
• 性质3、性质4的推论： 信道的输入和信道本身都是离散无记忆的
I ( X; Y) I ( X i ; Yi )
– 实现信息传输的有效性和可靠性 • 有效性：充分利用信道容量，使传输的信息量尽可 能大 • 可靠性：通过信道编码降低误码率 – 结合通信系统研究信道，主要是为了描述、度量、分 析不同类型信道，计算其容量，即极限传输能力，并 分析其特性。 • 通信技术研究－－信号在信道中传输的过程所遵循 的物理规律，即传输特性 • 信息论研究－－信息的传输问题（假定传输特性已 知）
§5.2:信道分类与描述－4
信道划分是人为的，比如
信源
C
编码
A
传输 B 媒介 干扰 C AB
译码
Dห้องสมุดไป่ตู้
信宿
CCD CCB
CAD
其中：C AB 为狭义的传输型信道，研究调制解调理论或 模拟通信时常引用它，为连续信道； CCD 为广义的传输型信道，研究数字通信、编码解码时 常引用它，为离散信道；
CCB 为半离散半连续的传输型信道
§5.1:概述－3
• 信道的作用
– 在信息系统中信道主要用于传输与存储信息，而在通 信系统中则主要用于传输。
– 信道传输信息的速率：与物理信道本身的特性、载荷 信息的信号形式和信源输出信号的统计特性有关。 – 信道容量研究内容：在什么条件下，通过信道的信息 量最大。
§5.1:概述－4
• 研究信道的目的
§5.2:信道分类与描述－5
恒参信道（时不变信道） 3 〉信道参量类型 变参信道（时变信道）
二用户信道（点对点通信） 4〉用户类型 多用户信道（通信网）
§5.2:信道分类与描述－6
• 信道描述
– 信道可以引用三组变量来描述： K 信道输入概率空间：[ X , p(x)] K 信道输出概率空间： [Y , q(y )] 信道概率转移矩阵： p(y / x) K K {[ X , p ( x )], p ( y / x ),[ Y , q(y)]} 即： 它可简化为： [ X K , P( ), Y K ]
§5.2:信道的分类与描述
• 信道分类
• 信道描述
§5.2:信道分类与描述－1
• 信道分类
– 从工程物理背景——传输媒介类型；
– 从数学描述方式——信号与干扰描述方式；
– 从信道本身的参数类型——恒参与变参； – 从用户类型——单用户与多用户；
信 道 分 类 与 描 述 －
明线 对称平衡电缆（市内） 固体介质电缆小同轴（长途） 中同轴（长途） 长波 中波 短波 超短波 移动 1 传输媒介类型空气介质 视距接力 微波 对流层 散射 电离层 卫星 光波 波导 混合介质 光缆
§5.2:
2
§5.2:信道分类与描述－3
离散 无记忆 信号类型连续 半离散 有记忆 半连续 无干扰：干扰少到可忽略； 无源热噪声 2〉信号与干扰类型 线性叠加干扰 有源散弹噪声 脉冲噪声 干扰类型 有干扰 交调 乘性干扰 衰落 码间干扰
理解香农第一定理又称无噪信道编码的物理意义
进一步从信息论的角度理解香农公式及其用途
概念问题
• 熵熵率无失真信源编码定理中的作用
• 互信息信道容量信道编码定理中的作用
回顾－互信息函数的性质1
• 互 信息与信道输入概率分布的关系 性质1 ：I(X; Y)是信道输入概率分布p(x)的上凸函数.
p(x) p( x1 x2 ....xN ) p( x1 ) p( x2 ).... p( xN ) p( xi )
i 1 N
则：
I ( X; Y) I ( X i ; Yi )
i 1
N
回顾－互信息函数的性质4
• 互信息与信道输入符号相关性的关系 性质4: 信道是离散无记忆的, 即： p(y / x) p( y y .... y / x x ....x ) 1 2 N 1 2 N
P1 P2 P
X1 X2
Q
信道
X
Y1 Y2 Y
回顾－互信息函数的性质2
• 互信息与信道转移概率分布的关系 性质2 ：I(X; Y)是信道转移概率分布p(y/x)的下凹函数.
Q1
信道1
Y1 Y2
P
X
Q2
信道2
Q
信道
Y
回顾－互信息函数的性质3
• 互信息与信道输入符号相关性的关系 性质3: 信道的输入是离散无记忆的, 即：
§5.2:信道分类与描述－7
X K x1.....xnk p ..... p p ( x) 1 nk