信息论信道容量总结
北工大信息论第四章 信道及信道容量
数学模型：{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ，则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义:
输入符号X，x取值于A {a1, a2 ,, ar } 输出符号Y，y取值于B {b1, b2 ,, bs} {X , p(bj | ai ),Y}
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4: 求二元无记忆对称信道的二次扩展信
道。
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
当ω=1/2 时，I (X ห้องสมุดไป่ตู้Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定, 即 ω是一个常数时,可 得到I(X;Y)是信道传递概率p的下凸 函数。
当p=0.5时, I(X;Y)=0, 在接收端未 获得信息量。
信息论3章 信道及信道容量
23
2.2 平均互信息
• 例：设信源通过一干扰信道，接收符号为Y=[y1,y2],信道传 递概率如图所示，求：
(1)信源X中事件x1和x2分别含有的自信息。 I(x1)= - logp(x1)=-log0.6≈0.737比特
y = f (x) y ≠ f (x)
¾ 信道的输入和输出一一对应，信息无损失地传输，称 为无损信道。
¾ H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ]
¾由于噪声熵等于零，因此，输出端接收的信息就等于平 均互信息：
I(X;Y) = H(X) = H(Y)
21
（2）输入输出独立信道 ( 全损信道 )
i=1 j=1
i=1 j=1
= H(X) − H(X|Y)
17
2.2 平均互信息
平均互信息：I(X;Y)=H(X)-H(X/Y) 平均互信息=X的先验不确定度-收到Y后关于X的后验不确定度
=平均不确定性消除的程度 =收到Y后获得的关于X的平均信息量 =信道传递的信息量
18
2.2 平均互信息
∑ ∑ ∑ ∑ n m
• 根据输入、输出的个数： – 单用户信道：只有一个输入端和一个输出端 – 多用户信道：至少有一端有两个以上的用户，双向通信
• 根据输入端和输出端的关联：
– 无反馈信道：输出信号对输入信号无影响、无作用
– 有反馈信道：输出信号对输入信号起作用，影响输入端
信号发生变化
4
1.1 信道的分类
•根据信道有无干扰： –有干扰信道：存在干扰或噪声（实际信道一般都有干扰） –无干扰信道：不存在干扰或噪声，或可以忽略（例，计算机和外存设 备之间的信道）
信息论基础——信道容量的计算
0
[P]=
0
1－p
1
0
2.2.二进删除
信道—M信道
X={0,1}; Y={0,2,1}
0
1-p p
p
0
2
1 1-p
1
2
1
p 0
p
1-p
C=1-p 最佳入口分布为等概分布
1
离散无记忆信道和信道容量
对称离散信道的信道容量
I(X;Y)=H(Y)-H(Y/X) 而
H (Y
/
X ) P(x) P( y / x) log
p(y) C t
15
信道容量的计算
③常见信道的信道容量C：
——无噪信道
I(X;Y) H(X )
C log || ||
16
11
移动通讯技术的分类 移动通信系统有多种分类方法。例如按信号性质分，可分为模拟、数
字；按调制方式分，可分为调频、调相、调幅；按多址连接方式分， 可分为 频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)。 目前中国联通、中国移动所使用的GSM移动电话网采用的便是FDMA 和TDMA两种方式的结合。GSM比模拟移动电话有很大的优势，但是， 在频谱效率上仅是模拟系统的3倍，容量有限；在话音质量上也很难 达到有线电话水平；TDMA终端接入速率最高也只能达到9.6kbit/s； TDMA系统无软切换功能，因而容易掉话，影响服务质量。因此， TDMA并不是现代蜂窝移动通信的最佳无线接入，而CDMA多址技术 完全适合现代移动通信网所要求的大容量、高质量、综合业务、软切 换等，正受到越来越多的运营商和用户的青睐。
C log s H ( p1' , p2' ... ps' ) 3
信息论 信道容量总结(1)
设信道的频带限于(0,W)； 根据采样定理，如果每秒传送2W个采样点，在接收端可无 失真地恢复出原始信号； 香农公式：把信道的一次传输看成是一次采样，由于信道 每秒传输2W个样点，所以单位时间的信道容量为
PX )(比特 / 秒) Ct W log 2 (1+ PN
(Ct：最大的信息传输速率/单位时间内)
p( x ) 1 ，并没有限制
i 1 i
n
p(xi)≥0 ，所以求出的p(xi)有可能为负值，此时C就不存 在，必须对p(xi)进行调整，再重新求解C。 近年来人们一般采用计算机，运用迭代算法求解。
第三章 信道容量
香农公式
Review of the last lecture
3.5 连 续 信 道
第三章 信道容量
香农公式
Review of the last lecture
3.5 连 续 信 道
香农公式的意义： 是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或 在任意低的信噪比情况下仍能实现可靠的通信呢？尽管从香农公式 不能直接看出，但它隐含着否定的回答；
设N0 PN 是加性高斯噪声的单边谱密度, 则PN＝N0W W 当W 时，
第三章 信道容量
香农公式
Review of the last lecture
3.5 连 续 信 道
香农公式推出的条件： 连续消息是平均功率受限的高斯随机过程，平均功率为 PX。被取样后的样值同样呈高斯分布，样值之间彼此独 立； 噪声为加性WGN（高斯白噪声），平均功率为PN； 信号的有效带宽为W。
信道与信息传输要求的匹配
3.5 连 续 信 道
j C
，求p( y j )；
④由p( y j ) p( xi ) p( y j / xi ), 求p( xi )。
第二章基本信息论7_熵速率和信道容量
R = n[ H ( X ) − H ( X / Y )] = 10000 × (1 − 0.0808) = 9192 比特/秒 < 9900 比特/秒
五、离散有噪信道的信道容量
♦ 离散有噪对称信道的信道容量
p p 信道矩阵为： N − 1 ⋮ p N −1 其中： p = 1 − p
p( y / x )：p(收 / 发) = p(1/ 0) = p(0 /1) = p = 0.01 p (收 / 发) = p(1/1) = p (0 / 0) = 1 − p = 0.99
p ( xy ) = p ( x ) p ( y / x )
1 p (01) = p (0) p (1/ 0) = p = 0.005 = p(10) 2 1 p (00) = p (0) p(0 / 0) = (1 − p ) = 0.495 = p (11) 2 H ( X / Y ) = − ∑∑ p ( xy )log p ( x / y ) p (0) = p (1) = 0.5 x y 且对称信道，则 1 1 = − p log p − (1 − p )log(1 − p ) p ( x / y ) = p ( y / x ) 2 2 1 1 − p log p − (1 − p )log(1 − p ) 2 2 = − p log p − (1 − p )log(1 − p ) = 0.0808 比特/符号
R = n ⋅ I ( X ;Y ) = I ' ( X ;Y )
= n [ H ( X ) − H ( X / Y )] = H ' ( X ) − H ' ( X / Y ) = n [ H (Y ) − H (Y / X ) ] = H (Y ) − H (Y / X )
信道容量知识总结
信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。
对不同的输入概率分布，互信息一定存在最大值。
我们将这个最大值定义为信道的容量。
一但转移概率矩阵确定以后，信道容量也完全确定了。
尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。
我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。
其中必有一个试验信源使互信息达到最大。
这个最大值就是信道容量。
信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。
通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。
在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵——即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵——即在接收信号条件下发端信源的不确定度。
接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。
如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。
最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。
通信信道，发端X，收端Y。
从信息传输的角度看，通过信道传输了I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。
I该值与两个概率有关，p(x),p(y|x)，特定信道转移概率一定，那么在所有p(x) 分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。
入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
[3]X代表已传送信号的随机变量空间，Y代表已收到信号的随机变量空间。
代表已知X的情况下Y的条件机率。
我们先把通道的统计特性当作已知，p Y | X(y | x)就是通道的统计特性。
信息论基础——信道容量的计算
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
信息论与编码第3章 信道与信道容量
几点讨论： 1、对于给定信道最佳分布总是存在的。 如果信道输入满足最佳分布，信息传输率 最大，即达到信息容量C； 如果信道输入的先验分布不是最佳分布， 那么信息传输率不能够达到信息容量。 2、信道传输的信息量R必须小于信道容量C，否 则传输过程中会造成信息损失，出现错误； 如果R<C成立，可以通过信道编码方法保证 信息能够几乎无失真地传送到接收端。
p( y | x)
X
Y
信道
随机变量 随机变量
离散无记忆信道模型
输入符号集合X、输出符号集合Y内部不存在 关联性，集合X和集合Y之间有关联 。
条件转移概率
用来描述信道特性。 输入x=ai，输出y=bj对应的条件转移概率为
p( y | x) p( y bj | x ai ) p(bj | ai )
p( x)
上述的极值问题实际是有约束条件的，先验概率分布 p( x) 应当满足下列条件
p( x ai ) 0
p(a ) 1
i 1 i
r
对于给定信道，前向概率p(x)是一定的，所以信道容 量就是在信道前向概率一定的情况下，寻找某种先 验概率分布，从而使得平均互信息量最大，这种先 验分布概率称为最佳分布。
0 0 1 1
（3）有噪无损信道
信道输出符号Y集合的数量大于信道输入符号X集合 的数量，即r<s，形成一对多的映射关系，可得：
H (Y | X ) 0 H(X | Y) 0
p( x) p( x)
X
0.4 0.6 0.7 0.3
Y
信道容量 C max{I ( X ; Y )} max{H ( X )} lbr 输入符号分布等概时，即 p(ai ) 1/ r I(X;Y)最大，达到信道容量
信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习
![信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/b3091d87a0116c175f0e48d8.png)
第三章离散信道及其信道容量3．1．1 信道的分类在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。
信道的分类有：按照信道输入端或输出端的个数可分为单用户信道和多用户信道。
按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。
按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。
按照信道输入／输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。
按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。
按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。
按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。
3．1．2 离散信道的数字模型1．一般离散信道(多维离散信道)一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。
其数学模型可用离散型概率空间[X，P(y|x)，Y]来描述。
其中X=(X1X2…X N)为输入信号，Y= (Y1Y2…Y N)为输出信号。
X中X i∈A={a1，a2，…，a r}，Y中Y i∈B={b1，b2，…，b s}。
又P(y|x)(x∈X，y∈Y)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足概率空间[X，P(y|x)，Y]也可用图来描述。
2．基本离散信道(单符号离散信道)单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。
数学模型是概率空间[X，P(y|x)，Y]，(或[X，P(b j|a i)，Y])，其中X∈A={a1，a2，…，a r}，Y∈B={b1，b2，…，b s)，P(y|x)=P(b j|a i)(i=1，2，…，r；j=1，2，…，s)并满足概率空间[X，P(y|x)，Y]也可用图来描述，如图3．1所示。
信息论连续信道和波形信道的信道容量
4
• 在加性信道中信道传递概率密度函数就是噪声的 概率密度函数。条件熵 h(Y/X)就是噪声源的熵 h(n)（即噪声熵）。 • 一般的多维加性连续信道的信道容量为： 一般的多维连续信道的信道容量为：
max maxII ;Y ) max[ h) (Y h X )] /N (比特 /N个自由度） C (( XX ;Y ) max[ h(Y ) h (n )( ]Y /(比特 个自由度）
Ps Ct W log(1 ) 3300log(1 100) N0W 21972 (比特 / 秒)
计算结果约为 22000 比特/秒。实际信道可以达到的最大信道 传输率约为 19200 比特/秒，稍小于理论值（这是由于串扰、 回声等干扰因素所导致）。
18
(2) 当噪声功率 N00 时，信道容量Ct 趋近于无穷， 这意味着无干扰连续信道的信道容量为无穷大。 (3) 增加信道带宽（也就是信号的带宽）W，并不能无 限制地使信道容量增大。当带宽W增大时，信道容量Ct 也开始增大，到一定阶段后Ct 的加大就缓慢了，当 W 时Ct 趋向于一极限值
22
（5）无错误通信的传输速率的理论极限值 香农公式对实际通信系统有着十分重要的指导意义。 它给出了达到无错误通信的传输速率的理论极限值， 称为香农极限。 • 香农公式的另外一种描述形式是：
Ct P log(1 s ) W N0W (bit / s / Hz )
给出了频带利用率和信噪比的关系。
Ps C Ct lim W log(1 ) T T N0W
(比特 / 秒)
21
1）若传输时间T确定，则扩展信道的带宽可以降低对信噪比 的要求；反之，带宽变窄，就要增加信噪功率比。在实际通 信系统中通过采用调制解调的方法实现上述互换。
通信基础知识｜信道容量
通信基础知识｜信道容量写在前面：关于信道容量相关的定义与理论，最经典的是与AWGN信道相关的香农公式，随着移动通信系统的发展，通信信道越来越复杂，在香农公式研究的基础上实际上又有很多展开的研究，包括平坦衰落信道、频率选择性等信道的容量、又包括收发端是否已知信道信息条件下的容量。
本篇文章将相关的资料加以记录整理，供个人学习使用。
1 相关定义•香农容量（各态历经容量、遍历容量）：系统无误传输（误码率为0）下，能够实现的最大传输速率；香农定义该容量为在某种输入分布\(p_X(x)\)下，信息传递能够获得的最大平均互信息\(I(X;Y)\)，也即\(C_{\rmergodic}=\max_{p_X(x)}I(X;Y)\)；如果信道衰落变化很快，在一个编码块内，所有的信息会经历所有可能的衰落，那么此时通常用各态历经容量来定义capacity，为每种可能衰落下，信道容量的统计平均值•中断容量：系统在某个可接受的中断概率下的最大传输速率（注意信噪比越小，中断概率越大，于是可接受的最大中断概率对应着一个最小的信噪比），有\(P_{\rm outage}=P(\gamma<\gamma_{\min})\)；如果信道衰落变化较慢，在一个编码块内，信息经历相同的衰落，而不同编码块内信息经历不同的衰落，此时通常用中断容量来讨论capacity2 影响信道容量的因素•信道种类：AWGN信道、平坦衰落信道、频率选择性衰落信道、时间选择性衰落信道等•信道信息对于收发端是否已知：收发端已知信道衰落分布信息CDI、接收端已知信道实时的状态信息CSIR、收发端都已知信道实时的状态信息CSIRT3 SISO信道容量AWGN信道：最简单的加性高斯白噪声AWGN信道的（香农）信道容量，即是经典的香农公式：\(C=B\log(1+\frac{S}{N})\)，其推导见通信基础知识 | 信息熵与香农公式，注意两个条件：高斯分布的信源熵最大、信号与噪声不相关平坦衰落信道：对于平坦衰落信道模型\(y=hx+n\)来说，信道的抽头系数可以写为\(\sqrt{g[i]}\)，其中\(g[i]\)为每时刻的功率增益系数，信噪比此时考虑信道的衰落作用，为\(\gamma=\frac{S|h|^2}{N}\)•CDI：求解困难•CSIR：经过衰落的信道\(h\)的作用，相比AWGN信道，平坦衰落信道的信噪比会随之随机下降o各态历经容量：\(C_{\rmergodic}=B\int_0^{\infty}\log(1+\gamma)p(\gamma)d\gamma\)，由于平坦衰落信道中的信噪比\(\gamma\)相比AWGN信道都是下降的，不难判断有\(C_{\rm fading}<C_{\rm AWGN}\)o中断容量：\(C_{\rmoutage}=B\log(1+\gamma_{\min})\)，平均正确接受的信息速率为\(C_{\rm right}=(1-P_{\rmoutage})B\log(1+\gamma_{\min})\)•CSIRT：根据香农公式，信道容量与接收信号功率、噪声功率、信号带宽相关。
信道容量知识总结
信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。
对不同的输入概率分布，互信息一定存在最大值。
我们将这个最大值定义为信道的容量。
一但转移概率矩阵确定以后，信道容量也完全确定了。
尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。
我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。
其中必有一个试验信源使互信息达到最大。
这个最大值就是信道容量。
信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。
通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。
在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵——即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵——即在接收信号条件下发端信源的不确定度。
接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。
如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。
最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。
通信信道，发端X，收端Y。
从信息传输的角度看，通过信道传输了I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。
I该值与两个概率有关，p(x),p(y|x)，特定信道转移概率一定，那么在所有p(x) 分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。
入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
[3]X代表已传送信号的随机变量空间，Y代表已收到信号的随机变量空间。
代表已知X的情况下Y的条件机率。
我们先把通道的统计特性当作已知，p Y | X(y | x)就是通道的统计特性。
信息论 信道容量总结 2
(1)若信道噪声功率密度为 N0=2×10-6mW/Hz ，求 信道容量 C=?
(2)当信道输入、 G2、N0均不变，而带宽变为 1.5MHz ，若要获得同样容量 C, G 1 应为多少分 贝？（以 10为底）
第三章 信道容量
第三章 信道容量
课堂练习
1.求下图中信道的信道容量及其最佳的输入概率 分布。
（a）
(b)
第三章 信道容量
课堂练习
2.求下图中信道的信道容量及其最佳的输入概率 分布。并求当 ε=0和1/2时的信道容量 C。
第三章 信道容量
课堂练习
3.若已知信道输入分布为等概率分布，且有如下两 个信道，其转移概率矩阵分别为：
?1/ 2
?
P
=
? ?
0 0
??1/ 2
1? ?
? ?
1? ?
1/ 2 0 1/ 2 1/ 2
0 1/ 2 00
b1
?令 ? = 0.5
?则 C = 1? H (?) = 0
?输入任何分布，
b2
输出都达到 C
?令输入分布(0.5,0,0.5,0 ）
0 0
? ?
I (X;Y) = C
? ?令输入分布
1/ 2 ? (0.25,0.25,0.25,0.25 ）
输入字母在什么条件下唯一？ ?? 定理：在达到信道容量时，如果输入概率 分布中具有零概率的字母总数达到最大，则此 时非零概率可被唯一地确定，且非零概率分量 的数目不超过输出字母的总数。
证明见朱雪龙2001版信息论p134页。
?定理不是说具有最大数目零概率的最佳分布是唯 一的。 ?定理只说明概率分布由同一组包含零的数字的不 同排列构成。
信息论 信道容量 (2)
ba =ba ，ba =ba ，ba =3，ba =6
1 11 1 21 2 11 2 21 3 12 4 12
2006-10-18
70
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
在T时间里构成的消息总数N(T)为 N (T) = N1 (T) + N2 (T) (5.14) 上式又是一个线性差分方程，由这个差分方程， 可得
2006-10-18
64
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
( 续)
N (T ) a1 × × … × × a 2 × ×… × × … a D× × × ×
× ×… × × × a1 × × … × × × a 2 … × × …× × × a D N (T t1 ) N (T t 2 ) … N (T t D)
n 设 I ( X ; Y ) P(ai ) 1 i
令 0, 则有 : P(ai )
m p(b j ) log p(b j ) p(ai ) j 1 p(ai ) p(b j / ai ) log p(b j / ai ) p(ai ) 1 i 1 j 1 i 1
m
m
j C
1
（6 ）
2 2
C j
m
j
C log 2
j
m
2 j
（7）
由(5)求出 p (b j ) 2
j C
n
（8）
由p(b j ) p(ai ) p(b j / ai（ ) 9）
i 1
求出p(ai )
信息论与编码-第10、11讲-第3章信道容量
THANKS
感谢观看
信道容量决定了单位时间内传输 的信息量，容量越大，传输效率 越高。
02
编码技术对信息传 输效率的影响
采用高效的编码技术可以减小信 息的冗余度，提高信息传输效率 。
03
多路复用技术提高 信道利用率
多路复用技术允许多个信号在同 一信道上同时传输，提高了信道 的利用率。
信道容量与信号设计
1 2
信号设计对信道容量的影响
02
它反映了信道在噪声干扰下传输信息的能力，是衡量信道性 能的重要指标。
03
信道容量可以通过特定的编码方式和技术实现接近，但无法 达到。
信道容量的性质
确定性
对于确定的信道，其容量是确定的，与使用的信号和 编码方式无关。
可加性
对于并联的多个信道，其容量等于各个信道容量的总 和。
单调性
随着输入信号的平均功率增加，信道容量通常会增加 ，但增加的幅度逐渐减小。
通信系统设计中的关键问题
如何提高信号传输的可靠 性和速率？
如何平衡传输质量和系统 复杂度？
如何降低噪声和干扰对信 号的影响？
如何实现高效、低成本的 通信系统设计？
05
CATALOGUE
信道容量与实际应用
无线通信中的信道容量问题
无线信道的不确定性
无线通信中，由于信号传播的复杂性和多径效应，信道容量存在不 确定性。
信道容量的计算方法
离散无记忆信道容量
01
通过计算输入信号的熵和输出信号的熵，再根据互信息公式计
算得出。
连续无记忆信道容量
02
通过计算输入信号的功率谱密度和输出信号的功率谱密度，再
根据互信息公式计算得出。
有记忆信道容量
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
续 信
噪声为加性WGN（高斯白噪声），平均功率为PN；
道
信号的有效带宽为W。
香农公式说明：
➢ 当信道容量一定时，增大信道带宽，可以降低对信噪功率 比的要求；反之，当信道频带较窄时，可以通过提高信噪 功率比来补偿。
➢ 当信道频带无限宽时，其信道容量与信号功率成正比。
PX 1 PN
lo2gxlnxlo2ge
增大信道容量的各种极限：
3.5
II.在增加信号的平均功率Ps而不改变信道通带的宽度W
连
的情况下增大信道容量的极限
续
信
道
第三章 信道容量
限带加性白色高斯噪声信道的性能及其极限
增大信道容量的各种极限：
3.5
II.在增加信号的平均功率Ps而不改变信道通带的宽度W
连
的情况下增大信道容量的极限
续
信
道
第三章 信道容量
第三章 信道容量
当一个人感到有一种 力量推动他去翱翔时， 他是决不应该爬行的。
－（美）海伦·凯勒
2006-10-31
1
第三章 信道容量
Review of the last lecture
• 提问（上次课的回顾）
• 在计算一般信道的信道容量时要注意什么问
题？
• 香农公式及其意义？
2006-10-31
限带加性白色高斯噪声信道的性能及其极限
有效利用信号功率的极限：
3.5 连 续 信 道
第三章 信道容量
n
④由p(yj ) p(xi ) p(yj / xi ),求p(xi )。 i1
一般离散信道容量的计算
• 注意：
➢ 在第②步信道容量C被求出后，计算并没有结束，必须 解出相应的p(xi) ，并确认所有的p(xi)≥0时，所求的C才 存在。
n
➢ 在对I(X;Y)求偏导时，仅限制 p(xi ) 1 ，并没有限制 i 1 p(xi)≥0 ，所以求出的p(xi)有可能为负值，此时C就不存 在，必须对p(xi)进行调整，再重新求解C。
Ct W log 2 (1+ PX )(比特 / 秒) PN
(Ct：最大的信息传输速率/单位时间内)
第三章 信道容量
香农公式
Байду номын сангаас
Review of the last lecture
香农公式推出的条件：
连续消息是平均功率受限的高斯随机过程，平均功率为
3.5 连
PX。被取样后的样值同样呈高斯分布，样值之间彼此独 立；
深空通信等具有特别重要的意义。
第三章 信道容量
香农公式
Review of the last lecture
香农公式的意义：
是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或
3.5
在任意低的信噪比情况下仍能实现可靠的通信呢？尽管从香农公式
连
不能直接看出，但它隐含着否定的回答；
续
信
设N0
PN W
香农公式
Review of the last lecture
香农公式的意义：
3.5
信道容量与所传输信号的有效带宽成正比，信号的有效
连
带宽越宽，信道容量越大；
续
信道容量与信道上的信号噪声比有关，信噪比越大，信
信
道容量也越大，但其制约规律呈对数关系 ；
道
信道容量C,有限带宽W和信噪比可以相互起补偿作用，
➢ 近年来人们一般采用计算机，运用迭代算法求解。
第三章 信道容量
香农公式
Review of the last lecture
设信道的频带限于(0,W)；
3.5 根据采样定理，如果每秒传送2W个采样点，在接收端可无 连 失真地恢复出原始信号；
续 信
道
香农公式：把信道的一次传输看成是一次采样，由于信道 每秒传输2W个样点，所以单位时间的信道容量为
信
以根据信道特性来权衡发射功率和信号有效带宽的互
道
换，使系统的设计趋于最佳。
香农公式是在噪声为加性WGN情况下推得的，由于白
色高斯噪声是危害最大的信道干扰，因此对那些不是白
色高斯噪声的信道干扰而言，其信道容量应该大于按香
农公式计算的结果。
第三章 信道容量
限带加性白色高斯噪声信道的性能及其极限
增大信道容量的各种极限：
是加性高斯噪声的单边谱密度,
则PN＝N0W
道
当W 时，
w li m Ct N PX 0log2e1.44N PX 0
这说明此时的信道容量C趋于有限值，取决于发射功率和信道白色高 斯噪声的功率谱密度之比。尽管此时的C仍大于0，尚可进行通信，但 由于信道容量与发射功率成正比，已与加大信号有效带宽的初衷相
ln1(+x)x(x1)
lo2g(1+x)xlo2ge
Ct Wlo2g(1+P PN X)Wln1(+P PN X)lo2ge
WPX PN
lo2gePNP/XWlo2geN PX0
lo2ge1.44N PX0
(比特 /秒)
式中 N0 W PN是加性高斯噪谱 声密 的度 单边
第三章 信道容量
即可以互换。应用极为广泛的扩展频谱通信，多相位调
制等都是以此为理论基础。当信道上的信噪比小于1时
（低于0db），信道的信道容量 并 不 等 于0， 这 说 明 此
时 信 道 仍 具 有 传 输 消 息 的 能 力 。也 就 是 说 信 噪
比 小 于1时 仍 能 进 行 可 靠 的 通 信 ， 这 对 于卫星通信、
2
一般离散信道容量的计算步骤
• 一般离散信道容量的计算步骤（傅祖芸第二版p107）
m
m
①由
p( yj / xi ) j
p( y j
/
xi ) log2
p( y j
/
xi
)，求
；
j
j1
j 1
②由C log2 m 2 j ，求C； j1 ③由p( y j ) 2 j C，求p( y j )；
3.5
I.在增加信道通带的宽度W而不改变信号的平均功率Ps
连
的情况下增大信道容量的极限
续
信
道
第三章 信道容量
限带加性白色高斯噪声信道的性能及其极限
增大信道容量的各种极限：
3.5
I.在增加信道通带的宽度W而不改变信号的平均功率Ps
连
的情况下增大信道容量的极限
续
信
道
第三章 信道容量
限带加性白色高斯噪声信道的性能及其极限
悖，因此用无限的带宽换取信道容量是否合算，值得推敲，况且物理
上不可能提供无限带宽进行通信。
第三章 信道容量
香农公式
Review of the last lecture
香农公式的意义：
3.5
该结论实际上指出了信号有效带宽与发射功率互换的有
连
效性问题。信道容量是通信系统的最大信息传输速率，
续
通常是系统的设计指标，因此C往往是给定的。这时可