信道容量课件
合集下载
课件：第三章信道及其容量
第三章 信道及其容量
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
信道容量PPT课件
• I（X;Y）＝H（y）-H（Y/X）
p( y j ) ln p( y j ) p( xi ) p( y j / xi ) ln p( y j / xi )
j i j
(0.3 0.2 ) ln(0.3 0.2 ) (0.5 0.2 ) ln(0.5 0.2 ) 0.5 ln 0.5 0.3 ln 0.3
i
说明:
• (1) 两个公式
p( y j ) p(Y y j ) p( xi ) p( y j / xi )
i 0 q 1
I ( X ;Y ) p( xi ) p( y j / xi ) log
i 0 j 0
q 1 Q1
p( y j / xi ) p( y j )
0.3 0.2 0.5 0.3(1 ) 0.5(1 ) 0.2(1 )
由
p( y j ) xi y j 得
i
p(y1)=0.5 +0.3(1- )=0.3+0.2 p(y2)=0.3 +0.5(1- )=0.5-0.2 p(y3)=0.2 +0.2(1- )=0.2 其中p（y3）恒定，与xi的分布无关。
3)当X和Y统计独立时，接收的Y完全与发送 说明损失的信息达到与输人符号信息熵相等
的程度。可得I（X;Y）=0或C＝0，即信道
的X无关，此时P=0.5及H（X/Y）=H（X），
上没能传送任何信息。
（3）准对称DMC信道的容量
• 什么叫准对称DMC信道? 如果转移概率矩阵P是输入对称而输出不对 称，即转移矩阵P的每一行都包含同样的元素 而各列的元素可以不同，则称该矩阵是准对称 DMC信道。 例如，矩阵
第三章 信道容量.ppt
输入
X X1X2......X N i a ai1 i2 aiN
Y Y1Y2.....YN
i 1,2,......, nN
X K a1a2 an i1i2......iN 1,2,......, n 输出
YK b1b2 bn
X P(Y X ) Y
j b bj1 j2 bjN
§3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.3 多符号离散信道的信道容量
§3.3.1 多符号离散信道的数学 模型
§3.3.2 离散无记忆扩展信道的信 道容量 §3.3.3 独立并联信道的信道容量
多符号离散信道
多符号信源通过离散信道传输形 成多符号离散信道。
§3.3.1 多符号离散信道的数学模型
1 n
强对称信道与对称信道比较：
强对称
对称
n=m
n与m未必相等
矩阵对称
矩阵未必对称
P=Q
行之和，列之和均 为1
P与Q未必相等 行之和为1
四、准对称信道离散信道的信道容量
若信道矩阵的行是可排列的，但列不可 排列，如果把列分成若干个不相交的子集， 且由n行和各子集的诸列构成的各个子矩阵 都是可排列的，则称相应的信道为准对称 信道。例如下面的矩阵：
§3.2 单符号离散信道的信道容量
§3.3 多符号离散信道的信道容量 §3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.2 单符号离散信道的信道容量 §3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量 §3.2 .3 离散信道容量的一般计算方法
§3.2.1 信道容量的定义
p(b1) p(a1) p(a2 )
p(b2 ) (1 ) p(a2 )
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
《信道容量》PPT课件
n
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数
《信道容量及其计算》课件
熵的定义
熵是衡量信息不确定度的物理量，也可以理解为信 息源的不确定程度。
信息量的定义
信息量是用来衡量某个事件的信息量大小，它与事 件发生的概率成反比。
熵与信息量的关系
熵与信息量成正比，即熵越大，则信息量越多。
信道容量的计算公式
1
离散无记忆信道
不同信源符号对应不同码字，使用香农公式进行计算。
2
连续无记忆信道
总结
1 信道容量的意义
信道容量是衡量信息传输 速率的重要指标，可以优 化传输效率和提高通信质 量。
2 信道容量的应用
信道容量应用广泛，包括 无线通信、光通信、数据 传输等领域。
3 未来的发展趋势
随着技术的发展，信道容 量会越来越高，将大幅提 高信息传输的效率和可靠 性。
信宿接收到的信号是连续的，用瑞利公式计算。
3
大信噪比近似
在大信噪比的情况下，信道容量计算公式可以近似为香农公式。
应用举例
无线通信系统中的信道容量
采用MIMO技术和Turbo编码，可以大幅度提高无线 传输的速率和可靠性。
光通信系统中的信道容量
采用波分复用技术和波分多路复用技术，可以大幅 度提高光纤的传输速率。
信道容量及其计算
本次课件将介绍信道容量的基本概念和计算公式，以及其在无线通信和光通 信等领域的应用举例。
什么是信道容量
信道的定义
信道是信息传输的媒介，以某种信号作为信息的表现形式，通过某种物质媒介进行传播。
信道容量的定义
信道容量是在满息量。
熵与信息量
信道与信道的容量.ppt
l 1
C(l)
• 独立并联信道容量
C1,2,L max I ( X ;Y )
L
C1 C2 CL Cl
• 高斯白噪声加性信道单位时间的信l1道容量
Ct
1 lim max
T T p( xi )
I ( X ;Y )
W
log(1
Ps ) N0W
16
C max I(X ;Y)（单位为bit/符号） p(ai )
Ct
1 T
max I (X ;Y )（单位为bit
p(ai )
/
秒）
13
• 无嗓无损信道
C
max
p(ai )
I
(
X
;Y
)Biblioteka maxH(
X
)
max
H
(Y
)
log
2
n
• 有嗓无损信道
C
max
p(ai )
I
(
X
;Y
)
max
H
(Y
x(t) 信 道 y(t)
– n(t)：信道的加性高斯白噪声
n(t)
• 一个受加性高斯白噪声干扰的带限波形信道的 容量,由香农(1948)正式定义：
C max{I (X ,Y )} p(x) 10
连续信道及其容量
• 高斯白噪声加性信道单位时间的信道容量
Ct
1 lim max
T T p( xi )
p(Y|X)
X
Y
信道
• 对于无记忆离散序列信道,其信道转移概率为
L
p(Y | X ) p(Y1,YL | X1, X L ) p(Yl | Xl )
离散信道及其信道容量课件
离散信道的应用场景
01
02
数据通信
数字电视
03 数字电话
CHAPTER
离散信道模型
输入输出符号集
输入符号集
输出符号集
输入输出概率分布
输入概率分布
输出概率分布
转移概率
定义
转移概率表示在给定输入符号下，输出符号出现的条件概率，即$P(Y=y|X=x)$。
计算方法
根据输入输出概率分布和转移概率的定义，可以通过以下公式计算转移概率： $P(Y=y|X=x) = frac{P(X=x, Y=y)}{P(X=x)}$。
CHAPTER
离散信道容量
信道容量的定 义 01 02
单符号离散信道容量
在无记忆信道中，每个符号独立地通 过信道，信道状态与符号无关，因此 单符号离散信道容量可以通过概率计 算得出。
多符号离散信道容量
多符号离散信道容量是指多个符号在 离散有记忆信道中能够传输的最大信 息量。
多符号离散信道容量的计算方法包括 互信息法、迭代法和密度进化法等。
离散信道容量的应用
数据 传
数据压缩
错误控制编码
通信系统设计
通信协议设计
在通信系统设计中，离散信道容量提供 了关于通信系统性能的理论限制。这有 助于设计者根据这些限制优化通信协议， 提高系统的整体性能。
VS
频谱效率
频谱效率是通信系统设计的重要指标之一。 通过理解和利用离散信道容量，可以更有 效地利用频谱资源，提高频谱效率，从而 在有限的带宽内传输更多的信息。
CHAPTER
离散信道容量的计算方法
解析法
解析法是一种基于概率论和组合数学的计算离散信道容量的方法。它通 过将输入和输出符号之间的概率关系表示为数学表达式，然后求解这些 表达式来计算信道容量。
信道容量及其计算PPT课件
6 6 3 3
C log 4 H (1 , 1 , 1 , 1) 2 (1 log 1 1 log 1 1 log 1 1 log 1)
3366
3 33 36 66 6
0,0817(bit / symbol)
第12页/共27页
（2）、准对称信道的容量
准对称信道：信道矩阵（列）的子阵是对称矩阵。
信道容量定义为信道中每个符号所能传递的最大 信息量，也就是最大 I (X；Y)值。
C max{I (X ;Y )} P(x)
此时输入的概率分布称为最佳输入分布。
第5页/共27页
信道容量C与输入信源的概率无关（C只对应着一种 信源概率分布，即最佳概率分布），它只是信道传输概 率的函数（不同的转移概率对应不同的信道），只与信 道的统计特性有关，所以信道容量是完全描述信道特性 的参量。
I(x
k;Y )
j
P(
j
|
k) log
P( j | k) P(i)P( j
|
i)
i
第17页/共27页
一般信道容量的计算方法 （拉格朗日乘子法）
第18页/共27页
（4）、扩展信道的信道容量
定理1：如果信道的输入随机序列为 X (X1, X 2,X N ) 通过信道传输，接收到的随机序列为 Y (Y1,Y2 ,YN ) 若信道是无记忆的，即满足
级联信道：信道1的输出作为信道2的输入。
C min{ C1,C2}
第25页/共27页
第四讲 信道容量及其计算
结束
第26页/共27页
谢谢您的观看！
第27页/共27页
第13页/共27页
例：求二元对称删除信道的C。（例3.8中特例 ）
02 1
信道及信道容量PPT课件
j=1,2,…,s
求： 1. 联合概率: p(xi yj)= p(xi)p(yj| xi)= p(yj)p(xi | yj) i=1,2,…,r；j=1,2,…,s
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续7）
r
r
2. 输出符号概率: p(yj) p(xiyj) p(xi)p(yj|xi)
一、信道分类
一. 信道分类（续2）
按输入/输出之间的记忆性来划分： ✓ 无记忆信道：信道在某时刻的输出只与信道该时刻 的输入有关而与信道其他时刻的输入、输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输 入、输出有关。
根据信道的输入/输出是否是确定关系可分为: ✓ 有噪声信道 无噪声信道
第四章：信道及信道容量
信道特性可以用转移概率矩阵来表示：
P=[p(yj|xi)]r×s
• 信道的数学模型为{X, P(Y|X),Y}
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续4）
例1：二元对称信道 （BSC：binary symmetric channel）
输入符号集A={0,1}, 输出符号集B={0,1}，r＝s＝2．
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s)
s
（2） p( y j | xi ) 1 j 1
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
信道传递概率可以用信道矩阵来表示：
x1 Px2
i1
i1
矩阵表示：
j=1,2,…,s
求： 1. 联合概率: p(xi yj)= p(xi)p(yj| xi)= p(yj)p(xi | yj) i=1,2,…,r；j=1,2,…,s
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续7）
r
r
2. 输出符号概率: p(yj) p(xiyj) p(xi)p(yj|xi)
一、信道分类
一. 信道分类（续2）
按输入/输出之间的记忆性来划分： ✓ 无记忆信道：信道在某时刻的输出只与信道该时刻 的输入有关而与信道其他时刻的输入、输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输 入、输出有关。
根据信道的输入/输出是否是确定关系可分为: ✓ 有噪声信道 无噪声信道
第四章：信道及信道容量
信道特性可以用转移概率矩阵来表示：
P=[p(yj|xi)]r×s
• 信道的数学模型为{X, P(Y|X),Y}
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续4）
例1：二元对称信道 （BSC：binary symmetric channel）
输入符号集A={0,1}, 输出符号集B={0,1}，r＝s＝2．
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s)
s
（2） p( y j | xi ) 1 j 1
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
信道传递概率可以用信道矩阵来表示：
x1 Px2
i1
i1
矩阵表示：
j=1,2,…,s
ch3 信道容量91页PPT
§3.2.1 信道容量的定义
X
a1, a2 ,
a n
Y b 1 ,b 2 , b m
x
p(bi/ai)
Y
i=1,2,…n
信道转移概率矩阵：（见下页）
pb1 a1, pb2 a1,, pbm a1 pb1 a2, pb2 a2,, pbm a2
pb1 an, pb2 an,, pbm an
1 2
p2
1 3
1 6
1 3
1 6
1 2
1 6
1
2
1 3
p3
1 3
1 3
1 3
1 6
1 6
1 3
1 6
1 6
0.7 0.2 0.1 p4 0.1 0.2 0.7
对称离散信道的信道容量
nm
H (Y / X )
p(ai ) p(bj / ai ) log p(bj / ai )
信道容量
C max I ( X ;Y )
p(ai )
maxH ( X ) H ( X Y )
p(ai )
maxH (Y ) H (Y X )
p(ai )
1
Ct
t
max
p(ai )
I(X ;Y)
单位时间的信道容量
§3.2 单符号离散信道的信道容量
§3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量
§3.1 信道容量的数学模型和分类
§3.2 单符号离散信源 §3.3 多符号离散信源 §3.4 多用户信道 §3.5 信道编码定理
§3.1 信道的数学模型和分类
信道的数学模型： {X P(Y/X) Y}
x
P(Y/X)
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• (2) 限制条件:
p ( xi ) 0
i 0
q 1
p ( xi ) 1
•
(3) 信道容量单位
a. C的单位是信道上每传送一个符号（每使用一次信
道）所能携带的比特数，即比特／符号（bits／
symbol或 bits／channel use）。 b. 以e为底取自然对数时，信道容量的单位变为奈特 ／符号（nats／sym－bol）。 c. 如果已知符号传送周期是T秒，也可以“秒”为单 位来计算信道容量，此时Cs＝C／T，以比特/秒
• 2)从信息论的角度看，平均的条件自信息即条 件熵H（X/Y）可以解释为由于信道干扰和噪声 所造成的平均信息量的损伤。 如果BSC信道中p(0/1)=p(1/0)=p=0,即无误 码概率，那么从接收的 Y可完全确定发送的X， 信道的介入没有产生任何损伤或模糊度，因此 条件熵H（X/Y）＝0。 若H（X/Y）＝0，必有I（X;Y）＝H（X）， 互信息等于输人符号的信息熵。 换言之，信道上传送的信息量正是输人信 号的全部信息量，相当于信道容量为1。
3)当X和Y统计独立时，接收的Y完全与发送 说明损失的信息达到与输人符号信息熵相等
1 / 3 1 / 6
1 / 2 1 / 6 1 / 3
1/ 3 1/ 6
1/ 6 1/ 3
1 / 6 和 1 / 3
1 / 6 1 / 3 1 / 2
1/ 3 1/ 2 1/ 6
都是对称的
有扰的对称DMC信道性质：
• ① 对称信道的条件熵H（Y／X）与信道 输入符号的概率分布无关，且有H（Y／ X）＝H（Y／xi），i＝0，1，…，q-1。
• 说明： 1) C随p变化的曲线如图5-1-4所示。 由图可知，p=0时的信道容量是1比 特每符号（l bit／Symbol）； 当p=1/2零。 对于1/2＜p≤ l的情况，可在BSC的输 出端颠倒 0和 1，导致信道容量以p=1/2 点为中心对称。
H (Y / X ) p( xi ) p( y j / xi ) log p( y j / xi )
i j
p( y j / xi ) log p( y j / xi )
j
H (Y / xi )
② 当信道输入符号等概分布时，信道输出 符号也等概分布； 反之，若信道输出符号等概分布，信道 输入符号必定也是等概分布。
如何计算信道容量?
• （1）对称DMC信道的容量 什么叫对称DMC信道?
如果转移概率矩阵P的每一行都是第一行的 置换（包含同样元素），称该矩阵是输入对称 的；如果转移概率矩阵P的每一列都是第一列
的置换（包含同样元素），称该矩阵是输出对
称的；如果输入、输出都对称，则称该DMC 为对称的DMC信道。
例如：
Px Px
max [ H (Y )] H (Y / xi )
Px
于是问题就简化为求
max［H（Y）］。
Px
由信息论原理，当输出符号集的各符号 等概出现时可得最大信源熵，即 H（Y）≤logQ 或者 max［H（Y）］=logQ ■
（2）BSC信道的容量
如何确定BSC的信道容量? 对于转移概率为 p(0/1)=P （ 1/0 ） =P 及 P （ 0/0 ） =p （ 1/1 ） =1-P 的 BSC 信道而言，当输出概率 p （ y0 ） =P （ y1 ） =0.5时其平均互信息最大。所以，BSC的信道容量是 C=p(x0)p(0/0)log[p(0/0)/0.5]+ p(x0)p(1/0)log[p(1/0)/0.5]+ p(x1)p(0/1)log[p(0/1)/0.5]+ p(x1)p(1/1)log[p(1/1)/0.5] = plog2p+(1-p)log2(1-p)
第十三讲
5.1.2 信道容量
• 1．如何刻画DMC信道的容量? 考虑一个DMC信道，其输入字符集是X={x0， x1，…，xq-1}，输出字符集是Y={y0,y1，…， yQ-1}，转移概率P（yj／xi）. 若给定信道的转 移概率和对应于输入符号的概率分布p（xi）, 则 DMC信道容量C为 q 1 Q 1 p( y j / xi ) C max I ( X ; Y ) max p( xi ) p( y j / xi ) log p( x ) p ( xi ) p( y j ) i 0 j 0
px
max [ H (Y ) H (Y / X )]
px
信道容量是否存在 ?
• 定理：给定转移概率矩阵P后，平均互信 息I(X;Y)是概率矢量Px的上凸函数。(证 明略) 用I(Px)表示I是Px的函数，则在I(Px)曲 线上凸点所对应的输入符号概率矢量Px 上，I(Px）取得了极大值，这个极大值 就是信道容量。
（bits／s）或奈特/秒（nats／s）为信道容量单位。
• (4) 转换计算式 若将Px=[p（x0）,p（x1），….，p（xq-1）]定
义为输入符号的概率矢量Px，关系式
I(X;Y)＝H(X)- H(X/Y)＝H(Y)- H(Y/X) 可得:
C max I ( X ; Y )
px
max [ H ( X ) H ( X / Y )]
• ③ 当信道输入符号等概分布时，对称 DMC信道达到其信道容量，为
C logQ H (Y / xi ) logQ pij log pij
j 1 Q
• 证明③ : 由于对称信道的条件熵H（Y／X）与信 道输人符号的概率分布无关，所以 max [ H (Y ) H (Y / X )] max [ H (Y ) H (Y / xi )]
i
说明:
• (1) 两个公式
p( y j ) p(Y y j ) p( xi ) p( y j / xi )
i 0 q 1
I ( X ;Y ) p( xi ) p( y j / xi ) log
i 0 j 0
q 1 Q1
p( y j / xi ) p( y j )