信道及其容量讲解
合集下载
课件：第三章信道及其容量
第三章 信道及其容量
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
信道及信道容量
第
教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连续信道
5
教学内容：
1、一般信道的数学模型
2、信道的分类
3、信道容量的定义
1、一般信道的数学模型
影响信道传输的因素：噪声、干扰。
噪声、干扰：非函数表述、随机性、统计依赖。
信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。
,
其中
,
二进制均匀信道容量曲线如图5.2.4所示。
C
1.0
P
0 0.5 1.0
5
教学内容：
1、对称信道的定义
2、信道容量
1、对称信道的定义：
如果一个矩阵的每一行都是同一集合 中诸元素的不同排列，我们称矩阵的行是可排列的；如果一个矩阵的每一列都是同一集合 中诸元素的不同排列，我们称矩阵的列是可排列的；如果一个矩阵的行和列都是可排列的，则称这个矩阵是可排列的，或称它具有可排列性。如果一个信道矩阵具有可排列性，它所表示的信道称为对称信道。
，
，
，
只要 ， 达到最大值，即达到信道容量C。此时使 的信源概率分布 存在，但不是惟一的。这种信道的输入符号熵大于输出符号熵，即 。
综合以上三种无噪信道的分析，我们得出一个结论，无噪信道的信道容量C只决定于信道的输入符号数n，或输出符号数m，与信源无关，是表征信道特性的一个参量。
5
教学内容：
1、信道矩阵特点
3、具有归并性能的无噪信道
1、具有一一对应关系的无损信道
此时输入X和输出Y符号集的元素个数相等；
给出信道矩阵。
噪声熵H（Y/X）=0，信道疑义度H（X/Y）=0，固有
，
根据信道容量的定义，有
（5.2.1）
教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连续信道
5
教学内容：
1、一般信道的数学模型
2、信道的分类
3、信道容量的定义
1、一般信道的数学模型
影响信道传输的因素：噪声、干扰。
噪声、干扰：非函数表述、随机性、统计依赖。
信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。
,
其中
,
二进制均匀信道容量曲线如图5.2.4所示。
C
1.0
P
0 0.5 1.0
5
教学内容：
1、对称信道的定义
2、信道容量
1、对称信道的定义：
如果一个矩阵的每一行都是同一集合 中诸元素的不同排列，我们称矩阵的行是可排列的；如果一个矩阵的每一列都是同一集合 中诸元素的不同排列，我们称矩阵的列是可排列的；如果一个矩阵的行和列都是可排列的，则称这个矩阵是可排列的，或称它具有可排列性。如果一个信道矩阵具有可排列性，它所表示的信道称为对称信道。
，
，
，
只要 ， 达到最大值，即达到信道容量C。此时使 的信源概率分布 存在，但不是惟一的。这种信道的输入符号熵大于输出符号熵，即 。
综合以上三种无噪信道的分析，我们得出一个结论，无噪信道的信道容量C只决定于信道的输入符号数n，或输出符号数m，与信源无关，是表征信道特性的一个参量。
5
教学内容：
1、信道矩阵特点
3、具有归并性能的无噪信道
1、具有一一对应关系的无损信道
此时输入X和输出Y符号集的元素个数相等；
给出信道矩阵。
噪声熵H（Y/X）=0，信道疑义度H（X/Y）=0，固有
，
根据信道容量的定义，有
（5.2.1）
信道与信道容量
1.6.2 信道容量
根据香农信息论，对于连续信道，如果信道带宽为B， 并且受到加性高斯白噪声的干扰，则信道容量的理论公式为
C=B㏒2（1+S/N）（b/s） 式中。 N为白噪声的平均功率； S是信号的平均功率； S/N 为信噪比。信道容量C是指信道可能传输的最大信息速率 （即信道能达到的最大传输能力）。虽然上式是在一定条件 下获得的（要求输入信号也为高斯信号才能实现上述可能 性），但对其他情况也可作为近似式使用。
例1 已知彩色电视图象由5ⅹ105个像素组成。设每个像素有 64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和 亮度等级的组合机会均等，并统计独立。（1）试计算每秒 传送100个画面所需信道容量；（2）如果接受机信噪比为 30dB，为了传送彩色图象所需信道带宽为多少？
例2 设有一个图像要在电话线路中实现传真传输。大约要传输2.25ⅹ106个 像素，每个像素有12个亮度等级。假设所有亮度等级都是等概率的，电 话电路具有3kHz带宽和30dB信噪比。试求在该标准电话线路上传输一 张传真图片需要的最小时间。
在数字通信系统中，如果仅研究编码和解码问题， 可得到另一种广义信道---编码信道。编码信道的范围是 从编码器输出端至解码器输入端。这是因为从编码和解 码角度来看，编码器是把信源产生的消息信号转化为数 字信号。反之，解码器是将数字信号恢复原来的消息信 号；而编码器输出端至解码器输入端之间的一切环节只 是起了传输数字信号的作用，所以可以把它看成一个整 体---编码信道。当然，根据研究问题的不同，还可以定 义其他广义信道。
解： Rb = RBN㏒2N
RBN= Rb／×106 / 29.9 ×103=0.269 ×103s=4.5min
例3 已知八进制数字信号的传输速率为1600波 特。试问变换成二进制数字信号时的传输速率为多 少？ 解： Rb = RBN㏒2N = 1600× ㏒28 = 4800 b/s
信道、信道容量、数据传输速率
信道、信道容量、数据传输速率简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
信道、信道容量、数据传输速率
简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
《信道容量》PPT课件
n
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Channel and Channel Capacity 信道及其容量
本章内容
• 信道模型与信道分类 • 离散无记忆信道及其信道容量 • 离散无记忆扩展信道 • 连续信道的信道容量 • 仙农(Shannon)公式 • 信号体积与信道容积,及B,T,S/N之间的互换关系
参考书：沈振元等，“通信系统原理”第11章 戴善荣, “信息论与编码基础”, 第4章
起伏噪声也具有同样的分布，即其相对的平均信息量为
H(n) log 2 2e N
式中，N为噪声的平均功率（平均电压为0）。
• 接收熵：接收端产生的平均信息量 设信号与噪声相互独立，接收信号=有用信息+噪声，即
P=S+N，因此接收端产生的总的平均信息量为
H (Y ) log 2 2e(S N ) （每样值）
[信道编码定理]：只要信息传输速率不大于信道容量，总存在 某种信道编、译码方案，当码长趋于无穷时，可以使误码率 任意小。（即既可以使R接近C，但又可以实现无误传输）
通过信道编码可以不断向仙农限靠拢： • 60年代，不用编码，采用最佳相干PSK，须Eb/N0=9.5dB; • 70年代, 用卷积码及序列译码算法， Eb/N0=3~5dB； • 80年代，用级连码， Eb/N0=0.2dB; • 90 年代，出现Turbo码，离仙农限只有0.7dB; • 2002年，采用LDPC码，离仙农限只有0.0045dB！
通信系统模型
An Introduction to Information Theory
•Information and Communication noise
Source
Transmitter (encoder)
Channel
Receiver (decoder)
Destination
A general communication system
C max I ( X ,Y ) {p( x)}
max[H ( X ) H ( X /Y )] {p( x)}
max H ( X ) [ 1 log 1 1 log 1 ]
{p( x)}
2 22 2
1
如何求H（X/Y）？
mn
H(X/Y)
p(xi, yj)logp(xi/yj)
p(x1,y1)=0.66, p(x1,y2)=0.0067
p(x2,y1)=0.0033, p(x2,y2)=0.34
p(x1/y1)=0.9950, p(x1/y2)=0.0199
p(x2/y1)=0.0050, p(x2/y2)=0.9801
22
H(X/Y)
p(xi, yj)logp(xi/yj)
问题：带宽趋于无穷时，信道容量是否也趋于无穷？
带宽趋于无穷时，高斯信道内噪声功率谱密度是均匀分布，
故噪声的平均功率决定于带宽，即 N B n0
n0是噪声功率谱密度，单位为W/H z, 将上式代入仙农公式，
得
C B log 2(1 S )
n0 B
lim C S lim n0 B log 2(1 S )
max[ Ht(Y ) Ht(n)g 22e(S N ) B log 22eN
SN
S
B log 2
B log 2(1 )
N
N
仙农（Shannon）公式：
C B log 2(1 S ) N
(2)带宽无限信道的容量：
记为
Vc BcTcHc
同样，我们可以将时间Tc内通过信道所实际传输的信息量称 为信号体积Vs, 即
• 恒参信道;
• 随参信道;
• 无记忆信道;
• 有记忆信道;
其它划分: 有线信道;无线信道;移动信道;卫星信 道;光纤信道;短波信道等.
离散信道及其信道容量
1 信道容量与信道利用率
（1）信道容量：对于一切可能的输入信号概率分布而言，信道 传信率（互信息量）所能达到的最大值，便称为信道容量 (channel capacity), 即
B
n0 B S
n0 B
n0B
S n0
lim
B
log
2
(1
S n0B
)
S
利用极限公式
lim
(1
1
x
)
e
x
x
并令 x n0 B S
便得到
lim C S log2 e 1.44 S
B n0
n0
这说明，B趋于无穷，C并不为无穷，而是趋于一个常量。
讨论：若信源发出的信息速率为Rs 1.44 S ，为使信息
{p( x)}
（1）限带高斯白噪声信道的容量：
• 一个连续随机信源，当信号平均功率一定时，信号的最佳分 布是均值为零，方差等于平均功率的正态分布：
e p(x)
1
2
x2
2 2
此时，最大的平均信息量为
H(X ) log 2 2e 2 log 2 2e S
其中，S为信号的平均功率， 2 为方差，即平均功率， x为信号幅度。
)
k 1 k 1
{ p( yj / xi)
1,
ij
, ij
k 1
3 连续信道的信道容量
连续信道的信息传输速率：
R Ht( X ) Ht( X /Y )
信道容量：
C max R max[ Ht( X ) Ht( X /Y )]
{p( x)}
{p( x)}
max[ Ht(Y ) Ht(Y / X )]
思考：上述结果说明了什么问题？实际通信系统是否能达到
这一极限？如何向这个目标靠拢？
（3）由仙农公式得出的重要结论： 对于平均功率受限的高斯白噪声信道
• 信道容量C与信道带宽B、信噪比S/N有关，要增加C，可增 加B、或S/N；
• 当输入信号为高斯分布时，信息速率可达到传信率的理论极 限值-信道容量C；
j1 i1
0.07883 bit/符号
(4) R I ( X ,Y ) H ( X ) H ( X /Y ) 0.839 bit / 符号
若每秒发1000个码元，则Rt=839bit/s，损失79bit/s. (5)信道利用率：
绝对剩余度=C-I(X,Y)=0.08bit/符号 相对剩余度=0.08/0.919=0.087
由仙农公式可知，在Tc秒内信道能传输的最大平均信息量
为
Vc Tc Ct
BcTc log(1
Sc
)
BcTcHc
Nc
其中，下标C表示信道
Bc-信道带宽；Tc-信道传输时间；Sc-信道输出的信号功率；
Nc-信道输出的噪声功率；
Hc log(1 Sc ) Nc
为信道的动态范围
若将Bc、 Tc、Hc作为空间的三个坐标，则Vc就表示信道容积，
• 高斯白噪声危害最大 C max Ht( y) Ht(n)
由于Ht(n)有极大值，故C最小； • 仙农公式指出了通信系统的潜在能力，及可达到的理论值，
可作为带宽与信噪比互换的理论基础； • 目前虽尚无实际系统的传信率达到信道容量，但近年来在编
码领域已取得了重大突破， 正在向这一极限逼近。
(3) C与什么因素有关？
C max I ( X ,Y ) max[H ( X ) H ( X /Y )]
{p( x)}
{p( x)}
max H ( X ) min H[ p( y / x)]
{p( x)}
取决于信道干扰的概率分布
2 离散信道的信道容量
（1）二元对称信道BSC（Binary Symmetric Channel）
i1
信源发出的信息速率
Rs=300000x30x3.32=29880000 bit/s
要求Ｃ>= Rs,
C B log 2(1 S ) N
B 29880000 29880000 3 MHz log 2(1 1000 ) 9.969
所需带宽起码为 3MHz
(4)信号体积和信道容积（通信系统原理，p.434）
解: （1） C 1 p log p (1 p) log(1 p) 0.919 bit/符号
（2） H (X ) [ p(0)log P(0) P(1)log p(1)] 0.918 bit/符号
（3）求损失熵H(X/Y): 先计算出各种概率值
p(y1)=0.6633, p(y2)=0.3367
将上述数值代入公式，得
H ( X /Y ) [ p log p (1 p) log(1 p)] H2( p)
故BSC的信道容量为
C 1 H(X /Y ) 1 H2( p) 1 p log p (1 p) log(1 p)
讨论：
• 无噪声干扰（即p=0）时，损失熵为0，信道容量 就等于信源发出的码元速率，即CT=R；
C max I(X ,Y ) (bit/符号) {p(x)}
若传一个符号需要T秒钟，则每秒可传1/T符号，故信道的最 大传输速率，即信道容量又可表示为
CT C / T
（bit/s)
(2) 信道容量的剩余度
• 绝对剩余度= C – I（X，Y） • 相对剩余度= [ C – I (X, Y) ] / C
例 一帧电视图象由300，000个象素组成，设每个象素均可随 机地取10个不同电平中的一个来代表其亮度，每秒发送30帧图 象，为满意地重现图像，要求信噪比S/N为30dB, 求信号所须 的带宽。
解：把每个象素看成是一个十进制信源发出的符号，
p(xi)=1/10, i=1,2…,10
本章内容
• 信道模型与信道分类 • 离散无记忆信道及其信道容量 • 离散无记忆扩展信道 • 连续信道的信道容量 • 仙农(Shannon)公式 • 信号体积与信道容积,及B,T,S/N之间的互换关系
参考书：沈振元等，“通信系统原理”第11章 戴善荣, “信息论与编码基础”, 第4章
起伏噪声也具有同样的分布，即其相对的平均信息量为
H(n) log 2 2e N
式中，N为噪声的平均功率（平均电压为0）。
• 接收熵：接收端产生的平均信息量 设信号与噪声相互独立，接收信号=有用信息+噪声，即
P=S+N，因此接收端产生的总的平均信息量为
H (Y ) log 2 2e(S N ) （每样值）
[信道编码定理]：只要信息传输速率不大于信道容量，总存在 某种信道编、译码方案，当码长趋于无穷时，可以使误码率 任意小。（即既可以使R接近C，但又可以实现无误传输）
通过信道编码可以不断向仙农限靠拢： • 60年代，不用编码，采用最佳相干PSK，须Eb/N0=9.5dB; • 70年代, 用卷积码及序列译码算法， Eb/N0=3~5dB； • 80年代，用级连码， Eb/N0=0.2dB; • 90 年代，出现Turbo码，离仙农限只有0.7dB; • 2002年，采用LDPC码，离仙农限只有0.0045dB！
通信系统模型
An Introduction to Information Theory
•Information and Communication noise
Source
Transmitter (encoder)
Channel
Receiver (decoder)
Destination
A general communication system
C max I ( X ,Y ) {p( x)}
max[H ( X ) H ( X /Y )] {p( x)}
max H ( X ) [ 1 log 1 1 log 1 ]
{p( x)}
2 22 2
1
如何求H（X/Y）？
mn
H(X/Y)
p(xi, yj)logp(xi/yj)
p(x1,y1)=0.66, p(x1,y2)=0.0067
p(x2,y1)=0.0033, p(x2,y2)=0.34
p(x1/y1)=0.9950, p(x1/y2)=0.0199
p(x2/y1)=0.0050, p(x2/y2)=0.9801
22
H(X/Y)
p(xi, yj)logp(xi/yj)
问题：带宽趋于无穷时，信道容量是否也趋于无穷？
带宽趋于无穷时，高斯信道内噪声功率谱密度是均匀分布，
故噪声的平均功率决定于带宽，即 N B n0
n0是噪声功率谱密度，单位为W/H z, 将上式代入仙农公式，
得
C B log 2(1 S )
n0 B
lim C S lim n0 B log 2(1 S )
max[ Ht(Y ) Ht(n)g 22e(S N ) B log 22eN
SN
S
B log 2
B log 2(1 )
N
N
仙农（Shannon）公式：
C B log 2(1 S ) N
(2)带宽无限信道的容量：
记为
Vc BcTcHc
同样，我们可以将时间Tc内通过信道所实际传输的信息量称 为信号体积Vs, 即
• 恒参信道;
• 随参信道;
• 无记忆信道;
• 有记忆信道;
其它划分: 有线信道;无线信道;移动信道;卫星信 道;光纤信道;短波信道等.
离散信道及其信道容量
1 信道容量与信道利用率
（1）信道容量：对于一切可能的输入信号概率分布而言，信道 传信率（互信息量）所能达到的最大值，便称为信道容量 (channel capacity), 即
B
n0 B S
n0 B
n0B
S n0
lim
B
log
2
(1
S n0B
)
S
利用极限公式
lim
(1
1
x
)
e
x
x
并令 x n0 B S
便得到
lim C S log2 e 1.44 S
B n0
n0
这说明，B趋于无穷，C并不为无穷，而是趋于一个常量。
讨论：若信源发出的信息速率为Rs 1.44 S ，为使信息
{p( x)}
（1）限带高斯白噪声信道的容量：
• 一个连续随机信源，当信号平均功率一定时，信号的最佳分 布是均值为零，方差等于平均功率的正态分布：
e p(x)
1
2
x2
2 2
此时，最大的平均信息量为
H(X ) log 2 2e 2 log 2 2e S
其中，S为信号的平均功率， 2 为方差，即平均功率， x为信号幅度。
)
k 1 k 1
{ p( yj / xi)
1,
ij
, ij
k 1
3 连续信道的信道容量
连续信道的信息传输速率：
R Ht( X ) Ht( X /Y )
信道容量：
C max R max[ Ht( X ) Ht( X /Y )]
{p( x)}
{p( x)}
max[ Ht(Y ) Ht(Y / X )]
思考：上述结果说明了什么问题？实际通信系统是否能达到
这一极限？如何向这个目标靠拢？
（3）由仙农公式得出的重要结论： 对于平均功率受限的高斯白噪声信道
• 信道容量C与信道带宽B、信噪比S/N有关，要增加C，可增 加B、或S/N；
• 当输入信号为高斯分布时，信息速率可达到传信率的理论极 限值-信道容量C；
j1 i1
0.07883 bit/符号
(4) R I ( X ,Y ) H ( X ) H ( X /Y ) 0.839 bit / 符号
若每秒发1000个码元，则Rt=839bit/s，损失79bit/s. (5)信道利用率：
绝对剩余度=C-I(X,Y)=0.08bit/符号 相对剩余度=0.08/0.919=0.087
由仙农公式可知，在Tc秒内信道能传输的最大平均信息量
为
Vc Tc Ct
BcTc log(1
Sc
)
BcTcHc
Nc
其中，下标C表示信道
Bc-信道带宽；Tc-信道传输时间；Sc-信道输出的信号功率；
Nc-信道输出的噪声功率；
Hc log(1 Sc ) Nc
为信道的动态范围
若将Bc、 Tc、Hc作为空间的三个坐标，则Vc就表示信道容积，
• 高斯白噪声危害最大 C max Ht( y) Ht(n)
由于Ht(n)有极大值，故C最小； • 仙农公式指出了通信系统的潜在能力，及可达到的理论值，
可作为带宽与信噪比互换的理论基础； • 目前虽尚无实际系统的传信率达到信道容量，但近年来在编
码领域已取得了重大突破， 正在向这一极限逼近。
(3) C与什么因素有关？
C max I ( X ,Y ) max[H ( X ) H ( X /Y )]
{p( x)}
{p( x)}
max H ( X ) min H[ p( y / x)]
{p( x)}
取决于信道干扰的概率分布
2 离散信道的信道容量
（1）二元对称信道BSC（Binary Symmetric Channel）
i1
信源发出的信息速率
Rs=300000x30x3.32=29880000 bit/s
要求Ｃ>= Rs,
C B log 2(1 S ) N
B 29880000 29880000 3 MHz log 2(1 1000 ) 9.969
所需带宽起码为 3MHz
(4)信号体积和信道容积（通信系统原理，p.434）
解: （1） C 1 p log p (1 p) log(1 p) 0.919 bit/符号
（2） H (X ) [ p(0)log P(0) P(1)log p(1)] 0.918 bit/符号
（3）求损失熵H(X/Y): 先计算出各种概率值
p(y1)=0.6633, p(y2)=0.3367
将上述数值代入公式，得
H ( X /Y ) [ p log p (1 p) log(1 p)] H2( p)
故BSC的信道容量为
C 1 H(X /Y ) 1 H2( p) 1 p log p (1 p) log(1 p)
讨论：
• 无噪声干扰（即p=0）时，损失熵为0，信道容量 就等于信源发出的码元速率，即CT=R；
C max I(X ,Y ) (bit/符号) {p(x)}
若传一个符号需要T秒钟，则每秒可传1/T符号，故信道的最 大传输速率，即信道容量又可表示为
CT C / T
（bit/s)
(2) 信道容量的剩余度
• 绝对剩余度= C – I（X，Y） • 相对剩余度= [ C – I (X, Y) ] / C
例 一帧电视图象由300，000个象素组成，设每个象素均可随 机地取10个不同电平中的一个来代表其亮度，每秒发送30帧图 象，为满意地重现图像，要求信噪比S/N为30dB, 求信号所须 的带宽。
解：把每个象素看成是一个十进制信源发出的符号，
p(xi)=1/10, i=1,2…,10