信道与信道容量
合集下载
第三章 信道与信道容量 习题解答
，
，求
，
，
和
；
（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：
（1）先写出
：
根据公式
计算联合概率：
信宿端符号分布概率：
根据公式
计算：
3
求各熵： 信源熵：
比特/消息
信宿熵：
比特/消息
可疑度：
平均互信息量： 噪声熵： （2）二元对称离散信道的信道容量：
比特/消息 比特/消息
比特/秒
信源等概分布时（
解：设下标 1为原状况，下标 2为改变后状况。由
可得：
，
倍
如果功率节省一半则
倍 ，为 了 使 功 率 节 省 一 半 又 不 损 失 信 息 量 I，根 据
，可以： （1） 加大信道带宽 W，用带宽换取信噪比
，
，
7
缺点是对设备要求高。 （2） 加大传输时间 T，用传输时间换取信噪比，同理可得：
缺点是传输速度降低了。
噪声熵：
（5）平均互信息量：
2．有一个生产 A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和 C无误，A 以 1/4概率传为 A，以 1/4概率误传为 B、C、D，而 D以 1/2概率正确传输，以 1/2概率误传为 C，
（1）试求其可疑度？（2）收到的信号中哪一个最可靠？（3）散布度为多少？ 解：（1）
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
第三章 信道与信道容量 习题解答
6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信道与信道容量
1.6.2 信道容量
根据香农信息论，对于连续信道，如果信道带宽为B， 并且受到加性高斯白噪声的干扰，则信道容量的理论公式为
C=B㏒2（1+S/N）（b/s） 式中。 N为白噪声的平均功率； S是信号的平均功率； S/N 为信噪比。信道容量C是指信道可能传输的最大信息速率 （即信道能达到的最大传输能力）。虽然上式是在一定条件 下获得的（要求输入信号也为高斯信号才能实现上述可能 性），但对其他情况也可作为近似式使用。
例1 已知彩色电视图象由5ⅹ105个像素组成。设每个像素有 64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和 亮度等级的组合机会均等，并统计独立。（1）试计算每秒 传送100个画面所需信道容量；（2）如果接受机信噪比为 30dB，为了传送彩色图象所需信道带宽为多少？
例2 设有一个图像要在电话线路中实现传真传输。大约要传输2.25ⅹ106个 像素，每个像素有12个亮度等级。假设所有亮度等级都是等概率的，电 话电路具有3kHz带宽和30dB信噪比。试求在该标准电话线路上传输一 张传真图片需要的最小时间。
在数字通信系统中，如果仅研究编码和解码问题， 可得到另一种广义信道---编码信道。编码信道的范围是 从编码器输出端至解码器输入端。这是因为从编码和解 码角度来看，编码器是把信源产生的消息信号转化为数 字信号。反之，解码器是将数字信号恢复原来的消息信 号；而编码器输出端至解码器输入端之间的一切环节只 是起了传输数字信号的作用，所以可以把它看成一个整 体---编码信道。当然，根据研究问题的不同，还可以定 义其他广义信道。
解： Rb = RBN㏒2N
RBN= Rb／×106 / 29.9 ×103=0.269 ×103s=4.5min
例3 已知八进制数字信号的传输速率为1600波 特。试问变换成二进制数字信号时的传输速率为多 少？ 解： Rb = RBN㏒2N = 1600× ㏒28 = 4800 b/s
信道、信道容量、数据传输速率
信道、信道容量、数据传输速率简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
信道、信道容量、数据传输速率
简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
信道带宽与信道容量
C
B
log2
1
S N
bit / s
（2-6-2）
例2.2 设一幅图片约有个像素，每个像素以后2个以等概率出 现的亮电平。若要求用3分钟传输这张图片，并且信噪比等于 30dB，试求所需的信道带宽。
解：由于每个像素有12个等概率出现的亮度电平，所以每个 像素的信息量为 I p log 2 12 3.585 b
每幅图像的信息量为 If 2.5106 Ip 8.963106 b 信息传输速率，即信道容量为
C If t 8.963 10 6 (3 60) 4.98 10 4
信噪比为 S N 30 dB 1000 由于信道容量 C B log2(1 S N)
所以所需信道带宽为
B
C
4.98104 5 kHz
案例分析2
地震预警信息是由电脑自动发送，该预警信息可通过多种通 信手段进行传输发送，例如：网络微博发送，计算机、手机、 专用预警接收服务器、电视等实时同步发布，如图2.37所示。 由于地震预警系统传递信息时需要保证信息的可靠性，因此 可以通过多种通信手段保证信息的发布，所涉及到的信道方 式也可能有多种形式。
地震发生时，首先出现的是上下震动的P波，震动幅度较 小，要过大约10秒到1分钟时间，水平运动的S波才会到来， 造成严重破坏。地震预警就是利用地震发生后，P波与S波之 间的时间差。原理上，在距离震源50公里内的地区，会在地
案例分析2
地震前10秒收到预警信息；90-100公里内的地区，能提前 20多秒收到预警信息。根据数据准确估计震级、震中位置以 及快速估计地震对预警目标的影响等。例如：地震波从震中 传到北川县城大概需要25秒。如果您在发震5秒后感受到了地 震波，并花了15秒钟打电话告诉北川的朋友地震波即将来临， 那么您北川的朋友将会获得5秒的应急时间。
信道、信道容量、数据传输速率
编码信道是指数字信号由编码器输出端传输到译码器输入端经过的部分。对于编译码的研究者来说，编码器输出的数字序列经过编码信道上的一系列变换之后，在译码器的输入端成为另一组数字序列，研究者只关系这两组数字序列之间的变换关系，而并不关心这一系列变换发生的具体物理过程，甚至并不关心信号在调制信道上的具体变化。编码器输出的数字序列与到译码器输入的数字序列之间的关系，通常用多端口网络的转移概率作为编码信道的数学模型进行描述。
二、信道的分类
（一）狭义信道的分类
狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道
有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。短波电台就利用了天波传输方式。天波传输的距离最大可以达到400千米左右。电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
调制信道的数学模型为：
y(t) = x(t) * h(t;τ) + n(t)
其中x(t)是调制信道在时刻t的输入信号，即已调信号。y(t)是调制信道在时刻t的输出信号。h(t;τ)是信道的冲激响应，τ代表时延，h(t;τ)表示在时刻t、延时为τ时信道对冲激函数δ(t)的响应，描述了信道对输入信号的畸变和延时。*为卷积算子。n(t) 是调制信道上存在的加性噪声，与输入信号x(t)无关，又被称为"加性干扰"。由于信道的线性性质，并且考虑信道噪声，x(t) * h(t;τ) + n(t)就是x(t)通过由信道响应h(t;τ)描述的调制信道的输出。调制信道可以同时有多个输入信号和多个输出信号，这时的x(t)和y(t)是矢量信号。
二、信道的分类
（一）狭义信道的分类
狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道
有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。短波电台就利用了天波传输方式。天波传输的距离最大可以达到400千米左右。电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
调制信道的数学模型为：
y(t) = x(t) * h(t;τ) + n(t)
其中x(t)是调制信道在时刻t的输入信号，即已调信号。y(t)是调制信道在时刻t的输出信号。h(t;τ)是信道的冲激响应，τ代表时延，h(t;τ)表示在时刻t、延时为τ时信道对冲激函数δ(t)的响应，描述了信道对输入信号的畸变和延时。*为卷积算子。n(t) 是调制信道上存在的加性噪声，与输入信号x(t)无关，又被称为"加性干扰"。由于信道的线性性质，并且考虑信道噪声，x(t) * h(t;τ) + n(t)就是x(t)通过由信道响应h(t;τ)描述的调制信道的输出。调制信道可以同时有多个输入信号和多个输出信号，这时的x(t)和y(t)是矢量信号。
信道及信道容量
P 1
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
第三章信道及信道容量
2但为有限值,即
p11
P
p2
1
p12 p22
,
p1m
p2m
pn1
pn2
pn
m
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p
0 p
0
1p p
p
P
p
1p
1
1
1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使
得 I（X；Y）达到最大。
C m ax { I(X ;Y )} (b it/符 号 ) p(x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为：
C T1 tm p(axx ){I(X;Y)}(bit/秒 )
即信道传输速率。
信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
这样，波形信道化为多维连续信道，信道转移概率密度 函数为
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。
第3章 信道与信道容量
max p(x)
H C (Y )
1 log
2
2e
2
pn(n)＝N(0, 2) 连续单符号信道
噪声是均值为零、方差为 2的加性高斯噪声
34
3.4 连续信道及其容量
连续单符号加性信道
pY (y) ＝N(0,P)，pn(n)＝N(0, 2)，y=x+n，所以 pX (x)＝N(0, S)
3
3.1 信道分类和表示参数
二进制对称信道(BSC)
P
1 p
p
p 1 p
4
3.1 信道分类和表示参数
离散无记忆信道
a1 a2
b1
p11 p12 p1m
b2 b3
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
5
3.1 信道分类和表示参数
离散输入、连续输出信道
pY ( y / ai )
31
3.3 离散序列信道及其容量
扩展信道
(1 p)2 p(1 p) p(1 p) p2
1
P
p(1 p(1
p) p)
(1 p)2 p2
p2 (1 p)2
p(1
p)
p(1 p)
p2 p(1 p) p(1 p) (1 p)2
C2 log2 4 H[(1 p)2 , p(1 p), p(1 p), p 2 ]
1 1 1 1
13
3 1
6 1
6 1
6 6 3 3
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
12
3.2 离散单个符号信道及其容量
信道模型及信道容量
i 1 j 1 r s
p(ai b j ) p(ai ) p(b j ) I (Y ; X )
p(b j ai ) log
i 1 j 1
r
s
p(b j ai ) p(b j ) p(ai )
I ( X ; Y ) I (Y ; X )
结 论 平均互信息特性：
平均互信息量的非负性 平均互信息量的极值性（凸函数） 平均互信息量的交互性（对称性）
单符号信道的数学模型：
{ X , p( y / x),Y }
单维离散信道的数学模型
输入输出的联合概率为：
p(bj ai ) p(ai ) p(bj / ai ) p(bi ) p(a j / bi )
P(ai )
称作输入概率/先验概率
P(bj / ai ) 称作前向概率 P(ai / bj ) 称作后向概率/后验概率
平均互信息量
当信宿Y收到某一具体符号bj(Y=bj)后，推测信 源X发符号ai的概率，已由先验概率p(ai)转变为 后验概率p(ai/bj)，从bj中获取关于输入符号的信 息量，应是互信息量I(ai ; bj)在两个概率空间X 和Y中的统计平均值：
I ( X ; Y ) p(ai b j ) I (ai ; b j )
称为信宿熵
H(Y/X)——散布度，噪声熵。 表示由噪声引起的不确定性的增加。
(3)
I ( X ; Y ) p(ai b j ) log
i 1 j 1
r
s
p(ai b j ) p(ai ) p(b j )
联合熵
H ( X ) H (Y ) H ( XY )
I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X ) H (Y ) H ( XY )
p(ai b j ) p(ai ) p(b j ) I (Y ; X )
p(b j ai ) log
i 1 j 1
r
s
p(b j ai ) p(b j ) p(ai )
I ( X ; Y ) I (Y ; X )
结 论 平均互信息特性：
平均互信息量的非负性 平均互信息量的极值性（凸函数） 平均互信息量的交互性（对称性）
单符号信道的数学模型：
{ X , p( y / x),Y }
单维离散信道的数学模型
输入输出的联合概率为：
p(bj ai ) p(ai ) p(bj / ai ) p(bi ) p(a j / bi )
P(ai )
称作输入概率/先验概率
P(bj / ai ) 称作前向概率 P(ai / bj ) 称作后向概率/后验概率
平均互信息量
当信宿Y收到某一具体符号bj(Y=bj)后，推测信 源X发符号ai的概率，已由先验概率p(ai)转变为 后验概率p(ai/bj)，从bj中获取关于输入符号的信 息量，应是互信息量I(ai ; bj)在两个概率空间X 和Y中的统计平均值：
I ( X ; Y ) p(ai b j ) I (ai ; b j )
称为信宿熵
H(Y/X)——散布度，噪声熵。 表示由噪声引起的不确定性的增加。
(3)
I ( X ; Y ) p(ai b j ) log
i 1 j 1
r
s
p(ai b j ) p(ai ) p(b j )
联合熵
H ( X ) H (Y ) H ( XY )
I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X ) H (Y ) H ( XY )
信道与信道容量(1)
可编辑ppt 32
准对称信道的信道容量
• 例3-5 已知一个信道的信道转移矩阵为
P 00..53
0.3 0.5
0.2 0.2
• 由P可看出信道的输入符号有两个，可设
• p(a 1),p(a2)1。 信道的输出符号有3个，
用b1,b2,b3表示。由 合概率的矩阵为
p(ai,bj)p(ai)p(bj|ai)得联
• 将信道矩阵P的列划分成若干个互不相交的子 集mk,由mk为列组成的矩阵[P]k是对称矩阵。
1 1 1 1 1 1 1 1
P131
3 1
6 1
6113
16
13
16
6 3 6 3 6 3 3 6
• 它们满足对称性,所以P1所对应的信道为准对称
信道。
可编辑ppt
30
准对称信道的信道容量
• 准对称信道
串联信道
• 例3-4 设有两个离散BSC信道,串接如图,两个
BSC信道的转移矩阵为:
1-p Y 1-p
X0
0Z
1p p
P1 P2
p
1p
p p
• 串联信道的转移矩阵为: 1
1-p
1 1-p
1 pp 1 pp (1 p )2 p 2 2 p (1 p ) P P 1 P 2 p1 p p1 p 2 p (1 p ) (1 p )2 p 2
i
j
p(bj | ai)logp(bj | ai)
j
H(Y| ai) i 1,2,n
H ( Y |X ) H ( Y |a i) H 可( 编p 辑1 p,ptp 2 , p m ) 15
对称DMC信道
• 对称DMC信道的容量：
准对称信道的信道容量
• 例3-5 已知一个信道的信道转移矩阵为
P 00..53
0.3 0.5
0.2 0.2
• 由P可看出信道的输入符号有两个，可设
• p(a 1),p(a2)1。 信道的输出符号有3个，
用b1,b2,b3表示。由 合概率的矩阵为
p(ai,bj)p(ai)p(bj|ai)得联
• 将信道矩阵P的列划分成若干个互不相交的子 集mk,由mk为列组成的矩阵[P]k是对称矩阵。
1 1 1 1 1 1 1 1
P131
3 1
6 1
6113
16
13
16
6 3 6 3 6 3 3 6
• 它们满足对称性,所以P1所对应的信道为准对称
信道。
可编辑ppt
30
准对称信道的信道容量
• 准对称信道
串联信道
• 例3-4 设有两个离散BSC信道,串接如图,两个
BSC信道的转移矩阵为:
1-p Y 1-p
X0
0Z
1p p
P1 P2
p
1p
p p
• 串联信道的转移矩阵为: 1
1-p
1 1-p
1 pp 1 pp (1 p )2 p 2 2 p (1 p ) P P 1 P 2 p1 p p1 p 2 p (1 p ) (1 p )2 p 2
i
j
p(bj | ai)logp(bj | ai)
j
H(Y| ai) i 1,2,n
H ( Y |X ) H ( Y |a i) H 可( 编p 辑1 p,ptp 2 , p m ) 15
对称DMC信道
• 对称DMC信道的容量：
信道及信道容量
Page
3
第3章 信道及信道容量
相 关 知 识 复 习
在高斯信道下，信道的信息通过能力与
信道的频带宽度、信道的工作时间、信道的
噪声功率密度有关。
频带越宽，工作时间越长，信号、噪声 功率比越大，信道的通过能力就越强，信道 容量越大。
Information Theory and Coding
Page
4
a2 p(a 2 ) b2 p(b2 )
ar p(a r ) bs p(bs )
输入符号集合的元素个数为r，输出符号集合的元素个数为s。
Information Theory and Coding
Page 15
第3章 信道及信道容量
该类信道的特性可用条件转移概率进行描述。
随机差错信道：信道中传输码元所遭受的噪声 是随机的、独立的，这种噪声相互之间不具有 关联性，码元错误不会成串出现。 如：高斯白噪声信道。 突发差错信道：信道中噪声或干扰对传输码元 的影响具有关联性，相互之间不独立，使码元 错误成串出现。 如：衰落信道、码间干扰信道。移动通信的信 道、光盘存储属于该类信道。
端信道。
Information Theory and Coding
Page
10
第3章 信道及信道容量
4．离散信道、连续信道、半离散半连续信道和 波形信道 离散信道：又称数字信道，该类信道中输入空 间、输出空间均为离散时间集合，集合中事件 的数量是有限的，或者无限的，随机变量取值
3.1 信 道 分 类
Information Theory and Coding
Page
5
第3章 信道及信道容量
3.1信道分类
X={X0,X1,X2… Xr-1}含r个 元素的输入符号集
信道及信道容量
第5章 信道及信道容量教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连续信道5．1信道模型及信道分类教学内容：1、一般信道的数学模型2、信道的分类3、信道容量的定义1、 一般信道的数学模型影响信道传输的因素：噪声、干扰。
噪声、干扰：非函数表述、随机性、统计依赖。
信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。
信道的一般数学模型：2、 信道的分类输出随机信号输入、输出随机变量个数输入和输出的个数信道上有无干扰有无记忆特性3、信道容量的定义衡量一个信息传递系统的好坏，有两个主要指标：图5.1.1 一般信道的数学模型离散信道、连续信道、半离散或半连续信道 单符号信道和多符号信道 有干扰信道和无干扰信道有记忆信道和无记忆信道单用户信道和多用户信道 速度指标质量指标速度指标：信息（传输）率R ，即信道中平均每个符号传递的信息量；质量指标：平均差错率e P ，即对信道输出符号进行译码的平均错误概率；目标：速度快、错误少，即R 尽量大而e P 尽量小。
信道容量：信息率R 能大到什么程度； )/()()/()();(X Y H Y H Y X H X H Y X I R -=-==若信道平均传送一个符号所需时间为t 秒，则);(1Y X I t R t =（bit/s ）称t R 为信息（传输）速率。
分析：对于给定的信道，总存在一个信源（其概率分布为*)(X P ），会使信道的信息率R 达到最大。
（);(Y X I 是输入概率)(X P 的上凸函数，这意味着);(Y X I 关于)(X P 存在最大值）每个给定的信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为C ，即);(max max Y X I R C XXP P ==bit/符号 （5.1.3）信道容量也可以定义为信道的最大的信息速率，记为t C⎭⎬⎫⎩⎨⎧==);(1max max Y X I t R C XX P t P t （bit /s ） （5.1.4） 解释：(1)信道容量C 是信道信息率R 的上限，定量描述了信道（信息的）最大通过能力； (2)使得给定信道的);(Y X I 达到最大值（即信道容量C ）的输入分布，称为最佳输入（概率）分布，记为*)(X P ；(3)信道的);(Y X I 与输入概率分布)(X P 和转移概率分布)/(X Y P 两者有关，但信道容量C 是信道的固有参数，只与信道转移概率)/(X Y P 有关。
信道的基本概念
信道的基本概念
信道是信息传输的通道，它可以分为有线信道和无线信道。
在通信系统中，信道的基本概念包括以下几个方面：
1. 信道容量：信道容量是指信道在单位时间内能够传输的最大信息量。
它是衡量信道性能的一个重要指标。
2. 信噪比（SNR）：信噪比是指信号功率与噪声功率之比。
信噪比越高，信号传输的质量越好。
3. 带宽：带宽是指信道能够传输的频率范围。
带宽越大，信道能够传输的信号种类越多。
4. 时延：时延是指信号从发送端到接收端所需的时间。
时延越小，信号传输的速度越快。
5. 衰减：衰减是指信号在传输过程中能量的减小。
衰减越大，信号传输的距离越短。
6. 多径效应：多径效应是指信号在传输过程中，由于反射、折射等原因，沿着多条路径到达接收端的现象。
多径效应会影响信号的质量和传输速度。
7. 信道编码：信道编码是为了提高信号传输的可靠性而对信号进行的一种处理方式。
常见的信道编码方法有前向纠错码（FEC）和自动重复请求（ARQ）。
8. 调制与解调：调制是将数字信号转换为模拟信号的过程，解调是将模拟信号转换回数字信号的过程。
调制与解调是通信系统中不可或缺的环节。
9. 信道分配：信道分配是指在多个用户之间合理分配信道资源的过程。
常见的信道分配方法有固定分配、动态分配和随机接入等。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Where C=constant
P y x ？pn
我们可以从数学中证明这个关系：
§4. 1 信道的数学描述与分类
dn P( y x ) p N (n ) pN ( y x ) pN ( y x ) p(n ) dy H (Y X ) H ( N ) H (Y X ) 即噪声熵。
前面论述了P(y/x)仅能描述信道的数学属性,而不是物理属性。 下面寻求一个既能与P(y/x)有关,又要能直观反映信道传输信息的 物理特征的物理量。首先，如果说给定一个信道则就意味着给定了 P(y/x)以及X、Y取值的集合A和B。或者说以P(y/x)和A,B可以唯一 地确定某一信道的客观属性。因此要想构造一个有关信道的物理量，
(Channel and Cannel Capacity)
§4.6 比特能量与比特信噪比
§4.7 功率利用率与频谱利用率的关系
§4.8 有色高斯信道的信道容量 §4.9 信源与信道的匹配设计
第四章：信道和信道容量
§4. 1 信道的数学描述与分类
( The mathematical description and classes of channel)
1.P( y x) P( x y ) 1 P y x 1 2. P( y x) 1 but P ( x y ) 1 无干扰信道 3.P ( x y ) 1 but P ( yi1 yi 2 yin xi ) 1 P y x P( y x) P( y1 x1 ) P( y2 x2 ) P( yL xL ) 0 P y x 1 有记忆信道 无记忆信道 有干扰信道 P( y x) P( y1 x1 ) P( y2 x1 x2 ) P ( yL x1 x2 xL )
§4. 1 信道的数学描述与分类
就要与这三个数学特征发生关系。其次就得与信道的物理功能 特征发生关系。
ቤተ መጻሕፍቲ ባይዱ
I ( X ;Y ) F p( x), P( y x), A, B
上式表明：互信息与信道的输入、输出量有关。如果我们加 上一些数学限制条件，使它变成仅与 P( y x), A, B 有关时，它就 能变成适合于我们的物理量。下面就是这种数学处理：
§4. 1 信道的数学描述与分类
Definition : C max I ( X ;Y ) P ( y ) x p( x)
def def
严格的定义： C sup I ( X ;Y ) P ( y ) x
p( x)
这里， sup 表示求上确界的数学处理。 ( supremum )
where, 0 1 唯一性证明:要证明两种唯一性问题， 1. 互信息的极值是唯一的。 2. 达到极值C的输入分布P(x)也一定是唯一的。 这实际上就是上凸函数的充分必要条件的证明。
§4. 1 信道的数学描述与分类
三、信道的分类 ( The classes of channel )
我们给出一种基于信道数学描述的分类方法。因为条件概率 P(Y/X)是任何信道的数学模型，给定P(Y/X)也唯一确定了信道， 所以我们说信道的分类应该依据P(Y/X)的性质来分。
I ( X ;Y ) H ( X ) H ( X Y ) H (Y ) H (Y X ) F p( x ), P( y x ), A, B x A, yB 如果给定集合A和 B，则I ( X ;Y )就是关于p ( x )和P ( y x )的函数。 显然P(x)反映的是信源属性，而P(y/x)才是信道的根本属性。 因此，互信息是与信源、信道有关的量，如果对互信息作一些数 学处理，设法使它能直观地反映信道的某种物理特性，那么它是 否将比P(y/x)更具有实用价值？ where,
§4. 1 信道的数学描述与分类
虽然P(y/x)表达的是信道的数学模型，但是不能直观地表达 出信道的物理功能能力的大小，这对于评估、优化、分析等应 用都不方便。比如说信息熵H(X)就是表征信源能力大小的量。 但是我们不能以条件熵H(Y/X)表征信道本身功能的物理量，因 为H(Y/X)仅是噪声这种物理概念，并不能直观地代表信道传送 信息功能的大小；而H(X/Y)是损失熵，它反映信息遭受损失的 情况，也是间接反映信道的功能属性。所以我们只得引入一个 信道的物理量——信道容量。 二、信道容量的定义（Definition of Channel Capacity）
«信 息 论 基 础 »
第四章：信道和信道容量
(Channel and Cannel Capacity)
§4.1 信道的数学描述与分类 §4.2 单符号信道的信道容量 §4.3 多符号信道的信道容量 §4.4 连续信道的信道容量
§4.5 Shannon公式的应用
«信 息 论 基 础 »
第四章：信道和信道容量
P( y x ) p( x ) p( x )
但是要考虑Y=X+N的客观因素，则条件概率P(Y/X)的物理 意义就很明确了。因为Y的不定度是由X和N所决定，当其中 一个确知以后，Y的不定度是否完全有另一变量所决定？即：
y x n then y f ( x, n) P( y x) pY ( y C n) f (n) f ( y x) N (n)
P( y P( y x) P( y1 x1 ) P( y2 x2 ) P( yL xL ) x) P( y1 x1 ) P( y2 x1 x2 ) P( yL x1 x2 xL )
对于后者，通常采用MC特性的方法来处理解决，到目前为止还 没有更好的解决办法。此类信道我们不作介绍。而对无记忆信道一 般又分成两类：一种称单符号信道，另一种称多符号信道。所谓单 符号信道就是指同时只能发送一个信源符号的信道；而多符号信道 是指在单位时间内可同时发送多个符号的信道。 解决问题应从简单问题入手，因此我们重点讨论单符号信道问 题，最后过渡到多符号信道问题。
2 H (Y X ) H ( N ) log 2 e n
§4. 1 信道的数学描述与分类
因此，从信道模型来看，条件概率P(y/x)，充分表达出信道的 固有干扰属性，则应该成为其恰如其分的数学描述。或者说信道 本身所存在的干扰噪声是产生不定度的唯一来源，它对信息传输 过程中必然引起信息的损失，这是信道本身的客观属性，而与信 源和信宿无关。再有不同的信道应存在不同的损失，如果想利用 数学关系式描述这种损失，那么P(y/x)一定是最合适的。 所以这就是用P(y/x)来作为信道的数学模型的原因。而且，
§4. 1 信道的数学描述与分类
义是当输出端确知所收到的信号Y以后，仍然不明晰输入端 X的情况，即存在有疑义。虽然这也是信道干扰所致，但是 由于是随X的出现而发生，因而称为损失熵。 从数学角度看其差别并不大，因为H(X/Y)和H(Y/X)是 互通的。 p( xy ) P( x y ) p( y )
Channel 一般来讲，信道都是加性信道，即 Y X N ，这是因为对于乘性噪声 N 的数学描述尤为困难，所以通常仅以加性取代。
X
Y
§4. 1 信道的数学描述与分类
条件熵H(Y/X)被称为噪声熵(Noise entropy),是由于当已知 信源X的条件下，信道的输出还存在不定度时，则此刻它必定 是由于信道本身的干扰噪声所致。 而另一条件熵H(X/Y)则称为损失熵(Loss entropy)，也有的 书称为信道疑义度(Channel equivocation) 。它所表达的物理意 义：当信道输出端Y收到全部的输出符号之后，对输入端X尚 存的平均不确定度。这种对X还剩下的不定度也是由于传送过 程中，信道干扰机制所致。 先分析这两个条件熵的概念差别：噪声熵H(Y/X)所表达的 是当输出端Y在X所有情况都确知后，变量Y的不定度。由于信 道输入除了X就是噪声N，所以此刻Y的不定度就一定是N的熵。 这也说明信道的输出Y还有不定度时，已与信源的变量X毫无关 系，完全是信道内部的干扰产生；而损失熵H(X/Y)所表达的含
且， H (Y ) H (Y X ) H ( N )
例4-1. 设信道噪声为高斯噪声，且概率密度为：
p(n) 1 2 n
y
2
exp(
1
2 2 n
n2 )
y xn
则： P ( y x ) p ( y x )
1 2 exp 2 (u x ) du 2 2 n 2 n 1 即高斯噪声熵。
§4. 1 信道的数学描述与分类
⑴. 无噪无损信道
即：p(y/x)=P(x/y)=1I(X;Y)=H(X)=H(Y)的X与Y一一对应情况。 书中称为无损确定信道(P93)。则： C maxI ( X ; Y ) maxH ( X ) log r
p( x) p( x)
⑵. 确定信道之一
xr 1 xr
ys
max
p( x)
maxH ( X ) log r
p( x)
§4. 1 信道的数学描述与分类
上述无噪信道的信道容量问题都可以看成为最大熵问题，比较 容易解决。但是实际的信道大多是有干扰信道，即：0 P( y x) 1 有关此类信道大体分为两类：有干扰无记忆信道和有干扰有记忆 信道，从它们的数学性质上很容易划分。
求上确界是为了适应极值只能接近某一极限的情况，因此信 道容量也可能是一个理论值而已。对于信道容量的定义式，我 们可以用集装箱的例子形象化地比喻出来。
§4. 1 信道的数学描述与分类
信道好比集装箱，而信源就像不同的货物，集装箱的容积不 可改变，但是里面的货物的组成是可以改变。调整信源就像改变 货物的组成，是可以用于测试集装箱的最大容积。 信道容量的定义是有了，但是我们还要证明这种定义是否存 在和唯一，即用于定义信道容量的互信息的条件极值是否一定存 在和这个极值的唯一性。 书中定理4.2.1(P73)证明了互信息I(X;Y)是信源概率分布P(x) 的上凸函数 。 I p1 ( x) (1 ) p2 ( x) I p1 ( x) (1 ) I p2 ( x)
P y x ？pn
我们可以从数学中证明这个关系：
§4. 1 信道的数学描述与分类
dn P( y x ) p N (n ) pN ( y x ) pN ( y x ) p(n ) dy H (Y X ) H ( N ) H (Y X ) 即噪声熵。
前面论述了P(y/x)仅能描述信道的数学属性,而不是物理属性。 下面寻求一个既能与P(y/x)有关,又要能直观反映信道传输信息的 物理特征的物理量。首先，如果说给定一个信道则就意味着给定了 P(y/x)以及X、Y取值的集合A和B。或者说以P(y/x)和A,B可以唯一 地确定某一信道的客观属性。因此要想构造一个有关信道的物理量，
(Channel and Cannel Capacity)
§4.6 比特能量与比特信噪比
§4.7 功率利用率与频谱利用率的关系
§4.8 有色高斯信道的信道容量 §4.9 信源与信道的匹配设计
第四章：信道和信道容量
§4. 1 信道的数学描述与分类
( The mathematical description and classes of channel)
1.P( y x) P( x y ) 1 P y x 1 2. P( y x) 1 but P ( x y ) 1 无干扰信道 3.P ( x y ) 1 but P ( yi1 yi 2 yin xi ) 1 P y x P( y x) P( y1 x1 ) P( y2 x2 ) P( yL xL ) 0 P y x 1 有记忆信道 无记忆信道 有干扰信道 P( y x) P( y1 x1 ) P( y2 x1 x2 ) P ( yL x1 x2 xL )
§4. 1 信道的数学描述与分类
就要与这三个数学特征发生关系。其次就得与信道的物理功能 特征发生关系。
ቤተ መጻሕፍቲ ባይዱ
I ( X ;Y ) F p( x), P( y x), A, B
上式表明：互信息与信道的输入、输出量有关。如果我们加 上一些数学限制条件，使它变成仅与 P( y x), A, B 有关时，它就 能变成适合于我们的物理量。下面就是这种数学处理：
§4. 1 信道的数学描述与分类
Definition : C max I ( X ;Y ) P ( y ) x p( x)
def def
严格的定义： C sup I ( X ;Y ) P ( y ) x
p( x)
这里， sup 表示求上确界的数学处理。 ( supremum )
where, 0 1 唯一性证明:要证明两种唯一性问题， 1. 互信息的极值是唯一的。 2. 达到极值C的输入分布P(x)也一定是唯一的。 这实际上就是上凸函数的充分必要条件的证明。
§4. 1 信道的数学描述与分类
三、信道的分类 ( The classes of channel )
我们给出一种基于信道数学描述的分类方法。因为条件概率 P(Y/X)是任何信道的数学模型，给定P(Y/X)也唯一确定了信道， 所以我们说信道的分类应该依据P(Y/X)的性质来分。
I ( X ;Y ) H ( X ) H ( X Y ) H (Y ) H (Y X ) F p( x ), P( y x ), A, B x A, yB 如果给定集合A和 B，则I ( X ;Y )就是关于p ( x )和P ( y x )的函数。 显然P(x)反映的是信源属性，而P(y/x)才是信道的根本属性。 因此，互信息是与信源、信道有关的量，如果对互信息作一些数 学处理，设法使它能直观地反映信道的某种物理特性，那么它是 否将比P(y/x)更具有实用价值？ where,
§4. 1 信道的数学描述与分类
虽然P(y/x)表达的是信道的数学模型，但是不能直观地表达 出信道的物理功能能力的大小，这对于评估、优化、分析等应 用都不方便。比如说信息熵H(X)就是表征信源能力大小的量。 但是我们不能以条件熵H(Y/X)表征信道本身功能的物理量，因 为H(Y/X)仅是噪声这种物理概念，并不能直观地代表信道传送 信息功能的大小；而H(X/Y)是损失熵，它反映信息遭受损失的 情况，也是间接反映信道的功能属性。所以我们只得引入一个 信道的物理量——信道容量。 二、信道容量的定义（Definition of Channel Capacity）
«信 息 论 基 础 »
第四章：信道和信道容量
(Channel and Cannel Capacity)
§4.1 信道的数学描述与分类 §4.2 单符号信道的信道容量 §4.3 多符号信道的信道容量 §4.4 连续信道的信道容量
§4.5 Shannon公式的应用
«信 息 论 基 础 »
第四章：信道和信道容量
P( y x ) p( x ) p( x )
但是要考虑Y=X+N的客观因素，则条件概率P(Y/X)的物理 意义就很明确了。因为Y的不定度是由X和N所决定，当其中 一个确知以后，Y的不定度是否完全有另一变量所决定？即：
y x n then y f ( x, n) P( y x) pY ( y C n) f (n) f ( y x) N (n)
P( y P( y x) P( y1 x1 ) P( y2 x2 ) P( yL xL ) x) P( y1 x1 ) P( y2 x1 x2 ) P( yL x1 x2 xL )
对于后者，通常采用MC特性的方法来处理解决，到目前为止还 没有更好的解决办法。此类信道我们不作介绍。而对无记忆信道一 般又分成两类：一种称单符号信道，另一种称多符号信道。所谓单 符号信道就是指同时只能发送一个信源符号的信道；而多符号信道 是指在单位时间内可同时发送多个符号的信道。 解决问题应从简单问题入手，因此我们重点讨论单符号信道问 题，最后过渡到多符号信道问题。
2 H (Y X ) H ( N ) log 2 e n
§4. 1 信道的数学描述与分类
因此，从信道模型来看，条件概率P(y/x)，充分表达出信道的 固有干扰属性，则应该成为其恰如其分的数学描述。或者说信道 本身所存在的干扰噪声是产生不定度的唯一来源，它对信息传输 过程中必然引起信息的损失，这是信道本身的客观属性，而与信 源和信宿无关。再有不同的信道应存在不同的损失，如果想利用 数学关系式描述这种损失，那么P(y/x)一定是最合适的。 所以这就是用P(y/x)来作为信道的数学模型的原因。而且，
§4. 1 信道的数学描述与分类
义是当输出端确知所收到的信号Y以后，仍然不明晰输入端 X的情况，即存在有疑义。虽然这也是信道干扰所致，但是 由于是随X的出现而发生，因而称为损失熵。 从数学角度看其差别并不大，因为H(X/Y)和H(Y/X)是 互通的。 p( xy ) P( x y ) p( y )
Channel 一般来讲，信道都是加性信道，即 Y X N ，这是因为对于乘性噪声 N 的数学描述尤为困难，所以通常仅以加性取代。
X
Y
§4. 1 信道的数学描述与分类
条件熵H(Y/X)被称为噪声熵(Noise entropy),是由于当已知 信源X的条件下，信道的输出还存在不定度时，则此刻它必定 是由于信道本身的干扰噪声所致。 而另一条件熵H(X/Y)则称为损失熵(Loss entropy)，也有的 书称为信道疑义度(Channel equivocation) 。它所表达的物理意 义：当信道输出端Y收到全部的输出符号之后，对输入端X尚 存的平均不确定度。这种对X还剩下的不定度也是由于传送过 程中，信道干扰机制所致。 先分析这两个条件熵的概念差别：噪声熵H(Y/X)所表达的 是当输出端Y在X所有情况都确知后，变量Y的不定度。由于信 道输入除了X就是噪声N，所以此刻Y的不定度就一定是N的熵。 这也说明信道的输出Y还有不定度时，已与信源的变量X毫无关 系，完全是信道内部的干扰产生；而损失熵H(X/Y)所表达的含
且， H (Y ) H (Y X ) H ( N )
例4-1. 设信道噪声为高斯噪声，且概率密度为：
p(n) 1 2 n
y
2
exp(
1
2 2 n
n2 )
y xn
则： P ( y x ) p ( y x )
1 2 exp 2 (u x ) du 2 2 n 2 n 1 即高斯噪声熵。
§4. 1 信道的数学描述与分类
⑴. 无噪无损信道
即：p(y/x)=P(x/y)=1I(X;Y)=H(X)=H(Y)的X与Y一一对应情况。 书中称为无损确定信道(P93)。则： C maxI ( X ; Y ) maxH ( X ) log r
p( x) p( x)
⑵. 确定信道之一
xr 1 xr
ys
max
p( x)
maxH ( X ) log r
p( x)
§4. 1 信道的数学描述与分类
上述无噪信道的信道容量问题都可以看成为最大熵问题，比较 容易解决。但是实际的信道大多是有干扰信道，即：0 P( y x) 1 有关此类信道大体分为两类：有干扰无记忆信道和有干扰有记忆 信道，从它们的数学性质上很容易划分。
求上确界是为了适应极值只能接近某一极限的情况，因此信 道容量也可能是一个理论值而已。对于信道容量的定义式，我 们可以用集装箱的例子形象化地比喻出来。
§4. 1 信道的数学描述与分类
信道好比集装箱，而信源就像不同的货物，集装箱的容积不 可改变，但是里面的货物的组成是可以改变。调整信源就像改变 货物的组成，是可以用于测试集装箱的最大容积。 信道容量的定义是有了，但是我们还要证明这种定义是否存 在和唯一，即用于定义信道容量的互信息的条件极值是否一定存 在和这个极值的唯一性。 书中定理4.2.1(P73)证明了互信息I(X;Y)是信源概率分布P(x) 的上凸函数 。 I p1 ( x) (1 ) p2 ( x) I p1 ( x) (1 ) I p2 ( x)