第3章 信道与信道容量
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
34 连续信道的信道容量.ppt
定理：时间离散的高斯信道，若X、N高斯分布且 独立，则I(X;Y)=H(Y)-H(N)
证明：因为I(X;Y)=H(Y)-H(Y/X)
所以要证结论成立，即证H(Y/X)= H(N)
2021/8/8
3
时间离散的高斯信道
H(Y/X)= H(N)的证明如下：
H (Y / X ) p(x) p( y / x) log p( y / x)dxdy
时间连续的高斯信道
时间连续的高斯信道可以对其进行采样，使其变成 时间离散的高斯信道：
设信道带宽为[0，B],根据采样定理，采样频率为
2B,采样周期T=1/（2B）,这样可以在接收端无失真
的恢复出原始连续信号。则时间连续的高斯信道的
信道容量为
C采样后的离散信道 C t
T每个采样点所占的周期
1 log(1 S )
所以：等于是研究最坏情况下得到的信道容量。
所以：在所有具有噪声平均功率为N的加性噪声信道 中，高斯噪声信道的容量最小。
即若Y=X+N,
则（1）N为非高斯噪声时的信道容量大于N为高斯
噪声时的信道容量：
C非高斯信道
C高斯信道
1 log(1 2
S) N
2021/8/8
加性噪声信道的容量下限
8
本章主要内容
第3章 信道容量
2021/8/8
1
本章主要内容
3.1信道的数学模型与分类 3.2单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.5 连续信道及其容量 3.6 信道编码定理
2021/8/8
2
3.4 连续信道的信道容量
时间离散的高斯信道
时间离散的高斯信道的数学模型：
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
第3章 信道模型和信道容量 习题课(2)
3、解： （1）已知二元对称信道的传递矩阵，又已知输入的
3 1 概率分布 P (0) , P (1) , 就可以计算得出 Y 的概率 4 4
分布如下：
P ( y 0) P ( x ) P ( y 0 | x )
x
P( x 0) P( y 0 | x 0) P( x 1) P( y 0 | x 1)
0
1
0
1
1
1
(a)
2
解
( a ) 图，由信道线图可得转移概率矩阵如下：
1
1
该矩阵为行列排列阵，信道为准对称信道，可以把按列分 成两个子矩阵如下：
1
1
PS 10 log10 1 20 PN
得到
PS 1 100 PN
信道传送的最大信息速率
PS Ct W log(1 ) 3 103 log 2 100 19.93 103 bit/s PN
（1）
信道不变， Ct 仍应为 19.93 10 （比特/秒） ，而
21s?121lognkkkskmmcshppprr??????????????????????11222loglog1222211loglog12hh????????????????????????????????????设在平均功率受限高斯可加波形信道中信道带宽为3khz又设信号功率噪声功率噪声功率20db
•设在平均功率受限高斯可加波形信道 中，信道带宽为3kHz，又设（信号功 率+噪声功率）/噪声功率=20 dB。
（1）试计算该信道传送的最大信息率 （单位时间）19.93*103(bit/s)。 （2）若功率信噪比降为5dB，要达到 相同的最大信息传输率，信道带宽应 是多少(12KHz)。
第3章 信 道
图3-12 非线性特性
频率偏移是指信道输入信号的频谱经 过信道传输后产生了平移。 相位抖动是由于振荡器的频率不稳定 产生的。
3.4.2 随参信道对信号传输的 影响
无线信道中有一些是随参信道，例如 依靠天波传播或地波传播的无线信道。 随参信道的特性是“时变”的，即随 时间改变的。
一般说来，各种随参信道具有的共同 特性是：第一，信号的传输衰减随时间而 变；第二，信号的传输时延随时间而变； 第三，信号经过几条路径到达接收端，而 且每条路径的长度（时延）和衰减都随时 间而变，即存在多径传播现象。 多径传播对信号的影响称为多径效应。
i 1
i 1
X c (t ) i (t ) cos i (t )
i 1
n
（3-7）
X s (t ) i (t )sin i (t )
i 1
n
（3-8）
则 X c (t )和X s (t ) 都是缓慢随机变化
的。 将式（3-7）和式（3-8）代入式（36），得出
R(t ) X c (t )cos 0t X s (t )sin 0t V (t )cos[0t (t )]
3．同轴电缆
同轴电缆由内外两根同心导体构成， 在这两根导体间用绝缘体隔离开。 如图3-6所示。
图3-6 同轴电缆结构图
4．光纤
光纤是由折射率不同的两种玻璃纤维 制成的。 光纤的中心称为纤芯，外面包有折射 率较低的一层玻璃，称为包层。 按照光波在光纤中传播的方式不同， 光纤又分为多模光纤和单模光纤两类。
经过接收滤波器后的噪声双边功率谱 密度为Pn( f )，如图3-16所示，则此噪声的 功率等于 ∞ （3-18） Pn Pn ( f )df
信息论基础第3章离散信道及其信道容量
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第3章信道容量
其信道容量
C max I ( X ;Y ) max H ( Y ) log m
p ( xi ) p ( xi )
达到此类信道的信道容量的概率分布是使信道输出分布为 等概分布的输入分布。
8
离散无噪信道（总结）
对于无噪信道，求信道容量C的问题，已经 从求I(X;Y)的极值问题退化为求H(Y)或H(X)的 极值问题。
H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪 信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号 集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为H(Y/X)=H(Y)-I(X;Y)
i 1 j 1 n n
p( x i ) H ni
i 1
n
H ni p( y j / x i ) log p( y j / x i ) 由 于 信 道 的 对 称 性 ， 一 每行 都 是 同 一 集 合 诸素 元的 不 同 排 列 。
其信道容量
C max I ( X ;Y ) max H ( X ) log n
p ( xi ) p ( xi )
6
3.具有归并性能的无噪信道（确定信道）
确定信道的一个输出对应着多个 互不相交的输入，如右图所示。
信道矩阵中每行中只有一非零元 素，即已知X后，Y不再有任何 不确定度。故噪声熵H(Y/X)=0
11
强对称信道的几个特性
强对称信道是对称信道的一个特例；
输入符号数与输出符号数相等； 信道中总的错误概率为p，对称地平均分配给 n-1个输出符号，n为输入符号的个数； 均匀信道中不仅各行之和为1,而且各列之和也 为1。 一般信道各列之和不一定等于1
信道与信道容量
1.6.2 信道容量
根据香农信息论，对于连续信道，如果信道带宽为B， 并且受到加性高斯白噪声的干扰，则信道容量的理论公式为
C=B㏒2（1+S/N）（b/s） 式中。 N为白噪声的平均功率； S是信号的平均功率； S/N 为信噪比。信道容量C是指信道可能传输的最大信息速率 （即信道能达到的最大传输能力）。虽然上式是在一定条件 下获得的（要求输入信号也为高斯信号才能实现上述可能 性），但对其他情况也可作为近似式使用。
例1 已知彩色电视图象由5ⅹ105个像素组成。设每个像素有 64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和 亮度等级的组合机会均等，并统计独立。（1）试计算每秒 传送100个画面所需信道容量；（2）如果接受机信噪比为 30dB，为了传送彩色图象所需信道带宽为多少？
例2 设有一个图像要在电话线路中实现传真传输。大约要传输2.25ⅹ106个 像素，每个像素有12个亮度等级。假设所有亮度等级都是等概率的，电 话电路具有3kHz带宽和30dB信噪比。试求在该标准电话线路上传输一 张传真图片需要的最小时间。
在数字通信系统中，如果仅研究编码和解码问题， 可得到另一种广义信道---编码信道。编码信道的范围是 从编码器输出端至解码器输入端。这是因为从编码和解 码角度来看，编码器是把信源产生的消息信号转化为数 字信号。反之，解码器是将数字信号恢复原来的消息信 号；而编码器输出端至解码器输入端之间的一切环节只 是起了传输数字信号的作用，所以可以把它看成一个整 体---编码信道。当然，根据研究问题的不同，还可以定 义其他广义信道。
解： Rb = RBN㏒2N
RBN= Rb／×106 / 29.9 ×103=0.269 ×103s=4.5min
例3 已知八进制数字信号的传输速率为1600波 特。试问变换成二进制数字信号时的传输速率为多 少？ 解： Rb = RBN㏒2N = 1600× ㏒28 = 4800 b/s
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
第三章信道容量
p
b1 an
,
p
b2 an
,,
p
bm an
信道容量的定义
信息传输率是衡量通信质量的一个重要指标，由前面 定理知：对于固定信道后，总存在某种输入概率分布p(X)， 使I（X; Y）达到最大值，定义这个最大值为信道容量，记 为C。
C max I ( X ;Y ) （比特/码符号） { p ( ai )} max H ( X ) H ( X Y ) { p ( ai )} max H (Y ) H (Y X ) { p ( ai )}
a1
b1
1 0 0
a2 ……
b2
0 1 0
0
0
1
an
bn
0
0
0
n=m
... 0 ... 0
...
0
...
1
另一种情况:
a1
b1
a2
b2
……
an-1
bn-1
an
bn
0 ... 0 0 1
0 ... 0 1 0
0
...
1
0
0
1
0
0
...
0
对于上述两种情况,X与Y一一对应,因此有
输入或输出无关
信道的分类 （根据有无记忆）
输出仅与信道当前输 入有关，与过去输入
无关
有记忆 信道
无记忆 信道
信道的分类
（根据信道的输入与输出 随机变量的个数）
单符号 信道
多符号 信道
信道的分类
（根据输入与 输出的个数）
单用户 信道
多用户 信道
（1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户， 双向通信
第3章-信道与信道容量复习过程
式中，G是均值为零、方差为σ2的高斯随机变量
当X给定，Y是一个均值为ai、方差为σ2的高斯随机
变量
p y/ai
1 ey2a2i2
2
2020/6/21
10
信道模型
4. 波形信道
输入是模拟波形，输出也是模拟波形
连续无记忆信道和连续有记忆信道
任一时刻输出变量与以前时刻的输入输出是否有关
2020/6/21
7
信道模型
1. 二进制离散信道：BSC信道 输入符号X取值{0,1} 输出符号Y取值{0,1} 信道转移概率 p(0/0) = 1－p p(0/1) = p p(1/1) = 1－p p(1/0) = p
1-p
0
0
输 入
p p
输 出
1
1-p
1
P
1 p
pቤተ መጻሕፍቲ ባይዱ
p 1 p
无错传输概率 有错传输概率
信道容量的定义
信道容量
CmaxI(X;Y) p(ai)
n m
m p(a aix ) i1j1pai
pbj/ai logpp bjb /jai
信道容量C的单位是信道上每传送一个符号所能携带
的比特数，即比特/符号。
如果以e为底，即取自然对数时，信道容量的单位是 奈特/符号。
如果已知符号传送周期是T 秒，信道容量Ct=C /T， 单位为bit/s或nat/s。
离散信道：输入和输出的信号在时间和幅度上 均为离散的信道。
连续信道：信号的幅度连续，时间离散。 半离散半连续信道：
输入变量取值离散而输出变量取值连续。 输入变量取值连续而输出变量取值离散。 波形信道：信道的输入和输出信号在时间和幅 度上均连续，一般可用随机过程来描述。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
第三章信道及信道容量PPT课件
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第3章 信道与信道容量
max p(x)
H C (Y )
1 log
2
2e
2
pn(n)＝N(0, 2) 连续单符号信道
噪声是均值为零、方差为 2的加性高斯噪声
34
3.4 连续信道及其容量
连续单符号加性信道
pY (y) ＝N(0,P)，pn(n)＝N(0, 2)，y=x+n，所以 pX (x)＝N(0, S)
3
3.1 信道分类和表示参数
二进制对称信道(BSC)
P
1 p
p
p 1 p
4
3.1 信道分类和表示参数
离散无记忆信道
a1 a2
b1
p11 p12 p1m
b2 b3
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
5
3.1 信道分类和表示参数
离散输入、连续输出信道
pY ( y / ai )
31
3.3 离散序列信道及其容量
扩展信道
(1 p)2 p(1 p) p(1 p) p2
1
P
p(1 p(1
p) p)
(1 p)2 p2
p2 (1 p)2
p(1
p)
p(1 p)
p2 p(1 p) p(1 p) (1 p)2
C2 log2 4 H[(1 p)2 , p(1 p), p(1 p), p 2 ]
1 1 1 1
13
3 1
6 1
6 1
6 6 3 3
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
12
3.2 离散单个符号信道及其容量
第三章 信道与信道容量 习题解答
第三章 信道与信道容量 习题解答
1.设信源
通过一干扰信道，接收符号为
信道传递矩阵为
（1） 信源 中符号 和 分别含有的自信息量。
（4）说明如果信噪比降低，则为保持信道容量不变，必须加大信道带宽。反之加大信道带宽，则可降低对信 噪比的要求。如果信道带宽降低，则为保持信道容量不变，必须加大信号功率信噪比。反之加大信号功率信 噪比，则可降低对信道带宽的要求。
12.在一个理想通信系统中，已知信道中功率信噪比为 10分贝，为了使功率节省一半又不损失信息量，有 几种办法？请计算并讨论各自的优缺点。
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
解：已知
根据公式：
前者改善不明显，后者改善明显，故存在阀值效应。 15.设加性高斯白噪声信道中，信道带宽 3kHz，又设
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
6.有一以“点”和“划”构成的老式电报系统，“点”的长度为 30毫秒，“划”的长度为 150毫秒，“点”和“划”出现的
4
概率分别为 0.8和 0.2，试求信息速率为多少？“点”、“划”出现的概率相等时，信息速率为多少？是否“点”、“划” 出现的概率相等时信息速率一定最高？是否和理论相矛盾？为什么？ 解：
信道与信道容量
4.2 多维无记忆加性连续信道
多维无记忆高斯加性信道可等价成 L 个独立的并联高
斯连续单符号加性信道
47
当且仅当输入随机矢量 X 中各分量统计独立，且是均值 为零、方差为 P l 的高斯变量时，才能达到此信道容量
噪声均值为零、方差相同
噪声均值为零、方差不同，输入总平均功率受限
48
4.3 限时限频限功率加性高斯白噪声信道
转移概率满足:
信道无记忆
只需分析单个符号的转移概率 p (yj|xi)
– 二进制离散信道
– 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
7
二进制离散信道
信道转移概率 p (yj|xi) ：
传输发生错误的概率 无错误传输的概率
二进制对称信道（ BSC ）
8
离散无记忆信道 (DMC)
9
转移概率矩阵
m = n ，信道矩阵为非奇异阵
3 离散序列信道及其容量
无记忆离散序列信道 信道转移概率
仅与当前输入有关
进一步信道是平稳的
40
扩展信道 如果对离散单符号信道进行 L 次扩展，就形成了 L 次离散无记忆序列信道 --- 离散无记忆 L 次扩展信道 例： BSC 的二次扩展信道
2次扩展信道的信道容量：
到的值是其信道容量的下限值。
50
香农公式的讨论
1 带宽一定时，信噪比与信道
容量成对数关系
2 当输入信号功率一定，增加带
宽，容量可以增加 即使带宽无限，信 道容量仍是有限
当 C∞=1bit / s ， PS/N0 =-1.6dB ，即当带宽不受限制时， 传送 1 比特信息，信噪比最低只需 -1.6dB ( 香农限 )
频带利用率：单位频带的信息传输速率
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 / 2 1 / 4 1 / 4 [ P (Y )] = [1 / 3 1 / 3 1 / 3]1 / 4 1 / 2 1 / 4 = [1 / 3 1 / 3 1 / 3] 1 / 4 1 / 4 1 / 2
8
3.1信道分类和表示参数 3.1信道分类和表示参数
离散输入、连续输出信道
X、Y一一对应C＝maxI(X;Y)＝log n 一一对应C maxI 多个输入变成一个输出C maxI 多个输入变成一个输出C＝maxI(X;Y)＝maxH(Y) maxH 一个输入对应多个输出 C＝maxI(X;Y)＝maxH(X) maxI maxH
12
H(X|Y) H(X) I(X;Y) H(Y|X) H(Y)
的转移矩阵如下， 的转移矩阵如下，求信道容量
ε P1 = P2 = 1 − ε 1− ε ε
ε 1 − ε ε P = P1P2 = 1 − ε 1 − ε ε 1− ε ε (1 − ε ) 2 + ε 2 2ε (1 − ε ) = 2 2 (1 − ε ) + ε 2ε (1 − ε )
p ( ai ) p ( ai ) p ( ai ) p ( ai )
C = log m − H (Y | ai ) = log m + ∑ pij log pij
j =1
m
19
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
Eg. 求信道容量
1 3 P= 1 6 1 3 1 6 1 6 1 3 1 6 1 3
1 1 1 1 C = log 2 4 − H ( , , , ) = 0.082bit / 符号 3 3 6 6
20
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
Eg. 求信道容量
ε ε 1 − ε n − 1 L n − 1 ε ε P = n − 1 1 − ε L n − 1 M M M M ε ε L 1− ε n −1 n −1
j i j
•输出对称 若pi=1/n
1 p(b j ) = ∑ p(ai ) p(b j / ai ) = ∑ p(b j / ai ) n i i
18
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
对称信道容量
C＝max I ( X ; Y ) = max[ H ( X ) − H ( X | Y )] = max[ H (Y ) − H (Y | X )] = max H (Y ) − H (Y / X )
离散无记忆信道
x1 x2 xn
p(y1|x1)
y1 y2 ym
X=(x1,x2,....,xn),输入符号集 Y=(y1,y2,....,yn),输出符号集
p(ym|xn)
p11 p P = 21 M pn1
p12 L p22 M pn 2
p1m L p2 m M M L pnm
2
3.1信道分类和表示参数 3.1信道分类和表示参数
信道参数
设信道 输入矢量为 X = ( X 1 , X 2 , L X i , L ), X i ∈ {a1 , L , a n } 输出矢量为 Y = (Y1， Y2 , L Y j , L ), X j ∈ {b1 , L , bm } , 统计的依赖关系 条件概率 p ( Y/X ) 来描述信道输入输出信 号之间 (Y/X
第3章信道与信道容量
信道分类和表示参数 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量
1
3.1信道分类和表示参数 3.1信道分类和表示参数
信道分类
用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、 波形信道
C = log n − H (1 − ε ,
ε
n −1
,L ,
ε
n −1
)
信道输入符号和输出符号的个数相同，都为n 信道输入符号和输出符号的个数相同，都为n，且正确的传 输概率为1 ，错误概率ε被对称地均分给n 输概率为1－ε，错误概率ε被对称地均分给n-1个输出符号， 此信道称为强对称信道或均匀信道，是对称离散信道的一 个特例
21
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
二进制对称信道容量 C＝1－H（ε）
1
1-p
0.8 0.6 0.4 0.2 0 0 0.2 0.4 0.6 0.8 1
0 p p
0
1 1-p
1
22
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
串联信道
信道 1 信道 2 … 信道 m
7
例：某个信道的信源符号出现的概率为 P(X)=(1/3,1/3,1/3), 其信道矩阵为: 其信道矩阵为:
1 / 2 1 / 4 1 / 4 [P(Y | X )] = 1 / 4 1 / 2 1 / 4 1 / 4 1 / 4 1 / 2
[ 则：P( X , Y )] = [ P( X )]1 × [P(Y | X )] = 0 1 / 2 1 / 4 1 / 4 1 / 6 1 / 12 1 / 12 1 / 3 0 0 1 / 3 0 1 / 4 1 / 2 1 / 4 = 1 / 12 1 / 6 1 / 12 0 0 1 / 3 1 / 4 1 / 4 1 / 2 1 / 12 1 / 12 1 / 6
24
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
信道容量 I(X;Y)=1-H(ε)，I(X;Z)=1-H[2ε (1-ε)] )=1)=1- [2ε (11 0.8 0.6 0.4 0.2 0 0 0.5 1 m=1 m=2 m=3
25
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
二进制对称信道（BSC） 二进制对称信道（BSC）
1-p 0 p p 0
p 1 − p P= p 1 − p
1
1 1-p
5
3.1信道分类和表示参数 3.1信道分类和表示参数
二进制删除信道（BEC） 二进制删除信道（BEC）
p 0 1-p ？ 1-q 1 q 1 0
6
3.1信道分类和表示参数 3.1信道分类和表示参数
不对称的例子
17
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
• 输入对称 ∑ p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) = −∑ p(ai )∑ p(b j / ai ) log p(b j / ai ) = −∑ p(b j / ai ) log p (b j / ai ) = H (Y / xi )
C = max I ( X ; Y )
p ( ai )
11
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
无干扰离散信道的信道容量
X 1 1 1 (a) 无噪无损信道 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 Y信道 2 有干扰无记忆信道 3 有干扰有记忆信道
3
离散无干扰信道
这种信道的输入和输出是一一对应的，即: 这种信道的输入和输出是一一对应的，即:
1 i = j p( y j | x i ) = 0 i ≠ j
1 0 [P (Y | X ) ] = .. 0 0 .. 0 1 .. 0 .. .. .. 0 .. 1
准对称DMC信道 准对称DMC信道
如果转移概率矩阵P 如果转移概率矩阵P是输入对称而输出不对称，即转移 概率矩阵P 概率矩阵P的每一行都包含同样的元素而各列的元素可 以不同，则称该信道是准对称 以不同，则称该信道是准对称DMC信道 准对称DMC信道
串联信道
C(1,2)=maxI C(1,2)=maxI(X;Z)， C(1,2,3)=maxI C(1,2,3)=maxI(X;W)…
23
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
Eg. 设有两个离散 BSC信道串接 ， 两个 BSC信道 Eg. 设有两个离散BSC 信道串接， 两个BSC 信道
p 1 − p [P( X )] = [a 1 − a] [P(Y | X )] = 1− p p (1 − p )a pa [P( X , Y )] = (1 − p )(1 − a ) p (1 − a )
14
从而可以计算出： H(Y|X)=H(Y|X)=-( p*logp + (1-p) * log(1-p) ) (1log(1max I(X;Y) = max(H(Y) – H(Y|X) ) = max(H(Y)) – H(Y|X) 但是 max(H(Y)) = 1, 它发生在p(1)=p(0)=1/2 它发生在p(1)=p(0)=1/2 下，故BSC的信道容量为： 下，故BSC的信道容量为： C = max I(X;Y)=1+ p*logp + (1-p) * log(1-p) (1log(1-
13
二进对称信道BSC(Binary 二进对称信道BSC(Binary Symmetric Channel)的信道容量 Channel)的信道容量 p
0 1 X 1-p 1-p p 0 1 Y
设输入符号的概率分布为p(0)=a, p(1)=1设输入符号的概率分布为p(0)=a, p(1)=1-a, 条件概率p(0|0)=p(1|1)=p, p(1|0)=p(0|1)=1条件概率p(0|0)=p(1|1)=p, p(1|0)=p(0|1)=1-p, 则有