第三章 信道模型和信道容量
合集下载
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
第三章信道及信道容量PPT课件
第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
31第3章3132信道模型信道容量
16
信道容量的定义
定义：信道容量为平均互信息的最大值
C max{I ( X ; Y )}
p( x)
def
其单位是比特/符号或奈特/符号。
平均互信息 I (X;Y ) 是输入变量 X 概率分布 p(x) 的上凸函数。
对于一个固定的信道，总存在一种信源概率分布，使传 输每一个符号平均获得的信息量，即平均互信息 I(X;Y) 最大，而相应的概率分布 p (x) 称为最佳输入分布。
15
第3章 信道容量
3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容量
3.2.1 3.2.2 3.2.3 信道容量的定义 几种特殊离散信道的信道容量 离散信道容量的一般计算方法
3.3 3.4 3.5 3.6
多符号离散信道 多用户信道 连续信道 信道编码定理
5
信道的分类４－按统计特性
根据信道的统计特性： 恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。
6
信道的分类５－按记忆特性
根据信道的记忆特性 无记忆信道：信道输出仅与当前的输入有关； 有记忆信道：信道输出不仅与当前输入有关， 还与过去的输入有关。
7
平均互信息
定义：原始信源熵与信道疑义度之差称为平 均互信息
Am
x
x3 x4 x5
1 1 1
y2
1 1
xn
1
ym
29
无噪信道的信道容量
在这类信道中，信道输出端接收到某个y j以后， 因而损失熵H X | Y 0。 于是，可以求出确定信道的平均互信息为 I ( X ; Y ) H (Y ) H ( X ) 其信道容量 C= max{I ( X ; Y )} max H (Y ) log m
信道容量的定义
定义：信道容量为平均互信息的最大值
C max{I ( X ; Y )}
p( x)
def
其单位是比特/符号或奈特/符号。
平均互信息 I (X;Y ) 是输入变量 X 概率分布 p(x) 的上凸函数。
对于一个固定的信道，总存在一种信源概率分布，使传 输每一个符号平均获得的信息量，即平均互信息 I(X;Y) 最大，而相应的概率分布 p (x) 称为最佳输入分布。
15
第3章 信道容量
3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容量
3.2.1 3.2.2 3.2.3 信道容量的定义 几种特殊离散信道的信道容量 离散信道容量的一般计算方法
3.3 3.4 3.5 3.6
多符号离散信道 多用户信道 连续信道 信道编码定理
5
信道的分类４－按统计特性
根据信道的统计特性： 恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。
6
信道的分类５－按记忆特性
根据信道的记忆特性 无记忆信道：信道输出仅与当前的输入有关； 有记忆信道：信道输出不仅与当前输入有关， 还与过去的输入有关。
7
平均互信息
定义：原始信源熵与信道疑义度之差称为平 均互信息
Am
x
x3 x4 x5
1 1 1
y2
1 1
xn
1
ym
29
无噪信道的信道容量
在这类信道中，信道输出端接收到某个y j以后， 因而损失熵H X | Y 0。 于是，可以求出确定信道的平均互信息为 I ( X ; Y ) H (Y ) H ( X ) 其信道容量 C= max{I ( X ; Y )} max H (Y ) log m
[高等教育]第3章 信道与信道容量
![[高等教育]第3章 信道与信道容量](https://img.taocdn.com/s3/m/6a524bdfc8d376eeaeaa318c.png)
p11 p P 21 pn1
2018/11/24
各行概率 之和为1
p12 p22 pn 2 p1m p2 m pnm
9
转移概率矩阵
信道模型
3. 离散输入、连续输出信道
输入符号集：X={a1, a2,…, an} 输出未经量化，即Y={-∞,∞}
2018/11/24 21
对称DMC信道 ③ 当信道输入符号等概率分布时，对称 DMC信道达到其信道容量。
C max I ( X ; Y ) max H Y H Y / X
Px Px
max H Y H Y / ai
Px
max H Y H Y / ai
如果以e为底，即取自然对数时，信道容量的单位是 奈特/符号。
如果已知符号传送周期是T 秒，信道容量Ct=C /T， 单位为bit/s或nat/s。
C max I ( X ; Y ) max H X H X / Y
p ( ai ) p ( ai )
2018/11/24 14
Px
log m H Y / ai
2018/11/24 22
对称DMC信道
例：信道转移概率矩阵为 求：信道容量 解： C log n H Y / ai
log n H 1 , , n 1
,
1 n 1 1 P n 1 n 1 n 1
将记忆很强的L个符号当作矢量符号，各矢量符号之间 认为是无记忆的。 将转移概率看成马尔可夫链的形式。
2018/11/24 7
信道模型
1. 二进制离散信道：BSC信道
2018/11/24
各行概率 之和为1
p12 p22 pn 2 p1m p2 m pnm
9
转移概率矩阵
信道模型
3. 离散输入、连续输出信道
输入符号集：X={a1, a2,…, an} 输出未经量化，即Y={-∞,∞}
2018/11/24 21
对称DMC信道 ③ 当信道输入符号等概率分布时，对称 DMC信道达到其信道容量。
C max I ( X ; Y ) max H Y H Y / X
Px Px
max H Y H Y / ai
Px
max H Y H Y / ai
如果以e为底，即取自然对数时，信道容量的单位是 奈特/符号。
如果已知符号传送周期是T 秒，信道容量Ct=C /T， 单位为bit/s或nat/s。
C max I ( X ; Y ) max H X H X / Y
p ( ai ) p ( ai )
2018/11/24 14
Px
log m H Y / ai
2018/11/24 22
对称DMC信道
例：信道转移概率矩阵为 求：信道容量 解： C log n H Y / ai
log n H 1 , , n 1
,
1 n 1 1 P n 1 n 1 n 1
将记忆很强的L个符号当作矢量符号，各矢量符号之间 认为是无记忆的。 将转移概率看成马尔可夫链的形式。
2018/11/24 7
信道模型
1. 二进制离散信道：BSC信道
《信道模型信道容量》课件
小结与展望
总结本课程的核心内容，并展望未来通信系统发展的趋势与挑战。
致谢
感谢您的耐心学习！欢迎您继续深入研究《信道模型信道容量》。请随时与我们联系以获取更多信息和支持。
衰落与损耗
研究信道中的衰落和损耗现象，以及如何应对 这些挑战。
多径传播
探索多径传播现象，并了解如何应对信道中的 多径效应。
信道编码与调制
数字通信
介绍数字通信中的信道编码和调制技术，以提高传 输效率和系统性能。
模拟通信
讨论模拟通信系统中的信道编码和调制方法。
纠错编码
学习纠错编码技术，以提高数据传输的可靠性。
《信道模型信道容量》 PPT课件
欢迎来到《信道模型信道容量》PPT课件。本课程将深入探讨信道模型和如何 计算信道容量，帮助您更好地理解通信系统的基本原理与性能评估。让我们 开始探索吧！
信道特性与模型
噪声与信号干扰
了解不同信道中的噪声和信号干扰对通信系统 的影响。
时延与带宽
了解信道模型中的时延和带宽对数据传输的影 响。
多天线系统与MIMO技术
ቤተ መጻሕፍቲ ባይዱ
1
多天线系统基础
学习多天线系统的基本原理和性能优势。
2
空时编码
介绍空时编码技术，用于提高多天线系统的传输速率和可靠性。
3
MIMO系统应用
了解MIMO技术在无线通信和无线接入系统中的应用。
信道估计与均衡
信道估计原理
探索信道估计的基本原理和常用方法。
均衡技术
介绍均衡技术在信道估计和信号恢复中的应用。
解调技术
了解解调技术在信道解码中的作用。
信道容量与极限
1 香农定理
介绍香农定理，它描述了在理想条件下信道 的最大数据传输速率。
第三章信道及信道容量
2但为有限值,即
p11
P
p2
1
p12 p22
,
p1m
p2m
pn1
pn2
pn
m
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p
0 p
0
1p p
p
P
p
1p
1
1
1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使
得 I（X；Y）达到最大。
C m ax { I(X ;Y )} (b it/符 号 ) p(x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为：
C T1 tm p(axx ){I(X;Y)}(bit/秒 )
即信道传输速率。
信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
这样，波形信道化为多维连续信道，信道转移概率密度 函数为
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。
信息理论与编码课后答案第3章
第3章 信道模型和信道容量3.1 基本要求通过本章学习，了解信道的模型和分类，掌握信道容量的定义，掌握无噪信道、对称信道的信道容量的计算，了解准对称信道信道容量的计算，了解一般离散无记忆信道（DMC ）达到信道容量的充要条件，掌握DMC 扩展信道的信道容量计算，了解加性高斯噪声信道的信道容量的结论，掌握香农信道容量公式。
3.2 学习要点3.2.1 信道的分类信道是信息传输的通道。
研究信道的目的，主要是为了描述和分析各种不同类型信道的特性，度量其信息的极限传输能力。
信息理论中常用的信道分类方法如下。
（1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为4类,如表3.1所示。
（2）根据信道的记忆特性划分，可分为2类：无记忆信道：信道当前的输出只与当前的输入有关。
有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。
（3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为2类： 无噪声信道：信道的输入/输出关系是确定关系。
有噪声信道：信道的输入/输出关系是统计依存关系。
3.2.2 信道的数学模型3.2.2.1 离散无记忆信道（DMC ）的数学模型离散无记忆信道（DMC ）的数学模型如图3.1所示，记为|{,,}Y X X P Y 。
信道的输入X 取值于集合12{,,,}r A a aa = ，输出Y 取值于集合12{,,,}s Bb b b = 。
|{(|)|1,2,,;1,2,,}Y X j i P P b a i r j s === （3.1） 为分析计算方便，常常把所有转移概率排成矩阵：图3.1 离散无记忆信道（DMC ）模型示意图噪声干扰12112111122222|12(|)(|)(|)(|)(|)(|)[](|)(|)(|)ss s Y X r r s r rb b b P b a P b a P b a a P b a P b a P b a a P P b a P b a P b a a ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦（3.2） 转移矩阵中各行s 个转移概率自身是完备的：1(|)1,1,2,,sji j P ba i r ===∑ （3.3）3.2.2.2 扩展信道的数学模型图3.2所示的是N 次扩展信道的模型，其输入和输出均为N 元随机变量序列。
信道及信道容量
Page
3
第3章 信道及信道容量
相 关 知 识 复 习
在高斯信道下，信道的信息通过能力与
信道的频带宽度、信道的工作时间、信道的
噪声功率密度有关。
频带越宽，工作时间越长，信号、噪声 功率比越大，信道的通过能力就越强，信道 容量越大。
Information Theory and Coding
Page
4
a2 p(a 2 ) b2 p(b2 )
ar p(a r ) bs p(bs )
输入符号集合的元素个数为r，输出符号集合的元素个数为s。
Information Theory and Coding
Page 15
第3章 信道及信道容量
该类信道的特性可用条件转移概率进行描述。
随机差错信道：信道中传输码元所遭受的噪声 是随机的、独立的，这种噪声相互之间不具有 关联性，码元错误不会成串出现。 如：高斯白噪声信道。 突发差错信道：信道中噪声或干扰对传输码元 的影响具有关联性，相互之间不独立，使码元 错误成串出现。 如：衰落信道、码间干扰信道。移动通信的信 道、光盘存储属于该类信道。
端信道。
Information Theory and Coding
Page
10
第3章 信道及信道容量
4．离散信道、连续信道、半离散半连续信道和 波形信道 离散信道：又称数字信道，该类信道中输入空 间、输出空间均为离散时间集合，集合中事件 的数量是有限的，或者无限的，随机变量取值
3.1 信 道 分 类
Information Theory and Coding
Page
5
第3章 信道及信道容量
3.1信道分类
X={X0,X1,X2… Xr-1}含r个 元素的输入符号集
信道及信道容量
第5章 信道及信道容量教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连续信道5．1信道模型及信道分类教学内容：1、一般信道的数学模型2、信道的分类3、信道容量的定义1、 一般信道的数学模型影响信道传输的因素：噪声、干扰。
噪声、干扰：非函数表述、随机性、统计依赖。
信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。
信道的一般数学模型：2、 信道的分类输出随机信号输入、输出随机变量个数输入和输出的个数信道上有无干扰有无记忆特性3、信道容量的定义衡量一个信息传递系统的好坏，有两个主要指标：图5.1.1 一般信道的数学模型离散信道、连续信道、半离散或半连续信道 单符号信道和多符号信道 有干扰信道和无干扰信道有记忆信道和无记忆信道单用户信道和多用户信道 速度指标质量指标速度指标：信息（传输）率R ，即信道中平均每个符号传递的信息量；质量指标：平均差错率e P ，即对信道输出符号进行译码的平均错误概率；目标：速度快、错误少，即R 尽量大而e P 尽量小。
信道容量：信息率R 能大到什么程度； )/()()/()();(X Y H Y H Y X H X H Y X I R -=-==若信道平均传送一个符号所需时间为t 秒，则);(1Y X I t R t =（bit/s ）称t R 为信息（传输）速率。
分析：对于给定的信道，总存在一个信源（其概率分布为*)(X P ），会使信道的信息率R 达到最大。
（);(Y X I 是输入概率)(X P 的上凸函数，这意味着);(Y X I 关于)(X P 存在最大值）每个给定的信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为C ，即);(max max Y X I R C XXP P ==bit/符号 （5.1.3）信道容量也可以定义为信道的最大的信息速率，记为t C⎭⎬⎫⎩⎨⎧==);(1max max Y X I t R C XX P t P t （bit /s ） （5.1.4） 解释：(1)信道容量C 是信道信息率R 的上限，定量描述了信道（信息的）最大通过能力； (2)使得给定信道的);(Y X I 达到最大值（即信道容量C ）的输入分布，称为最佳输入（概率）分布，记为*)(X P ；(3)信道的);(Y X I 与输入概率分布)(X P 和转移概率分布)/(X Y P 两者有关，但信道容量C 是信道的固有参数，只与信道转移概率)/(X Y P 有关。
第3章：信道容量
信道的描述：用条件转移概率表示。
本章内容
信道的数学模型及分类 单符号离散信道的信道容量
3.1 信道的数学模型及分类
一般信道的数学模型 信道的分类 实际的信道
(1) 一般信道的数学模型
信息论对信道的研究：对具体物理信道抽象，建立与各 种通信系统相适应的信道模型，研究信息在这些模型信 道上传输的普遍规律，指导通信系统的设计。
但每列的非零元素个数大于 1：
已知某一个 xi 后，对应的 yj 完全确定，
损失熵/信道疑义度：H(X/Y)>0 I(X;Y)= H(X)－H(X/Y)= H(Y)－H(Y/X)= H(Y)
噪声熵：H(Y/X)=0
收到某一个 yj 后，对应的 xi 不完全确定， 信道疑义度
H(X/Y)≠0。
信道容量为：
① 离散无噪声信道的信道容量
② 强对称离散信道的信道容量
③ 对称离散信道的信道容量
④ 准对称离散信道的信道容量
① 离散无噪信道的信道容量
a 具有一一对应关系的无噪信道 b 具有扩展性能的无噪信道 c 具有归并性能的无噪信道
a 具有一一对应关系的无噪信道（无噪无损信道）
信道线图
x1 y1 x1 x2 yi
a 具有一一对应关系的无噪信道（无噪无损信道）
因为信道矩阵中所有元素均是 “1” 或 “0”，X 和 Y 有确 定的对应关系：
已知 X 后 Y 没有不确定性， 噪声熵：H(Y/X)=0
收到 Y 后，X 也不存在不确定性， 损失熵/信道疑义度：H(X/Y)=0
I(X;Y)=H(X)=H(Y)。
i 1 j 1
n
本章内容
信道的数学模型及分类 单符号离散信道的信道容量
3.1 信道的数学模型及分类
一般信道的数学模型 信道的分类 实际的信道
(1) 一般信道的数学模型
信息论对信道的研究：对具体物理信道抽象，建立与各 种通信系统相适应的信道模型，研究信息在这些模型信 道上传输的普遍规律，指导通信系统的设计。
但每列的非零元素个数大于 1：
已知某一个 xi 后，对应的 yj 完全确定，
损失熵/信道疑义度：H(X/Y)>0 I(X;Y)= H(X)－H(X/Y)= H(Y)－H(Y/X)= H(Y)
噪声熵：H(Y/X)=0
收到某一个 yj 后，对应的 xi 不完全确定， 信道疑义度
H(X/Y)≠0。
信道容量为：
① 离散无噪声信道的信道容量
② 强对称离散信道的信道容量
③ 对称离散信道的信道容量
④ 准对称离散信道的信道容量
① 离散无噪信道的信道容量
a 具有一一对应关系的无噪信道 b 具有扩展性能的无噪信道 c 具有归并性能的无噪信道
a 具有一一对应关系的无噪信道（无噪无损信道）
信道线图
x1 y1 x1 x2 yi
a 具有一一对应关系的无噪信道（无噪无损信道）
因为信道矩阵中所有元素均是 “1” 或 “0”，X 和 Y 有确 定的对应关系：
已知 X 后 Y 没有不确定性， 噪声熵：H(Y/X)=0
收到 Y 后，X 也不存在不确定性， 损失熵/信道疑义度：H(X/Y)=0
I(X;Y)=H(X)=H(Y)。
i 1 j 1
n
第3章3132信道模型信道容量
无损信道 无噪（确定）信道 无噪无损信道
24
损失熵H(X/Y)与噪声熵H(Y/X)
H X | Y 称为损失熵，即信道疑义度。 表示信源符号通过有噪信道传输后所引起的信息量的损失。 因为 H X | Y H X I X ;Y 损失熵等于信源X 所含有的信息量 减去 信道输出端接收到符号集Y 之后 平均每个符号所获得的关于输入集X 的信息量。 H Y | X 称为噪声熵，反映了信道中噪声源的不确定性。 因为 H Y | X H Y I X ; Y 噪声熵等于输出信源Y 所含有的信息量 减去 信道输出端接收到符号集Y 之后 平均每个符号所获得的关于输入集X 的信息量。
15
信道容量的定义
定义：信道容量为平均互信息的最大值
C max{I ( X ; Y )}
p( x)
def
其单位是比特/符号或奈特/符号。
平均互信息 I (X;Y ) 是输入变量 X 概率分布 p(x) 的上凸函数。
对于一个固定的信道，总存在一种信源概率分布，使传 输每一个符号平均获得的信息量，即平均互信息 I(X;Y) 最大，而相应的概率分布 p (x) 称为最佳输入分布。
22
几种特殊离散信道的信道容量
离散无噪信道的信道容量
1、具有一一对应关系的无噪信道 2、具有扩展性能的无噪信道 3、具有归并性能的无噪信道
强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
23
离散无噪信道
离散无噪信道的输出Y与输入X之间有着确 定的关系，一般有以下三类：
p( x) p( x)
27
无噪信道
无噪信道的一个输出对
应着多个互不相交的输 入，如右图所示。
24
损失熵H(X/Y)与噪声熵H(Y/X)
H X | Y 称为损失熵，即信道疑义度。 表示信源符号通过有噪信道传输后所引起的信息量的损失。 因为 H X | Y H X I X ;Y 损失熵等于信源X 所含有的信息量 减去 信道输出端接收到符号集Y 之后 平均每个符号所获得的关于输入集X 的信息量。 H Y | X 称为噪声熵，反映了信道中噪声源的不确定性。 因为 H Y | X H Y I X ; Y 噪声熵等于输出信源Y 所含有的信息量 减去 信道输出端接收到符号集Y 之后 平均每个符号所获得的关于输入集X 的信息量。
15
信道容量的定义
定义：信道容量为平均互信息的最大值
C max{I ( X ; Y )}
p( x)
def
其单位是比特/符号或奈特/符号。
平均互信息 I (X;Y ) 是输入变量 X 概率分布 p(x) 的上凸函数。
对于一个固定的信道，总存在一种信源概率分布，使传 输每一个符号平均获得的信息量，即平均互信息 I(X;Y) 最大，而相应的概率分布 p (x) 称为最佳输入分布。
22
几种特殊离散信道的信道容量
离散无噪信道的信道容量
1、具有一一对应关系的无噪信道 2、具有扩展性能的无噪信道 3、具有归并性能的无噪信道
强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
23
离散无噪信道
离散无噪信道的输出Y与输入X之间有着确 定的关系，一般有以下三类：
p( x) p( x)
27
无噪信道
无噪信道的一个输出对
应着多个互不相交的输 入，如右图所示。
第3章 信道模型和信道容量 习题课(2)
3、解： （1）已知二元对称信道的传递矩阵，又已知输入的
3 1 概率分布 P (0) , P (1) , 就可以计算得出 Y 的概率 4 4
分布如下：
P ( y 0) P ( x ) P ( y 0 | x )
x
P( x 0) P( y 0 | x 0) P( x 1) P( y 0 | x 1)
0
1
0
1
1
1
(a)
2
解
( a ) 图，由信道线图可得转移概率矩阵如下：
1
1
该矩阵为行列排列阵，信道为准对称信道，可以把按列分 成两个子矩阵如下：
1
1
PS 10 log10 1 20 PN
得到
PS 1 100 PN
信道传送的最大信息速率
PS Ct W log(1 ) 3 103 log 2 100 19.93 103 bit/s PN
（1）
信道不变， Ct 仍应为 19.93 10 （比特/秒） ，而
21s?121lognkkkskmmcshppprr??????????????????????11222loglog1222211loglog12hh????????????????????????????????????设在平均功率受限高斯可加波形信道中信道带宽为3khz又设信号功率噪声功率噪声功率20db
•设在平均功率受限高斯可加波形信道 中，信道带宽为3kHz，又设（信号功 率+噪声功率）/噪声功率=20 dB。
（1）试计算该信道传送的最大信息率 （单位时间）19.93*103(bit/s)。 （2）若功率信噪比降为5dB，要达到 相同的最大信息传输率，信道带宽应 是多少(12KHz)。
随参信道
第三章 信 道
3.1 引言 3.2 信道数学模型 3.3 恒参信道
3.4 随参信道 3.5 信道容量
1
3.1 引言
信道是信号的传输媒质 有线信道：明线，对称电缆，同轴电缆， 光缆。 无线信道：地波传播，短波电离层反射， 超短波或微波视距中继，人造卫星中继， 各种散射信道。
包括有关的变换装置的信道为广义信道
信道容量
C B log (1 S )
2
N
香农公式
bit / s
33
连续信道与离散信道的联系
有扰信道中,如传送M个符号,可用M种不同幅 值的脉冲代表,每一脉冲信息量为 ㏒2M bit
在传输的信号功率受限的情况下,脉冲幅度取 值越多,各脉冲取值之间的量化分层间隔越小.
信道中高斯白 噪声的功率为 N(W),则均方 根电压值为
电缆 对称电缆 损耗大，传输特性比较稳定。 同轴电缆 比双绞线屏蔽性更好，高带 宽，极好的噪声抑制特性
中长波地波传播 超短波及微波视距传播 人造卫星中继 光导纤维
7
有线信道 媒质的频 率传输范 围
8
中长波地波传播
地球表面是有电阻的导体，当电磁波在 它上面行进时，有一部分电磁能量被消 耗，频率越高，地面波损耗越大。地面 波传播适用于长波。
Hz
典型音频电话信道的相对衰耗
14
相位—频率畸变
相频畸变对模拟话音通信影响不显著，但 对高速数字信号引起码间串扰。
相—频特性还经常采用群迟延—频率特性 来衡量
( ) d ( ) d
理想的群迟延—频率特性，对不同的频率 成分有相同的群迟延，不会使信号发生畸 变
15
理想的相—频及群迟延—频率特性
对于一切可能的信息源概率分布来说，信 道传输信息的速率R的最大值称为信道 容量，记为C
3.1 引言 3.2 信道数学模型 3.3 恒参信道
3.4 随参信道 3.5 信道容量
1
3.1 引言
信道是信号的传输媒质 有线信道：明线，对称电缆，同轴电缆， 光缆。 无线信道：地波传播，短波电离层反射， 超短波或微波视距中继，人造卫星中继， 各种散射信道。
包括有关的变换装置的信道为广义信道
信道容量
C B log (1 S )
2
N
香农公式
bit / s
33
连续信道与离散信道的联系
有扰信道中,如传送M个符号,可用M种不同幅 值的脉冲代表,每一脉冲信息量为 ㏒2M bit
在传输的信号功率受限的情况下,脉冲幅度取 值越多,各脉冲取值之间的量化分层间隔越小.
信道中高斯白 噪声的功率为 N(W),则均方 根电压值为
电缆 对称电缆 损耗大，传输特性比较稳定。 同轴电缆 比双绞线屏蔽性更好，高带 宽，极好的噪声抑制特性
中长波地波传播 超短波及微波视距传播 人造卫星中继 光导纤维
7
有线信道 媒质的频 率传输范 围
8
中长波地波传播
地球表面是有电阻的导体，当电磁波在 它上面行进时，有一部分电磁能量被消 耗，频率越高，地面波损耗越大。地面 波传播适用于长波。
Hz
典型音频电话信道的相对衰耗
14
相位—频率畸变
相频畸变对模拟话音通信影响不显著，但 对高速数字信号引起码间串扰。
相—频特性还经常采用群迟延—频率特性 来衡量
( ) d ( ) d
理想的群迟延—频率特性，对不同的频率 成分有相同的群迟延，不会使信号发生畸 变
15
理想的相—频及群迟延—频率特性
对于一切可能的信息源概率分布来说，信 道传输信息的速率R的最大值称为信道 容量，记为C
第三章 信道模型和信道容量
信息论基础 武汉科技大学
信道的基本概念
例：信源输出二元符号(0,1)调制时如采用正负 方波的传输，正负方波分别表示0和1
输入/输出统计关系 输入 X
0
信道
输出 Y
1
噪声干扰 Z
信息论基础 武汉科技大学
信道的基本概念
１. 无噪声干扰
0
0
1
1
P(0|0)=P(1|1)=1
信息论基础 武汉科技大学
P(1|0)=P(0|1)=0
b 1 b 2 b 3 b s
0.7
有干扰无记忆信道
不仅仅是有干扰信道，而且是无记忆的。 无记忆的信道指的是在任一时刻的输出符 号只统计依赖于对应时刻的输入符号，而 与其它时刻的输入符号和其它时刻的输出 符号无关。
p( y n | x1 x2 xn y1 y 2 y n1 ) p( y n | xn )
p p
p p
信道线图
X 0 p
1
Y 0 1
p
信息论基础 武汉科技大学
离散单符号信道举例
二元删除信道（BEC） 输入的取值有2个为0、1，输出的取值有3 个为0、1、2(或者?)，定义正确概率p
p(0 | 0) p p(1 | 0) 0 p(2 | 0) p p(0 | 1) 0
b1
a1 a2 ar p (b1 | a1 ) p (b1 | a 2 ) p(b | a ) 1 r
b2
bs
p (bs | a1 ) p (bs | a 2 ) p(bs | a r )
p (b2 | a1 ) p (b2 | a 2 ) p (b2 | a r )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
其中 H ( X | b j )
P(a | b ) log P(a | b )
i 1 i j i j
r
代表在给定条件Y=bj下,有关X的平均不确定性，也就是受 到符号bj后对输入X还存有的疑义。 四、特例 后验概率矩阵各列r个后验概率中，只有一个为1，其 余均为0，则 H ( X | b j ) H (1, 0, 0) 0
PY 0.16
0.64 0.2
用联合概率矩阵各列元素除以对应的输出概率，得到
1 0 0.2 后验概率[ PX |Y ] 0 1 0.8
直接由熵公式求X的熵
H ( X ) 0.2log 0.2 0.8log 0.8 0.7129 bit / 符号
明线 对称平衡电缆（市内） 固体介质 电缆 小同轴（长途） 中同轴（长途） 长波 中波 短波 超短波 移动 1 传输媒介类型 空气介质 视距接力 微波 对流层 散射 电离层 卫星 光波 波导 混合介质 光缆
从输出Y中获得的关于输入X的平均信息量I(X;Y)，等 于X的先验平均不确定性H(X)减去后验平均不确定性 H(X|Y),也就是X的平均不确定性减少量。 由于存在后验平均不确定性H(X|Y)，说明收到输出Y 后对输入X还存有疑义。 此外上式还表明输入X的平均信息H(X)不可能全部到 达输出，由于干扰的存在，从输入来的一部分信息在传输 过程中损失掉了，损失部分就是H(X|Y)
矩阵表示：
输入概率行矩阵[ PX ] [ P(a1 ) P(a2 ) P(ar )] 输出概率行矩阵[ PY ] [ P(b1 ) P(b2 ) P(bs )]
联合概率矩阵 P(a1 , b1 ) P(a1 , b2 ) P(a1 , bs ) P(a , b ) P(a , b ) P(a , b ) 2 1 2 2 2 s [ PXY ] P(ar , b1 ) P(ar , b2 ) P(ar , bs ) 后验概率矩阵 P(a1 | b1 ) P(a1 | b2 ) P(a1 | bs ) P(a | b ) P(a | b ) P(a | b ) 2 1 2 2 2 s [ PX |Y ] P(ar | b1 ) P(ar | b2 ) P(ar | bs )
3.4 信道的疑义度、散布度和平均互信息 3.4.1 信道的疑义度
把H ( X | Y )称为信道 X,PY|X , Y 的疑义度，又称损失熵 损失熵为零的信道称为无损信道
二、意义：
一、定义：
因为I ( X ; Y ) H ( X ) H ( X | Y ) H ( X )
时间连续信道 时间、幅值均连续 简称波形信道或模拟信道
6) 根据信道记忆特性
无记忆信道：输出只与输入有关
有记忆信道：信道当前输出不仅与当前输入有 关，还与以前输入有关
3.2 离散无记忆信道（DMC：Discrete Memoryless Channel）的数学模型 对于DMC，由于各个时刻的传送之间统计独立，只 要用一对相应时刻
P(b
j 1
s
j
| ai ) 1, i 1, 2, r
1-Pe 1 Pe Pe
1 1
四、信道线图：
0 0
1、二进制对称 信道：
x{0,1 }
输入
y 0,1 { }
输出
1-Pe 1
0 1－ p P 0
这时损失熵为
H ( X | Y ) P(b j ) H ( X | b j ) 0
j 1
s
例3.2二进制删除信道
a1
0.8 0.2
b1 b3（ 删除元）
输入概率为 P(a1)=0.2,P(a2)=0.8。求平 均互信息量。
解：
0.2 a2
PX 0.2
0.8
0.8
b2
0.8 0 0.2 转移概率[ PY | X ] 0 0.8 0.2 0.16 0 0.04 联合概率[ PXY ] 0 0.64 0.16
3.1 信道模型与信道分类
一、信道模型
输入X(t)(随机 过程) 输入/输出统 计关系 信道 输出Y(t)(随 机过程)
信息论不研究信号在 信道传输的物理过程，总 是假定输入/输出统计关 系已知，来研究信道传输 信息的特点和能力
噪声干扰 Z(t)(随机过程)
二、信道分类 信道可以从不同角度加以分类，但归纳起来可以分为： 从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户； 等方面加以分类：
X
1 2 r
b , b , b 单符号离散信道数学模 a a , a 型： 噪声干扰 A＝a1a2 , ar : 输入符号集 B b1 , b2 ,bs ：输出符号集
1 2 s
DMC
Y
一、转移概率：因为信道受干扰，对于输入符号ai∈ A,可 能有不同的输出符号bj∈ B与之对应。输入符号ai时，收 到的输出符号bj的可能性用条件概率P(bj|ai)来描述。条件 概率P(bj|ai)来描述了输入至输出状态转移的统计特性，称 为转移概率
故H(X|Y)既代表输出Y后对输入X还存有的疑义，又 代表信道在传输过程中的信息损失，因此，通常把H(X|Y) 称为信道的疑义度或损失熵。 三、计算
H ( X | Y ) P(ai , b j ) I (ai | b j ) P(b j ) H ( X | Y b j )
i, j j
2、二进制删除信道：
P 1 1－ p
2（ 删除元） 1
x1
1
y1 y2
n 1
3、r进制均匀信道：
n 1
xn
1
yn 1 yn
4、Z型信道：
0
1 P
0
1
1－ p
1
3.3 概率的计算问题
r个输入概率：P (ai ); i 1, 2, r s个输出概率：P (b j ); j 1, 2, s r s个联合概率：P (ai，b j )；i 1, 2, r；j 1, 2, s r s个转移概率：P (b j | ai )；i 1, 2, r；j 1, 2, s r s个后验概率：P (ai | b j )；i 1, 2, r；j 1, 2, s
0.16 0 PXY 0 0.64 0.04 0.16
将 PXY 各列元素相加得对应的输出概率矩阵
PY [0.16
0.64 0.2]
后验概率[ PX |Y ] [ PXY ] diag[ PY ]
验证
1
1 0 0.2 0 1 0.8
离散 无记忆 信号类型 连续 半离散 有记忆 半连续 无干扰：干扰少到可忽 略； 无源热噪声 2〉信号与干扰类型 线性叠加干扰 有源散弹噪声 脉冲噪声 干扰类型 有干扰 交调 乘性干扰 衰落 码间干扰
三、转移（概率）矩阵：行对应输入符号，列对应输出符 号 P(b1 | a1 ) P(b2 | a1 ) P(bs | a1 ) P(b | a ) P(b | a ) P(b | a ) 2 2 s 2 1 2 [P |X ] Y P(b1 | ar ) P(b2 | ar ) P(bs | ar )
第三章 信道模型和信道容量
引言 1〉什么是信道？ 信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话 ，二人间的空气就是信道；打电话，电话线就是信道；看 电视，听收音机，收、发间的空间就是信道。 2〉信道的作用 在信息系统中信道主要用于传输与存储信息，而在 通信系统中则主要用于传输。 3〉研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、 分析不同类型信道，计算其容量，即极限传输能力，并分 析其特性。
二、转移概率集合：因为有r个输入和s个输出，状态转移 关系需要用r×s个转移概率来描述，所有这些概率组成的 集合称为转移概率集合，记为：
PY | X P b j | ai | i 1, 2, , r ; j 1, 2, s
DMC的数学模型记为 X , P | X , Y Y
P (b j ) P (ai ) P(b j | ai ) P (ai ) P(b j ) P (ai | b j )
i j
矩阵间的关系：
P ( a1 | b1 ) P ( a1 | b2 ) P ( a1 | bs ) P(a | b ) P(a | b ) P(a | b ) 2 1 2 2 2 s = P ( ar | b1 ) P ( ar | b2 ) P ( ar | bs ) 1 P ( a1 , b1 ) P ( a1 , b2 ) P ( a1 , bs ) P (b1 ) P(a , b ) P(a , b ) P(a , b ) 0 2 1 2 2 2 s 0 P ( ar , b1 ) P ( ar , b2 ) P ( ar , bs ) 0
H ( X | b1 ) H (1, 0) 0; H ( X | b2 ) H (0,1) 0; H ( X | b3 ) H (0.2, 0.8) 0.7219;
恒参信道（时不变信道 ） 3 〉信道参量类型 变参信道（时变信道）