新编第3章信道及信道容量精选文档PPT课件
合集下载
第03章 信道 58页 0.8M PPT版
• 根据噪声的表现形式可分为单频噪声、 脉冲噪声和起伏噪声。
• (1)单频噪声是一种以某一固定频率出现 的连续波噪声，如50Hz的交流电噪声。
• (2)脉冲噪声是一种随机出现的无规律噪 声，如闪电、车辆通过时产生的噪声。
• (3)起伏噪声主要是内部噪声，而且
•
是一种随机噪声，对它的研究必须
运用概率论和随机过程知识。元器件本
3.2 信道定义
• 广义信道:调制信道、编码信道
编码器输出 调 制 器
发 转 换 器
收
传 输 介质
转 换
器 调 制 信道
编 码 信道
图３．１调制信道与编码信道
解
译 码 器输 入
调
器
３．３ 信道数学模型
• 调制信道模型 •
• 特性： • 1、有一对（或多对）输入端和一对（或
多对）输出端
• 2、信道是线性的，满足叠加原理 • 3、信道有一定的迟延时间，有损耗 • 4、即使没有信号输入，输出端仍有一定
纤通信系统的传输带宽远远大于其它各
种传输介质的带宽，是目前最有发展前 途的有线传输介质。
• 光纤呈圆柱形，由芯、封套和外套三部 分组成(如图所示)。芯是光纤最中心的部 分，它由一条或多条非常细的玻璃或塑 料纤维线构成，每根纤维线都有它自己 的封套。由于这一玻璃或塑料封套涂层 的折射率比芯线低，因此可使光波保持 在芯线内。环绕一束或多束有封套纤维 的外套由若干塑料或其它材料层构成， 以防止外部的潮湿气体侵入，并可防止 磨损或挤压等伤害。
外套
绝缘
包层 纤维芯
光纤结构示意图
• 根据光纤传输数据模式的不同，它可分 为多模光纤和单模光纤两种。多模光纤
意指光在光纤中可能有多条不同角度入 射的光线在一条光纤中同时传播,如图 (a) 所示。这种光纤所含纤芯的直径较粗。
课件：第三章信道及其容量
第三章 信道及其容量
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
第3章信道与信道容量-PPT精品
• 信道种类
1无干扰信道
2有干扰无记忆信道
3有干扰有记忆信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
3
3.1信道分类和表示参数
二进制对称信道（BSC）
1-p 0
p
0 p
1p p
P
p
1p
1
1
1-p
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
X
+
Y
pY(y/ai)
1 e(yai)2/22
2
G
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
6
3.1信道分类和表示参数
波形信道
x(t)
y(t)
+
n(t)
pY(y/x)pY(y1,y2,yL/x1,x2,xL)
pY(y/x)pxp,yx((xx,)y)pxp,yx((xx,)n)pn(n)
p (bj/a i)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
13
3.2离散单个符号信道及其容量
对称信道容量
C＝maIx(X;Y)ma[H x(X)H(X|Y)]
p(ai)
p(ai)
ma[H x(Y)H(Y| X)]
p(ai)
maHx(Y)H(Y/X)
p(ai)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
7
3.2离散单个符号信道及其容量
信息传输率
信道在单位时间内平均传输的信息量定义为信 息传输速率
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
Rt=I(X;Y)/t
《信道及信道容量》PPT课件
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
GO ON
2020/11/12
13
(3) 离散输入连续输出信道 仍是单符号信道，属于半连续半离散信道。
举例：加性高斯白噪声(AWGN)信道 (Addable White Goss Noise)
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
2020/11/12
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
Hc(X) pX (x)log pX (x)dx
Hc
(XY)
p(xy)
log
p(xy)dxdy
Hc
(Y/X)
p(
xy)
log
p(
Y X N , N的概率密度函数是， pN (n)
1
- n2
e 2 2
2
当给定 X ai时，Y是均值为 m ai方差仍为 2的高斯随机变量，
pY ( y | ai )
1
- (y-a i )2
e 2 2
2
2020/11/12
14
(4) 波形信道 输入信号和输出信号用随机过程表示，所以信道模型为:
Hc
(X)
三、 连续信源最大熵定理
1、峰值功率受限的最大熵定理
对于定义域为有限的随机变量X，当它是均匀分布时，其熵
最大。
Hc(X ) pX (x)log2 pX (x)dx log(b a)
2、限平均功率最大熵定理 服从正态分布时具有最大相熵。
p(x)
1
仍是单符号离散信道，符号集中的符号数目大于2 。
GO ON
2020/11/12
13
(3) 离散输入连续输出信道 仍是单符号信道，属于半连续半离散信道。
举例：加性高斯白噪声(AWGN)信道 (Addable White Goss Noise)
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
2020/11/12
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
Hc(X) pX (x)log pX (x)dx
Hc
(XY)
p(xy)
log
p(xy)dxdy
Hc
(Y/X)
p(
xy)
log
p(
Y X N , N的概率密度函数是， pN (n)
1
- n2
e 2 2
2
当给定 X ai时，Y是均值为 m ai方差仍为 2的高斯随机变量，
pY ( y | ai )
1
- (y-a i )2
e 2 2
2
2020/11/12
14
(4) 波形信道 输入信号和输出信号用随机过程表示，所以信道模型为:
Hc
(X)
三、 连续信源最大熵定理
1、峰值功率受限的最大熵定理
对于定义域为有限的随机变量X，当它是均匀分布时，其熵
最大。
Hc(X ) pX (x)log2 pX (x)dx log(b a)
2、限平均功率最大熵定理 服从正态分布时具有最大相熵。
p(x)
1
第三章 信道容量.ppt
输入
X X1X2......X N i a ai1 i2 aiN
Y Y1Y2.....YN
i 1,2,......, nN
X K a1a2 an i1i2......iN 1,2,......, n 输出
YK b1b2 bn
X P(Y X ) Y
j b bj1 j2 bjN
§3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.3 多符号离散信道的信道容量
§3.3.1 多符号离散信道的数学 模型
§3.3.2 离散无记忆扩展信道的信 道容量 §3.3.3 独立并联信道的信道容量
多符号离散信道
多符号信源通过离散信道传输形 成多符号离散信道。
§3.3.1 多符号离散信道的数学模型
1 n
强对称信道与对称信道比较：
强对称
对称
n=m
n与m未必相等
矩阵对称
矩阵未必对称
P=Q
行之和，列之和均 为1
P与Q未必相等 行之和为1
四、准对称信道离散信道的信道容量
若信道矩阵的行是可排列的，但列不可 排列，如果把列分成若干个不相交的子集， 且由n行和各子集的诸列构成的各个子矩阵 都是可排列的，则称相应的信道为准对称 信道。例如下面的矩阵：
§3.2 单符号离散信道的信道容量
§3.3 多符号离散信道的信道容量 §3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.2 单符号离散信道的信道容量 §3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量 §3.2 .3 离散信道容量的一般计算方法
§3.2.1 信道容量的定义
p(b1) p(a1) p(a2 )
p(b2 ) (1 ) p(a2 )
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
第三章 信道79页PPT
18.11.2019
2
编码信道 研究编码和解码的角度定义
图3-1 调制信道与编码信道
需要指出，无论何种广义信道，传输媒质是其主要部分，通 信质量的好坏，主要取决于传输媒质的特性。
18.11.2019
3
信道的分类
有线信道 狭义信道
无线信道
信道
恒参信道
调制信道
广义信道
3
16 MHz
10 Mbit/s
数字
LAN
4
20 MHz
20 Mbit/s
数字
LAN
5
100 MHz 100 Mbit/s 数字
LAN
6
200 MHz 200 Mbit00 MHz 6 00Mbit/s 数字
LAN
三类通常用于以太网和4Mb/s以下的令牌环局域网 。五类支持100Mb/s的
18.11.2019
12
二 无线传输介质
无线传输介质的传输特性不如有线传输介质的传输特性稳定和 可靠，易受干扰，通信中使用的技术也较复杂。无线传输介质 无需物理连接，通信方便和灵活，应用广泛。发送信号的带宽 对传输性能的影响起决定性作用。带宽不同，允许的数据传输 速率也不同。带宽越宽，数据传输速率就越高。
2. 地面微波
微波通信：是指用微波频率作载波携带信息，通过 空间传播进行通信的方式。
特点：微波频率高，带宽宽，信道容量大，数据传 输速率高。
应用：地面微波通信和无线局域网技术中。
频率范围：300MHz～300GHz，应用较多的是2～ 40GHz。
18.11.2019
22
典型的数字微波通信系统参数
频段（GHz）
18.11.2019
信道与信道的容量.ppt
l 1
C(l)
• 独立并联信道容量
C1,2,L max I ( X ;Y )
L
C1 C2 CL Cl
• 高斯白噪声加性信道单位时间的信l1道容量
Ct
1 lim max
T T p( xi )
I ( X ;Y )
W
log(1
Ps ) N0W
16
C max I(X ;Y)（单位为bit/符号） p(ai )
Ct
1 T
max I (X ;Y )（单位为bit
p(ai )
/
秒）
13
• 无嗓无损信道
C
max
p(ai )
I
(
X
;Y
)Biblioteka maxH(
X
)
max
H
(Y
)
log
2
n
• 有嗓无损信道
C
max
p(ai )
I
(
X
;Y
)
max
H
(Y
x(t) 信 道 y(t)
– n(t)：信道的加性高斯白噪声
n(t)
• 一个受加性高斯白噪声干扰的带限波形信道的 容量,由香农(1948)正式定义：
C max{I (X ,Y )} p(x) 10
连续信道及其容量
• 高斯白噪声加性信道单位时间的信道容量
Ct
1 lim max
T T p( xi )
p(Y|X)
X
Y
信道
• 对于无记忆离散序列信道,其信道转移概率为
L
p(Y | X ) p(Y1,YL | X1, X L ) p(Yl | Xl )
第三章信道及信道容量PPT课件
第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
3-1 第3章3.1-3.2 信道模型信道容量ppt
Yi
Y Y1 Y2 YN
15
HUST Furong WANG--- Information and Coding Theory
单符号离散信道
输入随机变量为X ，其取值为x，x x1 , x2 , , xn ; 输出随机变量为Y，其取值为y，y y1 , y2 , , ym 。 信道传递概率为 p y/x =p Y y j / X xi p y j / xi i 1, 2, n ; j 1, 2 m 信道的传递概率又称为转移概率。它是一个条件概率， 且 p y j / xi 0 i 1, 2, n ; j 1, 2, m i 1, 2, n
n 1 N
有干扰有记忆信道：实际信道往往是既有干 扰又有记忆的。（两种处理方式）
14
HUST Furong WANG--- Information and Coding Theory
单符号离散信道
P (Y1 YN | X 1 X N )
P(Yi | X i ) 信道 Xi
X X1 X2 XN
13
HUST Furong WANG--- Information and Coding Theory
有干扰无/有记忆信道
有干扰无记忆信道：信道中存在随机干扰， 输出符号与输入符号之间无确定的对应关系。 但是，信道中任一时刻的输出符号仅统计依 赖于对应时刻的输入符号。可用下述条件概 率表示：
p (y/x) = p (y1 y2 yN / x1 x2 xN ) p( yn / xn )
p和q表示单个符号无错误传输的概率； 1-p和1-q表示单个符号传输中发生错误的概率。
19
HUST Furong WANG--- Information and Coding Theory
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
➢有线信道——电线、电缆、光缆 ➢无线信道——电磁空间——地波传播、天 波传播、视线传播
2020/8/1
4
信道及信道容量
广义信道——包括调制解调、收发转换装置的信道
调制 发转调换制信道媒编介码信道收转换 解调
➢调制信道——连续信道 ➢编码信道——离散信道
2020/8/1
5
信道及信道容量
一、单符号离散信道及信道容量
I(x2 1; y1 0) log P(y1) log P(y1 / x2) log 0.55 log 0.25
1.138(bit )
2020/8/1
13
信道及信道容量
3、平均互信息量
定义
各互信息量的数学期望，也叫交互熵，用I(X;Y)表 示
表示
nm
I(X; Y) E[I(xi ; y j )]
j1
i1 j1
H(Y) H(Y / X)
平均互信息量I(X;Y)反映信道每传输一条消息所携 带的平均信息量，不反映信宿收到某条消息所含信 源发出某条特定消息的信息量
4、平均互信息量的意义
I(X;Y) H(Y) H(Y / X)
条件熵H(Y/X)是信道给出的平均信息量——噪声 熵或信道散布度
2020/8/1
i1 j1
i1 j1
H(X) H(X / Y)
条件熵H(X/Y)是用反信道矩阵形式表示的信道给 出的平均信息量——损失熵或信道疑义度
2020/8/1
16
信道及信道容量
H(X)
H(Y/X) I(X;Y) H(X/Y)
H(Y)
➢以信宿为参考，利用信宿的信息熵和信道的 噪声熵来度量信道中传输的平均信息量
1、单符号离散信道
定义
对应于单符号离散信源和单符号离散信宿的信道
表示
信源——离散型随机变量X 信宿——离散型随机变量Y
2020/8/1
6
信道及信道容量
设X {x1, x 2 , , x n } P(X) {P(x1 ), P(x 2 ), , P(x n )} 随机变量X的取值xi为信源发出的消息 i=1,2,…,n 设Y {y1, y2 , , ym}，通常m n P(Y) {P(y1 ), P(y2 ), , P(ym )} 随机变量Y的取值yj为信宿收到的消息 j=1,2,…,m
信道及信道容量
第3章 信道及信道容量
教学内容和要求 ➢掌握单符号离散信道及平均互信息量，理解其 性质
➢掌握m=n信道、对称信道和准对称信道的信道 容量
➢了解多符号离散信道，掌握N次扩展信道及信道 容量
2020/8/1
1
信道及信道容量
整体概况
概况一
点击此处输入 相关文本内容
01
概况二
点击此处输入 相关文本内容
X P(Y/X) Y
2020/8/1
7
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1)
P(Y / X) P(y1 / x2) P(y2 / x2)
P(y1 / xn ) P(y2 / xn )
P(ym / x1)
P(
ym
/
x
2
)
P(ym / xn )
2020/8/1
8
信道及信道容量
m
其中，0 P(y j / xi ) 1且 P(y j / xi ) 1 i 1,2, , n j1
2020/8/1
9
信道及信道容量
例1
1 p p
P(Y / X)
p
1 p
例2
P(Y
/
X)
1
1 1
2
2 2
➢以信源为参考，利用信源的信息熵和信道的 损失熵来度量信道中传输的平均信息量
平均互信息量I(X;Y)——信息传输率R
2020/8/1
17
信道及信道容量
n
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
1
1
1
2
2020/8/1
10
信道及信道容量
2、互信息量 信源发出消息xi而信宿接收到消息yj，信宿消息yj 所含信源消息xi的信息量
定义
信宿消息yj的概率P(yj)与信源发出消息xi而信宿接 收到消息yj的转移概率P(yj /xi )之差对数的负值， 用I(xi;yj) 表示
2020/8/1
11
信道及信道容量
表示
I(xi ;
y
j)
log
P(y j) P(y j / xi
)
log
P(y
j
)
log
P(y
j
/
xi
)
2020/8/1
12
信道及信道容量
例3
信源P(XX)
0 0.4
1 0.6
Z信道P(Y / X)
1 0.25
0 0.75
信宿消息0所含各信源消息的互信息量
P(y1 0) 0.4 1 0.6 0.25 0.55 I(x1 0; y1 0) log P(y1) log P(y1 / x1) log 0.55 log 1 0.862(bit )
P(xi )P(y j ) P(xi y j )
nm
nm
P(x i y j ) log P(x i )
P(x i y j ) log P(y j )
i1 j1
i1 j1
nm
P(x i y j ) log P(x i y j )
i1 j1
H(X) H(Y) H(XY)
02
概况三
点击此处输入 相关文本内容
03
2
信道及信道容量
➢掌握单符号连续信道及平均互信息量，理解其性 质 ➢掌握高斯加性信道的信道容量和最大信息传输速 率 ➢了解多符号连续信道及信道容量
2020/8/1
3
信道及信道容量
信源
编码
信道
译码
信宿
噪声
信道——传输信号的媒介，信道中通常引入噪声 狭义信道——信号的传输媒介
15
信道及信道容量
n
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / x log
j1
P(xi ) P(xi / y j )
nm
nm
P(x i y j ) log P(x i )
P(x i y j ) log P(x i / y j )
P(xi y j )I(xi ; y j )
i1 j1
nm
nm
P(x i y j ) log P(y j )
P(x i y j ) log P(y j / x i )
i1 j1
i1 j1
2020/8/1
14
信道及信道容量
n
nm
P(y j ) log P(y j )
P(x i y j ) log P(y j / x i )
2020/8/1
4
信道及信道容量
广义信道——包括调制解调、收发转换装置的信道
调制 发转调换制信道媒编介码信道收转换 解调
➢调制信道——连续信道 ➢编码信道——离散信道
2020/8/1
5
信道及信道容量
一、单符号离散信道及信道容量
I(x2 1; y1 0) log P(y1) log P(y1 / x2) log 0.55 log 0.25
1.138(bit )
2020/8/1
13
信道及信道容量
3、平均互信息量
定义
各互信息量的数学期望，也叫交互熵，用I(X;Y)表 示
表示
nm
I(X; Y) E[I(xi ; y j )]
j1
i1 j1
H(Y) H(Y / X)
平均互信息量I(X;Y)反映信道每传输一条消息所携 带的平均信息量，不反映信宿收到某条消息所含信 源发出某条特定消息的信息量
4、平均互信息量的意义
I(X;Y) H(Y) H(Y / X)
条件熵H(Y/X)是信道给出的平均信息量——噪声 熵或信道散布度
2020/8/1
i1 j1
i1 j1
H(X) H(X / Y)
条件熵H(X/Y)是用反信道矩阵形式表示的信道给 出的平均信息量——损失熵或信道疑义度
2020/8/1
16
信道及信道容量
H(X)
H(Y/X) I(X;Y) H(X/Y)
H(Y)
➢以信宿为参考，利用信宿的信息熵和信道的 噪声熵来度量信道中传输的平均信息量
1、单符号离散信道
定义
对应于单符号离散信源和单符号离散信宿的信道
表示
信源——离散型随机变量X 信宿——离散型随机变量Y
2020/8/1
6
信道及信道容量
设X {x1, x 2 , , x n } P(X) {P(x1 ), P(x 2 ), , P(x n )} 随机变量X的取值xi为信源发出的消息 i=1,2,…,n 设Y {y1, y2 , , ym}，通常m n P(Y) {P(y1 ), P(y2 ), , P(ym )} 随机变量Y的取值yj为信宿收到的消息 j=1,2,…,m
信道及信道容量
第3章 信道及信道容量
教学内容和要求 ➢掌握单符号离散信道及平均互信息量，理解其 性质
➢掌握m=n信道、对称信道和准对称信道的信道 容量
➢了解多符号离散信道，掌握N次扩展信道及信道 容量
2020/8/1
1
信道及信道容量
整体概况
概况一
点击此处输入 相关文本内容
01
概况二
点击此处输入 相关文本内容
X P(Y/X) Y
2020/8/1
7
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1)
P(Y / X) P(y1 / x2) P(y2 / x2)
P(y1 / xn ) P(y2 / xn )
P(ym / x1)
P(
ym
/
x
2
)
P(ym / xn )
2020/8/1
8
信道及信道容量
m
其中，0 P(y j / xi ) 1且 P(y j / xi ) 1 i 1,2, , n j1
2020/8/1
9
信道及信道容量
例1
1 p p
P(Y / X)
p
1 p
例2
P(Y
/
X)
1
1 1
2
2 2
➢以信源为参考，利用信源的信息熵和信道的 损失熵来度量信道中传输的平均信息量
平均互信息量I(X;Y)——信息传输率R
2020/8/1
17
信道及信道容量
n
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
1
1
1
2
2020/8/1
10
信道及信道容量
2、互信息量 信源发出消息xi而信宿接收到消息yj，信宿消息yj 所含信源消息xi的信息量
定义
信宿消息yj的概率P(yj)与信源发出消息xi而信宿接 收到消息yj的转移概率P(yj /xi )之差对数的负值， 用I(xi;yj) 表示
2020/8/1
11
信道及信道容量
表示
I(xi ;
y
j)
log
P(y j) P(y j / xi
)
log
P(y
j
)
log
P(y
j
/
xi
)
2020/8/1
12
信道及信道容量
例3
信源P(XX)
0 0.4
1 0.6
Z信道P(Y / X)
1 0.25
0 0.75
信宿消息0所含各信源消息的互信息量
P(y1 0) 0.4 1 0.6 0.25 0.55 I(x1 0; y1 0) log P(y1) log P(y1 / x1) log 0.55 log 1 0.862(bit )
P(xi )P(y j ) P(xi y j )
nm
nm
P(x i y j ) log P(x i )
P(x i y j ) log P(y j )
i1 j1
i1 j1
nm
P(x i y j ) log P(x i y j )
i1 j1
H(X) H(Y) H(XY)
02
概况三
点击此处输入 相关文本内容
03
2
信道及信道容量
➢掌握单符号连续信道及平均互信息量，理解其性 质 ➢掌握高斯加性信道的信道容量和最大信息传输速 率 ➢了解多符号连续信道及信道容量
2020/8/1
3
信道及信道容量
信源
编码
信道
译码
信宿
噪声
信道——传输信号的媒介，信道中通常引入噪声 狭义信道——信号的传输媒介
15
信道及信道容量
n
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / x log
j1
P(xi ) P(xi / y j )
nm
nm
P(x i y j ) log P(x i )
P(x i y j ) log P(x i / y j )
P(xi y j )I(xi ; y j )
i1 j1
nm
nm
P(x i y j ) log P(y j )
P(x i y j ) log P(y j / x i )
i1 j1
i1 j1
2020/8/1
14
信道及信道容量
n
nm
P(y j ) log P(y j )
P(x i y j ) log P(y j / x i )