课件：第三章信道及其容量

第三章 信道及其容量
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
{X , p( y | x),Y}
19
2. 一般信道的模型
X
信道
Y
X (X1, X 2,, X N ) X i : A {a1, a2 ,, ar}
间的统计依赖关系，反映了信道的统计 特性。 * 信道输出概率空间：[Y, p(y)]描述了信道输出符号的取值和 各输出符号的概率分布。
3. 信道描述的物理意义
传递概率 p(y | x) 描述了输入信号和输出信号之间统计依 赖关系，集中体现了信道对输入符号X的传递作用，反 映了信道的统计特性。
信道不同，传递概率不同。
等于0，表示输入符号ai的前提下，信道不
可能输出bj
当
p(b j
|
a )=1 i
等于0，表示输入符号ai的前提下，信道输
出bj是一个确定事件
28
一般简单的单符号离散信道的数学模型可以用概率空间 {X, p(y | x), Y} 加以描述，也可用下图来描述：
29
一般离散单符号信道的传递概率可用矩阵形式表示，即
进一步研究其它各类信道的基础。
17
3.1.2 信道的数学模型
18
1. 信道的数学描述
设离散信道的输入序列为 X (X1, ,XN )，其中 XN ∈符号集A=(a1,a2,…,ar)
相应的输出序列为Y (Y1, ,YN )，其中 YN ∈符号集B=(b1,b2,…,bs)。
信道的特性可用条件概率来描述：
30
传递概率矩阵的表示：P中有些是信道干扰引起的错误概率，
有些是信道正确传输的概率。所以该矩阵又称为信道转移矩阵。
a1 P a2
化 ar
b1
p(b1 | a1)
p(b1
|
a2
)
p(b1
(b2 | a2 )
p(b2 | ar )
bs
p(bs | a1) p(bs | a2 )
P(y | x) = P(y1y2...yN | x1x2...x N ) = P(yi | xi )
i=1
23
(3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的。
例如在数字信道中，由于信道滤波使频率特性不理想
时造成了码字之间的干扰。
在这一类信道中某一瞬间的输出符号不但与对应时刻
7
➢狭义信道：传输信息的物理媒介。 ➢广义信道：除传输媒介外，还包括相关的变换装置(发
送与接收设备、馈线与天线、调制解调器等)。
狭义信道
明线
有线信道
对称电缆 同轴电缆
光缆
各频段电波 无线信道 人造卫星中继
散射信道
其他媒介
各种存储介质 书刊等
8
广义信道又可按其功能划分为： 调制信道(实际信道) 编码信道 等效信道
i=1,2,…,r；j=1,2,…,s
并满足：
s
p(bj | ai ) 0, p(bj | ai ) = 1, i = 1, 2, , r(每行之和等于1)
j=1
上式表示当信道输入为x = ai时，信道的输出y必为b1, b2, , bs中的一个。
这一组条件概率称为单符号离散信道的传递概率(转
移概率)，可以用来描述干扰对信道影响的大小。
的输入符号有关，而且还与此以前其他时刻信道的输入
符号及输出符号有关，这样的信道称为有记忆信道。
此时
N
P(y | x) = P(y1y2...yN | x1x2...xN ) P(yi | xi )
i=1
24
处理有记忆有干扰信道的两种常用方法： 把记忆较强的N个符号当作一个N维矢量，认为各矢 量间无记忆，由此转换成无记忆信道的问题。这样处理 会引入误差，但随着N的增加，引入的误差会减小。 把 p(y | x) 看成马尔科夫链的形式，即有限记忆信道。 此时，信道的统计特性可用在已知时刻的输入符号和前 一时刻所处的状态与信道的输出符号和当时所处状态的 联合条件概率来描述，即用p(ynSn|xnSn-1)来描述，这里Sn 表示信道在n时刻所处的状态(Sn-1表示信道在n-1时刻所 处的状态)， xn表示信道在n时刻的输入， yn表示信道在n 时刻的输出。
p(bs | ar )
简
p11 p21 ps1
P
p12
p22
ps
2
p1r
p2r
psr
传递概率矩阵的含义
由于噪声的随机干扰，信道输入某符号ai的前提下，信道输出 哪一种符号虽然是不确定的，但一定是信道输出符号集 B:(b1,b2,…,bs)中的某一种符号，绝对不可能是符号集B以外的任何 其他符号，即矩阵中每一行之和必等于1。
(5)根据信道是否存在干扰将信道分为：
无扰信道 信道上没有噪声(干扰较小时，近似作为无扰信道。 如计算机与其外设间的数据传输信道)。
有扰信道 存在干扰的信道(大多数实际信道)。
15
* 干扰源
1. 干扰源是对系统中所有噪声和干扰来源的总称。 2. 为了分析方便起见，把在系统其他部分产生的干扰和噪声都等
4
3.1 信道的数学模型与分类
5
一、描述依据 1. 什么是信道？ 信道是传输信息的载体或媒介，也可以说信道是信号所通过的
通道。信息是抽象的，信道则是具体的。比如：二人对话，二人 间的空气就是信道；打电话，电话线就是信道；看电视，听收音 机，收、发间的空间就是信道。
2. 信道的作用 ① 信道的任务是以信号方式传输信息和存储信息。 ② 在通信系统中信道主要用于传输信息。
几种信道如下图所示。本课程关注编码信道。
9
• 输入端：二接、收信信源道的一• 般输出模端型：向信宿输
发出的消息符号。
出消息符号。
干扰源
信 源
编 码 器
调 制 器
物理 信道
解 调 器
译 码 器
信 宿
实际信道
编码信道 等效信道
* 数字通信系统的一般模型
10
调制信道是数字通信系统中从调制器输出端到解调器输入 端之间的部分，调制信道也叫实际信道，是信号传输的物理 媒介(包括干扰源在内) 。
3
信道是信息传送的载体——信号通过信道传送。信道的 作用是以信号方式传输信息和存储信息。
在通信系统中研究信道，是为描述、度量、分析不同类 型的信道，计算其能够传输的最大信息量(信道容量)，认识 并利用其特点。 本章重点内容
信道的分类 离散信道的统计特性和数学模型 平均互信息及其性质 信道容量的概念及几种典型信道的信道容量计算方法 信源与信道的匹配 有噪信道编码定理——香农第二定理
6
3. 研究信道的目的 ① 信息熵解决了定量估算信源每发出一个符号提供的平均信 息量这个信源的核心问题。 ② 但对于由信源、信道和信宿组成的通信系统来说，最根本 的问题，还在于如何定量估算信宿收到消息后，从消息中 获取多少信息量的问题，也就是信息传输问题。 ③ 在通信系统中研究信道，主要是为了描述、度量、分析不 同类型信道，计算信道容量，即信道中能够传送或存储的 最大信息量，并分析其特性。
p(y | x)
p(y | x) 1
Y (Y1,Y2 ,,YN ) Yj : B {b1, b2 ,, bs}
y
图 离散信道的数学模型 X, p(y | x), Y
可用三组变量描述一般信道。 * 信道输入概率空间：[X, p(x)]描述了信道输入符号的取值和
各输入符号的概率分布。 * 信道传递(转移)概率：p(y | x)描述了输入符号和输出符号之
s
p(bj | ai ) 1
j 1
(3)根据信道的统计特性将信道分为：
恒参信道 信道的统计特性不随时间变化(卫星信道)。 随参信道 信道的统计特性随时间变化(微波信道) 。
(4)根据信道用户数量的不同将信道分为：
两端(单用户)信道 一个输入端和一个输出端的单向信道。 多端(多用户)信道 输入端和输出端中至少一端有两个以上用 户，并且可以双向通信的信道(大多数实际信道)。
根据信道的统计特性即条件概率p( y | x) 的不同，离散信道 又可分成以下三种：
无干扰信道(无噪信道)
有干扰无记忆信道
有干扰有记忆信道
(1)无干扰(噪声)信道 信道中没有随机性的干扰或者干扰很小，输出信号与 Y
输入信号 X 之间有确定的、一 一对应的关系。即：
y = f (x)
条件概率满足
P(y
编码信道是数字通信系统中从编码器输出端到译码器输入 端之间的部分。其中的编码器包括信源编码器和信道编码器， 而译码器则包括信道译码器和信源译码器。
等效信道则是数字通信系统中从信源输出端到信宿输入端 之间的部分。等效信道包括了信源编码器、信道编码器、编码 信道、信道译码器和信源译码器。
11
信道研究的内容包括： ①研究编码信道的特性。 ②研究由信道编译码器和信源编译码器组成的等效信道 的特性。 从编译码的角度来看编码信道：编码器的输出是某一数 字序列，译码器的输入也是某一数字序列。故在数字通信 系统中，编码信道(从编码器输出端到译码器输入端)可表 示为对一数字序列进行变换的结点。 由于存在噪声干扰，信道的输入|输出信号之间呈现统计 依赖关系，而非确定的函数关系。因此，如果已知信道输 入、输出信号特性，以及它们之间的统计依赖关系，则可 以确定信道的全部特性。
25
3.1.3 单符号离散信道
26
单符号信道是最简单的信道，其输入与输出都是单
个符号。
单符号离散信道：
输入符号为X，取值于输入符号集A={a1,a2, …,ar}。 输出符号为Y，取值于输出符号集B={b1,b2, …,bs}。 条件概率：P(y|x)＝P(y=bj|x=ai)＝P(bj|ai)
12
3.1.1 信道的分类
13
(1)根据载荷消息的媒体不同将信道分为 ：
邮递信道 电信道 光信道 声信道 ……
(2)根据输入|输出信号的时间特性和取值特性将信道 分为：
离散信道 输入、输出随机变量的取值均离散。 连续信道 输入、输出随机变量的取值均连续。 半离散或半连续信道 输入与输出中一个为离散随机变量， 另一个为连续随机变量。 波形信道 输入与输出是时间上连续的随机信号{x(t),y(t)} 即输入、输出随机变量均为连续，且随时间连续变化。 14
27
由 于 信 道 中 有 干 扰 ( 噪 声 ) 存 在 ， 可 以 用 r×s 个 传 递 概 率 P(bj|ai)组成的传递(转移)概率矩阵P来描述干扰对符号传递的 具体影响(随后给出)。
传递概率满足0 p(b | a ) 1,i 1, , r, j 1, ,s
j
i
当
p(b j
| a )=0 i
p(b1 | a1) P
p(b1 | ar )
p11 P
pr1
p(bs
|
a1
)
，若记p
(b
j
| ai )
pij ,
则
p(bs | ar )
p1s
，且满足pij
s
0，
pij 1，i 1,
,r
prs
j 1
P中有些是信道干扰引起的错误概率，有些是信道正确 传输的概率。所以该矩阵又称为信道转移矩阵。