信息论与编码zjh09zjh第三章1PPT课件

b1
b2
bm
a1 p(b1 | a1) p(b2 | a1) p(bm | a1)
P
a2
p(b1 |
a2
)
p(b2 | a2)
p(bm | a2)
an
p(b1
|
an
)
p(b2 | an)
p(bm | an)
m
p(bj | ai ) 1
j 1
i 1,2,n
2021/2/12
10
反信道转移概率矩阵 已知Y,信道输入X表现出来的统计特性
第三章
信道与信道容量
信道是通信系统中的重要部分，是传输信息的载体，其 任务是以信号方式传输信息、存储信息。因而研究信道 就是研究信道中理论上能够传输或存储的最大信息量， 及信道容量问题。
2021/2/12
1
内容
3.1 信道的基本概念 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量 3.5 信源与信道的匹配
a1
a2
an
b1 p(a1 | b1)
P
b2p(a1 | Fra bibliotekb2)
p(a2 | b1) p(a2 | b2)
p(an | b1)
p(an
|
b2
)
bm
p(a1
|
bm
)
p(a2 | bm)
p(an | bm)
• p(ai|bj):后向概率
– 已知信道输出端接收到符号bj但发送的输
入符号为ai的概率。
2021/2/12
11
（3） 离散输入、连续输出信道
由离散输入X、连续输出Y以及一组条件 概率密度函数p(y/X=xi), i=0,1,…,q-1来决定。
Y X G
高斯白噪声信道
式中G是一个均值为零，方差为 2 的高斯随
机方变 差量 为。 当2 的X高 斯ai给随定机后变，量Y，是即一其个概均率值密为度ai函，
2021/2/12
2
3.1 信道的基本概念
研究信道容量主要考虑信道中干扰的影响，由于信 道中存在的干扰使输出信号与输入信号之间没有固 定的函数关系，只有统计依赖关系，因此可以通过 研究分析输入输出信号的统计特性来研究信道。
2021/2/12
3
3.1.1 信道的分类
（1）根据用户数量可分为 单用户信道：一个输入端,一个输出端,单向通信信道。 多用户信道：双向通信，三个或更多个用户之间相互通信 的情况。 （2）根据输入端与输出端的关系可分为 无反馈信道：输出端信号不反馈到输入端，输出信号对输 入信号没有影响。
信道转移概率：
p(0|0) = 1－p p(1|1) = 1－p
p(0|1) = p p(1|0) = p
1-p
0
0
p
p
1
1
1-p
01
无错误传1输p的概p 率 0 传输P发生 错p 误1的 p概 率1
2021/2/12
8
（2）离散无记忆信道DMC
信道输入是n元符号， X∈{a1, a2, …, an}，信道 输出是m元符号， Y∈{b1, b2, …, bm} 转移矩阵
每个输出信号只与当前输入信号之间有转移概率关系，
而与其他非该时刻的输入信号、输出信号都无关也就是 无记忆。
2021/2/12
7
由输入输出信号的符号数目（等于2、大于2还是趋于∞），又可 进一步区分出如下信道模型：
（1）二进制离散信道BSC 输入符号X取值{0,1}；输出符 号Y取值{0,1} ，这是一种对称 的二进制输入、二进制输出信 道。所以叫做二进制对称信道 (binary symmetric channel， BSC），输出比特仅与对应的 一个输入比特有关，因而是无 记忆的。
数为
p( y / X ai )
1
e( y ai )2 / 2 2
2
2021/2/12
12
（4）波形信道
其输入是模拟波形，其输出也是模拟波形。对于加性噪 声单符号信道可表示为：
y(t)＝x(t)+n(t)
3）有干扰有记忆信道
实际信道中，当信道特性不理想，存在码间干扰，输出 符号不但与当前的输入信号有关，还与以前的输入信号 有关。处理方法： （1）将记忆很强的L个符号当矢量符号，各个矢量符号 之间认为是无记忆的，L越大误差越小。 （2）将转移概率p(Y/X)看成马尔可夫链的形式，处理 方法很复杂，取一阶时稍简单。
突发差错信道：噪声、干扰的前后影响是前后相关的，错误 也是成串出现的。 （5）按输入/输出信号在幅度和时间上的取值: 离散信道：输入和输出的随机序列取值都是离散的信道 连续信道：输入和输出的随机序列取值都是连续的信道 半离散(半连续)信道：输入变量取值离散而输出变量取值连续 或输入变量取值连续而输出变量取值离散
p(Y|X)
X
Y
信道
2021/2/12
6
根据信道是否存在干扰以及有无记忆，可将信道分为：
1）无干扰(无噪声)信道
信道的输出信号Y与输入信号X之间有确定的 关系Y=f (X),已知X后就确知Y 转移概率:
2）有干扰无记忆信道
信道的输出信号Y与输入信号X之间没有确定的关系,但转 移概率满足:
p(Y | X ) p( y1 | x1) p( y2 | x2 ) p( yL | xL )
波形信道：信道的输入和输出都是一些时间上连续的随机信 号。 广义的信道可以指简单的一段线路，也可以指包含了设备 的复杂系统，即使在同一个通信系统中，也可以有不同的 划分，当然对不同的划分，信道信号呈现出不同的特点。
2021/2/12
5
3.1.2 信道参数
设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an}， 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}，条件概率 p(Y|X)描述输入/输出的统计依赖关系,在分析信道问 题时，该条件概率通常叫做转移概率。
b1 b2 bm
p11 p12 p1m a1
P
p21
p22
p2m
a2
pn1
pn2
pnm
an
2021/2/12
p11
a1
p12
p21
a2
p22
: : :
an
pnm
pij=p(bj|ai)
b1 b2
: : :
bm
9
转移概率矩阵
已知X，信道输出Y表现出来的统计特性完全描述了 信道的统计特性,其中有些概率是信道干扰引起的错 误概率,有些是正确传输的概率
反馈信道：输出信号通过一定途径反馈到输入端，致使输 入端的信号发生变化。 （3）根据信道的统计特性是否随时间变化分为： 固定参数信道：信道的统计特性不随时间变化。光纤、电 缆信道。
时变参数信道：信道的统计特性随时间变化。无线电信道 的参数会因天气、周围环境的变化而发生较大变化。
2021/2/12
4
（4）根据信道中所受噪声种类可分为： 随机差错信道：噪声独立随机的影响每个传输码元，如以高 斯白噪声为主体的信道。