信息论-基础理论与应用第三版(傅祖芸)-第三章PPT课件

(3) 有干扰(噪声)有记忆信道
实际信道往往是既有干扰(噪声)又有记忆的这种类 型。
例如在数字信道中，由于信道滤波频率特性不理 想时造成了码字间串扰。
在这一类信道中某一瞬间的输出符号不但与对应时 刻的输入符号有关，而且还与此以前其他时刻信道的 输入符号及输出符号有关，这样的信道称为有记忆信 道。
三、单符号离散信道
3.1 信道的数学模型和分类
干扰源
信源
编码器 调制器 物理信道 解调器 译码器
信宿
实际信道
编码信道 等效信道
数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道 电、磁信道 光信道 声信道
根据信道用户的多少
单用户（两端）信道
一个输入端和一个输出端的 单向通信；
多用户信道
至少有一端有两个以上的用 户，可以是双向通信；（计算机 通信、卫星通信、广播通信等）
• 转移矩阵:
0
0 1 - p
1
p
1
p
1
p
[例]二元删除信道。[BEC，Binary Eliminated
Channel]
0
p
0
1－p
解：X:{0，1} Y:{0，1，2}
2
此时，r ＝2，s ＝3， 传递矩阵为：
1－q
1
q
1
021
0 p 1 p 0 1 0 1q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
单符号离散信道特性：
➢ 输入符号为X，取值于{a1,a2, …,ar} ➢ 输出符号为Y，取值于{b1,b2, …,bs} ➢ 条件概率：P(y|x)＝P(y=bj|x=ai)＝P(bj|ai)
这一组条件概率称为信道的传递概率或转移 概率。
信道中有干扰(噪声)存在，可以用传递概率 P(bj|ai) 来描述干扰影响的大小。
一般简单的单符号离散信道可用 X, P(y|x) , Y
三者加以表述，其数学模型可以用如下概率空间
[X, P(y|x) ,Y]
也可用图形来描述：
a1
a2
X
.
.
ar
P(bj/ai) 单符号离散信道
b1 b2 .Y . bs
信道矩阵（转移矩阵）模型
一般离散单符号信道的传递概率可用矩阵形式表 示，即
b1
我们只研究： 无反馈、固定参数的单用户离散信道。
信道分析的方法
信源输出的是携带者信息的消息，而消息必须首 先转换成能在信道中传输或存储的信号，然后经过信 道传送到接收者。
一般认为，噪声或干扰主要从信道中引入，它使信 号通过信道传输后产生错误和失真。
因此，信道的输入和输出信号之间一般不是确定的 函数关系，而是统计依赖关系。只要知道信道的输入 信号、输出信号，以及它们之间的统计依赖关系，那 么信道的全部特性就确定了。
二、离散信道的数学模型
条件概率 P(y|x) 描述了输入信号和输出信号之间统计 依赖关系，反映了信道的统计特性。根据信道的统计特性 的不同，离散信道又可分成3种情况：
1.无干扰信道 2.有干扰无记忆信道 3.有干扰有记忆信道
(1)无干扰(无噪声)信道
信道中没有随机性的干扰或者干扰很小，输出符号
y 与输入符号 x 之间有确定的、一 一对应的关系。即： y ＝ f (x)
pij0
s
pij1 (各列元素 1之 ) 和
j1
矩阵P完全描述了信道的特性，可用它作为离散单符号信道
的另一种数学模型的形式。矩阵 P中元素有些是信道干扰引起
的错误概率，有些是信道正确传输的概率。
[例] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率:
（2）输出某符号的概率 r P(bj) p(ai)p(bj /ai) i1
p(b1) p(a1)
p(b2)PT p(a2)
... ...
p(bs)
p(ar)
(传递矩 P:r阵 s, PT:sr)
（3）后验概率
根据贝叶斯定理，可知：
b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1)
a2 P(b1|a2) P(b2|a2) … P(bs|a2)
… …. … …
p11 p12 ... p1s
P
p 21
p22 ...
p
2
s
wenku.baidu.com
: : : :
p
r1
pr 2 ...
p
rs
ar P(b1|ar) P(b2|ar) … P(bs|ar)
单符号离散信道的相关概率关系
（1）联合概率
P ( a ib j) P ( a i) P ( b j/a i) P ( b j) P ( a i/b j)
其中
P (b j / ai ) 前向概率，描述信道的噪声特性 P ( a i ) 输入符号的先验概率 P (ai / b j ) 后向概率（后验概率）
信道参数与时间的关系
固定参数信道 时变参数信道
根据输入端和输出 端的关联
无反馈信道 有反馈信道
根据输入输出信号的 特点
离散信道
（离散随机序列-离散随机序列）
连续信道
（连续值随机序列-连续值随机序列）
半离散半连续信道
（离散随机序列-连续值随机序列）
波形信道（模拟信道）
（时间、取值连续随机信号时间、取值连续随机信号）
P (y|x)fun(x c ,y)t i 1 0 oy y n ff((x x ))
(2) 有干扰无记忆信道
信道输入和输出之间的条件概率是一般的概率分布。 如果任一时刻输出符号只统计依赖于对应时刻的输入符 号，则这种信道称为无记忆信道。
N
P (y|x ) P (y 1 y 2 .y .N .|x 1 x 2 .x .N .) P (y i|x i) i 1
第三章 离散信道及其信道容量
第一节 信道的数学模型及分类 第二节 平均互信息 第三节 平均互信息的特性 第四节 信道容量及其计算方法 第五节 离散无记忆扩展信道及其信道容量 第六节 信源与信道的匹配
信道的任务： 以信号方式传输信息和存储信息。
研究内容： 信道中能够传送或存储的最大信息量，即信道容量。
P(b1 | a1) P(0 | 0) 1 p p a1=0
P(b2 | a2) P(1| 1) 1 p p
P(b1 | a2) P(0 | 1) p
P(b2 | a1) P(1| 0) p
a2=1
• p是单个符号传输发生错误的概率。
1－p
p p
1－p
0=b1 1=b2
•（1-p）表示是无错误传输的概率。