信息论 基础理论与应用第三版 傅祖芸

3.1 信道的数学模型和分类
干扰源
信源
编码器 调制器 物理信道 解调器 译码器
信宿
实际信道
编码信道 等效信道
数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道 电、磁信道 光信道 声信道
根据信道用户的多少
单用户（两端）信道
一个输入端和一个输出端的 单向通信；
多用户信道
至少有一端有两个以上的用 户，可以是双向通信；（计算机 通信、卫星通信、广播通信等）
平均互信息I(X; Y)：
接收到符号 Y 后, 平均每个符号获得的关于 X 的信息 量，体现输入与输出两个随机变量间的统计约束程度。
I(X;Y) E I(x; y) P(xy)I(x; y)
X ,Y
X ,Y
P(xy)log p(x| y) P(xy)log p(y | x)
第三章 离散信道及其信道容量
第一节 信道的数学模型及分类 第二节 平均互信息 第三节 平均互信息的特性 第四节 信道容量及其计算方法 第五节 离散无记忆扩展信道及其信道容量 第六节 信源与信道的匹配
信道的任务： 以信号方式传输信息和存储信息。
研究内容： 信道中能够传送或存储的最大信息量，即信道容量。
H ( X
| bj )

r i1
P(ai
| bj ) log
1 P(ai | bj )

X
1 P(x | bj ) log P(x | bj )
( j 1,2,...,s)
后验熵是当信道接收端接收
到 输 出 符 号 bj 后 ， 关 于 输 入 符 号 的不确定性的信息测度。
信道疑义度：
1yf(x) P (y|x)f u n(x c ,y)t i 0 oy nf(x)
(2) 有干扰无记忆信道
信道输入和输出之间的条件概率是一般的概率分布。 如果任一时刻输出符号只统计依赖于对应时刻的输入符 号，则这种信道称为无记忆信道。
N
P (y|x ) P (y 1 y 2 .y .N .|x 1 x 2 .x .N .) P (y i|x i) i 1
X ,Y
p(x) X,Y
p(y)
P(xy)log p(xy)
X ,Y
p(x)p(y) j
i
p(xi
yj
)log
p(xi yj ) p(xi ) p(yj
)

j
i
p(xi
yj
)log
p(xi | yj p(xi )
)

j
i
p(xi
yj
)log
p(yj | xi p(yj )
3.2 信道疑义度与平均互信息
研究离散单符号信道的信息传输问题。
一、信道疑义度
先验熵：即信道输入信源X的熵
H (X )i r1P (a i)lo P ( 1 g a i) XP (x )lo P (g x )
H(X)是在接收到输出Y以前，关于输入变量X的先 验不确定性。
后验熵：
接收到bj后，关于输入变量X的不确定性。
= 0，表示在信道输出端接收到符号后不获得任何关于输入符号 的信息。
平均互信息与各类熵的关系
I(X;Y)
p(xy)logp(x| y)
X,Y
p(x)
I(X;Y) = H(X) - H(X|Y)
p(xy)logp(y| x)
X,Y
p(y)
I(X;Y) = H(Y) - H(Y|X)
p(xy)log p(xy)
单符号离散信道特性：
➢ 输入符号为X，取值于{a1,a2, …,ar} ➢ 输出符号为Y，取值于{b1,b2, …,bs} ➢ 条件概率：P(y|x)＝P(y=bj|x=ai)＝P(bj|ai)
这一组条件概率称为信道的传递概率或转移 概率。
信道中有干扰(噪声)存在，可以用传递概率 P(bj|ai) 来描述干扰影响的大小。
p ( x ) X ,Y
p(x | y)
p ( xy ) log p ( x | y ) p ( xy ) log p ( y | x )
X ,Y
p ( x ) X ,Y
p(y)
p ( xy )
p ( xy ) log
X ,Y
p(x) p(y)
I(X;Y)是I (x ; y)的统计平均，可以证明I(X;Y)≥0 。 若I(X;Y)
)
另一角度：平均互信息=通信过程所消除的不确定性：
I(X ;Y ) H (X ) H (X |Y )
p ( x ) log 1 p ( xy ) log 1
X
p ( x ) X ,Y
p(x | y)
p ( xy ) log 1 p ( xy ) log 1
X ,Y
X,Y
p(x)p(y)
I(X;Y) = H(X) + H(Y) - H(XY)
其中：
H ( X |Y ) ＝ p ( x ) ly o1 g;H ( Y |X ) ＝ p ( x ) ly o1 g
X ,Y
p ( x |y )
X ,Y
p ( y |x )
H(XY )＝ p(xy)log1
（3）后验概率
根据贝叶斯定理，可知：
P(ai
/
bj
)

P(aibj ) P(bj )

P(ai)P(bj |ai)
r
P(ai)P(bj |ai)
i1
(其中P(bj)0,i 1,2,...r,; j 1,2,...s,)
且
含义：
r
P(ai / bj ) 1
i 1
输出端收到的某符号，必是输入端某一符号输入所致。
信道参数与时间的关系
固定参数信道 时变参数信道
根据输入端和输出 端的关联
无反馈信道 有反馈信道
根据输入输出信号的 特点
离散信道
（离散随机序列-离散随机序列）
连续信道
（连续值随机序列-连续值随机序列）
半离散半连续信道
（离散随机序列-连续值随机序列）
波形信道（模拟信道）
（时间、取值连续随机信号时间、取值连续随机信号）
P (ai / b j ) 后向概率（后验概率）
（2）输出某符号的概率 r P(bj) p(ai)p(bj /ai) i1
p(b1) p(a1)
p(b2)PT p(a2) ... ...
p(bs)
p(ar)
(传递矩 P:r阵 s, PT:sr)
我们只研究： 无反馈、固定参数的单用户离散信道。
信道分析的方法
信源输出的是携带者信息的消息，而消息必须首 先转换成能在信道中传输或存储的信号，然后经过信 道传送到接收者。
一般认为，噪声或干扰主要从信道中引入，它使信 号通过信道传输后产生错误和失真。
因此，信道的输入和输出信号之间一般不是确定的 函数关系，而是统计依赖关系。只要知道信道的输入 信号、输出信号，以及它们之间的统计依赖关系，那 么信道的全部特性就确定了。
信道传递概率
1 p(y|x) 0
yf(x) yf(x)
P(x| y) P(xy) (p(y) 0) P(y)
Байду номын сангаас

P(x)P(y| x)
P(x)P(y| x)
X

P(x)P(y| x)
P(x)P(y| x)

0
X P(x)P(y|
1 0
x)
对应某y，只有一个p(x|y)!=0
H(Y)
图中，左边的圆代表随机 变量X的熵，右边的圆代 表随机变量Y的熵，两个 圆重叠部分是平均互信息
I(X;Y)。每个圆减去I(X;Y)
后剩余的部分代表两个疑 义度。
两种特殊信道分析
（1）离散无干扰信道 ( 无损信道 )
信道的输入和输出一一对应，信息无损失传输。
f
输入 A a 符 1 ,a 2 ,.a r .号 .,输 集 出 B b 1 符 ,b 2 ,.b s . 号 ,（ .r , s ） 集
logp(x| y)logp(xy) logp(y|x)
p(x)
p(x)p(y)
p(y)
互信息量表示先验的不确定性减去尚存的不确定性，是 收信者获得的信息量。
若互信息I(x ; y)<0，说明在收到信息量y以前对消息x是
否出现的不确定性较小；但由于信道噪声的存在，反而使得
接收到消息y后，反而对x是否出现的不确定程度增加了。
•（1-p）表示是无错误传输的概率。
• 转移矩阵:
0
0 1 - p
1

p
1
p
1
p

[例]二元删除信道。[BEC，Binary Eliminated
Channel]
0
p
0
1－p
解：X:{0，1} Y:{0，1，2}
2
此时，r ＝2，s ＝3， 传递矩阵为：
1－q
1
q
1
021
0 p 1 p 0 1 0 1q q
s
pij0
pij1 (各列元素 1之 ) 和
j1
矩阵P完全描述了信道的特性，可用它作为离散单符号信道
的另一种数学模型的形式。矩阵 P中元素有些是信道干扰引起
的错误概率，有些是信道正确传输的概率。
[例] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率:
b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1)
a2 P(b1|a2) P(b2|a2) … P(bs|a2)
… …. … …
p11 p12 ... p1s
P


p 21
p 22
...
p
2
s

: : : :

p
r1
pr2
...
p rs

ar P(b1|ar) P(b2|ar) … P(bs|ar)
二、离散信道的数学模型
条件概率 P(y|x) 描述了输入信号和输出信号之间统计 依赖关系，反映了信道的统计特性。根据信道的统计特性 的不同，离散信道又可分成3种情况：
1.无干扰信道 2.有干扰无记忆信道 3.有干扰有记忆信道
(1)无干扰(无噪声)信道
信道中没有随机性的干扰或者干扰很小，输出符号
y 与输入符号 x 之间有确定的、一 一对应的关系。即： y ＝ f (x)
y f (x) y f (x)

i1
j1 P(aibj ) log P(ai | bj )
P(xy) log 1
X ,Y
P(x | y)
互二信、息平量均I(互x ;信y)：息
收到消息y 后获得关于x的信息量，即消除的不确定性量 。
I(x;y)I(x)I(x| y)log1 log 1 p(x) p(x| y)
一般简单的单符号离散信道可用
X, P(y|x) , Y 三者加以表述，其数学模型可以用如下概率空间
[X, P(y|x) ,Y]
也可用图形来描述：
a1
a2
X
.
.
ar
P(bj/ai) 单符号离散信道
b1 b2 .Y . bs
信道矩阵（转移矩阵）模型
一般离散单符号信道的传递概率可用矩阵形式表 示，即
b1
(3) 有干扰(噪声)有记忆信道
实际信道往往是既有干扰(噪声)又有记忆的这种类 型。
例如在数字信道中，由于信道滤波频率特性不理 想时造成了码字间串扰。
在这一类信道中某一瞬间的输出符号不但与对应时 刻的输入符号有关，而且还与此以前其他时刻信道的 输入符号及输出符号有关，这样的信道称为有记忆信 道。
三、单符号离散信道
P(b1 | a1) P(0 | 0) 1 p p a1=0
P(b2 | a2) P(1| 1) 1 p p
P(b1 | a2) P(0 | 1) p
P(b2 | a1) P(1| 0) p
a2=1
• p是单个符号传输发生错误的概率。
1－p
p p
1－p
0=b1 1=b2
X,Y
p(xy)
维拉图： 可用于各类熵与平均互信息之间关系 H(X|Y) = H(X) - I(X;Y) 损失熵 / 信道疑义度 H(Y|X) = H(Y) - I(X;Y) 噪声熵 / 散布度 H(XY) = H(X)+H(Y)- I(X;Y)
H(XY)
H(X|Y) I(X;Y)
H(X)
H(Y|X)
后验熵在输出符号集Y范围内是随机量。对后验熵 在符号集Y中求数学期望，即--信道疑义度：
s
H (X |Y ) E [H (X |b j) ] P (b j)H (X |b j) j 1
js 1P (bj)i r1P (ai |bj)loP g (ai1|bj)
r
s
1
符号“2”表示接收到了“0”、“1”以外的特殊符 号
单符号离散信道的相关概率关系
（1）联合概率
P ( a i b j) P ( a i) P ( b j/a i) P ( b j) P ( a i/b j)
其中
P (b j / ai ) 前向概率，描述信道的噪声特性 P ( a i ) 输入符号的先验概率