第3章 离散信道及其信道容量(ok) (1)讲解

0
[P]=
1
0
p
1-p
Baidu Nhomakorabea
0 1-p 0
p
p
2
1 1-p
1
3.1 信道的数学模型及分类（公式总结）
（1）联合概率 P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj ) 其中 P(bj / ai ) 称为前向概率，描述信道的噪声特性；
P(ai / bj ) 称为后向概率， 有时也把P(ai )称为先验概率；
3.2 平均互信息
2、互信息及平均互信息
互信息表示收到y后获得关于某事件x的信息量。
I(x;y )

log
p(x | y ) p(x )

log
p(y | x ) p(y )

log
p(xy ) p(x )p(y )
对互信息在联合概率基础上求统计平均即为平均互信息。
I(X;Y )

xy
p(xy )log
…
bm
p(bm/a1) p(bm/a2)
… p(bm/an)
为方便可以写 成
P(bj / ai ) pij
p11 p12 ... p1s
P


p21
p22
...
p2s

...
...

pr1
pr2 ...
prs

3.1 信道的数学模型及分类
[例1] 二元对称信道（BSC）
根据输入端和输出端的关联： （1）无反馈信道 （2）有反馈信道
3.1 信道的数学模型及分类
根据信道参数与时间的关系： 固定参数信道（恒参信道）与时变参数信道（随参信道）
根据输入输出信号的特点 （1）离散信道 （2）连续信道 （3）半离散半连续信道： （4）波形信道
我们只研究无反馈、固定参数的单用户离散信道。
一般简单的单符号离散信道的数学模型可以用概 率空间[X,p(y|x),Y]来描述。
a1 X
ar
P(bj | ai )
b1 Y
bs
3.1 信道的数学模型及分类
表示成矩阵形式：
b1
b2
…
a1 p(b1/a1) p(b2/a1)
…
[P]= a2 p(b1/a2) p(b2/a2)
…
…… …
…
an p(b1/an) p(b2/an)
p(x | y ) p(x )
3.2 平均互信息
3、平均互信息的物理意义：
表示接收端接收到输出符号后平均每个符号获得 的关于X的信息量。
互信息与各类熵之间的关系可以用下图表示：
H(X) H(X|Y)
I(X;Y)
H(Y)
I(X;Y) H(X) H(X |Y) H (Y ) H (Y | X ) H (X ) H (Y ) H (XY)
把 P(ai / bj )称为后验概率。
r
（2）输出符号的概率：P(bj ) p(ai ) p(bj / ai ) i 1
（3）后验概率：
P(ai
/
bj )

P(aibj ) P(bj )
r
P(ai / bj ) 1
i 1
表明输出端收到任一符号，必定是输入端某一符号输入所致。
3.2 平均互信息
第3章 离散信道及其信道容量
3.1 信道的数学模型及分类 3.2 平均互信息 3.3 平均互信息的特性 3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 信源与信道的匹配
3.1 信道的数学模型及分类
1、信道的分类：
根据信道用户的多少，可分为： （1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户，双向通信
X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;
传递矩阵：
二元对称信道模型：
P

1

p
p
p 1 p
1-p
0
0
p
p
1
1
1-p
3.1 信道的数学模型及分类
[例2] 二元删除信道：X={0,1}; Y={0,2,1}
0
2
1
0 1－p p
1、信道疑义度
H
(X
/Y
)

E[H
(X
/
bj )

X ,Y
P(xy) log
1 P(x /
y)
这个条件熵称为信道疑义度，表示输出端在收到一个
符号后，对输入符号尚存的不确定性，这是由信道干扰 造成的，如果没有干扰，H(X/Y)=0,一般情况下 H(X/Y)小于H(X)，说明经过信道传输，总能消除一些 信源的不确定性，从而获得一些信息。
H(Y/X)---噪声熵。 H(X/Y)----损失熵
3.2 平均互信息
H(X/Y) ，也表示通过有噪信道造成的损失，故也 称为损失熵，因此信源的熵等于收到的信息量加上损 失的熵；而H(Y/X)表示已知输入的情况下，对输出端 还残留的不确定性，这个不确定性是由噪声引起的， 故也称之为噪声熵。
H(Y/X)---噪声熵。 H(X/Y)----损失熵
3、单符号离散信道的数学模型
单符号离散信道的输入变量为X，取值于 a1, a2, , ar 输出变量为Y，取值于 b1,b2, ,bs。
并有条件概率 P( y | x) P(bj | ai ), (i 1, 2, , r; j 1, 2, , s) 条件概率被称为信道的传递概率或转移概率。
根据信道模型，可对信道分类如下： （1）无干扰信道：输入信号与输出信号 有一一对应关系
y
f
( x)，并且P(
y
/
x)

1 0
y f (x) y f (x)
（2）有干扰无记忆信道：输入与输出无一一对应关系， 输出只与当前输入有关；
（3）有干扰有记忆信道：这是最一般的信道。
3.1 信道的数学模型及分类
3.1 信道的数学模型及分类
2、离散信道的数学模型
设离散信道的输入为一个随机变量X，相应的输出的随
机变量为Y，如图所示：
规定一个离散信道应有三个参数：
x 输入符号集：X={x1，x2，…，
输出符号集：Y={y1，y2，…，
ymn}}
信道转移概率： P(y/X)
X
P(y/X)
Y
离散信道的数学模型
3.1 信道的数学模型及分类
H(Y|X)
3.2 平均互信息
（1）无噪一一对应信道 此时可以计算得：H(X/Y)=H(Y/X)=0在图一中
表示就是两圆重合。
(2)输入输出完全统计独立 此时I(X;Y)=0 H(X/Y)=H(X) H(Y/X)=H(Y)
3.3 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0
该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。