离散信道容量资料

X ,Y
p( xy)
平均互信息 与各类熵之 间的关系：
H(X|Y) ——损失熵
H(Y|X) ——噪声熵
H(XY)
H(X/Y) H(X)
H(Y/X) H(Y)
I(X;Y)
13
[例] 已知信第源三空间节 平均互信息的特性
I (xi ;
yj
)
log
1 P(xi )
log
1 P(xi |
yj)
log
P(xi | y j P(xi )
)
log
P( y j | xi P( y j )
)
yj 对xi 的互信息量定义为后验概率与先验概率比值的对数。
8
平均互信息量
如果将信道的发送和接收端分别看成是两个“信源”， 则两者之间的统计依赖关系，即信道输入和输出之间的 统计依赖关系描述了信道的特性。
离散信道及其信道容量
第一节 信道的数学模型及分类
➢ 信道模型
X
Y
信道{P(y|x)}
X：信道的输入消息集合，称为信道的输入空间， Y：信道的输出消息集合，称为信道的输出空间。
集合{P(y|x)}是描述信道特征的传输概率集合。
第一节 信道的数学模型及分类
（1）无干扰信道：输入信号与输出信号有一一对应关系
第二节 平均互信息
平均互信息与其他熵之间的关系
H (X )＝
X
p(x) log
1; p(x)
H (Y )＝
Y
p( y) log
1 p( y)
H ( X | Y )＝ p( xy)log 1 ; H (Y | X )＝ p( xy)log 1
X ,Y
p( x | y)
X ,Y
p( y | x)
H ( XY )＝ p( xy)log 1
实际信道往往是既有干扰(噪声)又有记忆的这种类型。
例如在数字信道中，由于信道滤波使频率特性不理想时 造成了码字之间的干扰。
在这一类信道中某一瞬间的输出符号不但与对应时刻的 输入符号有关，而且还与此以前其他时刻信道的输入符号及 输出符号有关，这样的信道称为有记忆信道。
[例] 二元对称信道，[BSC，Binary Symmetrical Channel]
此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。
传递概率: P(b1 | a1) P(0 | 0) 1 p p a1=0
P(b2 | a2 ) P(1 | 1) 1 p p
p
P(b1 | a2 ) P(0 | 1) p P(b2 | a1) P(1 | 0) p
p(xi y j ) log2
p ( xi / y j ) p ( xi )
i1 j 1
i1 j 1
称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平
均交互信息量/交互熵）。
X对Y的平均互信息定义为
nm
nm
I(Y; X )
p(xi y j )I ( y j; xi )
p(xi y j ) log2
y
f
(x)，并且P( y
/
x)
1 0
y f (x) y f (x)
第一节 信道的数学模型及分类
（2）有干扰无记忆信道：输入与输出无一一对应关系，
当前输出只与当前输入有关；
N
P(y | x) P(y1y2...yN | x1x2...xN ) P(yi | xi )
i 1
(3) 有干扰(噪声)有记忆信道
互信息量I(xi;yj)是定量研究信息流通问题的重要基础。
它是一个随机变量，不能从整体上作为信道中信息流通 的测度。
平均互信息量的定义
平均互信息量定义：互信息量I(xi;yj)在联合概率空间 P(XY)中的统计平均值。
nm
nm
I (X ;Y )
p(xi y j )I (xi ; y j )
p
a2=1
• p是单个符号传输发生错误的概率。
•（1-p）则是无错误传输的概率。
•
0
1
•
转移矩阵: 0 1- p p
1
p
1 p
1－p
0=b1
1－p
1=b2
对称的特征？
第一节 信道的数学模型及分类
由此可见，一般单符号离散信道的传递概率可 以用矩阵表示:
b1 b2
bs
a1 p11
P
a2
p21
ar
pr1
p12 p22
pr 2
... ...
.wk.baidu.com.
p1s
p2
s
P(bj / ai ) pij
prs
p11
P
p21
...
pr1
p12 p22
pr 2
... ...
...
p1s
p2s
...
prs
s
pij 0
pij 1
j 1
6
第一节 信道的数学模型及分类
（1）联合概率
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
r
P(ai / bj ) 1
i 1
表明输出端收到任一符号，必定是输入端某一符号输入所致
第二节 平均互信息
互信息:
信源发出某符号xi ，由于受噪声的随机干扰，在信道的输出端 输出xi 某种变型yj，这个过程中信道所传送的信息量，即信宿 收到yj 后，从yj 中获取关于xi 的信息量I(xi; yj )。
p( y j / xi ) p(yj )
i1 j1
i1 j1
nm
I(X ;Y )
p(xi y j ) log2
p( xi y j ) p( xi ) p( y j )
i1 j1
nm
nm
nm
p(xi y j ) log2
1 p( xi )
p(xi y j ) log2
1 p(yj )
p(xi y j ) log2
1 p( xi y j )
i1 j1
i1 j1
i1 j1
H (X ) H (Y ) H (XY )
•H(XY)—联合熵。表示输入随机变量X，经信道传输到达信宿，输出随机 变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。
•I(X;Y) —通信前、后整个系统不确定度减少量。在通信前把X和Y看成两 个相互独立的随机变量，整个系统的先验不确定度为X和Y的联合 熵H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传递 统计特性联系起来的、具有一定统计关联关系的两个随机变量， 这时整个系统的后验不确定度由H(XY)描述。
其中 P(bj / ai ) 称为前向概率，描述信道的噪声特性
P(ai / bj ) 称为后向概率，
P(ai ) 先验概率， P(ai / bj ) 后验概率。
（2）输出符号的概率
r
P(bj ) p(ai ) p(bj / ai )
i 1
（3）后验概率
P(ai
/ bj )
P(aibj ) P(bj )