信息论基础复习

dwk.baidu.comf
n 特别 1、无记忆信源： H ( X ) H ( X 1 )
2、k阶平稳马氏信源：
H ( X ) H ( X k 1 | X1, X 2 ,, X k )
k＝1时： H ( X ) H ( X 2 | X1) 注：会计算平稳马氏信源的平稳分布及熵率
上一页 下一页 22
上一页 下一页 7
一般无记忆加性噪声信道
当加性噪声功率为EZ =N ,输入功率约束为EX P时 信道容量也可定义为：
2 2
C = max I ( X ; Y ) 2
f (x ):EX P
或等价地表示为： C = max ( h(Y ) h( Z )) 2
f (x ):EX P
由于有相同功率约束高斯信道是其特例，所以
二、变长码
变长码的定义、有限扩张码、唯一可译码、
平均码长 即时码及存在的充要条件 Kraft不等式：
m
D - li 1
i =1
码树、用树图法进行编码
最优码长定理
上一页 下一页 26
三、编码方法
1、Huffman码 熟练掌握编码方法、了解该方法的特点、优势
和不足 (特别注意补虚元的问题)
2、算术码 掌握香农－法诺编码方法 3、通用信源编码 了解LZ算法、LZW算法的基本原理和具体方法
当Z1 , Z 2 ,独立同分布时,称信道为无记忆加性噪声信道.
特别地,如果它们的公共分布是正态分布N(0,N )时,
该信道称为无记忆高斯信道,这样的噪声称白噪声.
上一页 下一页 3
如果噪声Zi的方差为0,则可以实现无干扰传输,
由于X i 取值于实数R,因此,信道容量为无穷.
因此通常对信道输入应有某种约束，最常用的 输入代价的约束是能量（或功率）的约束为：
6.4 高斯信道
中心极限定律告诉我们,大量随机小干扰引起的噪声,
其概率分布接近于高斯分布,因此研究高斯信道至为重要
6.4.1 有加性噪声的信道模型和信道容量
连续信道的输入和输出为随机过程X (t )和Y (t )， 设Z (t )为随机噪声，则简单的加性噪声信道模型可表示为
Y (t )＝X (t ) Z (t )
Zi
X i Yi
上一页 下一页 2
其输入序列为X 1 , X 2, , 输出序列为Y1 , Y2 ,,
输入和输出序列有以下关系 : Yi X i Zi
其中Z ( Z1 , Z 2 ,...)与X ( X 1 , X 2 ,...)相互独立.
当Z是平稳过程时,称该信道为平稳信道;
I ( X ;Y | Z )
互信息的简单性质： 1、非负性 2、链法则 3、数据处理不等式
上一页 下一页 18
各种熵及互信息的相互关系：
H ( X ,Y ) H(X | Y) H (Y | X )
X
Y
H(X )
I ( X ;Y )
H (Y )
注：此图表示了一些等式和不等式的关系，能 够写出并从信息的角度来解释它们。
6、法诺不等式
上一页 下一页 20
第二章 随机过程的信息度量
一、信源和随机过程的基本概念 各种信源的数学模型： 无记忆信源 马尔科夫信源：
平稳分布、转移概率矩阵、香农线图
相互关系 平稳信源 大数定理
上一页 下一页 21
二、随机过程的信息度量 平稳信源的极限熵(熵率):
1 H ¥ (X ) = lim H (X 1, X 2, L , X n ) n n 1 inf H ( X1 , X 2 ,, X n ) n n = limH (X n | X 1, X 2 , L , X n - 1 )
最大后验概率译码规则:
选择译码函数F ( y ) = x ,使之满足条件 p( x | y ) p( x | y ) 对x X
极大似然译码规则：
选择译码函数F ( y ) = x ,使之满足条件 p( y | x ) p( x ) p( y | x) p ( x) 对x X
1 PN log 2 Pe
一般无记忆加性噪声信道容量的上、下界：
1 PN 1 PN log C log 2 N 2 Pe
上一页
下一页
10
复习提要
序论
一、信息论的形成及历史
——Claude Shannon及其主要贡献
二、通信系统的模型 ——信源、信道、信宿及相互关系 三、信息论的基本研究内容
上一页 下一页 19
五、信息量的一些性质
1、凸函数的定义
2、Jensen不等式，对数和不等式 3、D(p||q)是概率分布对(p,q)的凸函数(证明） 4、熵 H (p) 是概率分布p的凹函数(证明)
5、对任给的p( y | x), I ( X ; Y )是p(x)的凹函数(证明)；
对任给的p( x), I ( X ; Y )是p(y|x)的凸函数(证明)。
H ( X 1 , X 2 ,, X n )
上一页 下一页 14
条件熵：
H (Y | X x) p( y | x)log p( y | x)
H (Y | X )
xX

xX

yY
p ( x ) H (Y | X x )
p ( x, y ) log p ( y | x)
1 P log(1 ) 2 N 1 P C max I ( X ; Y ) log(1 ) 2 N
由于达到信道容量当且仅当Y N(0,P N ),
又因为Z N(0,N ),所以由X = Y - Z ,可得,X N(0,P).
即达到信道容量的输入分布为正态分布N(0,P)
1 P C C X log(1 ) 2 N
－－下界
上一页 下一页 8
另方面，由于Y =X + Z，EY = E ( X + Z ) = EX + EZ =0
EY 2 = EX 2 + EZ 2 P N
所以
1 －－上界 C log 2 e( P N ) h(Z ) 2 进一步，因为与EZ 2 =N 有相同方差的分布中
平均错误概率： pe p( x) p( y | x)
xX x , y
上一页 下一页 30
生成矩阵、校验矩阵、相互关系
1 n 2 xi P n i=1
上一页
下一页
4
定义6.4.1 有输入功率约束P的高斯信道容量定义为
C = max I ( X ; Y ) 2
f (x ):EX P
这个信道容量的计算并不是困难,事实上,取约束
条件为EX 2 P, 则:
I ( X ; Y ) h(Y ) h(Y X ) h(Y ) h( X Z X )
三、渐近等分性
1、对无记忆信源：
1 log p X n 依概率收敛到H ( X ) n
2、弱典型序列： 1 (n) n n W = X ( X 1 , X 2 , , X n ) log p( X ) H ( X ) < n 弱典型序列的性质： 对任给 > 0，有
上一页 下一页 23
四、信源编码定理 了解信源编码定理的内容(定理2.4.1)
上一页
下一页
24
第三章 数据压缩和信源编码
一、等长码 等长码的概念 码率:
k R = log2 D 比特/信源字母 n
编码方案(f ,j )的错误概率：
Pe = Pr {j ( f (x n ))
xn}
上一页 下一页 25
1 h(Y ) h( Z X ) h(Y ) h( Z ) h(Y ) log 2 eN 2
上一页
下一页
5
于是计算信道容量的问题就转化为求h(Y )的极大值问题.
注意到Z 与X 独立,且EZ =0,EZ 2 N , 而Y =X + Z ,所以
EY = E ( X + Z ) = EX + EZ =0
Z (t )
X (t ) Y (t )
上一页 下一页 1
根据随机信号的采样定理，可将随机信号离散化。 因此，对时间离散信道的输入和输出序列可分别表示为
X ( X1,X 2 , ,)和 Y (Y1 , Y2 ,)
随机噪声可表示为 Z (Z1,Z 2， )
则加性噪声信道可表示如下
yY
熵的简单性质：
1、H ( x) 0,
等号成立的充要条件是X有退化分布．
H ( X ) log || X ||
2、极值性
等号成立的充分必要条件是X服从均匀分布
上一页 下一页 15
3、链法则：
H ( X ,Y ) H ( X ) H (Y | X ) H (Y ) H ( X | Y ) H (Y , X )
H ( X 1 , X 2 , , X n ) H ( X i | X i 1 , , X 1)
i 1 n
二进熵函数：
h (p ) p log p (1 p ) log(1 p)
上一页
下一页
16
四、相对熵和互信息
相对熵：
D( p || q)
xX
p ( x) p ( x) p( x) log E p log q ( x) q ( x)
EY 2 = EX 2 + EZ 2 P N
由定理6.2.6知,有方差为P N的连续随机变量的最大熵
在正态分布N(0,P N )时到达,所以
1 h(Y ) log 2 e( P N ) 2
上一页 下一页 6
其中等号成立当且仅当Y N(0,P N ),从而
1 1 I ( X ; Y ) log 2 e( P N ) log 2 eN 2 2
性质、单位、随机事件的不确定性
上一页
下一页
13
三、信源的信息熵
定义：
H (X ) p (x ) log p (x )
x
信息含义（物理意义） 单位——bit、nat、hart、N进信息单位 联合熵：
H (X ,Y )
x
y

p (x , y ) log p (x , y )
相对熵的非负性：
D( p || q) 0
等号成立的充要条件是
p( x) q( x)对所有 x Xc 成立
上一页 下一页 17
互信息、条件互信息
I ( X ; Y ) D( p( x, y) || p( x) p( y))

xX

yY
p ( x, y ) p( x, y ) log p( x) p( y )
上一页
下一页
27
第四章 数据可靠传输和信道编码 一、离散无记忆信道和信道容量 离散信道的数学模型：
X，Q ( y x )，Y
信道编码的定义、编码速率、错误概率 离散无记忆信道容量的定义：
C = max I ( X;Y )= max I ( p;Q )
p(x ) p(x )
几种特殊的信道容量的计算：
（1） 2- n ( H ( X ) + ) p( X n ) 2- n ( H ( X )- )，若X n W( n )
（2） Pr W( n ) 1 ，若n充分大
（3） (1 )2n ( H ( X ) - ) W( n ) 2n ( H ( X ) + )，若n充分大
上一页
下一页
11
第一章 随机变量的信息度量
一、信源的分类及数学模型
连续信源 单符号 无记忆信源 信源 符号序列 离散信源 有记忆信源 符号序列记忆无限 马尔科夫信源
上一页
下一页
12
二、自信息
定义
1 I ( x) log log p ( x) p( x)
正态分布N (0, N )有最大熵， 所以 1 h(Z ) log(2 eN ) 2 定义 1 2 h(Z ) Pe e 2 e 为具有可微熵h( Z )的熵功率
----它就是具有可微熵的高斯随机变量的功率
上一页 下一页 9
1 所以 C log 2 e( P N ) h(Z ) 就变为 2 1 1 C log 2 e( P N ) log(2 ePe ) 2 2
二进无噪信道、二进对称信道、一般对称信 道、弱对称信道、准对称信道
上一页 下一页 28
二、信道容量的计算 会用拉格朗日乘数法求信道容量
信道容量C的性质：
1) C ³ 0；
2) C £ log X ;
3) C £ log Y ；
了解信道容量的迭代算法的基本思想
上一页
下一页
29
三、线性分组码
信道的译码规则