应用信息论基础期末复习(2011)

应用信息论基础
∑p
i =1
q
i
=1
离散信源X的N次扩展信源
α i = (ai , ai , ai ,
1 2 3
aiN )
， α qN ⎤ ⎥ ， p(α q N ) ⎥ ⎦
α 2， ⎡ X N ⎤ ⎡ α 1， ⎢ ⎥=⎢ ⎢ p(α i )⎥ ⎢ p(α 1 )， p(α 2 )， ⎣ ⎦ ⎣
∑ p(α ) = 1
DUT
应用信息论基础
金明录 教授
18
熵、互信息和鉴别信息
从统计数学的角度来看, 信息论的三个基本概念给出了三个统 计量, 代表了三种量度, 其中:
熵是一个系统无序性的量度; 鉴别信息是两种概率分布之间差异性的量度; 互信息是两个随机变量之间统计依存性的量度。
因此, 熵、互信息和鉴别信息大大丰富了统计数学中对随机现 象的描述方法, 其意义超过了随机变量一般的数字特征。 三者的相互关系: 在信息论的三个基本概念中, 熵是最基础的。 鉴别信息则是最普遍的, 由鉴别信息可以推出互信息, 故互 信息是鉴别信息的特例。 由互信息又可以推出熵,故熵是互信息的特例。
2 N [ H ( S ) +ε ] < ≈ 2 − N [log q − H ( s ) −ε ] qN
GN ε
等长信源编码定理
L H (S ) + ε ≥ N log r
编码效率
H ( S ) ⎛ NH ( S ) ⎞ ⎜= η= ⎜ L log r ⎟ ⎟ R' ⎝ ⎠
L R' = log r N
20
BSC信道容量 数据处理定理
应用信息论基础
二元对称信道就是ｒ＝２的均匀信道，可计算得其信道容量为：
1
1-p 1
0
比特/符号
0 1-p
C = 1 − H ( p)
数据处理不等式
I ( X； Z ) ≤ I ( X； Y )
X
I(X;Z)
Y
Z
I ( X；Z ) ≤ I (Y；Z )
I(X;Y) I(Y;Z)
DUT
应用信息论基础
金明录 教授
19
信道容量 信道容量
应用信息论基础
消息在不失真传输的条件下，信道所允许的最大信息传输速 率称为信道容量，即 C = Rmax。（或 Ct = Rt max ）
信道容量的计算
最佳输入分布
C = max{I ( X；Y )}
p( x)
信道容量C已与输入信源的概率分布无关，它只是信道转移概率 的函数，只与信道的统计特性有关。即对于一个特定的信道，其信 道容量C是确定的，是不随输入信源的概率分布而变得，信道容量 C取值的大小，直接反映了信道质量的高低。所以，信道容量是完 全描述信道特性的参量，是信道能够传输的最大信息量。
{
}
∑r
i =1
q
−li
≤1
) 无失真变长信源编码定理: 离散无记忆平稳信源S，其熵率为 H (S，并有码 符号X={x1,…,xr}。对信源S进行编码,总可以找到一种编码方法，构成惟一
可译码，使信源S中每个信源符号所需的平均码长满足:
Markov
DUT
应用信息论基础
金明录 教授
15
Fano’s inequality
DUT
应用信息论基础
金明录 教授
16
鉴别信息
定义:两个随机分布p(x)和q(x)之间的鉴别信息定义为
物理意义：
为鉴别H2和H1而对随机变量X在H2假设的分布下进行观察所平均得到 的倾向于H2 的信息量 观察者对随即变量X的了解由分布q(x)变为p(x)时，所获得的信息量 当实际分布为p(x)而估计为q(x)时，D(p||q)衡量了这种估计的偏 差程度，描述信源所需的平均比特数为
i =1 i
qN
H ( X N ) = NH ( X )
5
熵函数的性质
应用信息论基础
6
离散信源的冗余度
应用信息论基础
定义: 一个信源的实际信息熵 H 0与具有同样符号集的最 大熵 H ∞的比值称为熵的相对率，即
η=
H∞ H0
定义: 1减去熵的相对率称为信源剩余度，即
r =1−η =1− H∞ H0
熵函数计算！
H(X) I(X;Y) H(X/Y) H(Y/X) H(Y)
信道疑义度（损失熵） H(XY)
噪声熵（散布度）
10
Jensen’s inequality
Theorem: (Jensen’s inequality) If f is convex, then If f is strictly convex, the equality implies X = E[X] with probability 1.
L H ( S ) − 2ε ≤ N log r
D I (S N ) η2 N≥ H 2 ( S ) (1 − η )2 δ
24
[
]
Kraft不等式与无失真信源编码定理
应用信息论基础
} Kraft不等式：设信源符号 S = s1 , s 2 , , s q，码符号 X = {x1 , x 2 , , x r，对信源 W 进行编码，相应的码字为 W = { 1 , W2 , , Wq } ，其分别对应的码长为l1 , l 2 , , l q， 则即时码存在的充分必要条件是：
0
加 密 器
信道 编码器
பைடு நூலகம்
调 制 器
信 道 噪声
解 调 器
信道 译码器
解 密 器
信源 译码器
受 信 者
基本方法 基本定理
模拟信道
n(t) S(t) r(t)
凸函数、詹姆森不等式、渐进均分原理（大数定理）
最大熵定理、数据处理定理、Fano不等式、Kraft不等式
+
基本概念
熵、互信息、鉴别信息、信道容量、率失真函数、典型序列
H 可见，信源符号之间依赖关系越大， ∞ 就越小，信源剩 余度就越大。
7
离散信道描述 离散信道一般模型
应用信息论基础
∑ p(b
j =1
s
j
/ ai ) = 1
r
Ｘ
P (b j / ai )
Ｙ
p(b j ) = ∑ p (ai ) p (b j / ai )
i =1
p (ai / b j ) = =
信源的信息熵
H(X) = E[I (xi )] = ∑P(xi ) ⋅ I (xi )
i=1 N
信息熵的物理意义
信源的平均不确定性（随机性） 信源的平均信息量 表示信源所需的最少比特数
4
离散信源的扩展信源 单符号离散信源
⎡ X ⎤ ⎡ a1， a 2， ⎢ p ( x)⎥ = ⎢ ⎣ ⎦ ⎢ p1， p 2， ⎣ ， aq ⎤ ⎥ ， pq ⎥ ⎦
1 2 q
1 2 q
N i i1 i2 iN 1 2 N
22
无失真信源编码
S = {s1 , s2 ,
应用信息论基础
, sq }
编码器
C = {w1 , w2 ,
, wq }
X ={x1, x2, , xr}
单符号信源
si ↔ wi = ( xi1 , xi2 ,
单个符号 共有q个
, xiL )
q≤r
DUT
应用信息论基础
金明录 教授
11
Log-sum inequality
DUT
应用信息论基础
金明录 教授
12
平均互信息的数学性质 平均互信息 I ( X ; Y ) 的特性
应用信息论基础
Ｘ
（1）非负性 （2）极值性 (3) 对称性
I ( X；Y ) ≥ 0
I ( X；Y ) ≤ H ( X )
I ( X；Y ) = I(Y；X )
应用信息论基础
应用信息论基础
金明录 教授
10-11学年 第二学期 春季
1
应用信息论基础
期末复习
2
应用信息论基础课程概要
有效性
无失真编码(香农第一定理)、哈夫曼编码 有失真编码(香农第三定理)
1
应用信息论基础
数字信道
1-p 1
可靠性
信道编码(香农第二定理) 香农公式
信 息 源
信源 编码器
0 1-p
I ( xi ; y j ) = I ( xi ) − I ( xi / y j )
收到bj后 消除的关于ai的 不确定性
I ( x i / y j ) = log 1 P ( xi / y j )
9
各种熵函数关系
应用信息论基础
Ｘ
P (b j / ai )
Ｙ
I ( X ;Y ) = H ( X ) − H ( X / Y )
P (b j / ai )
Ｙ
（4）平均互信息与各类熵的关系
I ( X；Y ) = H ( X ) − H ( X / Y ) = H (Y ) − H (Y / X )
（5）凸函数性
= H ( X ) + H (Y ) − H ( XY )
在 p( y / x ) 条件下，是 p(x ) 的∩型凸函数 在 p(x ) 条件下，是 p( y / x ) 的∪型凸函数
13
信息传输速率
应用信息论基础
信息传输速率
Ｘ
P (b j / a i )
Ｙ
R = I ( X；Y ) = H ( X ) − H ( X / Y )
1 1 1 R t = I ( X； Y ) = H ( X ) − H ( X / Y ) t t t
比特/符号
比特/秒
14
随机过程的熵率
Entropy rate. Two definitions of entropy rate for a stochastic processare
21
信源编码基本概念
应用信息论基础
1 2 l
• • • • • • • • • • •
si ↔ wi = ( xi , xi , , xi ) 分组码 二元码 编码器 C = {w , w , , w } S = {s , s , , s } 等长码 变长码 X ={x1, x2, , xr} 非奇异码 si ≠ s j ⇒ Wi ≠ W j si , s j ∈ S Wi , W j ∈ C 奇异码 B = {B = (w w w ) i , i , , i = 1,2, , q i = 1,2, , q } 同价码 码的N次扩展码 唯一可译码 即时码 树码
p (ai , b j ) p (b j ) p (ai ) p (b j / ai )
∑ p(a ) p(b
i =1 i
r
j
/ ai )
⎧ a1 ⎪a ⎪ 2 X⎨ ⎪ ⎪ ⎩ ar
b1 ⎫ b2 ⎪ ⎪ ⎬Y ⎪ ⎪ bs ⎭
8
互信息概念物理解释
应用信息论基础
收到bj后 关于ai的 不确定性
关于ai的 不确定性
也称为Kullback-Leibler距离、交叉熵（Cross-Entropu）、散 度（Divergence）、相对熵（relative entropy）
DUT
应用信息论基础
金明录 教授
17
熵、互信息和鉴别信息
信息论的三个基本概念分别给出了随机变量不确定性的量度以 及在消除或减少这一不确定性时所获信息的量度。
For a stationary stochastic process,
Entropy rate of a stationary Markov chain
Functions of a Markov chain. If X1,X2, . . . , Xn form a stationary chain and Yi = φ(Xi), then
L
L长 共有rL个
N次扩展信源
α i = ( si , si , , si ) ↔ Wi = ( xi , xi , , xi )
1 2 N 1 2 L
qN ≤ rL
N长 共有qN个
L长 共有rL个
23
典型序列与等长信源编码定理
应用信息论基础
任何一个离散随机序列信源当序列长度N→∝时,信源序列会产 生两极分化.大概率事件集合GεN 与小概率事件集合GεN ,即qN= GεN ∪GεN
随机变量不确定性的量度:香农定义的熵是随机变量不确定性的最 合理的量度。 减少或消除随机变量的不确定性的两条途径和信息的两种量度:
一条是对另一个与我们感兴趣的随机变量统计关联的随机变量进行观 察、试验, 从而获得关于原随机变量的信息, 减少或消除其不确定性。 该信息量可以用互信息进行量度。 另一条是对我们感兴趣的随机变量本身进行观察、试验, 从而获得信 息, 减少或消除其不确定性。该信息量可以用鉴别信息进行量度。
3
离散信源的信息描述 单符号离散信源
x1 , x2 , ⎧ X: [X ⋅ P] : ⎨ ⎩P(X) : P( x1 ), P( x2 ), , xi , , , P( xi ),
应用信息论基础
⎫ ⎬ , P( xN ) ⎭ xN
自信息
I ( x i ) = log 1 = − log P ( x i ) P ( xi )
P (GεN ) > 1 − δ ; P (GεN ) ≤ ε 2 − N ( H ( S ) +ε ) < P ( S1 , S 2 ,
ξ=
GεN qN
信源序列集合 q
N
, S N ) < 2 − N ( H ( S ) −ε ) GN ε
(1 − δ )2 − N ( H ( S ) +ε ) < GεN < 2 − N ( H ( S ) −ε )