电子科大信息论与编码2016复习提纲

3
概论
➢香农第一定理：信源发出的消息有冗余，为有效通 信，可以进行压缩冗余的信源编码，给出无失真复现 消息的信源编码临界值（下界）——信息熵。 ➢香农第二定理：噪声的存在使信道能可靠传输信息 的能力受到限制，提出信道容量的概念。为可靠通信， 增加冗余纠错的信道编码，给出无失真复现消息的信 道编码的临界值（上界）——信道容量 ➢香农第三定理：给出在允许一定的失真条件下复现 消息的信源编码临界值（下界）——信息律失真函数
2020/8/4
概论
遍历定理
nm
P(sj) P(si )P(sj / si ) i 1
j 1,2,, nm
nm
0 P(s j ) 1，且 P(s j ) 1 j1
根据状态图，就可以求出所有P(Si)
平稳时的极限熵H∞ 记为Hm+1 （熵率转变为条件熵）
nm nm
H Hm1
P(si )P(sj / si ) log P(sj / si )
i1 j1
2020/8/4
求H（X1…Xk）概马论尔科夫链的联合熵 13
1. H(X1…Xk)=H(X1…Xm)+H(Xm+1/X1…Xm) +H(Xm+2/X2…Xm+1)+… ,(k>m) 链接准则
=H(X1…Xm)+p H(Xm+1/X1…Xm), 平稳性
2. 联合熵
H (X 1 ... X m ) H (S ) P ( S i ) log P ( S i ) i
2020/8/4
概论
二、多符号离散信源及信息熵
离散型随机过程X1X2…XN 自信息量 I(x i1 x i2 x iN ) log P(x i1 x i2 x iN ) 自信息量的链接准则（可从概率乘法公式推导出来） I(x i1 x i2 x iN ) I(x i1 ) I(x i2 / x i1 ) I(x iN / x i1 x iN1 ) 联合熵用H(X1X2…XN)表示 H(X1X2 X N ) H(X1) H(X2 / X1) H(X N / X1X2 X N1)
1 N
H(X1X2 XN )
信源每发出一个消息符号所提供的平均信息量，
也叫平均符号熵，用HN(X1X2…XN)表示
2020/8/4
概论
N维离散平稳信源
多符号离散信源对任意两个不同时间起点k和L， 其概率分布及直到N维的各维联合概率分布都相同
概率分布与时间起点无关 信息熵 H(X k X k1 X kN1 ) H(X1X 2 X N ) H(X1 ) H(X 2 / X1 ) H(X N / X1X 2 X N1 )
Source Coding Channel Coding
Encode
Noisy Chann来自百度文库l
Decode
Out Decompress
Source Coding
Compresses the data to remove redundancy
Channel Coding
Adds redundancy/structure to protect against channel errors
3. 条件熵
Nm Nm
H (X m1 / X 1 ... X m ) H m1 P (si ) P (s j / si ) log P (s j / si )
i1 j1
4. 状态概率（由遍历定理）
Nm
P (s j ) P (si )P (s j / si ), j i 1
Nm
and P(sj) 1 j 1
2020/8/4
概论
条件熵小于无条件熵 H(X N / X1X 2 X N1 ) H(X N / X N1 ) H(X N ) 信息熵的界
H(X1X2 X N ) H(X1) H(X2 / X1) H(X N / X1X2 X N1)
N
H(Xk ) k 1
熵率 HN (X1X2 XN )
消息（message）是由图像、声音、文字、数字等 符号组成的序列 信号（signal）是承载消息的载体，如电信号、光 信号等 消息（message）中用以消除不确定性的成分, 就 是信息（information）
2020/8/4
Model of D概ig论ita Communication
In Compress
2020/8/4
概论
Chapter 2
无条件自信息量 I(xi ) loga P(xi ) 注意：单位
信息熵
n
n
H(X) E[I(xi )] P(xi )I(xi ) P(xi )log P(xi )
i 1
i 1
①非负性 ②严格上凸性（Concave）
③最大熵定理
离散信源等概率信源具有最大熵，最大熵 H(X)max=log(n)，n为信源的消息个数
N
H(Xk ) NH(X) k 1
2020/8/4
概论
N维离散平稳信源的熵率
H N (X k X k1 X kN1 )
HN (X1X2 XN )
1 N
H(X1X2 XN )
1 N
[H(X1
)
H(X 2
/ X1)
H(X N
/
X1X 2
X N1 )]
1 N
N
H(Xk )
k 1
H(X)
2020/8/4
Chapter 1
概论
信息（information）定义：消除不确定性的东西
1. Theory（Chapter 2,3,4）： 熵，信道容量，率失真函数
2. Algorithms（Chapter 5, 6）： 信源编码，信道编码
2020/8/4
概论
消息
信号 信号+噪声 消息
信源
编码
信道
译码
信宿
噪声
概论
N维离散平稳无记忆信源
各符号相互独立，条件熵=无条件熵
信息熵和熵率 H(XkXk1XkN1) H(X1X2 XN ) H(XN )
N
H(Xk ) NH(X) k 1
HN (XN )
1 N
H(XN )
1 N
NH(X)
H(X)
2020/8/4
概论
m阶马尔科夫信源
第N个符号只与前m (≤N-1)个符号相关，无后效性 P(x im1 / x xi1 i2 x im ) P(x i2 x i3 x im1 / x xi1 i2 x im ) P(x j1 x j2 x jm / x xi1 i2 x im ) P(s j / si ) m =条件中的x的数目 要会求出状态转移图