信息论 总复习_new学习版.ppt

最新.课件
14
Wuhan University
最大离散熵定理 (极值性) ：离散无记忆信源输出 n 个不同的信息符号，当且仅当各个符号出现概 率相等时 (即p(xi)=1/n)，熵最大。 H[p(x1),p(x2),…,p(xn)]≤logn
最新.课件
15
Wuhan University
二进制信源的熵函数 H(p) 为
23
离散无记忆信源的等长编码
无扰编码定理的含义 R>H(U)
Wuhan University
译码错误概率 pe
I(ak)的方差
信源序列中每个符号含 有信息量的算术平均值
I(ak)的数学期望
契比雪夫不等式的右边是理论上的误码率的上限， 必须小于给定的误码率才能保证到达编码性能要求
最新.课件
24
定长编码定理
游程编码和算术编码是非分组编码；游程编码是限 失真信源编码。本章介绍的都是离散信源变长编码。
优点：提高编码效率；
缺点：需要大量缓冲设备来存储这些变长码，然后 再以恒定的码率进行传送；如果出现了误码，容易引 起错误扩散，所以要求有优质的信道。
可靠: 要使信源发出的消息经过传输后，尽可能准确地、
不失真或限定失真地再现在接收端
有效: 用尽可能短的时间和尽可能少的设备来传输最大的
消息
最新.课件
4
第2章 信源熵
Wuhan University
单符号离散信源
自信息量
–用概率测度定义信息量，设离散信源 X，其
概率空间为
–如果知道事件 xi 已发生，则该事件所含有的
5 0.11011
8
a 729/65536
3367/4096=…
7 0.1101010
最新.课件
30
LZ编码
Wuhan University
利用字典编码方法 信源符号A=(a1…aK) 将序列分为不同的段
取最短长度的连续符号构成段，保证互不相同。 先取一个符号分段，若与前面段相同，就再取一
最新.课件
21
Wuhan University
Def. 可达速率：对于给定的信源和编码速率R及 任意δ>0，若存在L0、ξ()、D()，使当码长 L>L0时，Pe< δ ，就称R是可达的，否则R是 不可达的。
最新.课件
22
Wuhan University
Th. 若R>H(U)，则R是可达的；若R<H(U)，则R是 不可达的。
d.从最后一级缩减信源开始，依编码路径向前返回， 就得到各信源符号所对应的码字。
注意3进制编码？
最新.课件
28
4 算术编码
Wuhan University
算术编码是计算序列的累计分布，用累计分布值表示序 列，所以称为算术编码
以二元信源输出序列的编码为例01110
P(0)
P(1)
F(0) P(00)
729 27 512
n
log
1 P(u)
7
F(a)=0, F(b)=0.25 H=HP(ul+1),G=G+HF(al+1)
序号 ui 0
P(ui)=H 1
F(ui)=G 0
n(ui)
S
0
1
b
3/4
1/4 =0+1*1/4
1
0.1
2
b
9/16
7/16 = 1/4 + 3/4 *1/4
1
0.1
总复习
1 概论 2 信源及信息熵 3 信源编码 4 信道及信道容量 5 信道编码 6 信息率失真函数 7 考试情况
最新.课件
Wuhan University 1
第1章 概论
Wuhan University
信息与消息和信号的区别
–消息：是指包含有信息的语言、文字和图像 等，可表达客观物质运动和主观思维活动的 状态。
Hc(X) 已不能代表信源的平均不确定度，也不能代表连续信 源输出的信息量。
最新.课件
19
限峰值的最大熵定理:若信源的N维随机变W量uha的n Uni取versi值ty 在 一定的范围之内，则在有限的定义域内，均匀分布 的连续信源具有最大熵。
限平均功率的最大熵定理：若信源输出信号的平均功 率P或方差受限，则其输出信号幅度的概率密度函数 为高斯分布时，信源具有最大熵值。
信息熵的意义：信源的信息熵 H 是从整个信源的
统计特性来考虑的。它是从平均意义上来表征信源 的总体特性的。对于某特定的信源，其信息熵是唯 一的。不同的信源因统计特性不同，其熵也不同。
最新.课件
9
Wuhan University
条件熵：是在联合符号集合 XY 上的条件自信息的
数学期望。
联合熵 H(XY)：表示输入随机变量 X，经信道 传输到达信宿，输出随机变量 Y。即收、发双方 通信后，整个系统仍然存在的不确定度。
限均值的最大连续熵定理：若连续信源X输出非负信号
的均值受限，则其输出信号幅度呈指数分布时，连
续信源X具有最大熵值。
最新.课件
20
第3章 信源编码
Wuhan University
离散信源的无失真编码实质上是一种统计匹配编 码。信息论指出信源中的统计多余度主要决定于以 下两个主要因素：
一是消息概率分布的非均匀性，另一个是消息间 的相关性。对无记忆信源主要决定于概率分布的非 均匀性，但是，对于有记忆信源，两者都起作用， 且后者相关性更加重要。
自信息定义为
最新.课件
5
联合自信息量
Wuhan University
当 X 和 Y 相互独立时， p(xiyj)=p(xi)p(yj)
最新.课件
6
Wuhan University
条件自信息量：已知yj 的条件下xi 仍然存在 的不确定度。
自信息量、条件自信息量和联合自信息量之 间的关系
最新.课件
Wuhan University
其中差错率满足如下式子
2(X ) L 2
L
2(X 2
)
2 ( X ) D[I (xi )] E{[I (xi ) H ( X )]2} ( pi log2 pi ) H 2 ( X )
i
编码效率： H L ( X ) H L ( X ) , 剩余度： 1 R HL(X)
• 对于给定的离散无记忆信源，若D元码的速率R超 过信源的熵，即NlogD/L ≥H（U）+ε，则存在 编码方法，当L足够大时能使译码错误概率任意小 。
• logD：一个码符号所能载荷的最大信息量。
H(U)：信源输出一个符号所给出的信息量。
H(U)/logD：每个信源符号所需的最小的码符号
数——以等长码实现源最新编.课件码时的理论极限。
息
=H(X)+H(Y)-H(X,Y)
XY XY
最新.课件
13
Wuhan University
–数据处理定理（信息不增原理）
I(X;Z) ≥ I(X;f(Z))=I(X;Y) H(X|Z) ≤ H(X|f(Z))=H(X|Y)
当消息通过多级处互信息量趋于变小。 信息不增
3
b
27/64
37/64 = 7/16 + 9/16 * 1/4
2
0.11
4
b
81/256 175/256 = 37/64 + 27/64 *1/4 2
0.11
5
b 243/1024
781/1024=…
3
0.111
6
b 729/4096
3367/4096=…
3
0.111
7
a 729/16384
3367/4096=…
最新.课件
26
2香农费诺编码
Wuhan University
费诺编码步骤如下： a.将概率按从大到小的顺序排列，令 b.按编码进制数将概率分组，使每组概率尽可能接近 或相等。 c.给每一组分配一位码元。 d.将每一分组再按同样原则划分，重复步骤b和c，直 至概率不再可分为止。
最新.课件
27
3 哈夫曼编码
–信号：把消息变换成适合信道传输的物理量 ，这种物理量称为信号（如电信号、光信号 、声音信号等）。
–信息是事物运动状态和状态改变的方式。
最新.课件
2
Wuhan University
信息 –信息是事物运动状态和状态改变的方式。
研究信息论的目的：它的主要目的是提高信息系 统的可靠性、有效性和安全性以便达到系统最优 化。
最新.课件
25
Wuhan University
凡是能载荷一定的信息量,且码字的平均长度最短, 可分离的变长码的码字集合就称为最佳变长码.
必须将概率大的信息符号以短的码字, 将概率小的 信息符号以长的码字. 主要有:香农-费诺(Shannon-Fano),哈夫曼(Huffman) 编码等
唯一可译性的两种解决方法 Def.逗点码 Def.异字头码
最新.课件
10
Wuhan University
信道疑义度—H(X|Y)：表示信宿在收到 Y 后，信 源 X 仍然存在的不确定度。是通过有噪信道传输后 引起的信息量的损失，故也可称为损失熵。
噪声熵—H(Y|X)：表示在已知 X 的条件下，对于 符号集 Y 尚存在的不确定性，这完全是由于信道中 噪声引起的。唯一确定信道噪声所需要的平均信息 量。
个符号，直至序列结束 得到字典表，码字由段号加后一个符号组成。 单符号的码字，段号为0
最新.课件
31
Wuhan University
LZ编码的特点 特点一 编码效率可以接近信息熵的上限。 特点二 不需要事先知道信源的概率分布。 特点三 用一种巧妙的方式使用字典技术。 特点四 文件越小，压缩比例越小；文件越大，压缩比
熵
H(X)
H(X)>=H(X|Y)
XY
H(X)=H(X|Y)+I(X;Y)
条件熵
H(X|Y)
H(X|Y)=H(XY)-H(Y)
XY
=H(X)-I(X;Y)
联合熵 H(XY)=H(YX) H(XY)=H(X)+H(Y|X)
=H(X|Y)+H(Y|X)+I(X; Y)
平均互信 I(X;Y)=I(Y;X) I(X;Y)=H(X)-H(X|Y)
最新.课件
11
Wuhan University
平均互信息量定义：互信息量 I(xi;yj) 在联合概率 空间 P(XY) 中的统计平均值。
从一个事件获得另一个事件的平均互信息需要消除 不确定度，一旦消除了不确定度，就获得了信息。
最新.课件
12
平均互信息和熵的关系
Wuhan University
0
0.5
p
图2.1.9 固定信道后平均互信息随信源变化的曲线
q
0
0.5
1
图2.1.10 固定信源后平均互信息随信道变化的曲线
最新.课件
18
连续信源的熵为
Wuhan University
定义的熵在形式上和离散信源相似。连续信源熵并不是实 际信源输出的信息量(绝对熵)； Hc(X) 也称为相对熵
连续信源的信息量为无限大；
H(p) 1
0
0.5
1p
图2.1.5 n=2时熵与概率的关系
最新.课件
16
Wuhan University
BSC信道的平均互信息量 设二进制对称信道的输入概率空间为
q
0
0
/q
/q
1
1
q
图2.1.8 二元对称信道信道范例
最新.课件
17
Wuhan University
I(X;Y) 1-H(q)
I(X;Y) H(p)
7
Wuhan University
互信息量：yj 对 xi 的互信息量定义为的后验 概率与先验概率比值的对数。
两个不确定度之差是不确定度被消除的部分 ，即等于自信息量减去条件自信息量。
最新.课件
8
Wuhan University
平均信息量—信源熵：自信息的数学期望。也称为 信源的信息熵/信源熵/熵。
在通信系统中形式上传输的是消息，但实质上传 输的是信息。消息只是表达信息的工具，载荷信 息的客体。
最新.课件
3
Wuhan University
信息论的研究对象:通信系统模型.
信源
编码器
信道
解码器
信宿
消息
信号
信号+干扰
消息
信源 信道 加密
干扰
噪声源
通信系统模型
信源 信道 解密
通信系统的基本任务要求
P(01)
F(1)
F(01) P(010)
P(011)
F(011) P(0110) P(0111)
F(0111)
P(01110) P(01111)
F(01111)
u对应最区新.间课件的宽度等于符号序列的概率 29
算术编码
Wuhan University
递推公式编码
P(u=bbbbbbaa)=0.7560.252=
例越大。
LZ编码的应用领域
几乎垄断了整个通用数据压缩领域，如PKZIP、 WinZIP、WinRAR、gzip等压缩工具以及ZIP、GIF 、PNG等文件格式都是LZ系列算法的受益者。
最新.课件
32
Wuhan University
我们学习了几种信源编码：香农费诺编码、哈夫曼 编码、游程编码、算术编码、LZ编码等。
Wuhan University
a.将信源符号按概率从大到小的顺序排列，令
b.给两个概率最小的信源符号p(xn-1)和p(xn)各分配
一个码位0和1，将这两个符号合并成一个新符号，其
概率之和作为新符号的概率，得到(n－1)个符号。
c.将缩减信源符号按概率排列，重复步骤a,b。直至缩 减信源只剩两个符号为止。