信息论基础PPT.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
H (X ,Y | Z ) H (X | Z ) H (Y | X , Z ) 因为H (Y | Z, X ) 0 所以H (X ,Y | Z ) H (X | Z ) 等号成立 H (Y | Z, X )=0即Y是X , Z的函数
精选
解：
(a)
(b)
H ( X ,Y | Z ) H (X | Z ) H (Y | X , Z ) 因为H (Y | Z , X ) 0 所以H ( X ,Y | Z ) H ( X | Z ) 等号成立 H (Y | Z, X )=0即Y是X , Z的函数
进字母集的即时码，其码
1 。
反之，对给定的满足上述不等式i的一组 们为码字长的一个即时码。
(l1, l2 ,lm ) ，必存在以他
注1 成立。
定理的结论对构成即时码的任何可列无穷码长集 l1, l2 也
注 2 克莱夫特不等式对唯一可译码也成立。
定义三 一个 进唯一可译码的冗余度定义为其平均长度与信源熵的差，
(b) p(x 0) 1 , p(x 1) 2 , p(Y 0) 1 , p(Y 1) 1
3
3
2
2
q(x 0, y 0) 1 , q(x 0, y 1) 1 , q(x 1, y 0) 1 , q(x 1, y 1) 1
6
6
3
3
D(
p
||
q)
x
y
p(x,
y)
log
x1 x2
(4 1 log 1 4 3 log 3 5 3 log 3 5 2 log 2) 94 4 94 4 95 5 95 5
1 log 1 3 log 3 3 log 3 2 log 2 9 49 49 59 5
2 2 log 3 5 log 5
33
9
精选
第三章 数据压缩和信源编码
信息论基础
张松松
080803129 南京林业大学理学院
精选
目录
前言 第一章 随机变量的信息度量 第二章 随机过程信息度量和渐进等分性 第三章 数据压缩和信源编码 第四章 数据可靠传输和信道编码
精选
绪论
信息论简史 ▪ 信息论简介
精选
信息论简史
信息论是在20世纪40年代后期在通讯
工程实践中，由通讯技术与概率论随机过 程和数理统计相结合而发展起来的一门科 学，是专门研究信息的有效处理和可靠传 输的一般规律的科学。
x
x y
H (X ) H (Y精|选X )
习题一选做
1 设随机变量 ( X ,Y ) p(x, y) 由以下给出
计算：
（a） H(X ,Y), H(X ), H(Y), H(X | Y), H(Y | X ), I(X;Y);
（b）如果q(x, y) p(x) p( y) 为两个边际分布的乘积分布，计 算 D( p q) 和 D(q p)。
)
精选
可见熵是自信息的概率加权平均值
引理 1.2.1 H ( X ) 0 ，且等号成立的充要条件是 X 有退化分布。
例题 1.2.1 设
1 依概率 p X 0 依概率1 p
则 H(X ) p log p (1 p)log(1 p) h( p) 。
精选
定义 1.2.2 设一对随机变量 ( X ,Y ) 的联合分布为
精选
解： (a)
H (X ,Y ) 1 log 1 1 log 1 1 log 1 5 log 5 4 4 4 4 12 12 12 12
3 1 1 log 3 5 log 5
222
12
1.5 0.51.585 0.96 1.32bits
H(X ) 1 log 2 log 2 log 2 log3 2 0.918bits
定义一 称唯一可以编码 f 为即时编码（瞬时编码），如果 f 出现的码
字集中，没有一个码字的前缀。
定义二 设码树上最长得路长为 k ，如果 D进码树上k 的路的终结点 k 都被用作码字时共有D k个码字，这时每个码字长都是 ，即是定长码，
这种树称满树。
定字理长分（别克为莱l夫1, 特l2 ,不等lm式）时必码须字满字足母取值D于li
图1.1 通信系统模型
精选
第一章 随机变量的信息度量
1.1 自信息 1.2 熵、联合熵、条件熵 1.3 相对熵和互信息
精选
1.1 自信息
定理1.1.1
定义 1.1.1
若自信息I (x)满足一下5个条件：
(i) 非复性：I (x) 0;
(ii) 如 p(x) 0, 则 I (x) ;
并说明等号成立的条件：
(a)H ( X ,Y | Z ) H ( X | Z );
(b)I ( X ,Y; Z ) I ( X ; Z );
(c)H ( X ,Y , Z ) H ( X ,Y ) H (X , Z ) H (X );
(d )I ( X ; Z | Y ) I (Z;Y | X ) I (Z;Y ) I ( X ; Z ).
克劳德·香农（Claude Shannon）于
1948年发表的具有里程碑性质的论文“通 讯的数学理论”是世界上首次将通讯过程 建立了数学模型的论文，这篇论文和1949 年发表的另一篇论文一起奠定了现代信息
精选
论的基础。
信息论简介
作为通讯系统的数学理论，香农在1948 年的奠基性文章中提出了通信系统的一 般模型（如下图所示）
p(x, q(x,
y) y)
1 log
1 4
1
log
1 12
1 log
1 4
5
log
5 12
4
1 6
12
1 精选 6
4
1 3
12
1 3
1 log 3 1 log 1 1 log 3 5 log 5 4 2 12 2 4 4 12 4
1 log 3 5 log 5 3 0.26bits
单位为奈特（nat）若对数以10为底时，则熵的单位为哈特（hartley）。
注意熵只是概率分布 p的函数，与 X 的取值无关。用 E 表示数学期
望，E
表示关于分布
p
p的数学期望，即
Epg(X ) g(x) p(x)
x
则熵可以表示为随机变量 log 1 p(X
的数学期望，即H
)
(X
)
Ep
log
1 p(X
一 如果一个信源序列是k 阶马尔可夫过程，称信源为 k 阶马尔 可夫信源（简称 k 阶马氏信源），k 1时称马尔科夫信源（简称
马氏信源）。
二 若存在 上的一个概率分布 ，满足M ，则称 为马
氏过程的平稳分布。
精选
习题二选做
3 设 X1, X2,
为二值平稳马氏信源，其进一步转移概率如下：
P( X i1 0 | X i 0) 0.25 P( X i1 1| X i 0) 0.75 P( X i1 0 | X i 1) 0.6 P( X i1 1| X i 1) 0.4
(iii) 如 p(x) 1, 则 I(x) 0;
(iv) 严格单调性：如果p(x) p( y),
则 I(x) I(y);
(v) 如果p(x, y) p(x)p(y), 则 I(x, y) I(x) I(y)
则 I (x) C log 1 p(x)
其中C 为常数。
x 设 x 有概率 p(x)，则 的自信息定义为
0.23 log 0.23 0.27 log 0.27
1.423bit
精选
U 6 已知信源 有以下概率分布
U
~
u1 u2 u3 u4 u5 u6 u7
0.3
0.2
0.10.10.10.10.1
(a)构造一个二进即时码；
(b)计算信源熵 H (U ) 和平均码字长。
解：
精选
精选
熵H () 0.3 log0.3 0.2 log0.2 5 log0.1
即冗余度 L H (或X ) l * H精选(。X )
习题三选做
5 一个信源有以下概率分布
U
~
u1 0.05
u2 0.10
u3 0.15
u4 0.20
u5 u6 0.230.27
(a) 对该信源构造一个二进即时码；
(b) 计算信源熵 H (U ) 和平均码字长。
精选
精选
(b)
H () 0.05 log 0.05 0.1log 0.1 0.15 log 0.15 0.24 log 0.24
等号成立 H (Z | X ) H (Z | X ,Y ) I Z :Y | X 0，即Z Y | X
(d)
I Z :Y | X I Z :Y I(X : Z) I(X ,Y : Z) I(Z :Y )
I(Z :Y) I(X ,Y | Z) I(Z :Y) I(X ,Y | Z) 可见这是个恒等式
证明： H ( X ,Y ) p(x, y)log p(x, y) x y
p(x, y)log p(x) p y | x x y
p(x, y)log p(x) p(x, y)log p y | x
x y
x y
p(x)log p(x) p(x, y)log p y | x
2
12
2
D(q ||
p)
1 log 6
1 6
1 4
1 log 6
1 6
1 12
1 log 3
1 3
1 4
1 log 3
1 3
5 12
1 log 2 1 log 2 1 log 4 1 log 4
6 36
3 33 5
5 1 log 3 1 log 5 0.1bits
32
Fra Baidu bibliotek3 精选
6 设随机变量 X ,Y , Z 有联合分布 p(x, y, z)，证明一下不等式，
3333
3
H (Y ) 1 log 1 1 log 1 1bits 2 22 2
精选
H (X | Y ) H (X ,Y ) H (Y ) 0.32bits H (X | Y ) H (X ,Y ) H (Y ) 0.402bits I (X :Y ) H (X ) H (Y ) H (X ,Y ) 0.598bits
I (X ,Y : Z ) I (X : Z ) I (Y : Z | X )且I (Y : Z | X ) 0 所以I (X ,Y : Z ) I (X : Z ) 等号成立 I (Y : Z | X )=0即给定X 条件下Y与Z独立
精选
(c)
H(X ,Y, Z) H(X |Y) H(Z | X,Y) H(Z | X ) H(X , Z) H(X )
2.644
平均码长L 3 0.7 2 0.3 2.7 2.644
冗余度 2.7 - 2.644 0.0056bit
精选
8 已知信源 X 有以下概率分布
x1 x2 x3 x4 x5 x6
（a）求该信源的平稳分布。 （b）求该信源的熵率。
精选
解：(a) 一步转移概率矩阵为
P
设平稳分布为( ，1
00..26500..745
),则(，1 )P
( ，1
)解得
4
，所以
9
平稳分布为( 4 , 5). 99
(b) 信源熵率
H(X ) H(X2 | X1)
(x1)p(x精选2 | x1) log p(x2 | x1)
精选
13 令 X 为掷一枚均匀硬币直至其正面向上所需的次数，求 X 的概率分布和 H ( X ) 。
解：设正面第一次向上时已经搓硬币次数为X，则X的分布如下：
P(X
1)
1 2
P(
X
2)
1 4
1
P(X
k)
2k
H (X ) P(X k) log P(X k) k 1
1 log 1
2k
k 1
2k
1
2k
k精选1
k
()
要求上述级数之和，先由 xk
x
k 1
1 x
两边求导：
f
(x)
k 1
k
x k 1
(x 1
) x
1 (1 x)2
x
f
(x)
k 1
k
xk
x (1 x)2
1 带入()得H (X ) 2 2bit
( 12)2
精选
第二章 随机过程的信息度量和渐 进等分性
概念
p(x, y) Pr X x,Y y, x, y
则 定义 ( X ,Y ) 的联合熵 H (X ,Y ) 为
H(X ,Y) p(x, y)log p(x, y) x y 或写成数学期望形式：
H ( X ,Y ) E log p(x, y)
精选
定理 1.2.2 （链法则）
H (X ,Y ) H (X ) H (Y | X )
I (x) log 1 。 p(x)
精选
1.2 熵、联合熵、条件熵
X 定义 1.2.1 离散随机变量 的熵定义为
H(X ) p(x)log p(x) x
e 我们也用 H ( p) 表示这个熵，有时也称它为概率分布 p的熵，其中对
数函数以2为底时，熵的单位为比特（bit），若对数以 为底时，则熵的
精选
解：
(a)
(b)
H ( X ,Y | Z ) H (X | Z ) H (Y | X , Z ) 因为H (Y | Z , X ) 0 所以H ( X ,Y | Z ) H ( X | Z ) 等号成立 H (Y | Z, X )=0即Y是X , Z的函数
进字母集的即时码，其码
1 。
反之，对给定的满足上述不等式i的一组 们为码字长的一个即时码。
(l1, l2 ,lm ) ，必存在以他
注1 成立。
定理的结论对构成即时码的任何可列无穷码长集 l1, l2 也
注 2 克莱夫特不等式对唯一可译码也成立。
定义三 一个 进唯一可译码的冗余度定义为其平均长度与信源熵的差，
(b) p(x 0) 1 , p(x 1) 2 , p(Y 0) 1 , p(Y 1) 1
3
3
2
2
q(x 0, y 0) 1 , q(x 0, y 1) 1 , q(x 1, y 0) 1 , q(x 1, y 1) 1
6
6
3
3
D(
p
||
q)
x
y
p(x,
y)
log
x1 x2
(4 1 log 1 4 3 log 3 5 3 log 3 5 2 log 2) 94 4 94 4 95 5 95 5
1 log 1 3 log 3 3 log 3 2 log 2 9 49 49 59 5
2 2 log 3 5 log 5
33
9
精选
第三章 数据压缩和信源编码
信息论基础
张松松
080803129 南京林业大学理学院
精选
目录
前言 第一章 随机变量的信息度量 第二章 随机过程信息度量和渐进等分性 第三章 数据压缩和信源编码 第四章 数据可靠传输和信道编码
精选
绪论
信息论简史 ▪ 信息论简介
精选
信息论简史
信息论是在20世纪40年代后期在通讯
工程实践中，由通讯技术与概率论随机过 程和数理统计相结合而发展起来的一门科 学，是专门研究信息的有效处理和可靠传 输的一般规律的科学。
x
x y
H (X ) H (Y精|选X )
习题一选做
1 设随机变量 ( X ,Y ) p(x, y) 由以下给出
计算：
（a） H(X ,Y), H(X ), H(Y), H(X | Y), H(Y | X ), I(X;Y);
（b）如果q(x, y) p(x) p( y) 为两个边际分布的乘积分布，计 算 D( p q) 和 D(q p)。
)
精选
可见熵是自信息的概率加权平均值
引理 1.2.1 H ( X ) 0 ，且等号成立的充要条件是 X 有退化分布。
例题 1.2.1 设
1 依概率 p X 0 依概率1 p
则 H(X ) p log p (1 p)log(1 p) h( p) 。
精选
定义 1.2.2 设一对随机变量 ( X ,Y ) 的联合分布为
精选
解： (a)
H (X ,Y ) 1 log 1 1 log 1 1 log 1 5 log 5 4 4 4 4 12 12 12 12
3 1 1 log 3 5 log 5
222
12
1.5 0.51.585 0.96 1.32bits
H(X ) 1 log 2 log 2 log 2 log3 2 0.918bits
定义一 称唯一可以编码 f 为即时编码（瞬时编码），如果 f 出现的码
字集中，没有一个码字的前缀。
定义二 设码树上最长得路长为 k ，如果 D进码树上k 的路的终结点 k 都被用作码字时共有D k个码字，这时每个码字长都是 ，即是定长码，
这种树称满树。
定字理长分（别克为莱l夫1, 特l2 ,不等lm式）时必码须字满字足母取值D于li
图1.1 通信系统模型
精选
第一章 随机变量的信息度量
1.1 自信息 1.2 熵、联合熵、条件熵 1.3 相对熵和互信息
精选
1.1 自信息
定理1.1.1
定义 1.1.1
若自信息I (x)满足一下5个条件：
(i) 非复性：I (x) 0;
(ii) 如 p(x) 0, 则 I (x) ;
并说明等号成立的条件：
(a)H ( X ,Y | Z ) H ( X | Z );
(b)I ( X ,Y; Z ) I ( X ; Z );
(c)H ( X ,Y , Z ) H ( X ,Y ) H (X , Z ) H (X );
(d )I ( X ; Z | Y ) I (Z;Y | X ) I (Z;Y ) I ( X ; Z ).
克劳德·香农（Claude Shannon）于
1948年发表的具有里程碑性质的论文“通 讯的数学理论”是世界上首次将通讯过程 建立了数学模型的论文，这篇论文和1949 年发表的另一篇论文一起奠定了现代信息
精选
论的基础。
信息论简介
作为通讯系统的数学理论，香农在1948 年的奠基性文章中提出了通信系统的一 般模型（如下图所示）
p(x, q(x,
y) y)
1 log
1 4
1
log
1 12
1 log
1 4
5
log
5 12
4
1 6
12
1 精选 6
4
1 3
12
1 3
1 log 3 1 log 1 1 log 3 5 log 5 4 2 12 2 4 4 12 4
1 log 3 5 log 5 3 0.26bits
单位为奈特（nat）若对数以10为底时，则熵的单位为哈特（hartley）。
注意熵只是概率分布 p的函数，与 X 的取值无关。用 E 表示数学期
望，E
表示关于分布
p
p的数学期望，即
Epg(X ) g(x) p(x)
x
则熵可以表示为随机变量 log 1 p(X
的数学期望，即H
)
(X
)
Ep
log
1 p(X
一 如果一个信源序列是k 阶马尔可夫过程，称信源为 k 阶马尔 可夫信源（简称 k 阶马氏信源），k 1时称马尔科夫信源（简称
马氏信源）。
二 若存在 上的一个概率分布 ，满足M ，则称 为马
氏过程的平稳分布。
精选
习题二选做
3 设 X1, X2,
为二值平稳马氏信源，其进一步转移概率如下：
P( X i1 0 | X i 0) 0.25 P( X i1 1| X i 0) 0.75 P( X i1 0 | X i 1) 0.6 P( X i1 1| X i 1) 0.4
(iii) 如 p(x) 1, 则 I(x) 0;
(iv) 严格单调性：如果p(x) p( y),
则 I(x) I(y);
(v) 如果p(x, y) p(x)p(y), 则 I(x, y) I(x) I(y)
则 I (x) C log 1 p(x)
其中C 为常数。
x 设 x 有概率 p(x)，则 的自信息定义为
0.23 log 0.23 0.27 log 0.27
1.423bit
精选
U 6 已知信源 有以下概率分布
U
~
u1 u2 u3 u4 u5 u6 u7
0.3
0.2
0.10.10.10.10.1
(a)构造一个二进即时码；
(b)计算信源熵 H (U ) 和平均码字长。
解：
精选
精选
熵H () 0.3 log0.3 0.2 log0.2 5 log0.1
即冗余度 L H (或X ) l * H精选(。X )
习题三选做
5 一个信源有以下概率分布
U
~
u1 0.05
u2 0.10
u3 0.15
u4 0.20
u5 u6 0.230.27
(a) 对该信源构造一个二进即时码；
(b) 计算信源熵 H (U ) 和平均码字长。
精选
精选
(b)
H () 0.05 log 0.05 0.1log 0.1 0.15 log 0.15 0.24 log 0.24
等号成立 H (Z | X ) H (Z | X ,Y ) I Z :Y | X 0，即Z Y | X
(d)
I Z :Y | X I Z :Y I(X : Z) I(X ,Y : Z) I(Z :Y )
I(Z :Y) I(X ,Y | Z) I(Z :Y) I(X ,Y | Z) 可见这是个恒等式
证明： H ( X ,Y ) p(x, y)log p(x, y) x y
p(x, y)log p(x) p y | x x y
p(x, y)log p(x) p(x, y)log p y | x
x y
x y
p(x)log p(x) p(x, y)log p y | x
2
12
2
D(q ||
p)
1 log 6
1 6
1 4
1 log 6
1 6
1 12
1 log 3
1 3
1 4
1 log 3
1 3
5 12
1 log 2 1 log 2 1 log 4 1 log 4
6 36
3 33 5
5 1 log 3 1 log 5 0.1bits
32
Fra Baidu bibliotek3 精选
6 设随机变量 X ,Y , Z 有联合分布 p(x, y, z)，证明一下不等式，
3333
3
H (Y ) 1 log 1 1 log 1 1bits 2 22 2
精选
H (X | Y ) H (X ,Y ) H (Y ) 0.32bits H (X | Y ) H (X ,Y ) H (Y ) 0.402bits I (X :Y ) H (X ) H (Y ) H (X ,Y ) 0.598bits
I (X ,Y : Z ) I (X : Z ) I (Y : Z | X )且I (Y : Z | X ) 0 所以I (X ,Y : Z ) I (X : Z ) 等号成立 I (Y : Z | X )=0即给定X 条件下Y与Z独立
精选
(c)
H(X ,Y, Z) H(X |Y) H(Z | X,Y) H(Z | X ) H(X , Z) H(X )
2.644
平均码长L 3 0.7 2 0.3 2.7 2.644
冗余度 2.7 - 2.644 0.0056bit
精选
8 已知信源 X 有以下概率分布
x1 x2 x3 x4 x5 x6
（a）求该信源的平稳分布。 （b）求该信源的熵率。
精选
解：(a) 一步转移概率矩阵为
P
设平稳分布为( ，1
00..26500..745
),则(，1 )P
( ，1
)解得
4
，所以
9
平稳分布为( 4 , 5). 99
(b) 信源熵率
H(X ) H(X2 | X1)
(x1)p(x精选2 | x1) log p(x2 | x1)
精选
13 令 X 为掷一枚均匀硬币直至其正面向上所需的次数，求 X 的概率分布和 H ( X ) 。
解：设正面第一次向上时已经搓硬币次数为X，则X的分布如下：
P(X
1)
1 2
P(
X
2)
1 4
1
P(X
k)
2k
H (X ) P(X k) log P(X k) k 1
1 log 1
2k
k 1
2k
1
2k
k精选1
k
()
要求上述级数之和，先由 xk
x
k 1
1 x
两边求导：
f
(x)
k 1
k
x k 1
(x 1
) x
1 (1 x)2
x
f
(x)
k 1
k
xk
x (1 x)2
1 带入()得H (X ) 2 2bit
( 12)2
精选
第二章 随机过程的信息度量和渐 进等分性
概念
p(x, y) Pr X x,Y y, x, y
则 定义 ( X ,Y ) 的联合熵 H (X ,Y ) 为
H(X ,Y) p(x, y)log p(x, y) x y 或写成数学期望形式：
H ( X ,Y ) E log p(x, y)
精选
定理 1.2.2 （链法则）
H (X ,Y ) H (X ) H (Y | X )
I (x) log 1 。 p(x)
精选
1.2 熵、联合熵、条件熵
X 定义 1.2.1 离散随机变量 的熵定义为
H(X ) p(x)log p(x) x
e 我们也用 H ( p) 表示这个熵，有时也称它为概率分布 p的熵，其中对
数函数以2为底时，熵的单位为比特（bit），若对数以 为底时，则熵的