信息论基础PPT

(b) 信源熵率 H ( X ) H ( X 2 | X1 )
x1 x2
( x1 ) p( x2 | x1 ) log p( x2 | x1 )
4 1 1 4 3 3 5 3 3 5 2 2 ( log log log log ) 9 4 4 9 4 4 9 5 5 9 5 5 1 1 3 3 3 3 2 2 log log log log 9 4 9 4 9 5 9 5 2 2 5 log 3 log 5 3 3 9
信息论基础
张松松
080803129 南京林业大学理学院
目录
前言 第一章 第二章 第三章 第四章
随机变量的信息度量 随机过程信息度量和渐进等分性 数据压缩和信源编码 数据可靠传输和信道编码
绪论

信息论简史
信息论简介
信息论简史

信息论是在20世纪40年代后期在通讯
工程实践中，由通讯技术与概率论随机过 程和数理统计相结合而发展起来的一门科 学，是专门研究信息的有效处理和可靠传 输的一般规律的科学。
(b)
1 2 1 1 p( x 0) , p( x 1) , p(Y 0) , p(Y 1) 3 3 2 2
1 1 1 1 q( x 0, y 0) , q( x 0, y 1) , q( x 1, y 0) , q( x 1, y 1) 6 6 3 3
(b)
I ( X , Y : Z ) I ( X : Z ) I (Y : Z | X )且I (Y : Z | X ) 0 所以I ( X , Y : Z ) I ( X : Z ) 等号成立 I (Y : Z | X )=0即给定X 条件下Y与Z独立
(c)
H ( X , Y , Z ) H ( X | Y ) H (Z | X , Y ) H (Z | X ) H ( X , Z ) H ( X ) 等号成立 H ( Z | X ) H ( Z | X , Y ) I Z : Y | X 0，即Z Y | X
图1.1 通信系统模型
第一章

随机变量的信息度量
1.1 自信息 1.2 熵、联合熵、条件熵 1.3 相对熵和互信息
1.1 自信息

定理1.1.1
若自信息I ( x ) 满足一下5个条件： (i ) 非复性： ( x) 0; I (ii ) 如 p( x) 0, 则 I ( x) ; (iii ) 如 p( x) 1, 则 I ( x) 0; (iv ) 严格单调性：如果 p( x) p( y ), 则 I ( x) I ( y); (v) 如果 p( x, y) p( x) p( y), 则 I ( x, y) I ( x) I ( y) 则
设
1 X 0
则
依概率 p 依概率 1
p
H ( X ) p log p (1 p)log(1 p) h( p) 。

定义 1.2.2
设一对随机变量
( X , Y ) 的联合分布为
p( x, y ) Pr X x, Y y , x , y

定义 1.1.1
设
的自信息定义为 x 有概率 p( x)，则 x
1 I ( x) C log p( x)
其中C 为常数。
1 I ( x) log p( x)
。
1.2 熵、联合熵、条件熵

定义 1.2.1
离散随机变量
X
的熵定义为
H ( X ) p( x) log p( x)
e
E p g ( X ) g ( x) p ( x)
x
则熵可以表示为随机变量 log
1 1 的数学期望，即 H ( X ) E log p p( X ) p( X )
可见熵是自信息的概率加权平均值

引理 1.2.1
例题 1.2.1
H ( X ) 0 ，且等号成立的充要条件是 X 有退化分布。
p ( x, y ) D( p || q) p( x, y ) log q ( x, y ) x y
1 1 1 1 4 log 12 1 log log 1 12 1 4 4 6 6 1 5 5 4 log 12 1 12 1 3 3
1 3 1 1 1 3 5 5 log log log log 4 2 12 2 4 4 12 4 1 5 3 log 3 log 5 0.26bits 2 12 2
x y x y
p( x) log p( x) p( x, y ) log p y | x
x x y
H ( X ) H (Y | X )
习题一选做

1
设随机变量 ( X , Y ) p( x, y) 由以下给出
计算： （a） H ( X , Y ), H ( X ), H (Y ), H ( X | Y ), H (Y | X ), I ( X ; Y ); （b）如果q( x, y ) 算 D( p q ) 和
H ( X ) P( X k ) log P( X k )
k 1

1 1 k log k 2 k 1 2 1 k k k 1 2


()
要求上述级数之和，先由 x k
k 1

x 1 x
两边求导： f ( x) k x
k 1
(d)
I Z : Y | X I Z : Y I ( X : Z ) I ( X , Y : Z ) I (Z : Y ) I (Z : Y ) I ( X , Y | Z ) I (Z : Y ) I ( X , Y | Z ) 可见这是个恒等式

证明：
H ( X , Y ) p( x, y) log p( x, y)
x y
p( x, y ) log p( x) p y | x
x y
p( x, y ) log p( x) p( x, y ) log p y | x

6 设随机变量 X , Y , Z 有联合分布 p( x, y, z ) ，证明一下不等式， 并说明等号成立的条件：
(a ) H ( X , Y | Z ) H ( X | Z ); (b) I ( X , Y ; Z ) I ( X ; Z ); (c) H ( X , Y , Z ) H ( X , Y ) H ( X , Z ) H ( X ); (d ) I ( X ; Z | Y ) I ( Z ; Y | X ) I ( Z ; Y ) I ( X ; Z ).

k 1
x 1 ( ) 1 x (1 x) 2
k
x x f ( x) k x (1 x) 2 k 1 1 带入()得H ( X ) 2 2 2bit (1 ) 2
第二章 随机过程的信息度量和渐 进等分性

概念 一 如果一个信源序列是k 阶马尔可夫过程，称信源为 k 阶马尔 k 可夫信源（简称 k 阶马氏信源）， 1时称马尔科夫信源（简称 马氏信源）。 二 若存在 上的一个概率分布 ，满足 M ，则称 为马 氏过程的平稳分布。
1 2 2 2 2 H ( X ) log log log log3 0.918bits 3 3 3 3 3
1 1 1 1 H (Y ) log log 1bits 2 2 2 2
H ( X | Y ) H ( X , Y ) H (Y ) 0.32bits H ( X | Y ) H ( X , Y ) H (Y ) 0.402bits I ( X : Y ) H ( X ) H (Y ) H ( X , Y ) 0.598bits
则 定义
( X , Y ) 的联合熵 H ( X , Y )
x y
为
H ( X , Y ) p( x, y) log p( x, y)
或写成数学期望形式：
H ( X , Y ) E log p( x, y)
ห้องสมุดไป่ตู้
定理 1.2.2 （链法则）
H ( X , Y ) H ( X ) H (Y | X )
x
我们也用 H ( p) 表示这个熵，有时也称它为概率分布 p 的熵，其中对 数函数以2为底时，熵的单位为比特（bit），若对数以 为底时，则熵的 单位为奈特（nat）若对数以10为底时，则熵的单位为哈特（hartley）。 注意熵只是概率分布 p 的函数，与 X 的取值无关。用 E 表示数学期 望， E p表示关于分布 p的数学期望，即
1 1 1 1 1 1 1 1 D(q || p) log 6 log 6 log 3 log 3 1 1 1 5 6 6 3 3 4 12 4 12 1 2 1 1 4 1 4 log log 2 log log 6 3 6 3 3 3 5 5 1 1 log 3 log 5 0.1bits 3 2 3

克劳德· （Claude 香农
Shannon）于
1948年发表的具有里程碑性质的论文“通 讯的数学理论”是世界上首次将通讯过程
建立了数学模型的论文，这篇论文和1949
年发表的另一篇论文一起奠定了现代信息 论的基础。
信息论简介
作为通讯系统的数学理论，香农在1948 年的奠基性文章中提出了通信系统的一 般模型（如下图所示）
习题二选做
3 设 X 1 , X 2 , 为二值平稳马氏信源，其进一步转移概率如下：
P ( X i 1 0 | X i 0) 0.25 P ( X i 1 1| X i 0) 0.75 P ( X i 1 0 | X i 1) 0.6 P ( X i 1 1| X i 1) 0.4
H ( X , Y | Z ) H ( X | Z ) H (Y | X , Z ) 因为H (Y | Z , X ) 0 所以H ( X , Y | Z ) H ( X | Z ) 等号成立 H (Y | Z , X )=0即Y 是X , Z的函数

解：
(a)
H ( X , Y | Z ) H ( X | Z ) H (Y | X , Z ) 因为H (Y | Z , X ) 0 所以H ( X , Y | Z ) H ( X | Z ) 等号成立 H (Y | Z , X )=0即Y 是X , Z的函数
（a）求该信源的平稳分布。
（b）求该信源的熵率。
解：(a)
一步转移概率矩阵为
4 设平稳分布为( ， ), 则( ， ) P ( ， )解得 ，所以 1 1 1 9 4 5 平稳分布为( , ). 9 9
0.25 0.75 P 0.6 0.4
p( x) p( y) 为两个边际分布的乘积分布，计 D(q p)。

解： (a)
1 1 1 1 1 1 5 5 H ( X , Y ) log log log log 4 4 4 4 12 12 12 12
3 1 1 5 log 3 log 5 2 2 2 12 1.5 0.5 1.585 0.96 1.32bits
13 令 X 为掷一枚均匀硬币直至其正面向上所需的次数，求 X 的概率分布和 H ( X ) 。
解：设正面第一次向上时已经搓硬币次数为X，则X的分布如下：
1 P( X k) k 2 1 P( X 1) 2 1 P( X 2) 4