信息论基础-高等教育出版社-叶中行

引理1.1.2 如果实函数f(x)(1 x<)满足以下条件： (1) f(x) 0; (2) f(x)是严格单调增函数，即x<y f(x)<f(y); (3) f(x y)=f(x)+f(y) 则f(x)=clogx
定义1.1.1 设x 有概率p( x)，则x的自信息定义为 1 I(x)=log p( x)
自信息满足的公理
(1) 非负性：I(x) 0
(2) 若p(x)=0,则I(x)
(3) 若p(x)=1,则I(x)=0
(4) 严格单调性：如果p(x)>p(y),则I(x)<I(y)
(5) 如果p(x,y)=p(x)p(y),则I(x,y)=I(x)+I(y)
定理1.1.1 若自信息I(x)满足上述5个条件，则 1 I(x)=clog p(x) 其中c为常数
定理1.3.10 (数据处理不等式) 如果U X Y V 构成马氏链，则 I(U ;V ) I(X ; Y )
§1.41.4.1 称定义于区间（a，b）上的一个函数 信息量的一些基本性质 定义
（x）为凸函数，如果对任意x1，x2 a，b）和 f （ 0 1，有 （ x1 +（1-）x2） （x1）（1-）（x2） f f f
第1章 随机变量的信息度量
§1.1 自信息 §1.2 熵、联合熵、条件熵 §1.3 相对熵和互信息 §1.4 信息量的一些基本性质 §1.5 广义熵 习题课
§1.1 自信息
信息：通信领域指通信的消息；信号处理 方面指包括了数字、数据、图像、语音等 进行运算和处理所需的条件、内容和结果 信源：消息的来源。 信源的分类：离散信源和连续信源 信源的表示方法：用随机变量X表示一个 离散信源，X的可能取值，即信源可能输 出的不同符号用集合χ表示
I(X ; Y )=D(（x, y）||（x）（y）) p p p （x, y） p = （x, y）log p （x）（y） p p x y =EP x , y）log （ （X , Y） p （X）（Y） p p
定理1.3.3 I(X ; Y )=H(X )+H(Y )-H(X , Y ) =H(X )-H(X | Y ) =H(Y )-H(Y | X ) =I(Y ; X )
信息论研究的主要内容
狭义信息论，即通信的数学理论，主要研究狭义 信息的度量方法，研究各种信源、信道的描述和信 源、信道的编码。
实用信息论，研究信息传输和处理问题，也就是 狭义信息论方法在调制解调、编码译码以及检测理论 等领域的应用。
广义信息论，包括信息论在自然和社会中的新的 应用，如模式识别、机器翻译、自学习自组织系统、 心理学、生物学、经济学、社会学等一切与信息问题 有关的领域。
X 输入
第一级 处理器
Z
第二级 处理器
Y
级联处理器示意图 数据处理定理：
数据处理过程中只会丢掉一些信息，绝不会 创造出新的信息，这就是所谓的信息不增性。
U
X 编码
Y 信道
译码
V
一般通信系统
I(U ;V ) I(X ;V ) I(X ;V ) I(X ;Y )
I(U ;V ) I(X ; Y )
定义1.2.2 设一对随机变量（X,Y）的联合 分布为 （x, y）= P r{ X = x,Y = y},x , y p
则定义（X,Y）的联合熵H X,Y）为 （ H X,Y）=- （x，y）log（x，y） （ p p
x y
或者写成数学期望形式: H X,Y） - E log p(X,Y) （ =
熵的单位 比特(bit)
e
10
奈特(nat)
哈特(hartley)
对数底与熵单位的对应关系
期望，即E pg ( X ) g ( x) p( x)
x
用E表示数学期望， p表示关于分布p的数学 E
1 熵可表示为随机变量log 的数学期望 p(X) 1
H(X） E plog p(X) 1 = (log ) p( x) p(x) x =- p ( x) log p ( x)
注2： 类似于H Y | X）， , Z | X）=- p( x, y, z ) log p( y, z | x) （
x y z
定义如下： H Z | Y , X）=-- p( x, y, z ) log p( z | x, y ) （
定理1.3.7 I(X ; Y | Z ) 0，且符合成立的充要条件是 给定Z 条件下X 和Y 互相独立。
定理1.3.8 （互信息的链法则） I(X 1 , X 2 ... X n ; Y )=（X i ; Y | X i 1 ,X i 2 ,X 1） I
i=1 n
系1.3.9 如果X Z Y 构成马氏链，则 I(X ; Y ) I(X ; Z )及I(X ; Y ) I(Z ; Y )
x y z
链法则也可以推广到多维情形，为了简化，今后 记： X n X 1 , X 2 ...X n）,x n x1 ,x2 ,...xn） （ （
定理1.2.3（熵的链法则） 设X 1 , X 2 ...X n的联合分布为（x1 ,x2 ,...xn），则 p H X 1 , X 2 ...X n）= H X i | X i-1 ...X 1） （ （
H X i | X i-1 ...X 1） H X i） （ （ H X 1 , X 2 ...X n） H X i） （ （
i=1 n
定义1.3.3 设随机变量X,Y,Z的联合分布为 p( x, y, z )，则给定Z 条件下X 和Y的条件互信息为
（x, y | z） p I(X ; Y | Z )= p( z ) （x, y | z）log p （x | z）（y | z） p p zZ x y
易验证以下关系式成立 I(X ; Y | Z )=H(X | Z )-H(X | Y , Z ) =H(Y | Z )-H(Y | X , Z ) =H(X | Z )+H(Y | Z )-H(X , Y | Z ) =I(Y ; X | Z )
定义1.3.4 设随机变量X,Y,Z的联合分布为 p( x, y, z )，称给定Z 条件下X 和Y 互相独立， 如果 p ( x, y | z ) p ( x | z ) p ( y | z ) 对于任意x ，y ，z 成立。我们把 这种条件独立性简记为X Y | Z，这时也称 X,Z , Y 构成马氏链，记为X Z Y。
信息论基础
绪论 第1章 第2章 第3章 第4章 第5章 第6章
随机变量的信息度量 随机过程的信息度量和渐近等分性 数据压缩和信源编码 数据可靠传输和信道编码 限失真信源编码和率失真函数 连续信源和信道编码理论
绪论
信息论是应用近代概率统计方法研究信息 传输、交换、存储和处理的一门学科，也 是源于通信实践发展起来的一门新兴应用 科学 研究信息的基本性质及度量方法，研究信 息的获取、传输、存储和处理的一般规律 的科学 研究可能性和存在性问题，为具体实现提 供理论依据
信源
信源编码器 等效信源 等效信宿
信道编码器
等效干扰 信道
信 道
信道译码器
干 扰 源
信宿
信源译码器
信息传输系统模型
1.信源 产生消息的源。 2. 编码器 将消息变成适合于信道传送 的信号的设备。 信源编码器，提高传输效率 编码器 信道编码器，提高传输可靠性 3. 信道 信息传输和存储的媒介 4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。 5. 信宿 消息的接收者。
i=1 n
§1.3 相对熵和互信息
定义1.3.1 定义在同一字母集合 上的两个概率 分布p(x)和q(x)的相对熵定义为： （x） p D(p|q)= （x） p log q(x) x
在上述定义中，一般规定： 0 p 0 log 0 p log q 0 注意！一般的说，D(p||q) D(q||p)
§1.2 熵、联合熵、条件熵
熵：对整个信源来说，每个信号的平均信 息量的多少 定义1.2.1 离散随机变量X的熵定义为
H ( X ) p( x) log p( x)
x
也可记为H(p)，也称为概率分布p的熵
注意！熵只是概率分布p的函数，与X 取什么值并无关系
对数函数底 2 H(X)
自信息：信源发出的某个信号所含的信息 量，记为 I ( x) 自信息与信号发生概率之间关系
(1) x 的概率越大，其发生的可能性越大，
不确定性越小，I ( x)应当越小
(2) 信源连续独立发出两个信号x,y,它们的 联合分布 p(x,y)=p(x)p(y),则x,y的自信息 是它们各自信息量之和，即I(x,y)=I(x)+I(y)
x11 x 2
...
2
xn
（x1 ,x2 ,...xn） （x1 ,x2 ,...xn） p log p
n
定义1.2.4 设随机变量对（X,Y）有联合分布（x, y），用 p p ( y | x )= 定义为
H Y | X x）=- p( y | x) log p( y | x) （
定理1.3.1
D(p||q) 0，且等号成立的充要条件是，
（x）=q(x)对所有的x 成立。 p
系1.3.2 (熵最大定理)H(X ) log ，其中等号成立的 充要条件是X 服从均匀分布（x）= p 母集中所包含元素的个数。 1

，其中 表示字
定义 1.3.2 设两个随机变量(X,Y )的联合分布为（x, y）, p 边际分布分别为（x），（y），互信息I(X ; Y )是（x, y）与 p p p 乘积分布（x）（y）的相对熵，即 p p
y
P {Y = y | X = x}, x , y