第2章 信源与信息熵
合集下载
信息论与编码 第二章 信源与信息熵
现概率是它自身的先验概率。
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值个数是有限的（或可列无限多个）。 例如扔骰子，每次实验结果必然是1～6点中的某一 个面朝上。每次实验的结果不随实验次数变化，也 不与先前的实验结果相关，因而该信源是单符号离
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
I=－log2(1/2m)=m bit
2.2.1 自信息量
自信息量I (xi)的特性：
⑴ I (xi)是非负值
⑵ 当p(xi) = 1时， I (xi) = 0
⑶ 当p (xi) = 0时， I (xi) =∞
⑷ I (xi)是先验概率p (xi)的单调递减函数，即 当p (x1)＞p (x2)时， I (x1) ＜ I (x2) ⑸可加性 ： 两个独立事件的联合信息量等于它们分别的信 息量之和。
发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p (X 2 ) … p (X l ) … p (X L ) 若离散信源输出的每个符号是统计独立的，且具有相同的概 率空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
第2章信源与信息熵
香农辅助定理
H (p 1 ,p 2 ,p 3 ) p ilo p i g p ilo q i g
i
i
普通高等教育“十五”国家级规划教材《信息论与编码》
32
2.2离散信源熵与互信息
最大熵定理
H (X)H (1,1, 1)loM g
条件熵小于无条M 件M 熵 M
H(Y/X)H(Y)
普通高等教育“十五”国家级规划教材《信息论与编码》
第2章信源与信息熵
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源
信源的基本特性是具有随机不确定性
普通高等教育“十五”国家级规划教材《信息论与编码》
2
2.1信源描述与分类
连续信源
p U (u ) (p a (,u b ))
离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义 的随机变量I（x/y)在集合X上的数学期望为给定y 条件下信源的条件熵，单位为比特/序列
H ( X /y ) E [ I ( X /y ) ] p ( x i/y ) l o g p ( x i/y )
i
H ( X / Y ) E [ H ( X /y ) ] p ( y j ) p ( x i/y j ) l o g p ( x i/y j )
I Np( x1) I ( x1) Np( x2 ) I ( x2 ) (0.8 log2 0.8 0.2 log2 0.2) N 平均每次所获得的信息量为
I p( x1 ) I ( x1 ) p( x2 ) I ( x2 ) p( xi ) log p( xi )
i
普通高等教育“十五”国家级规划教材《信息论与编码》
H (p 1 ,p 2 ,p 3 ) p ilo p i g p ilo q i g
i
i
普通高等教育“十五”国家级规划教材《信息论与编码》
32
2.2离散信源熵与互信息
最大熵定理
H (X)H (1,1, 1)loM g
条件熵小于无条M 件M 熵 M
H(Y/X)H(Y)
普通高等教育“十五”国家级规划教材《信息论与编码》
第2章信源与信息熵
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源
信源的基本特性是具有随机不确定性
普通高等教育“十五”国家级规划教材《信息论与编码》
2
2.1信源描述与分类
连续信源
p U (u ) (p a (,u b ))
离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义 的随机变量I（x/y)在集合X上的数学期望为给定y 条件下信源的条件熵，单位为比特/序列
H ( X /y ) E [ I ( X /y ) ] p ( x i/y ) l o g p ( x i/y )
i
H ( X / Y ) E [ H ( X /y ) ] p ( y j ) p ( x i/y j ) l o g p ( x i/y j )
I Np( x1) I ( x1) Np( x2 ) I ( x2 ) (0.8 log2 0.8 0.2 log2 0.2) N 平均每次所获得的信息量为
I p( x1 ) I ( x1 ) p( x2 ) I ( x2 ) p( xi ) log p( xi )
i
普通高等教育“十五”国家级规划教材《信息论与编码》
第2章 信源熵 第1讲 自信息量 与 互信息量
余 映 云南大学
17/38
计算举例
• 对于 2n 进制的数字序列, 假设每一符号的出现完 全随机且概率相等，求任一符号的自信息量。 解：设任一码元 xi 出现概率为 p(xi)，根据题意， p(xi) = 1/ 2n I (xi) = –log(1/ 2n) = n (bit) • 事件的自信息量只与其概率有关，而与它的取值 无关。
余 映 云南大学
18/38
信息量与不确定性的关系
• 信源中某一消息发生的不确定性越大，一旦它发生，并为 收信者收到后，消除的不确定性就越大，获得的信息也就 越大。 • 由于各种原因（例如噪声太大），收信者接收到受干扰的 消息后，对某信息发生的不确定性依然存在或者一点也未 消除时，则收信者获得较少的信息或者说一点也没有获得 信息。
余 映 云南大学 21/38
信息量与不确定性的关系
• 自信息量和不确定度的含义又有区别
– 不确定度只与事件的概率有关，是一个统计量，在静 态状态下也存在； – 自信息量只有该随机事件出现时才给出，不出现时不 给出，因此它是一个动态的概念。
余 映 云南大学
22/38
自信息的含义
• 在事件 xi 发生前：表示事件 xi 发生的不确定性。 • 在事件 xi 发生后：表示事件 xi 所提供的信息量。
余 映 云南大学
19/38
信息量与不确定性的关系
• 信息量的直观定义：
收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) • 在无噪声时，通过信道传输，可以完全不失真地收到消息， 收到此消息后关于某事件发生的不确定性完全消除，此项 为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量
第2章信源与信息熵
7
称为符号x 的先验概率，信源数学模型表示为： 称为符号 i的先验概率，信源数学模型表示为：
X x1 P = p( x ) 1 x2 p( x 2 ) x3 L p( x 3 ) L xn p( x n )
n
称为概率空间， 称为概率空间，其中
长江大学电信学院
长江大学电信学院
12
X
概率论知识复习
1）条件概率
p ( xi | y j ) = p ( xi y j ) p( y j ) , p ( y j | xi ) = p( xi y j ) p( xi )
13
2）联合概率
p ( xi y j ) = p ( y j ) p ( xi | y j ), p( xi y j ) = p ( xi ) p ( y j | xi )
16
长江大学电信学院
X
2.2 离散信源熵和互信息
如果信源具有更多的消息，例如发10个 【例2.3 】如果信源具有更多的消息，例如发 个 数字0,1…..9(例如采用 位十进制树的中文电报 ， 例如采用4位十进制树的中文电报 数字 例如采用 位十进制树的中文电报)， 而且假定这是个消息是等概率分布的，均为0.1， 而且假定这是个消息是等概率分布的，均为 ， 这时信宿仅凭猜测的话，就更难猜了。 这时信宿仅凭猜测的话，就更难猜了。因为信源 发送什么消息更加不确定。 发送什么消息更加不确定。 现在讨论一种极端的情况， 【例2.4 】现在讨论一种极端的情况，信源只发送 一种消息，即永远只发送1或者只发送 或者只发送0， 一种消息，即永远只发送 或者只发送 ，从这样 的信源中我们就不能从中获取任何信息， 的信源中我们就不能从中获取任何信息，也就是 说信源的不确定性为0。 说信源的不确定性为 。
第2章 信源与信息熵(5)
n 27
②统计表明各符号出现的概率如P37表2-7，此时熵值： 统计表明各符号出现的概率如 ，此时熵值：
H1 ( X ) = −∑ p ( xi ) log 2 p ( xi ) = 4.03bit / 符号
i =1 n
可见：各符号出现概率等概处理时，熵值较大。 可见：各符号出现概率等概处理时，熵值较大。
2 .4 连续信源熵和互信息
二、最大熵定理
限峰值功率最大熵定理 信源输出的幅度X受限时 定义域有限的随机变量X）， 受限时（ 信源输出的幅度 受限时（定义域有限的随机变量 ）， 满足均匀分布时， 当X满足均匀分布时，具有最大熵。 满足均匀分布时 具有最大熵。 若变量X的幅度取值限制在 若变量 的幅度取值限制在[a,b]，概率密度函数为 X(x)， 的幅度取值限制在 ，概率密度函数为p ， 当满足均匀分布时， 当满足均匀分布时，则：
上节内容回顾
三、离散序列信源熵
2、有记忆信源序列熵
p ( xi ) = p( xi1 xi2 L xiL ) = p( xi1 ) p ( xi2 | xi1 ) p ( xi3 | xi1 xi2 )L p( xiL | xi1 xi2 L xiL−1 )
若信源输出一个L长序列, 若信源输出一个L长序列,则信源的序列熵为
2 .4 连续信源熵和互信息
一、幅度连续的单个符号信源
单变量x 是连续变量x 单变量x，设 x ∈ [ a , b ] p X ( x ) 是连续变量x的概率密度函数 b−a 令： ∆ x = n xi ∈ a + ( i − 1) ∆ x , a + i ∆ x 由中值定理得： 由中值定理得： p ( x i ) = 根据离散信源熵的定义： 根据离散信源熵的定义：
②统计表明各符号出现的概率如P37表2-7，此时熵值： 统计表明各符号出现的概率如 ，此时熵值：
H1 ( X ) = −∑ p ( xi ) log 2 p ( xi ) = 4.03bit / 符号
i =1 n
可见：各符号出现概率等概处理时，熵值较大。 可见：各符号出现概率等概处理时，熵值较大。
2 .4 连续信源熵和互信息
二、最大熵定理
限峰值功率最大熵定理 信源输出的幅度X受限时 定义域有限的随机变量X）， 受限时（ 信源输出的幅度 受限时（定义域有限的随机变量 ）， 满足均匀分布时， 当X满足均匀分布时，具有最大熵。 满足均匀分布时 具有最大熵。 若变量X的幅度取值限制在 若变量 的幅度取值限制在[a,b]，概率密度函数为 X(x)， 的幅度取值限制在 ，概率密度函数为p ， 当满足均匀分布时， 当满足均匀分布时，则：
上节内容回顾
三、离散序列信源熵
2、有记忆信源序列熵
p ( xi ) = p( xi1 xi2 L xiL ) = p( xi1 ) p ( xi2 | xi1 ) p ( xi3 | xi1 xi2 )L p( xiL | xi1 xi2 L xiL−1 )
若信源输出一个L长序列, 若信源输出一个L长序列,则信源的序列熵为
2 .4 连续信源熵和互信息
一、幅度连续的单个符号信源
单变量x 是连续变量x 单变量x，设 x ∈ [ a , b ] p X ( x ) 是连续变量x的概率密度函数 b−a 令： ∆ x = n xi ∈ a + ( i − 1) ∆ x , a + i ∆ x 由中值定理得： 由中值定理得： p ( x i ) = 根据离散信源熵的定义： 根据离散信源熵的定义：
2信源与信息熵1new
• 可以理解，平稳马尔可夫信源肯定是齐次信源。 反 之不成立。(P11)
状态
• 教材P10：为了简化马尔可夫信源的数学处理过程， 引入状态的概念以替代随机向量。
• 状态si ：为了将高阶(m阶)马尔可夫链简化为一阶马 尔可夫链，可以将向量转换为状态变量。含义：一 个长度为m的符号序列！
• 理解：状态的数量是Q=nm；随着信源源源不断地发 出消息，符号序列不断变化，也即：状态不断变化。
• 这个空间共有qN个元素。
(aq aq aq )
p(aq aq aq )
• (对照：教材P9。)
多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号
彼此是统计独立的，则N维随机向量的联合概率分布
满足
N
p( X )
p(xi )
i 1
• 即N维随机向量的联合概率分布可用随机向量中单个 随机变量的概率乘积来表示。
• 单符号、无记忆、离散信源 • 发出单个符号的、无记忆、离散信源：输出的都是单个符号
的消息，出现的消息数是有限的且只可能是符号集中的一种， 即符合完备性。若各符号出现的概率已知，则该信源就确定 了；反之，信源已知，则各符号出现的概率就确定了。
• 所以信源出现的符号及其概率分布就决定了信源。数学模型：
• X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。
• 注意理解：各个随机变量的概率空间可能相同，也 可能不同。
• 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。
• 同时，符号的出现具有一定的规律性，所以可以使用随机变 量或者随机向量/矢量等数学理论来研究信息，这就是香农信 息论的基本点。
状态
• 教材P10：为了简化马尔可夫信源的数学处理过程， 引入状态的概念以替代随机向量。
• 状态si ：为了将高阶(m阶)马尔可夫链简化为一阶马 尔可夫链，可以将向量转换为状态变量。含义：一 个长度为m的符号序列！
• 理解：状态的数量是Q=nm；随着信源源源不断地发 出消息，符号序列不断变化，也即：状态不断变化。
• 这个空间共有qN个元素。
(aq aq aq )
p(aq aq aq )
• (对照：教材P9。)
多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号
彼此是统计独立的，则N维随机向量的联合概率分布
满足
N
p( X )
p(xi )
i 1
• 即N维随机向量的联合概率分布可用随机向量中单个 随机变量的概率乘积来表示。
• 单符号、无记忆、离散信源 • 发出单个符号的、无记忆、离散信源：输出的都是单个符号
的消息，出现的消息数是有限的且只可能是符号集中的一种， 即符合完备性。若各符号出现的概率已知，则该信源就确定 了；反之，信源已知，则各符号出现的概率就确定了。
• 所以信源出现的符号及其概率分布就决定了信源。数学模型：
• X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。
• 注意理解：各个随机变量的概率空间可能相同，也 可能不同。
• 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。
• 同时，符号的出现具有一定的规律性，所以可以使用随机变 量或者随机向量/矢量等数学理论来研究信息，这就是香农信 息论的基本点。
第二章信源与信息熵
第二章信源与信息熵主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。
重点：离散/连续信源熵和互信息。
难点：离散序列有记忆信源熵。
说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。
由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。
较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。
本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。
作业：2．1—2．7，2．10，2．12。
课时分配：10课时。
板书及讲解要点：在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。
如果符号是确定的而且预先是知道的，那么该消息就无信息而言。
只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。
因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。
2．1 信源的描述与分类在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。
信源：产生随机变量、随机序列和随机过程的源。
信源的基本特性：具有随机不确定性。
信源的分类离散信源：文字、数据、电报——随机序列连续信源：话音、图像——随机过程离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。
发出单个符号的无记忆信源离散无记忆信源： 发出符号序列的无记忆信源离散信源离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源概率论基础：无条件概率，条件概率和联合概率的性质和关系：（1） 非负性0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性111111()1,()1,(/)1,(/)1,()1n m nijiji j i mm nji i j j j i p x p y p x y p yx p x y ===========∑∑∑∑∑∑11()(),()()n mijjijii j p x y p y p x y p x ====∑∑（3） 联合概率()()(/)()(/)()()()(/)()(/)()i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，，（4） 贝叶斯公式11()()(/)(/)()()i j i j i j j i nmijiji j p x y p x y p x y p y x p x y p x y ====∑∑，2.1.1 无记忆信源：例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。
第二章信源与信息熵
j i, j
I ( X ; Y ) p( yj ) I ( X ; yj ) p( xiyj ) log
p( xi / yj ) p( xi )
I(X;Y)=H(X)-H(X/Y)；I(Y;X)=H(Y)-H(Y/X)=I(X;Y)．
• 3.疑义度或损失熵
条件熵H(X/Y)信道上的干扰和噪声所造成的对信源符号x的平均不确定度．
X 0 P p
二元信源熵为
1 q
H (X ) p log p q log q p log p (1 p ) log(1 p ) H ( p)
信源信息熵H(X)是概率p的函数，通常用 H(p)表示。函数曲线如图
i i
I ( xi) 0; P( xi) 0;0 p( xi) 1
H(X ) 0
• 2.信源熵：表征信源的平均不确定度． 3.平均自信息：平均每个信源符号所能提供的信息 量.大小与信源熵相同.
• 例2.2.3二元信源是离散信源的一个特例。该信源X输出符号只 有两个，设为0和1。输出符号发生的概率分别为p和q，p+q=1。 即信源的概率空间为可得二元信源熵为
2.概率空间
一个离散信源发出的各个符号消息的集合 例如：
X＝｛x1，x2，…，xn｝
它们的概率分别为 P＝｛p(x1)，p(x2)，…，p(xn)｝ p(xi)称为符号xi的先验概率。 把他们写到一起就是概率空间:
X x1 P p( x1)
x2
n
...xn
xiyi 所包含的不确定度在数值上也等于它们的自信息量。
4.条件自信息量:当二者不独立 在给定y条件下，随机事件x所包含的不确定度在数值 上与条件自信息量相同，但两者含义不同。
I ( X ; Y ) p( yj ) I ( X ; yj ) p( xiyj ) log
p( xi / yj ) p( xi )
I(X;Y)=H(X)-H(X/Y)；I(Y;X)=H(Y)-H(Y/X)=I(X;Y)．
• 3.疑义度或损失熵
条件熵H(X/Y)信道上的干扰和噪声所造成的对信源符号x的平均不确定度．
X 0 P p
二元信源熵为
1 q
H (X ) p log p q log q p log p (1 p ) log(1 p ) H ( p)
信源信息熵H(X)是概率p的函数，通常用 H(p)表示。函数曲线如图
i i
I ( xi) 0; P( xi) 0;0 p( xi) 1
H(X ) 0
• 2.信源熵：表征信源的平均不确定度． 3.平均自信息：平均每个信源符号所能提供的信息 量.大小与信源熵相同.
• 例2.2.3二元信源是离散信源的一个特例。该信源X输出符号只 有两个，设为0和1。输出符号发生的概率分别为p和q，p+q=1。 即信源的概率空间为可得二元信源熵为
2.概率空间
一个离散信源发出的各个符号消息的集合 例如：
X＝｛x1，x2，…，xn｝
它们的概率分别为 P＝｛p(x1)，p(x2)，…，p(xn)｝ p(xi)称为符号xi的先验概率。 把他们写到一起就是概率空间:
X x1 P p( x1)
x2
n
...xn
xiyi 所包含的不确定度在数值上也等于它们的自信息量。
4.条件自信息量:当二者不独立 在给定y条件下，随机事件x所包含的不确定度在数值 上与条件自信息量相同，但两者含义不同。
第 2 章 信源与信息熵
• 布袋摸球实验，如先取一球记下颜色后不放回布袋 再取另一球，则组成消息的两个球的颜色之间有关 联性。
一般情况下，信源在不同时刻发出的符号之间是相 互依赖的，即信源输出的平稳随机序列 X 中，各随机变 量 X l 之间是有依赖的。
例如在汉字组成的中文消息中，前后文字的出现是 有依赖的，不能认为是彼此不相关的，放在L维随机矢 量的联合概率分布中，就必然要引入条件概率分布来说 明它们之间的关联。这种信源即有记忆信源。
第 2 章 信源与信息熵
2.1 信源的描述与分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度
概率论基础
无条件概率、条件概率、联合概率的性质和关系
(1) 0 ≤ p( x i )， p( y j )， p( y j | x i )， p( x i | y j )， p( x i y j )≤1
设信源输出的Ｌ维随机序列（随机矢量）为
序列中的随机变量 X l ∈ A ( l =1, 2, …, L ) 信源的概率空间：
??
?
2010-3-30
例：
∵ 序列无记忆
若为平稳随机序列，则
L l=1
这种由信源 X 输出的 L 长随机序列 X 所描述的信 源叫做离散无记忆信源 X 的 L 次扩展信源。
(2)
n
m
n
i
=
p
1
(
x
i
)
=
1
,
∑
j=
p
1
(
y
j
)
=
1
,
∑p
i=1
(
x
i
|
y
j
)
一般情况下，信源在不同时刻发出的符号之间是相 互依赖的，即信源输出的平稳随机序列 X 中，各随机变 量 X l 之间是有依赖的。
例如在汉字组成的中文消息中，前后文字的出现是 有依赖的，不能认为是彼此不相关的，放在L维随机矢 量的联合概率分布中，就必然要引入条件概率分布来说 明它们之间的关联。这种信源即有记忆信源。
第 2 章 信源与信息熵
2.1 信源的描述与分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度
概率论基础
无条件概率、条件概率、联合概率的性质和关系
(1) 0 ≤ p( x i )， p( y j )， p( y j | x i )， p( x i | y j )， p( x i y j )≤1
设信源输出的Ｌ维随机序列（随机矢量）为
序列中的随机变量 X l ∈ A ( l =1, 2, …, L ) 信源的概率空间：
??
?
2010-3-30
例：
∵ 序列无记忆
若为平稳随机序列，则
L l=1
这种由信源 X 输出的 L 长随机序列 X 所描述的信 源叫做离散无记忆信源 X 的 L 次扩展信源。
(2)
n
m
n
i
=
p
1
(
x
i
)
=
1
,
∑
j=
p
1
(
y
j
)
=
1
,
∑p
i=1
(
x
i
|
y
j
)
第2章.信源与信息熵
p( x1 , x2 ,, xL ) p( xL | x1 , x2 ,, xL 1 ) p( x1 , x2 ,, xL 1 ) p( xL | xL m , , xL 1 ) p( x1 , x2 ,, xL 1 ) p( xL | xL m , , xL 1 ) p( xL 1 | x1 , x2 ,, xL 2 ) p( x1 , x2 ,, xL 2 ) p( xL | xL m , , xL 1 ) p( xL 1 | xL m1 ,, xL 2 ) p( x1 , x2 ,, xL 2 )
P中第i行元素对应于从某一个状态si 转移到所有状态s j ( s j S )的 第j列元素对应于从所有状态si ( si S )转移到同一个状态s j的转移 概率，列元素之和不一定为1。
29
转移概率。矩阵中的每一行元素都是非负的，且每行之和均为1。
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 ( k步转移概率pijk )与l (l k )步和k - l步转移概率之间有所谓
表述的复杂度将随着序列长度的增加而增加。 然而实际上信源发出的符号往往只与前若干个符号有较 强的依赖关系，随着长度的增加依赖关系越来越弱，因 此可以根据信源的特征和处理时的需要限制记忆的长度， 使分析简化。
18
2.1.3 马尔可夫信源
马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m 个符号有关联性，而与更前面的符号无关。这种有记忆 信源叫做m阶马尔可夫信源，可以用马尔可夫链来描述。
30
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 由前递推关系式可知，对于齐次马尔可夫链，一步转移 概率完全决定了k步转移概率。 为了确定无条件概率，引入初始概率，令：
P中第i行元素对应于从某一个状态si 转移到所有状态s j ( s j S )的 第j列元素对应于从所有状态si ( si S )转移到同一个状态s j的转移 概率，列元素之和不一定为1。
29
转移概率。矩阵中的每一行元素都是非负的，且每行之和均为1。
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 ( k步转移概率pijk )与l (l k )步和k - l步转移概率之间有所谓
表述的复杂度将随着序列长度的增加而增加。 然而实际上信源发出的符号往往只与前若干个符号有较 强的依赖关系，随着长度的增加依赖关系越来越弱，因 此可以根据信源的特征和处理时的需要限制记忆的长度， 使分析简化。
18
2.1.3 马尔可夫信源
马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m 个符号有关联性，而与更前面的符号无关。这种有记忆 信源叫做m阶马尔可夫信源，可以用马尔可夫链来描述。
30
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 由前递推关系式可知，对于齐次马尔可夫链，一步转移 概率完全决定了k步转移概率。 为了确定无条件概率，引入初始概率，令：
13级-信息论与编码 第2章-信源和信源熵(全)
2.1 信源的描述与分类
2.1.1 离散信源与连续信源
定义2.1.1 若信源输出的消息数是有限的或可数的，且每次只输出符号 集中的一个消息，这样的信源称为简单的离散信源。
表示方式：一维概率空间与随机变量 例：掷骰子
朝上一面 的点数
X
p x
1 p1
2 p2
3 p3
4 p4
5 p5
6 p6
各点数等概出现：
信息论与编码理论
吉林大学通信工程学院
通信工程系 赵蓉
第2章 信源和信源熵
版权所有©赵蓉
主要内容
2.1 信源的描述与分类
2.2 离散信源的信息熵
2.3 信源熵的基本特性和定理
2.4 离散无记忆扩展信源
2.5 离散平稳信源
2.6马尔可夫信源 2.7 信源的相关性和剩余度 2.8 连续信源
版权所有©赵蓉
离散信源的数学模型：
p
X
x
p
a1 ,
a1
,
a2
pa2 ,
q
且 pai 1 i 1
2.2.1 信息量（自信息）
1.直觉的观点 信息 I 1
P
, aq
,
p
aq
•p(x) = 1, I = 0;
•p(x) = 0, I→ .
版权所有©赵蓉
信息量I
I x loga
1
p x
loga
53
版权所有©赵蓉
全楼共有48个房间，指定其中一间的概率为1/48。 “办公室在53号房间”的信息量为：
I
log2
1 1/ 48
log2
48
5.58bit
“办公室在5楼”的信息量为：
《信源和信息熵》PPT课件
下，它并不等于平均获得的信息量，获得的信息量 是两
熵之差，并不是信息熵本身。
二、信息熵的基本性质
1、对称性：
此性质说明：熵的总体性。它只与随机变量的总 体结
构有关，而不在于个别值的概率，甚至也不因随 机变
量取值的不同而异。 2、非负性：
3、扩展性：
说明：概率很小的值的出现，给予接收者以较大的 信息，但在熵的计算中占的比重很小，这是熵的总 体平均性的一种体现。 4、确定性：
注意：信息单位比特（表示以2为底的对数） 与计算机术语中的比特（表示二进制数的 位）的意义是不同的。
▪收到某消息获得的信息量＝收到此消息前 关于某事件发生的不确定性－收到此消息 后关于某事件发生的不确定性
即：收信者所获得的信息量应等于信息传 输前后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的 可能性为等概，若仅有一个坏灯泡，须获 知多少信息量才可确认？
可见：所有概率分布pi所构成的熵，以等概时为最 大，
称为最大离散熵定理。
7、上凸性： 熵函数具有严格的上凸性，它的极值必为最大值。 8、递增性：
其中： 此性质说明：熵增加了一项由于划分而产生的不确 定性
量。
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
可见：熵函数的递增性也可称为递推性，表示n 个元素的信源熵可以递推成（n－1）个二元信 源的熵函数的加权和。可使多元信源的熵函数 计算简化成计算若干个二元信源的熵函数。
独立 有记忆信源：随机矢量的各分量不相
互独立 表述有记忆信源比无记忆信源困难的多，实际中，
信 源发出的符号往往只与前若干符号的依赖关系强，
与 更前面的符号依赖关系弱，这类信源可用马尔可
熵之差，并不是信息熵本身。
二、信息熵的基本性质
1、对称性：
此性质说明：熵的总体性。它只与随机变量的总 体结
构有关，而不在于个别值的概率，甚至也不因随 机变
量取值的不同而异。 2、非负性：
3、扩展性：
说明：概率很小的值的出现，给予接收者以较大的 信息，但在熵的计算中占的比重很小，这是熵的总 体平均性的一种体现。 4、确定性：
注意：信息单位比特（表示以2为底的对数） 与计算机术语中的比特（表示二进制数的 位）的意义是不同的。
▪收到某消息获得的信息量＝收到此消息前 关于某事件发生的不确定性－收到此消息 后关于某事件发生的不确定性
即：收信者所获得的信息量应等于信息传 输前后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的 可能性为等概，若仅有一个坏灯泡，须获 知多少信息量才可确认？
可见：所有概率分布pi所构成的熵，以等概时为最 大，
称为最大离散熵定理。
7、上凸性： 熵函数具有严格的上凸性，它的极值必为最大值。 8、递增性：
其中： 此性质说明：熵增加了一项由于划分而产生的不确 定性
量。
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
可见：熵函数的递增性也可称为递推性，表示n 个元素的信源熵可以递推成（n－1）个二元信 源的熵函数的加权和。可使多元信源的熵函数 计算简化成计算若干个二元信源的熵函数。
独立 有记忆信源：随机矢量的各分量不相
互独立 表述有记忆信源比无记忆信源困难的多，实际中，
信 源发出的符号往往只与前若干符号的依赖关系强，
与 更前面的符号依赖关系弱，这类信源可用马尔可
第2章 -1信源与信息熵1【单符号离散信源】
y信道传输的平均信息量有扰离散信道结论因信道有扰而产生的平均信息量称噪声熵反映了信道中噪声源的不确定度唯一地确定信道噪声所需要的平均信息量hyy的先验不确定度hyx发出x后关于y的后验不确定度在已知x的条件下对于随机变量y存在的平均不确定度发出x前后y不确定度的平均减少量可看作在有扰离散信道上传递消息时唯一地确定接收符号y所需要的平均信息量hy减去当信源发出符号x为已知时需要确定接收符号y所需要的平均信息量hyx
1. 离散信源熵 (平均自信息量/无条件熵)
[定义] 自信息量的数学期望为信源的平均信息量，记为：H（X）。
H(X)=E[I(xi)]= –∑p(xi)log2 p(xi)
——平均不确定度的度量、体现: 总体平均
[单位]
二进制:bit/(信源)符号，或bit/(信源)序列 [含义]信息熵具有以下三方面物理含义： ⑴ 表示信源输出前，信源的平均不确定性 ⑵ 表示信源输出后，每个符号所携带的平均信息量 ⑶ 表示信源的的随机性（不同的信源有不同的统计特性） 信息熵的意义： 信源的信息熵是从整个信源的统计特性来考虑的。它是从 平均意义上来表征信源的总体特性的。对于某特定的信源， 其信息熵只有一个。不同的信源因统计特性不同，其信息熵 也不同。
√
（后续章节）
一、概述
⒈ 信息的一般概念 一个人获得消息→消除不确定性→获得信息。 ⒉ 信息度量的定性分析 事件发生的概率越大，不确定性越小，该事件 包含的信息量越小； 事件发生的概率越小，不确定性越大，该事件 包含的信息量越大； 如果一个事件发生的概率为1，那么它包含的 信息量为0； 两个相互独立事件所提供的信息量应等于它们 各自提供的信息量之和。
2.2.1
自信息量
1.自信息量 [定义] 若信源发出符号xi，由于信道无干扰，收到的就
1. 离散信源熵 (平均自信息量/无条件熵)
[定义] 自信息量的数学期望为信源的平均信息量，记为：H（X）。
H(X)=E[I(xi)]= –∑p(xi)log2 p(xi)
——平均不确定度的度量、体现: 总体平均
[单位]
二进制:bit/(信源)符号，或bit/(信源)序列 [含义]信息熵具有以下三方面物理含义： ⑴ 表示信源输出前，信源的平均不确定性 ⑵ 表示信源输出后，每个符号所携带的平均信息量 ⑶ 表示信源的的随机性（不同的信源有不同的统计特性） 信息熵的意义： 信源的信息熵是从整个信源的统计特性来考虑的。它是从 平均意义上来表征信源的总体特性的。对于某特定的信源， 其信息熵只有一个。不同的信源因统计特性不同，其信息熵 也不同。
√
（后续章节）
一、概述
⒈ 信息的一般概念 一个人获得消息→消除不确定性→获得信息。 ⒉ 信息度量的定性分析 事件发生的概率越大，不确定性越小，该事件 包含的信息量越小； 事件发生的概率越小，不确定性越大，该事件 包含的信息量越大； 如果一个事件发生的概率为1，那么它包含的 信息量为0； 两个相互独立事件所提供的信息量应等于它们 各自提供的信息量之和。
2.2.1
自信息量
1.自信息量 [定义] 若信源发出符号xi，由于信道无干扰，收到的就
第二章信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？ 第二章信源和信息熵
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
第二章信源和信息熵
第二章 信源和信息熵
（2）信源发出的符号间彼此是否独立： 无记忆信源：随机矢量的各分量相互独立 有记忆信源：随机矢量的各分量不相互独立
表述有记忆信源比无记忆信源困难的多，实际中，信 源发出的符号往往只与前若干符号的依赖关系强，与 更前面的符号依赖关系弱，这类信源可用马尔可夫信 源表示。 不同统计特性的信源可用随机变量、随机矢量以及随 机过程描述其输出的消息。
自信息的两种含义：信源输出消息x1之前，自信息 I(x1)是关于x1发生地不确定性的度量；而在信源输出 消息x1后，自信息I(x第1二)章表信源示和信x息1熵所含有的信息量。
第二章 信源和信息熵
注意：信息单位比特（表示以2为底的对数） 与计算机术语中的比特（表示二进制数的位） 的意义是不同的。
▪收到某消息获得的信息量＝收到此消息前关于 某事件发生的不确定性－收到此消息后关于某 事件发生的不确定性
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
解：数学模型为：
且满足：
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？ 第二章信源和信息熵
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
第二章信源和信息熵
第二章 信源和信息熵
（2）信源发出的符号间彼此是否独立： 无记忆信源：随机矢量的各分量相互独立 有记忆信源：随机矢量的各分量不相互独立
表述有记忆信源比无记忆信源困难的多，实际中，信 源发出的符号往往只与前若干符号的依赖关系强，与 更前面的符号依赖关系弱，这类信源可用马尔可夫信 源表示。 不同统计特性的信源可用随机变量、随机矢量以及随 机过程描述其输出的消息。
自信息的两种含义：信源输出消息x1之前，自信息 I(x1)是关于x1发生地不确定性的度量；而在信源输出 消息x1后，自信息I(x第1二)章表信源示和信x息1熵所含有的信息量。
第二章 信源和信息熵
注意：信息单位比特（表示以2为底的对数） 与计算机术语中的比特（表示二进制数的位） 的意义是不同的。
▪收到某消息获得的信息量＝收到此消息前关于 某事件发生的不确定性－收到此消息后关于某 事件发生的不确定性
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
解：数学模型为：
且满足：
第2章_信源与信息熵
其状态变量S=(00，01，10，11)。 其状态变量S=(00，01，10，11)。 求： S=(00
信息论基础C
18
2.2离散信源熵与互信息
信息量
自信息量 联合自信息量 条件自信息量
单符号离散信源熵
符号熵 条件熵 联合熵
信息论基础C
19
2.2.1 自信息量
信息论基础C
20
2.2.1 自信息量
信息论基础C
7
离散无记忆序列信源－布袋实验（ ） 离散无记忆序列信源－布袋实验（2）
布袋摸球的实验：若每次取出两个球， 布袋摸球的实验：若每次取出两个球，由两个球的颜色组 成的消息就是符号序列。例如，先取出一个球， 成的消息就是符号序列。例如，先取出一个球，记下颜色后放 回布袋，再取另一个球。 回布袋，再取另一个球。 由于两次取球时布袋中的红球、白球个数没有变化， 由于两次取球时布袋中的红球、白球个数没有变化，第二 个球取什么色与第一个球的颜色无关，是独立的， 个球取什么色与第一个球的颜色无关，是独立的，因而该信源 是无记忆的，叫做发出符号序列的无记忆信源。 是无记忆的，叫做发出符号序列的无记忆信源。
信息论基础C
26
2.2.2 离散信源熵
信息论基础C
27
离散信源熵的引入：
例： 一个布袋内放100个球，其中80个球为红色， 20球为白色。若随机摸取一个球，猜测其颜色。共进行 n次摸取。求平均摸取一次所获得的（自）信息量。 解：x1：表示摸出的球为红球；
信息论基础C
21
自信息量： 自信息量：
对于给定的离散概率空间表示的信源，x=ai事件 所对应的（自）信息为：
1 I ( x i = a i ) = − log p ( x i ) = log p( x i )
第2章信源与信息熵
1. 非负性 2. 对称性
n
pi 1,
i 1
pi 0
(i 1, 2,..., n)
3. 确定性
4. 连续性
5. 扩展性
6. 最大熵定理
7. 条件熵小于无条件熵
熵函数的非负性
H ( X ) H ( p1, p2 , , pn ) 0
0 pi 1, log pi 0
pi log pi 0
i
熵的物理意义
H(X)表示信源发出任何一个消息状态所携带的平均信 息量
也等于在无噪声条件下，接收者收到一个消息状态所获 得的平均信息量
熵的本意为热力学中表示分子状态的紊乱程度 信息论中熵表示信源中消息状态的不确定度 信源熵与信息量有不同的意义
H(X)表示信源X每一个状态所能提供的平均信息量 H(X)表示信源X在没有发出符号以前，接收者对信源的
第2章 信源与信息熵
主要内容 1. 信源的分类与描述 2. 离散信源的信息熵和互信息 3. 离散序列信源的熵 4. 连续信源的熵与互信息 5. 冗余度
2.1 信源的分类与描述
信源的定义
产生消息（符号）、消息序列和连续消息的来源。
信源的基本特性是具有随机不确定性
分类
1. 时间
离散
2. 幅度
离散
3. 记忆
有
பைடு நூலகம்
连续 连续 无
介绍三类信源
➢ 单符号离散信源 ➢ 符号序列信源（有记忆和无记忆） ➢ 连续信源
单符号离散信源
单符号离散信源：用随机变量X来描述
X的概率空间
X p(xi
)
X
x1, p1,
X x2, p2 ,
, X xn
,
pn
第二章 信源与信息熵
连续信源的概率空间：
PX(pax,(bx))或Rpx(x)
b
px(x)0, px(x)dx1或px(x)0, Rpx(x)dx1 a
南通大学
2019/9/4
8
第2章 信源与信息熵
3. 发出符号序列离散无记忆信源－－每次发出 一组含两个以上的符号序列来代表一个消息
南通大学
2019/9/4
18
第2章 信源与信息熵
p ij m ,n 一 k 步 步 p p ijik jm m 齐 次 p p iijjk
注：平稳信源的概率分布特性具有时间推移不变性， 而齐次马氏链只要转移概率具有时间推移不变性， 因此一般情况下，平稳包含齐次。
p
k
ii
0
的
n中没有比1大的公因
子。
南通大学
2019/9/4
23
第2章 信源与信息熵
• 作业：2-1，2-2
南通大学
2019/9/4
24
第2章 信源与信息熵
第二章 信源与信息熵
• 第二讲
南通大学
2019/9/4
25
第2章 信源与信息熵
上一讲复习
• 1. 信源的分类
连续信源 信源
离散信源
随机波形信源 其它 单符号无记忆离散信源 符号序列无记忆离散信源 单符号有记忆离散信源 符号序列有记忆离散信源
实际上信源发出的符号往往只与前面几个符号 的依赖关系较强，而与更前面的符号依赖关系就弱。 为此可以限制随机序列的记忆长度。
南通大学
2019/9/4
11
第2章 信源与信息熵
• 连续信源的离散化
南通大学
2019/9/4
PX(pax,(bx))或Rpx(x)
b
px(x)0, px(x)dx1或px(x)0, Rpx(x)dx1 a
南通大学
2019/9/4
8
第2章 信源与信息熵
3. 发出符号序列离散无记忆信源－－每次发出 一组含两个以上的符号序列来代表一个消息
南通大学
2019/9/4
18
第2章 信源与信息熵
p ij m ,n 一 k 步 步 p p ijik jm m 齐 次 p p iijjk
注：平稳信源的概率分布特性具有时间推移不变性， 而齐次马氏链只要转移概率具有时间推移不变性， 因此一般情况下，平稳包含齐次。
p
k
ii
0
的
n中没有比1大的公因
子。
南通大学
2019/9/4
23
第2章 信源与信息熵
• 作业：2-1，2-2
南通大学
2019/9/4
24
第2章 信源与信息熵
第二章 信源与信息熵
• 第二讲
南通大学
2019/9/4
25
第2章 信源与信息熵
上一讲复习
• 1. 信源的分类
连续信源 信源
离散信源
随机波形信源 其它 单符号无记忆离散信源 符号序列无记忆离散信源 单符号有记忆离散信源 符号序列有记忆离散信源
实际上信源发出的符号往往只与前面几个符号 的依赖关系较强，而与更前面的符号依赖关系就弱。 为此可以限制随机序列的记忆长度。
南通大学
2019/9/4
11
第2章 信源与信息熵
• 连续信源的离散化
南通大学
2019/9/4
第二章信源及信源熵
为m阶马尔可夫信源：
p( xi | xi 2 xi 1 xi 1 xi 2 xi m x1 ) p( xi | xi 1 xi 2 xi m ) (i 1, 2, , N )
用概率空间来描述离散信源:
一个离散信源的数学模型就是离散型的概率空间：
X与Y相互独立，无法从Y中提取关于X的 信息。也可以看成信道噪声相当大，以至有
H(X/Y)=H(X) 。在这种情况下，能够传输的
平均信息量为0。称为全损离散信道。
一般情况下，X和Y既非互相独立，也不是一一对
应，那么从Y获得的X信息必在零与H(X)之间，即
常小于X的熵。
0 I ( X ;Y ) H ( X )
当 xi 和 y j 相互独立时，有 p( xi y j ) p( xi ) p( y j ) 于是有 I ( xi y j ) I ( xi ) I ( y j )
条件自信息量：当 xi 和 y j 相互联系时，在事件 y j 出现的条件下，xi 的自信息量称为条件自信息 量，定义为 ：
j
/ xi )
H (Y / X ) p( xi ) p( y j | xi ) log p( y j | xi )
j 1 i 1 n
m
n
p( xi y j ) log p( y j | xi )
j 1 i 1
m
H ( X | Y ) - p ( xy ) log p ( x | y )
（2）当事件xi发生以后，表示事件xi所提供的信息量。
一点说明
自信息量的单位取决于对数的底；
底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”或“det”； 根据换底公式得：
p( xi | xi 2 xi 1 xi 1 xi 2 xi m x1 ) p( xi | xi 1 xi 2 xi m ) (i 1, 2, , N )
用概率空间来描述离散信源:
一个离散信源的数学模型就是离散型的概率空间：
X与Y相互独立，无法从Y中提取关于X的 信息。也可以看成信道噪声相当大，以至有
H(X/Y)=H(X) 。在这种情况下，能够传输的
平均信息量为0。称为全损离散信道。
一般情况下，X和Y既非互相独立，也不是一一对
应，那么从Y获得的X信息必在零与H(X)之间，即
常小于X的熵。
0 I ( X ;Y ) H ( X )
当 xi 和 y j 相互独立时，有 p( xi y j ) p( xi ) p( y j ) 于是有 I ( xi y j ) I ( xi ) I ( y j )
条件自信息量：当 xi 和 y j 相互联系时，在事件 y j 出现的条件下，xi 的自信息量称为条件自信息 量，定义为 ：
j
/ xi )
H (Y / X ) p( xi ) p( y j | xi ) log p( y j | xi )
j 1 i 1 n
m
n
p( xi y j ) log p( y j | xi )
j 1 i 1
m
H ( X | Y ) - p ( xy ) log p ( x | y )
（2）当事件xi发生以后，表示事件xi所提供的信息量。
一点说明
自信息量的单位取决于对数的底；
底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”或“det”； 根据换底公式得：
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
pij (m, n) PS n s j / S m si Ps j / si pij (m, n) 0 pij (m, n) 1 j
15
2.1信源描述与分类
• 马尔可夫信源 特别关心n-m=1情况，pij(m,m+1)
pij (m) PS m 1 s j / S m si pij pij 0 pij 1 j k步转移概率为: (k ) (k ) pij (m) PS m k j / S m i pij
5
2.1信源特性与分类
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
6
2.1信源描述与分类
• 描述：通过概率空间描述
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
13
2.1信源描述与分类
• 马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进 行分析，现方法将矢量转化为状态变量。 定义状态：
以3位PCM信源为例
, U 111 U L U 000, U 001 3 2 3 p(u) p0 , p p , p 0 1 1
9
2.1信源描述与分类
当p=1/2
, U 111 U L U 000, U 001 1 , 1 p(u ) 1 , 8 8 8
2.2离散信源熵与互信息
I ( x1 ) log2 p( x1 ) log2 0.8bit I ( x 2 ) log2 p( x 2 ) log2 0.2bit N次后所获得的信息量为 I Np ( x1 ) I ( x1 ) Np ( x 2 ) I ( x 2 ) (0.8 log2 0.8 0.2 log2 0.2) N 平均每次所获得的信息 量为 I p( x1 ) I ( x1 ) p( x 2 ) I ( x 2 ) p( xi ) log p( xi )
26
2.2离散信源熵与互信息
定义：对于给定的离散概率空间表示的信 源，x=ai事件所对应的（自）信息为
1 I ( xi ai ) log p( xi ) log p( xi )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
lim p p j k p j 0
(k ) ij i 0
p j pi pij
p
j
j
1
19
2.1信源描述与分类
• 马尔可夫信源 定理：设有一齐次马尔可夫链，其状态 转移矩阵为P，其稳态分布为wj
w
j
j
1
WP W
20
2.1信源描述与分类
不可约性，对于任意一对I和j， 都存在 至少一个k，使pij(k)>0. 非周期性，所有pij(n)>0的n中没有比1大 的公因子。 定理：设P是某一马尔可夫链的状态转 移矩阵，则该稳态分布存在的充要条件 是存在一个正整数N，使矩阵PN中的所 有元素均大于零。
28
2.2离散信源熵与互信息
• 联合自信息、条件自信息与自信息间的关系
p ( x, y ) p ( x ) p ( y / x ) p ( y ) p ( x / y ) I ( x, y ) log p( x, y ) log p( x) p( y / x) log p( x) log p( y / x) I ( x) I ( y / x) 当x和y相互独立 I ( xy) I ( x) I ( y ) 推广 I ( x1 x2 x N ) I ( x1 ) I ( x2 / x1 ) I ( x N / x1 x2 x N 1 )
7
2.1信源描述与分类
连续信源
U (a, b) p(u ) p(u )
u U (,), p(u )为概率密度函数
8
2.1信源描述与分类
离散序列信源
U L U u1 , U u 2 , U u n L p(u ) p(u 2 ), p(u n L ) p(u1 ),
i
33
2.2离散信源熵与互信息
• 单符号离散信源熵
定义：对于给定离散概率空间表示的信源 所定义的随机变量I的数学期望为信源的信 息熵，单位为比特/符号
H ( X ) E[ I ( x)] p( xi ) log p( xi )i Nhomakorabea34
2.2离散信源熵与互信息
• 离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义的随 机变量I（x/y)在集合X上的数学期望为给定y条件下信 源的条件熵，单位为比特/序列
29
2.2离散信源熵与互信息
Eg1 设在一正方形棋盘上共有64个方格，如果甲将一 粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子 所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的 顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的 行（或列）编号告诉乙，再令乙猜测棋子所在列（或 行）所在的位置。
• 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两 个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
p( X1 , X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X L1 )
12
2.1信源描述与分类
21
2.1信源描述与分类
• Eg. 一个相对编码器，求平稳分布
X +
Y
T
22
2.1信源描述与分类
• Eg. 二阶马氏链，X{0,1},求平稳分布
起始状态 00 01
S1(00)
1/2 0
S2(01)
1/2 0
S3(10)
0 1/3
S4(11)
0 2/3
10
11
1/4
0
3/4
0
0
1/5
0
4/5
23
27
2.2离散信源熵与互信息
定义：联合概率空间中任一联合事件的联合（自）信 息量为：
1 I ( xi , y j ) log p( xi , y j ) log p( xi , y j )
定义：联合概率空间中，事件x在事件y给定条件下的 条件（自）信息量为：
1 I ( xi / y j ) log p( xi / y j ) log p( xi / y j )
2.1信源描述与分类
• 信息量
自信息量 联合自信息量 条件自信息量
• 单符号离散信源熵
符号熵 条件熵 联合熵
24
2.1信源描述与分类
• 信息
– 不确定性的消除
• 信息的度量
– 随机性、概率 – 相互独立符合事件概率相乘、信息相加
• 熵
– 事件集的平均不确定性
25
2.2离散信源熵与互信息
17
2.1信源描述与分类
• 马尔可夫信源 k步转移概率pij(k)与l步和k-l步转移概率 之间满足切普曼-柯尔莫郭洛夫方程。 定义：如果从状态I转移到状态j的概率 与m无关，则称这类MovKov链为齐次
对于齐次马尔可夫链，一步转移概率完 全决定了k步转移概率。
18
2.1信源描述与分类
• 马尔可夫信源 定义：若齐次马尔可夫链对一切I,j存在 不依赖于I的极限，则称其具有遍历性， pj称为平稳分布
直观推导信息测度
信息I应该是消息概率p的递降函数
pi , I ( pi ) , 且当pi 0时, I ( pi ) pi , I ( pi ) , 且当pi 1时, I ( pi ) 0
由两个不同的消息（相互统计独立）所提供的信息等 于它们分别提供信息之和（可加性）
单符号离散信源
U U u1 , U u 2 , , U u n p2 , , pn p(u ) p1 ,
例如：对二进制数字与数据信源
U 0, p p0 ,
0, 1 1 1 1 p1 , 2 2
si ( xi1, xi 2 , xim ) xij A a1,an
信源在某一时刻出现符号概率xj与信源 此时所处状态si有关，用条件概率表示 p(xj/si),状态转移概率表示为p(sj/si)
14
2.1信源描述与分类
• 马尔可夫信源 更一般，经过n-m步后转移至sj的概率
2
2.1信源特性与分类
• 分类
时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源
3
2.1信源特性与分类
• 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由 两个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色放回布袋， 再取另一个球。
16
2.1信源描述与分类
• 马尔可夫信源 系统在任一时刻可处于状态空间的任意 一状态，状态转移时，转移概率是一个 矩阵， 一步转移转移矩阵为 p { pij , i, j S} p11 p12 p1Q p p 2Q P 21 pQ1 pQ 2 pQQ
15
2.1信源描述与分类
• 马尔可夫信源 特别关心n-m=1情况，pij(m,m+1)
pij (m) PS m 1 s j / S m si pij pij 0 pij 1 j k步转移概率为: (k ) (k ) pij (m) PS m k j / S m i pij
5
2.1信源特性与分类
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
6
2.1信源描述与分类
• 描述：通过概率空间描述
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
13
2.1信源描述与分类
• 马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进 行分析，现方法将矢量转化为状态变量。 定义状态：
以3位PCM信源为例
, U 111 U L U 000, U 001 3 2 3 p(u) p0 , p p , p 0 1 1
9
2.1信源描述与分类
当p=1/2
, U 111 U L U 000, U 001 1 , 1 p(u ) 1 , 8 8 8
2.2离散信源熵与互信息
I ( x1 ) log2 p( x1 ) log2 0.8bit I ( x 2 ) log2 p( x 2 ) log2 0.2bit N次后所获得的信息量为 I Np ( x1 ) I ( x1 ) Np ( x 2 ) I ( x 2 ) (0.8 log2 0.8 0.2 log2 0.2) N 平均每次所获得的信息 量为 I p( x1 ) I ( x1 ) p( x 2 ) I ( x 2 ) p( xi ) log p( xi )
26
2.2离散信源熵与互信息
定义：对于给定的离散概率空间表示的信 源，x=ai事件所对应的（自）信息为
1 I ( xi ai ) log p( xi ) log p( xi )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
lim p p j k p j 0
(k ) ij i 0
p j pi pij
p
j
j
1
19
2.1信源描述与分类
• 马尔可夫信源 定理：设有一齐次马尔可夫链，其状态 转移矩阵为P，其稳态分布为wj
w
j
j
1
WP W
20
2.1信源描述与分类
不可约性，对于任意一对I和j， 都存在 至少一个k，使pij(k)>0. 非周期性，所有pij(n)>0的n中没有比1大 的公因子。 定理：设P是某一马尔可夫链的状态转 移矩阵，则该稳态分布存在的充要条件 是存在一个正整数N，使矩阵PN中的所 有元素均大于零。
28
2.2离散信源熵与互信息
• 联合自信息、条件自信息与自信息间的关系
p ( x, y ) p ( x ) p ( y / x ) p ( y ) p ( x / y ) I ( x, y ) log p( x, y ) log p( x) p( y / x) log p( x) log p( y / x) I ( x) I ( y / x) 当x和y相互独立 I ( xy) I ( x) I ( y ) 推广 I ( x1 x2 x N ) I ( x1 ) I ( x2 / x1 ) I ( x N / x1 x2 x N 1 )
7
2.1信源描述与分类
连续信源
U (a, b) p(u ) p(u )
u U (,), p(u )为概率密度函数
8
2.1信源描述与分类
离散序列信源
U L U u1 , U u 2 , U u n L p(u ) p(u 2 ), p(u n L ) p(u1 ),
i
33
2.2离散信源熵与互信息
• 单符号离散信源熵
定义：对于给定离散概率空间表示的信源 所定义的随机变量I的数学期望为信源的信 息熵，单位为比特/符号
H ( X ) E[ I ( x)] p( xi ) log p( xi )i Nhomakorabea34
2.2离散信源熵与互信息
• 离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义的随 机变量I（x/y)在集合X上的数学期望为给定y条件下信 源的条件熵，单位为比特/序列
29
2.2离散信源熵与互信息
Eg1 设在一正方形棋盘上共有64个方格，如果甲将一 粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子 所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的 顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的 行（或列）编号告诉乙，再令乙猜测棋子所在列（或 行）所在的位置。
• 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两 个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
p( X1 , X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X L1 )
12
2.1信源描述与分类
21
2.1信源描述与分类
• Eg. 一个相对编码器，求平稳分布
X +
Y
T
22
2.1信源描述与分类
• Eg. 二阶马氏链，X{0,1},求平稳分布
起始状态 00 01
S1(00)
1/2 0
S2(01)
1/2 0
S3(10)
0 1/3
S4(11)
0 2/3
10
11
1/4
0
3/4
0
0
1/5
0
4/5
23
27
2.2离散信源熵与互信息
定义：联合概率空间中任一联合事件的联合（自）信 息量为：
1 I ( xi , y j ) log p( xi , y j ) log p( xi , y j )
定义：联合概率空间中，事件x在事件y给定条件下的 条件（自）信息量为：
1 I ( xi / y j ) log p( xi / y j ) log p( xi / y j )
2.1信源描述与分类
• 信息量
自信息量 联合自信息量 条件自信息量
• 单符号离散信源熵
符号熵 条件熵 联合熵
24
2.1信源描述与分类
• 信息
– 不确定性的消除
• 信息的度量
– 随机性、概率 – 相互独立符合事件概率相乘、信息相加
• 熵
– 事件集的平均不确定性
25
2.2离散信源熵与互信息
17
2.1信源描述与分类
• 马尔可夫信源 k步转移概率pij(k)与l步和k-l步转移概率 之间满足切普曼-柯尔莫郭洛夫方程。 定义：如果从状态I转移到状态j的概率 与m无关，则称这类MovKov链为齐次
对于齐次马尔可夫链，一步转移概率完 全决定了k步转移概率。
18
2.1信源描述与分类
• 马尔可夫信源 定义：若齐次马尔可夫链对一切I,j存在 不依赖于I的极限，则称其具有遍历性， pj称为平稳分布
直观推导信息测度
信息I应该是消息概率p的递降函数
pi , I ( pi ) , 且当pi 0时, I ( pi ) pi , I ( pi ) , 且当pi 1时, I ( pi ) 0
由两个不同的消息（相互统计独立）所提供的信息等 于它们分别提供信息之和（可加性）
单符号离散信源
U U u1 , U u 2 , , U u n p2 , , pn p(u ) p1 ,
例如：对二进制数字与数据信源
U 0, p p0 ,
0, 1 1 1 1 p1 , 2 2
si ( xi1, xi 2 , xim ) xij A a1,an
信源在某一时刻出现符号概率xj与信源 此时所处状态si有关，用条件概率表示 p(xj/si),状态转移概率表示为p(sj/si)
14
2.1信源描述与分类
• 马尔可夫信源 更一般，经过n-m步后转移至sj的概率
2
2.1信源特性与分类
• 分类
时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源
3
2.1信源特性与分类
• 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由 两个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色放回布袋， 再取另一个球。
16
2.1信源描述与分类
• 马尔可夫信源 系统在任一时刻可处于状态空间的任意 一状态，状态转移时，转移概率是一个 矩阵， 一步转移转移矩阵为 p { pij , i, j S} p11 p12 p1Q p p 2Q P 21 pQ1 pQ 2 pQQ