第2章信源与信息熵
合集下载
信息论与编码 第二章 信源与信息熵
现概率是它自身的先验概率。
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值个数是有限的（或可列无限多个）。 例如扔骰子，每次实验结果必然是1～6点中的某一 个面朝上。每次实验的结果不随实验次数变化，也 不与先前的实验结果相关，因而该信源是单符号离
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
I=－log2(1/2m)=m bit
2.2.1 自信息量
自信息量I (xi)的特性：
⑴ I (xi)是非负值
⑵ 当p(xi) = 1时， I (xi) = 0
⑶ 当p (xi) = 0时， I (xi) =∞
⑷ I (xi)是先验概率p (xi)的单调递减函数，即 当p (x1)＞p (x2)时， I (x1) ＜ I (x2) ⑸可加性 ： 两个独立事件的联合信息量等于它们分别的信 息量之和。
发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p (X 2 ) … p (X l ) … p (X L ) 若离散信源输出的每个符号是统计独立的，且具有相同的概 率空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
第2章 信源与信源熵
p( X 1 ) p( X 2 / X 1 ) p( X 3 / X 1 X 2 ) p( X 1 ) p( X 2 / X 1 ) p( X 3 / X 2 )
m阶马尔可夫信源
p( X L / X 1 X 2
2014-12-30
X L 1 ) p( X L / X L m
X L1 )
X a1 p a P 1 p a2 a2
n an p ai 0, p ai 1 p an i 1
当信源给定，其相应的概率空间就已给定；反之， 如果概率空间给定，这就表示相应的信源已给定。 信源可能的消息（符号）数是有限的，而且每次 必定选取其中一个消息输出，满足完备集条件。
无记忆信源 马尔可夫信源：某一个符号出现的概率只与前面一 个或有限个符号有关，而不依赖更前面的那些符号
2014-12-30 5
发出单个符号的无记忆信源
概率空间
概率
随机现象中事件发生的可能性大小是客观存在的，因此 可以对它进行量度。量度的数量指标就是概率。 样本空间 某事物各种可能出现的不同状态，即所有可能选择的消 息集合。 每个可能选择的消息是这个样本空间的一个元素。 概率空间
第2章 信源及信源熵
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源熵 2.4 冗余度
2.5 连续信源熵和互信息
2014-12-30 1
复习信息的概念
在信息论中，信源是发出消息的源，信源输出 以符号形式出现的具体消息。 如果符号是确定的而且预先是知道的，那么该 消息就无信息而言。只有当符号的出现是随机 的，预先无法确定，那么一旦出现某个符号就 给观察者提供了信息。 因此，应该用随机变量或随机矢量来表示信源， 运用概率论和随机过程的理论来研究信息，这 就是香农信息论的基本点。
第2章信源与信息熵
7
称为符号x 的先验概率，信源数学模型表示为： 称为符号 i的先验概率，信源数学模型表示为：
X x1 P = p( x ) 1 x2 p( x 2 ) x3 L p( x 3 ) L xn p( x n )
n
称为概率空间， 称为概率空间，其中
长江大学电信学院
长江大学电信学院
12
X
概率论知识复习
1）条件概率
p ( xi | y j ) = p ( xi y j ) p( y j ) , p ( y j | xi ) = p( xi y j ) p( xi )
13
2）联合概率
p ( xi y j ) = p ( y j ) p ( xi | y j ), p( xi y j ) = p ( xi ) p ( y j | xi )
16
长江大学电信学院
X
2.2 离散信源熵和互信息
如果信源具有更多的消息，例如发10个 【例2.3 】如果信源具有更多的消息，例如发 个 数字0,1…..9(例如采用 位十进制树的中文电报 ， 例如采用4位十进制树的中文电报 数字 例如采用 位十进制树的中文电报)， 而且假定这是个消息是等概率分布的，均为0.1， 而且假定这是个消息是等概率分布的，均为 ， 这时信宿仅凭猜测的话，就更难猜了。 这时信宿仅凭猜测的话，就更难猜了。因为信源 发送什么消息更加不确定。 发送什么消息更加不确定。 现在讨论一种极端的情况， 【例2.4 】现在讨论一种极端的情况，信源只发送 一种消息，即永远只发送1或者只发送 或者只发送0， 一种消息，即永远只发送 或者只发送 ，从这样 的信源中我们就不能从中获取任何信息， 的信源中我们就不能从中获取任何信息，也就是 说信源的不确定性为0。 说信源的不确定性为 。
第2章 信源与信息熵(5)
n 27
②统计表明各符号出现的概率如P37表2-7，此时熵值： 统计表明各符号出现的概率如 ，此时熵值：
H1 ( X ) = −∑ p ( xi ) log 2 p ( xi ) = 4.03bit / 符号
i =1 n
可见：各符号出现概率等概处理时，熵值较大。 可见：各符号出现概率等概处理时，熵值较大。
2 .4 连续信源熵和互信息
二、最大熵定理
限峰值功率最大熵定理 信源输出的幅度X受限时 定义域有限的随机变量X）， 受限时（ 信源输出的幅度 受限时（定义域有限的随机变量 ）， 满足均匀分布时， 当X满足均匀分布时，具有最大熵。 满足均匀分布时 具有最大熵。 若变量X的幅度取值限制在 若变量 的幅度取值限制在[a,b]，概率密度函数为 X(x)， 的幅度取值限制在 ，概率密度函数为p ， 当满足均匀分布时， 当满足均匀分布时，则：
上节内容回顾
三、离散序列信源熵
2、有记忆信源序列熵
p ( xi ) = p( xi1 xi2 L xiL ) = p( xi1 ) p ( xi2 | xi1 ) p ( xi3 | xi1 xi2 )L p( xiL | xi1 xi2 L xiL−1 )
若信源输出一个L长序列, 若信源输出一个L长序列,则信源的序列熵为
2 .4 连续信源熵和互信息
一、幅度连续的单个符号信源
单变量x 是连续变量x 单变量x，设 x ∈ [ a , b ] p X ( x ) 是连续变量x的概率密度函数 b−a 令： ∆ x = n xi ∈ a + ( i − 1) ∆ x , a + i ∆ x 由中值定理得： 由中值定理得： p ( x i ) = 根据离散信源熵的定义： 根据离散信源熵的定义：
②统计表明各符号出现的概率如P37表2-7，此时熵值： 统计表明各符号出现的概率如 ，此时熵值：
H1 ( X ) = −∑ p ( xi ) log 2 p ( xi ) = 4.03bit / 符号
i =1 n
可见：各符号出现概率等概处理时，熵值较大。 可见：各符号出现概率等概处理时，熵值较大。
2 .4 连续信源熵和互信息
二、最大熵定理
限峰值功率最大熵定理 信源输出的幅度X受限时 定义域有限的随机变量X）， 受限时（ 信源输出的幅度 受限时（定义域有限的随机变量 ）， 满足均匀分布时， 当X满足均匀分布时，具有最大熵。 满足均匀分布时 具有最大熵。 若变量X的幅度取值限制在 若变量 的幅度取值限制在[a,b]，概率密度函数为 X(x)， 的幅度取值限制在 ，概率密度函数为p ， 当满足均匀分布时， 当满足均匀分布时，则：
上节内容回顾
三、离散序列信源熵
2、有记忆信源序列熵
p ( xi ) = p( xi1 xi2 L xiL ) = p( xi1 ) p ( xi2 | xi1 ) p ( xi3 | xi1 xi2 )L p( xiL | xi1 xi2 L xiL−1 )
若信源输出一个L长序列, 若信源输出一个L长序列,则信源的序列熵为
2 .4 连续信源熵和互信息
一、幅度连续的单个符号信源
单变量x 是连续变量x 单变量x，设 x ∈ [ a , b ] p X ( x ) 是连续变量x的概率密度函数 b−a 令： ∆ x = n xi ∈ a + ( i − 1) ∆ x , a + i ∆ x 由中值定理得： 由中值定理得： p ( x i ) = 根据离散信源熵的定义： 根据离散信源熵的定义：
2信源与信息熵1new
• 可以理解，平稳马尔可夫信源肯定是齐次信源。 反 之不成立。(P11)
状态
• 教材P10：为了简化马尔可夫信源的数学处理过程， 引入状态的概念以替代随机向量。
• 状态si ：为了将高阶(m阶)马尔可夫链简化为一阶马 尔可夫链，可以将向量转换为状态变量。含义：一 个长度为m的符号序列！
• 理解：状态的数量是Q=nm；随着信源源源不断地发 出消息，符号序列不断变化，也即：状态不断变化。
• 这个空间共有qN个元素。
(aq aq aq )
p(aq aq aq )
• (对照：教材P9。)
多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号
彼此是统计独立的，则N维随机向量的联合概率分布
满足
N
p( X )
p(xi )
i 1
• 即N维随机向量的联合概率分布可用随机向量中单个 随机变量的概率乘积来表示。
• 单符号、无记忆、离散信源 • 发出单个符号的、无记忆、离散信源：输出的都是单个符号
的消息，出现的消息数是有限的且只可能是符号集中的一种， 即符合完备性。若各符号出现的概率已知，则该信源就确定 了；反之，信源已知，则各符号出现的概率就确定了。
• 所以信源出现的符号及其概率分布就决定了信源。数学模型：
• X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。
• 注意理解：各个随机变量的概率空间可能相同，也 可能不同。
• 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。
• 同时，符号的出现具有一定的规律性，所以可以使用随机变 量或者随机向量/矢量等数学理论来研究信息，这就是香农信 息论的基本点。
状态
• 教材P10：为了简化马尔可夫信源的数学处理过程， 引入状态的概念以替代随机向量。
• 状态si ：为了将高阶(m阶)马尔可夫链简化为一阶马 尔可夫链，可以将向量转换为状态变量。含义：一 个长度为m的符号序列！
• 理解：状态的数量是Q=nm；随着信源源源不断地发 出消息，符号序列不断变化，也即：状态不断变化。
• 这个空间共有qN个元素。
(aq aq aq )
p(aq aq aq )
• (对照：教材P9。)
多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号
彼此是统计独立的，则N维随机向量的联合概率分布
满足
N
p( X )
p(xi )
i 1
• 即N维随机向量的联合概率分布可用随机向量中单个 随机变量的概率乘积来表示。
• 单符号、无记忆、离散信源 • 发出单个符号的、无记忆、离散信源：输出的都是单个符号
的消息，出现的消息数是有限的且只可能是符号集中的一种， 即符合完备性。若各符号出现的概率已知，则该信源就确定 了；反之，信源已知，则各符号出现的概率就确定了。
• 所以信源出现的符号及其概率分布就决定了信源。数学模型：
• X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。
• 注意理解：各个随机变量的概率空间可能相同，也 可能不同。
• 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。
• 同时，符号的出现具有一定的规律性，所以可以使用随机变 量或者随机向量/矢量等数学理论来研究信息，这就是香农信 息论的基本点。
信息论与编码 第2章 信源与信息熵
设 B1 , B2 , … 是一列互不相容的事件(B i B j = 0），
且有B1∪B2∪…=Ω（样本空间）；
P(Bi)＞0,i=1，2…，则对任一事件A，有：
p( A) p( Bi ) p( A | Bi ) p( ABi )
i i
2013-8-19
5
相 关 知 识 复 习
4)贝叶斯(Bayes)公式: 设B1,B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪… =Ω（样本空间）； p(Bi)＞0 ，i=1，2，…，则对任一事件 A，有：
p( X1, X 2 ,, X l , X L ) p( X1 ) p( X 2 ) p( X L )
2013-8-19
9
2.1信源特性与分类
离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两
个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
2.1信源描述与分类
马尔可夫信源 定义：若齐次马尔可夫链对一切I,j存在
不依赖于I的极限，则称其具有遍历性， pj称为平稳分布
lim p p j k p j 0
(k ) ij i 0
p j pi pij
2013-8-19
p
j
j
1
22
2.1信源描述与分类
马尔可夫信源 定理：设有一齐次马尔可夫链，其状态
2.1 马尔可夫信源的定义
3. 【特殊说明】
① n阶马尔可夫信源只与前面发 出的n个符号有关，即关联长 度为n+1。
② 当n=1时，即任何时刻信源符 号发生的概率只与前面一个符 号有关，则称为一阶马尔可夫 信源。
且有B1∪B2∪…=Ω（样本空间）；
P(Bi)＞0,i=1，2…，则对任一事件A，有：
p( A) p( Bi ) p( A | Bi ) p( ABi )
i i
2013-8-19
5
相 关 知 识 复 习
4)贝叶斯(Bayes)公式: 设B1,B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪… =Ω（样本空间）； p(Bi)＞0 ，i=1，2，…，则对任一事件 A，有：
p( X1, X 2 ,, X l , X L ) p( X1 ) p( X 2 ) p( X L )
2013-8-19
9
2.1信源特性与分类
离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两
个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
2.1信源描述与分类
马尔可夫信源 定义：若齐次马尔可夫链对一切I,j存在
不依赖于I的极限，则称其具有遍历性， pj称为平稳分布
lim p p j k p j 0
(k ) ij i 0
p j pi pij
2013-8-19
p
j
j
1
22
2.1信源描述与分类
马尔可夫信源 定理：设有一齐次马尔可夫链，其状态
2.1 马尔可夫信源的定义
3. 【特殊说明】
① n阶马尔可夫信源只与前面发 出的n个符号有关，即关联长 度为n+1。
② 当n=1时，即任何时刻信源符 号发生的概率只与前面一个符 号有关，则称为一阶马尔可夫 信源。
第2章 信源与信息熵-1
27
联合自信息、条件自信息与自信息间 的关系
I(xiyj )=- log2p(xi)p(yj|xi)= I(xi)+I (yj|xi)
16
【例2.1 】某二元信源（含有两个不同消息的信源）发 送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简 单的认为信源发出的消息始终都是1，即使如此，猜错 的概率仅为百分之一。这说明在这种情况下，信源基 本上在发送1，信源的不确定性很小。 【例2.2 】某二元信源发送1和0的概率相等，均为0.5， 这时信宿不依赖通信仅凭猜测的话，猜错的概率高达 50%。这说明在这种情况下，猜测信源发送什么消息 就困难了，因为信源发送什么消息相当不确定。
X 0 1 0 1 p p P 0 1 / 2 1 / 2 1
8
单个连续信源
X (a, b) p ( x) P X
pX(x)为随机变量X的概率密度函数
b
a
p X ( x) 1
19
二、自信息量
1) 定义：一个符号消息 xi 的自信息量为其发生概率的 对数的负数，并记为 I(xi)； I (xi) = -log p(xi) 当p(xi)=0，则 I(xi)→∞；当p(xi)=1，则 I(xi)=0. 2) 自信息量的单位 自信息量的单位与所用对数的底有关：
1º对数的底是2 时，单位为比特 — bit(binary unit) 2º对数的底是 e (自然对数)时，单位为奈特
第二章
信源与信息熵
本章内容
• 信源的分类及基本的信源数学模型描述、自信息 和信息熵的定义及性质、互信息的概念及性质、 信源冗余度的描述等。
本章重点
• 理解信源不确定性的含义，熵函数H(X)的性质、 平均互信息量的定义、性质，联合信源的联合熵、 条件熵，离散平稳信源的信源熵、极限熵等概念 和计算方法。 • 了解马尔可夫信源的定义和计算方法。
联合自信息、条件自信息与自信息间 的关系
I(xiyj )=- log2p(xi)p(yj|xi)= I(xi)+I (yj|xi)
16
【例2.1 】某二元信源（含有两个不同消息的信源）发 送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简 单的认为信源发出的消息始终都是1，即使如此，猜错 的概率仅为百分之一。这说明在这种情况下，信源基 本上在发送1，信源的不确定性很小。 【例2.2 】某二元信源发送1和0的概率相等，均为0.5， 这时信宿不依赖通信仅凭猜测的话，猜错的概率高达 50%。这说明在这种情况下，猜测信源发送什么消息 就困难了，因为信源发送什么消息相当不确定。
X 0 1 0 1 p p P 0 1 / 2 1 / 2 1
8
单个连续信源
X (a, b) p ( x) P X
pX(x)为随机变量X的概率密度函数
b
a
p X ( x) 1
19
二、自信息量
1) 定义：一个符号消息 xi 的自信息量为其发生概率的 对数的负数，并记为 I(xi)； I (xi) = -log p(xi) 当p(xi)=0，则 I(xi)→∞；当p(xi)=1，则 I(xi)=0. 2) 自信息量的单位 自信息量的单位与所用对数的底有关：
1º对数的底是2 时，单位为比特 — bit(binary unit) 2º对数的底是 e (自然对数)时，单位为奈特
第二章
信源与信息熵
本章内容
• 信源的分类及基本的信源数学模型描述、自信息 和信息熵的定义及性质、互信息的概念及性质、 信源冗余度的描述等。
本章重点
• 理解信源不确定性的含义，熵函数H(X)的性质、 平均互信息量的定义、性质，联合信源的联合熵、 条件熵，离散平稳信源的信源熵、极限熵等概念 和计算方法。 • 了解马尔可夫信源的定义和计算方法。
第二章信源与信息熵
第二章信源与信息熵主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。
重点：离散/连续信源熵和互信息。
难点：离散序列有记忆信源熵。
说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。
由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。
较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。
本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。
作业：2．1—2．7，2．10，2．12。
课时分配：10课时。
板书及讲解要点：在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。
如果符号是确定的而且预先是知道的，那么该消息就无信息而言。
只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。
因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。
2．1 信源的描述与分类在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。
信源：产生随机变量、随机序列和随机过程的源。
信源的基本特性：具有随机不确定性。
信源的分类离散信源：文字、数据、电报——随机序列连续信源：话音、图像——随机过程离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。
发出单个符号的无记忆信源离散无记忆信源： 发出符号序列的无记忆信源离散信源离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源概率论基础：无条件概率，条件概率和联合概率的性质和关系：（1） 非负性0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性111111()1,()1,(/)1,(/)1,()1n m nijiji j i mm nji i j j j i p x p y p x y p yx p x y ===========∑∑∑∑∑∑11()(),()()n mijjijii j p x y p y p x y p x ====∑∑（3） 联合概率()()(/)()(/)()()()(/)()(/)()i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，，（4） 贝叶斯公式11()()(/)(/)()()i j i j i j j i nmijiji j p x y p x y p x y p y x p x y p x y ====∑∑，2.1.1 无记忆信源：例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。
第二章信源与信息熵
j i, j
I ( X ; Y ) p( yj ) I ( X ; yj ) p( xiyj ) log
p( xi / yj ) p( xi )
I(X;Y)=H(X)-H(X/Y)；I(Y;X)=H(Y)-H(Y/X)=I(X;Y)．
• 3.疑义度或损失熵
条件熵H(X/Y)信道上的干扰和噪声所造成的对信源符号x的平均不确定度．
X 0 P p
二元信源熵为
1 q
H (X ) p log p q log q p log p (1 p ) log(1 p ) H ( p)
信源信息熵H(X)是概率p的函数，通常用 H(p)表示。函数曲线如图
i i
I ( xi) 0; P( xi) 0;0 p( xi) 1
H(X ) 0
• 2.信源熵：表征信源的平均不确定度． 3.平均自信息：平均每个信源符号所能提供的信息 量.大小与信源熵相同.
• 例2.2.3二元信源是离散信源的一个特例。该信源X输出符号只 有两个，设为0和1。输出符号发生的概率分别为p和q，p+q=1。 即信源的概率空间为可得二元信源熵为
2.概率空间
一个离散信源发出的各个符号消息的集合 例如：
X＝｛x1，x2，…，xn｝
它们的概率分别为 P＝｛p(x1)，p(x2)，…，p(xn)｝ p(xi)称为符号xi的先验概率。 把他们写到一起就是概率空间:
X x1 P p( x1)
x2
n
...xn
xiyi 所包含的不确定度在数值上也等于它们的自信息量。
4.条件自信息量:当二者不独立 在给定y条件下，随机事件x所包含的不确定度在数值 上与条件自信息量相同，但两者含义不同。
I ( X ; Y ) p( yj ) I ( X ; yj ) p( xiyj ) log
p( xi / yj ) p( xi )
I(X;Y)=H(X)-H(X/Y)；I(Y;X)=H(Y)-H(Y/X)=I(X;Y)．
• 3.疑义度或损失熵
条件熵H(X/Y)信道上的干扰和噪声所造成的对信源符号x的平均不确定度．
X 0 P p
二元信源熵为
1 q
H (X ) p log p q log q p log p (1 p ) log(1 p ) H ( p)
信源信息熵H(X)是概率p的函数，通常用 H(p)表示。函数曲线如图
i i
I ( xi) 0; P( xi) 0;0 p( xi) 1
H(X ) 0
• 2.信源熵：表征信源的平均不确定度． 3.平均自信息：平均每个信源符号所能提供的信息 量.大小与信源熵相同.
• 例2.2.3二元信源是离散信源的一个特例。该信源X输出符号只 有两个，设为0和1。输出符号发生的概率分别为p和q，p+q=1。 即信源的概率空间为可得二元信源熵为
2.概率空间
一个离散信源发出的各个符号消息的集合 例如：
X＝｛x1，x2，…，xn｝
它们的概率分别为 P＝｛p(x1)，p(x2)，…，p(xn)｝ p(xi)称为符号xi的先验概率。 把他们写到一起就是概率空间:
X x1 P p( x1)
x2
n
...xn
xiyi 所包含的不确定度在数值上也等于它们的自信息量。
4.条件自信息量:当二者不独立 在给定y条件下，随机事件x所包含的不确定度在数值 上与条件自信息量相同，但两者含义不同。
第2章 信源及信源熵2
离散信源熵
例：一个布袋内放100个球，其中80个球是红
色的，20个球是白色的，若随机摸取一个球， 猜测其颜色，求平均摸取一次所能获得的自信 息量。
解: 依据题意,这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
其中：x1表示摸出的球为红球事件， x2表示摸出的 球是白球事件 .
晴, 1/ 2
雨 1/ 2
H (X ) log 1 2比特 / 符号 4
H (Y ) log 1 1比特 / 符号 2
• 这种情况下,信源的不确定性最大,信息熵最大。 • 甲地比乙地提供更多的信息量。因为甲地可能
出现的消息数多于乙地可能出现的消息数。
例：电视屏上约有 500 × 600= 3×105个格点，
如果摸出的是红球，则获得的信息量是
I (x1)=－log2p (x1) = －log20.8 bit
如果摸出的是白球，则获得的信息量是
I (x2)=－log2p (x2) = －log20.2 bit
如果每次摸出一个球后又放回袋中，再进行 下一次摸取。则如此摸取n次，红球出现的次
数为np(x1)次，白球出现的次数为 np (x2)次。
条件熵H(X|Y)表示已知Y后，X的不确定度。
相应地，在给定X(即各个xi)条件下， Y集合的 条件熵H(Y|X)定义为
H (Y | X ) p(xi , y j )I ( y j | xi )
ij
p(xi , y j ) log p( y j | xi )
ij
几个概念
p(u0)＝1/2, p(v0 |u0)＝3/4，p(v0 |u1)=1/2 求：
第2章.信源与信息熵
p( x1 , x2 ,, xL ) p( xL | x1 , x2 ,, xL 1 ) p( x1 , x2 ,, xL 1 ) p( xL | xL m , , xL 1 ) p( x1 , x2 ,, xL 1 ) p( xL | xL m , , xL 1 ) p( xL 1 | x1 , x2 ,, xL 2 ) p( x1 , x2 ,, xL 2 ) p( xL | xL m , , xL 1 ) p( xL 1 | xL m1 ,, xL 2 ) p( x1 , x2 ,, xL 2 )
P中第i行元素对应于从某一个状态si 转移到所有状态s j ( s j S )的 第j列元素对应于从所有状态si ( si S )转移到同一个状态s j的转移 概率，列元素之和不一定为1。
29
转移概率。矩阵中的每一行元素都是非负的，且每行之和均为1。
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 ( k步转移概率pijk )与l (l k )步和k - l步转移概率之间有所谓
表述的复杂度将随着序列长度的增加而增加。 然而实际上信源发出的符号往往只与前若干个符号有较 强的依赖关系，随着长度的增加依赖关系越来越弱，因 此可以根据信源的特征和处理时的需要限制记忆的长度， 使分析简化。
18
2.1.3 马尔可夫信源
马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m 个符号有关联性，而与更前面的符号无关。这种有记忆 信源叫做m阶马尔可夫信源，可以用马尔可夫链来描述。
30
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 由前递推关系式可知，对于齐次马尔可夫链，一步转移 概率完全决定了k步转移概率。 为了确定无条件概率，引入初始概率，令：
P中第i行元素对应于从某一个状态si 转移到所有状态s j ( s j S )的 第j列元素对应于从所有状态si ( si S )转移到同一个状态s j的转移 概率，列元素之和不一定为1。
29
转移概率。矩阵中的每一行元素都是非负的，且每行之和均为1。
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 ( k步转移概率pijk )与l (l k )步和k - l步转移概率之间有所谓
表述的复杂度将随着序列长度的增加而增加。 然而实际上信源发出的符号往往只与前若干个符号有较 强的依赖关系，随着长度的增加依赖关系越来越弱，因 此可以根据信源的特征和处理时的需要限制记忆的长度， 使分析简化。
18
2.1.3 马尔可夫信源
马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m 个符号有关联性，而与更前面的符号无关。这种有记忆 信源叫做m阶马尔可夫信源，可以用马尔可夫链来描述。
30
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 由前递推关系式可知，对于齐次马尔可夫链，一步转移 概率完全决定了k步转移概率。 为了确定无条件概率，引入初始概率，令：
第二章 信源与信息熵
南通大学
2019/11/11
16
第2章 信源与信息熵
对于高阶马尔可夫链，我们可通过分析系统状
态在输入符号作用下的转移情况，使高阶马尔可夫 链过程转化为一阶马尔可夫链过程。
对于m阶马尔可夫信源，将该时刻以前出现的m
个符号组成的序列定义为状态si，即
s i x i 1 , x i 2 ,, x i m x i 1 , x i 2 ,, x i m A a 1 , a 2 ,, a n
1 时间连续函数f(t)，频带受限 0 f fm，不失真的
采样频率 fs 2 fm ,若时间也受限 ，0 t tB ，则采
样点数为 2 f m t B 时,即可恢复原信号
这样就变成了时间离散，幅度连续的样值序列
2 频率连续函数f(t)，时间受限 0 t tB ，若频率也
受限 0 f fm。因为在 0 2 的数字域上，不失 真采样点L须满足 LT tB ，T为采样周期，则采样 点数 LtB/TtBfs2 tBfm。
南通大学
2019/11/11
3
第2章 信源与信息熵
离散信源又可以细分为： （1）离散无记忆信源：所发出的各个符号之间是相互
独立的，发出的符号序列中的各个符号之间没有统计 关联性，各个符号的出现概率是它自身的先验概率。 （2）离散有记忆信源：发出的各个符号之间不是相互 独立的，各个符号出现的概率是有关联的。
信源输出用Ｌ维随机序列（随机矢量）
X X 1 ,X 2 , ,X l, ,X L 来描述信源输出的消息，用
联合概率分布来表示信源特性。在上述随机矢量中，
若每个随机变量
Xi(i1,2,都,是L)离散的，则可
用L重离散概率空间来描述这类信源。
《信源和信息熵》PPT课件
下，它并不等于平均获得的信息量，获得的信息量 是两
熵之差，并不是信息熵本身。
二、信息熵的基本性质
1、对称性：
此性质说明：熵的总体性。它只与随机变量的总 体结
构有关，而不在于个别值的概率，甚至也不因随 机变
量取值的不同而异。 2、非负性：
3、扩展性：
说明：概率很小的值的出现，给予接收者以较大的 信息，但在熵的计算中占的比重很小，这是熵的总 体平均性的一种体现。 4、确定性：
注意：信息单位比特（表示以2为底的对数） 与计算机术语中的比特（表示二进制数的 位）的意义是不同的。
▪收到某消息获得的信息量＝收到此消息前 关于某事件发生的不确定性－收到此消息 后关于某事件发生的不确定性
即：收信者所获得的信息量应等于信息传 输前后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的 可能性为等概，若仅有一个坏灯泡，须获 知多少信息量才可确认？
可见：所有概率分布pi所构成的熵，以等概时为最 大，
称为最大离散熵定理。
7、上凸性： 熵函数具有严格的上凸性，它的极值必为最大值。 8、递增性：
其中： 此性质说明：熵增加了一项由于划分而产生的不确 定性
量。
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
可见：熵函数的递增性也可称为递推性，表示n 个元素的信源熵可以递推成（n－1）个二元信 源的熵函数的加权和。可使多元信源的熵函数 计算简化成计算若干个二元信源的熵函数。
独立 有记忆信源：随机矢量的各分量不相
互独立 表述有记忆信源比无记忆信源困难的多，实际中，
信 源发出的符号往往只与前若干符号的依赖关系强，
与 更前面的符号依赖关系弱，这类信源可用马尔可
熵之差，并不是信息熵本身。
二、信息熵的基本性质
1、对称性：
此性质说明：熵的总体性。它只与随机变量的总 体结
构有关，而不在于个别值的概率，甚至也不因随 机变
量取值的不同而异。 2、非负性：
3、扩展性：
说明：概率很小的值的出现，给予接收者以较大的 信息，但在熵的计算中占的比重很小，这是熵的总 体平均性的一种体现。 4、确定性：
注意：信息单位比特（表示以2为底的对数） 与计算机术语中的比特（表示二进制数的 位）的意义是不同的。
▪收到某消息获得的信息量＝收到此消息前 关于某事件发生的不确定性－收到此消息 后关于某事件发生的不确定性
即：收信者所获得的信息量应等于信息传 输前后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的 可能性为等概，若仅有一个坏灯泡，须获 知多少信息量才可确认？
可见：所有概率分布pi所构成的熵，以等概时为最 大，
称为最大离散熵定理。
7、上凸性： 熵函数具有严格的上凸性，它的极值必为最大值。 8、递增性：
其中： 此性质说明：熵增加了一项由于划分而产生的不确 定性
量。
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
可见：熵函数的递增性也可称为递推性，表示n 个元素的信源熵可以递推成（n－1）个二元信 源的熵函数的加权和。可使多元信源的熵函数 计算简化成计算若干个二元信源的熵函数。
独立 有记忆信源：随机矢量的各分量不相
互独立 表述有记忆信源比无记忆信源困难的多，实际中，
信 源发出的符号往往只与前若干符号的依赖关系强，
与 更前面的符号依赖关系弱，这类信源可用马尔可
第2章 -1信源与信息熵1【单符号离散信源】
y信道传输的平均信息量有扰离散信道结论因信道有扰而产生的平均信息量称噪声熵反映了信道中噪声源的不确定度唯一地确定信道噪声所需要的平均信息量hyy的先验不确定度hyx发出x后关于y的后验不确定度在已知x的条件下对于随机变量y存在的平均不确定度发出x前后y不确定度的平均减少量可看作在有扰离散信道上传递消息时唯一地确定接收符号y所需要的平均信息量hy减去当信源发出符号x为已知时需要确定接收符号y所需要的平均信息量hyx
1. 离散信源熵 (平均自信息量/无条件熵)
[定义] 自信息量的数学期望为信源的平均信息量，记为：H（X）。
H(X)=E[I(xi)]= –∑p(xi)log2 p(xi)
——平均不确定度的度量、体现: 总体平均
[单位]
二进制:bit/(信源)符号，或bit/(信源)序列 [含义]信息熵具有以下三方面物理含义： ⑴ 表示信源输出前，信源的平均不确定性 ⑵ 表示信源输出后，每个符号所携带的平均信息量 ⑶ 表示信源的的随机性（不同的信源有不同的统计特性） 信息熵的意义： 信源的信息熵是从整个信源的统计特性来考虑的。它是从 平均意义上来表征信源的总体特性的。对于某特定的信源， 其信息熵只有一个。不同的信源因统计特性不同，其信息熵 也不同。
√
（后续章节）
一、概述
⒈ 信息的一般概念 一个人获得消息→消除不确定性→获得信息。 ⒉ 信息度量的定性分析 事件发生的概率越大，不确定性越小，该事件 包含的信息量越小； 事件发生的概率越小，不确定性越大，该事件 包含的信息量越大； 如果一个事件发生的概率为1，那么它包含的 信息量为0； 两个相互独立事件所提供的信息量应等于它们 各自提供的信息量之和。
2.2.1
自信息量
1.自信息量 [定义] 若信源发出符号xi，由于信道无干扰，收到的就
1. 离散信源熵 (平均自信息量/无条件熵)
[定义] 自信息量的数学期望为信源的平均信息量，记为：H（X）。
H(X)=E[I(xi)]= –∑p(xi)log2 p(xi)
——平均不确定度的度量、体现: 总体平均
[单位]
二进制:bit/(信源)符号，或bit/(信源)序列 [含义]信息熵具有以下三方面物理含义： ⑴ 表示信源输出前，信源的平均不确定性 ⑵ 表示信源输出后，每个符号所携带的平均信息量 ⑶ 表示信源的的随机性（不同的信源有不同的统计特性） 信息熵的意义： 信源的信息熵是从整个信源的统计特性来考虑的。它是从 平均意义上来表征信源的总体特性的。对于某特定的信源， 其信息熵只有一个。不同的信源因统计特性不同，其信息熵 也不同。
√
（后续章节）
一、概述
⒈ 信息的一般概念 一个人获得消息→消除不确定性→获得信息。 ⒉ 信息度量的定性分析 事件发生的概率越大，不确定性越小，该事件 包含的信息量越小； 事件发生的概率越小，不确定性越大，该事件 包含的信息量越大； 如果一个事件发生的概率为1，那么它包含的 信息量为0； 两个相互独立事件所提供的信息量应等于它们 各自提供的信息量之和。
2.2.1
自信息量
1.自信息量 [定义] 若信源发出符号xi，由于信道无干扰，收到的就
第2章 信源与信息熵(3)
平均互信息的物理意义
互信息量实质是通信中实际传送的有用信息量。 互信息量实质是通信中实际传送的有用信息量。 显然，互信息越大越好， 显然，互信息越大越好，极限是 H ( X ) 能否将发送端X的信息量全部传送？ 能否将发送端 的信息量全部传送？ 的信息量全部传送 要求通信过程中没有信息量损失，而实际传输过程中， 要求通信过程中没有信息量损失，而实际传输过程中，信 道中的噪声会淹没一定的信息，即信息有损失。 道中的噪声会淹没一定的信息，即信息有损失。 通信过程中，信息量损失了多少？ 通信过程中，信息量损失了多少？ X的信息量减去实际传输的信息量，即 的信息量减去实际传输的信息量， 的信息量减去实际传输的信息量
I ( X ; Y ) = I (Y ; X )
理论证明略（与单符号互信息相同）。 理论证明略（与单符号互信息相同）。
②非负性
I ( X ;Y ) ≥ 0 I ( X ;Y ) ≤ H ( X )
理论证明参考周荫清编的信息理论基础， 理论证明参考周荫清编的信息理论基础，直观理解
③极值性
直观理解！！ 直观理解！！
p ( xi | y j ) p ( xi )
= log 2
p ( xi ) p ( y j )
p ( xi , y j )
2 .2 离散信源熵和互信息
三、互信息
1、单符号之间的互信息量 性质： ③ 性质： 证明： 证明：
I ( xi ; y j ) = ( xi , y j )
p ( xi ) p ( y j )
p ( xi , y j )
= log 2
p ( xi ) p ( y j )
2 .2 离散信源熵和互信息
三、互信息
2、平均互信息 定义： 指单符号互信息量在X集合和 集合上的统计平均值。 定义： 指单符号互信息量在 集合和Y集合上的统计平均值。 集合和 集合上的统计平均值
互信息量实质是通信中实际传送的有用信息量。 互信息量实质是通信中实际传送的有用信息量。 显然，互信息越大越好， 显然，互信息越大越好，极限是 H ( X ) 能否将发送端X的信息量全部传送？ 能否将发送端 的信息量全部传送？ 的信息量全部传送 要求通信过程中没有信息量损失，而实际传输过程中， 要求通信过程中没有信息量损失，而实际传输过程中，信 道中的噪声会淹没一定的信息，即信息有损失。 道中的噪声会淹没一定的信息，即信息有损失。 通信过程中，信息量损失了多少？ 通信过程中，信息量损失了多少？ X的信息量减去实际传输的信息量，即 的信息量减去实际传输的信息量， 的信息量减去实际传输的信息量
I ( X ; Y ) = I (Y ; X )
理论证明略（与单符号互信息相同）。 理论证明略（与单符号互信息相同）。
②非负性
I ( X ;Y ) ≥ 0 I ( X ;Y ) ≤ H ( X )
理论证明参考周荫清编的信息理论基础， 理论证明参考周荫清编的信息理论基础，直观理解
③极值性
直观理解！！ 直观理解！！
p ( xi | y j ) p ( xi )
= log 2
p ( xi ) p ( y j )
p ( xi , y j )
2 .2 离散信源熵和互信息
三、互信息
1、单符号之间的互信息量 性质： ③ 性质： 证明： 证明：
I ( xi ; y j ) = ( xi , y j )
p ( xi ) p ( y j )
p ( xi , y j )
= log 2
p ( xi ) p ( y j )
2 .2 离散信源熵和互信息
三、互信息
2、平均互信息 定义： 指单符号互信息量在X集合和 集合上的统计平均值。 定义： 指单符号互信息量在 集合和Y集合上的统计平均值。 集合和 集合上的统计平均值
第2章_信源与信息熵
其状态变量S=(00，01，10，11)。 其状态变量S=(00，01，10，11)。 求： S=(00
信息论基础C
18
2.2离散信源熵与互信息
信息量
自信息量 联合自信息量 条件自信息量
单符号离散信源熵
符号熵 条件熵 联合熵
信息论基础C
19
2.2.1 自信息量
信息论基础C
20
2.2.1 自信息量
信息论基础C
7
离散无记忆序列信源－布袋实验（ ） 离散无记忆序列信源－布袋实验（2）
布袋摸球的实验：若每次取出两个球， 布袋摸球的实验：若每次取出两个球，由两个球的颜色组 成的消息就是符号序列。例如，先取出一个球， 成的消息就是符号序列。例如，先取出一个球，记下颜色后放 回布袋，再取另一个球。 回布袋，再取另一个球。 由于两次取球时布袋中的红球、白球个数没有变化， 由于两次取球时布袋中的红球、白球个数没有变化，第二 个球取什么色与第一个球的颜色无关，是独立的， 个球取什么色与第一个球的颜色无关，是独立的，因而该信源 是无记忆的，叫做发出符号序列的无记忆信源。 是无记忆的，叫做发出符号序列的无记忆信源。
信息论基础C
26
2.2.2 离散信源熵
信息论基础C
27
离散信源熵的引入：
例： 一个布袋内放100个球，其中80个球为红色， 20球为白色。若随机摸取一个球，猜测其颜色。共进行 n次摸取。求平均摸取一次所获得的（自）信息量。 解：x1：表示摸出的球为红球；
信息论基础C
21
自信息量： 自信息量：
对于给定的离散概率空间表示的信源，x=ai事件 所对应的（自）信息为：
1 I ( x i = a i ) = − log p ( x i ) = log p( x i )
第2章信源与信息熵
1. 非负性 2. 对称性
n
pi 1,
i 1
pi 0
(i 1, 2,..., n)
3. 确定性
4. 连续性
5. 扩展性
6. 最大熵定理
7. 条件熵小于无条件熵
熵函数的非负性
H ( X ) H ( p1, p2 , , pn ) 0
0 pi 1, log pi 0
pi log pi 0
i
熵的物理意义
H(X)表示信源发出任何一个消息状态所携带的平均信 息量
也等于在无噪声条件下，接收者收到一个消息状态所获 得的平均信息量
熵的本意为热力学中表示分子状态的紊乱程度 信息论中熵表示信源中消息状态的不确定度 信源熵与信息量有不同的意义
H(X)表示信源X每一个状态所能提供的平均信息量 H(X)表示信源X在没有发出符号以前，接收者对信源的
第2章 信源与信息熵
主要内容 1. 信源的分类与描述 2. 离散信源的信息熵和互信息 3. 离散序列信源的熵 4. 连续信源的熵与互信息 5. 冗余度
2.1 信源的分类与描述
信源的定义
产生消息（符号）、消息序列和连续消息的来源。
信源的基本特性是具有随机不确定性
分类
1. 时间
离散
2. 幅度
离散
3. 记忆
有
பைடு நூலகம்
连续 连续 无
介绍三类信源
➢ 单符号离散信源 ➢ 符号序列信源（有记忆和无记忆） ➢ 连续信源
单符号离散信源
单符号离散信源：用随机变量X来描述
X的概率空间
X p(xi
)
X
x1, p1,
X x2, p2 ,
, X xn
,
pn
第二章信源及信源熵
为m阶马尔可夫信源：
p( xi | xi 2 xi 1 xi 1 xi 2 xi m x1 ) p( xi | xi 1 xi 2 xi m ) (i 1, 2, , N )
用概率空间来描述离散信源:
一个离散信源的数学模型就是离散型的概率空间：
X与Y相互独立，无法从Y中提取关于X的 信息。也可以看成信道噪声相当大，以至有
H(X/Y)=H(X) 。在这种情况下，能够传输的
平均信息量为0。称为全损离散信道。
一般情况下，X和Y既非互相独立，也不是一一对
应，那么从Y获得的X信息必在零与H(X)之间，即
常小于X的熵。
0 I ( X ;Y ) H ( X )
当 xi 和 y j 相互独立时，有 p( xi y j ) p( xi ) p( y j ) 于是有 I ( xi y j ) I ( xi ) I ( y j )
条件自信息量：当 xi 和 y j 相互联系时，在事件 y j 出现的条件下，xi 的自信息量称为条件自信息 量，定义为 ：
j
/ xi )
H (Y / X ) p( xi ) p( y j | xi ) log p( y j | xi )
j 1 i 1 n
m
n
p( xi y j ) log p( y j | xi )
j 1 i 1
m
H ( X | Y ) - p ( xy ) log p ( x | y )
（2）当事件xi发生以后，表示事件xi所提供的信息量。
一点说明
自信息量的单位取决于对数的底；
底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”或“det”； 根据换底公式得：
p( xi | xi 2 xi 1 xi 1 xi 2 xi m x1 ) p( xi | xi 1 xi 2 xi m ) (i 1, 2, , N )
用概率空间来描述离散信源:
一个离散信源的数学模型就是离散型的概率空间：
X与Y相互独立，无法从Y中提取关于X的 信息。也可以看成信道噪声相当大，以至有
H(X/Y)=H(X) 。在这种情况下，能够传输的
平均信息量为0。称为全损离散信道。
一般情况下，X和Y既非互相独立，也不是一一对
应，那么从Y获得的X信息必在零与H(X)之间，即
常小于X的熵。
0 I ( X ;Y ) H ( X )
当 xi 和 y j 相互独立时，有 p( xi y j ) p( xi ) p( y j ) 于是有 I ( xi y j ) I ( xi ) I ( y j )
条件自信息量：当 xi 和 y j 相互联系时，在事件 y j 出现的条件下，xi 的自信息量称为条件自信息 量，定义为 ：
j
/ xi )
H (Y / X ) p( xi ) p( y j | xi ) log p( y j | xi )
j 1 i 1 n
m
n
p( xi y j ) log p( y j | xi )
j 1 i 1
m
H ( X | Y ) - p ( xy ) log p ( x | y )
（2）当事件xi发生以后，表示事件xi所提供的信息量。
一点说明
自信息量的单位取决于对数的底；
底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”或“det”； 根据换底公式得：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i
普通高等教育“十五”国家级规划教材《信息论与编码》
18
2.2离散信源熵与互信息
含义：
信源输出符号后提供的平均信息量 信源输出符号前，存在的平均不确定性，是固有 的。 反映了信源的随机性
普通高等教育“十五”国家级规划教材《信息论与编码》
19
2.2离散信源熵与互信息
例2. 有两个信源，概率空间分别为
普通高等教育“十五”国家级规划教材《信息论与编码》
3
2.1信源描述与分类
描述：通过概率空间描述 单符号离散无记忆信源
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n
例如：二进制数字与数据信源
X 0 P( x) P 0
5
b
2.1信源描述与分类
离散序列无记忆信源
X (a1 , a1 , a1 ) (a1 , a1 , a2 ) (an , an , an ) P ( a , a a ) P ( a a a ) P ( a , a a ) P ( X ) 1 2 2 2 n n n 1 1
P( X N X 1 ,, X N 1 ) P( X N 1 X 1 ,, X N 2 ) P( X 1 ,, X N 2)
P( X N X 1 ,, X 1 ) P( X 2 X 1 ) P( X 1 )
普通高等教育“十五”国家级规划教材《信息论与编码》
8
当p=1/2
X 000 001 111 1 1 1 P ( X ) 8 8 8
普通高等教育“十五”国家级规划教材《信息论与编码》
7
离散序列有记忆信源
P( X 1 , X 2 ,, X N ) P( X N X 1 ,, X N 1 ) P( X 1 ,, X N 1 )
i 1 j 1 n m
m
j 1
普通高等教育“十五”国家级规划教材《信息论与编码》
23
2.2离散信源熵与互信息
例：已知信源X和Y都是由0和1两个符号构成，XY 的联合概率为： P(a1=0,b1=0)=P(a2=1,b2=1)=1/8 P(a1=0,b2=1)=P(a2=1,b1=0)=3/8 计算条件熵 H ( X Y )
定义：对于给定离散概率空间表示的信源 所定义的随机变量I的数学期望为信源的信 息熵，单位为比特/符号
H ( X ) E[ I ( x)] p( xi )log p( xi)
i
普通高等教育“十五”国家级规划教材《信息论与编码》
16
2.2离散信源熵与互信息
例2. 一个布袋内放100个球，其中80个球为红色， 20球为白色。若随机摸取一个球，猜测其颜色， 求平均摸取一次所获得的（自）信息量。 解：随机事件的概率空间为
普通高等教育“十五”国信息
解：由于甲将一粒棋子随意地放在棋盘中的某方格内， 因此棋子在棋盘中所处位置为二维等概率分布
1 p ( xi , y j ) 64
（1）联合（自）信息量为
1 I ( xi , y j ) log 2 p( xi , y j ) log 2 6bit 64
（2）条件（自）信息量为
I ( xi / y j ) log2 p( xi / y j ) log2 p( xi , y j ) 1 log2 3bit p( y j ) 8
15
普通高等教育“十五”国家级规划教材《信息论与编码》
2.2离散信源熵与互信息
二、单符号离散信源熵
11
2.2离散信源熵与互信息
性质
当P(ai)=1时，I(ai)=0; 当P(ai)=0时，I (ai ) 非负性，即 I (ai ) 0 单调递减性。若 P(a1 ) P(a2 ) ，则 I (a1 ) I (a2 )
普通高等教育“十五”国家级规划教材《信息论与编码》
1 I (ai b j ) log log P(ai b j ) P(ai b j )
普通高等教育“十五”国家级规划教材《信息论与编码》
10
2.2离散信源熵与互信息
含义
信源输出符号ai后提供的信息量 信源输出符号ai前，存在的不确定性，是固有的。
普通高等教育“十五”国家级规划教材《信息论与编码》
a2 X a1 P( x) 0.88 0.12
Y b1 b2 P( y ) 0.5 0.5
H(X)=-0.88log0.88-0.12log0.12=0.529bit/符号 H(Y)=-0.5log0.5-0.5log0.5=1bit/符号
若2个符号不独立：
I (ai , b j ) log[ P(ai ) P(b j ai )] log P(ai ) log P(b j ai ) I (ai ) I (b j ai )
普通高等教育“十五”国家级规划教材《信息论与编码》
13
2.2离散信源熵与互信息
例1 设在一正方形棋盘上共有64个方格，如果甲将 一粒棋子随意地放在棋盘中的某方格内，让乙猜 测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格 的顺序号。 （2）将方格按行和列编号，甲将棋子所在的方 格的行（或列）编号告诉乙，再令乙猜测棋子所 在列（或行）所在的位置。
普通高等教育“十五”国家级规划教材《信息论与编码》
20
2.2离散信源熵与互信息
三、离散信源条件熵 假设有两个集合X和Y
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n b2 bm Y b1 P( y) P(b ) P(b ) P(b ) 1 2 m
离散信源平均互信息
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n b2 bm Y b1 P( y) P(b ) P(b ) P(b ) 1 2 m
第2章 信源与信息熵
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
普通高等教育“十五”国家级规划教材《信息论与编码》
1
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源
普通高等教育“十五”国家级规划教材《信息论与编码》
24
2.2离散信源熵与互信息
四、离散信源联合熵
定义：对于给定离散概率空间表示的信源所定义 的随机变量I（x，y)的数学期望为集合X和集合Y 的信源联合熵，单位为比特/序列
H ( XY ) E[ I ( xy)] p( xi , y j )log p( xi , y j )
2.2离散信源熵与互信息
一、自信息
定义：对于给定的离散概率空间表示的信源， x=ai事件所对应的（自）信息为
1 I (ai ) log log P(ai ) P(ai )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
i, j
普通高等教育“十五”国家级规划教材《信息论与编码》
25
2.2离散信源熵与互信息
例：若有6行8列的棋形方格，现有两个质点A和B， 分别以等概率落入任一方格内，但不能落入同一 方格内，求A，B同时都落入的平均信息量。
普通高等教育“十五”国家级规划教材《信息论与编码》
26
2.2离散信源熵与互信息
P( X ) P( X 1 X 2 X L ) P( X 1 ) P( X 2 ) P( X L ) [ P( X )]L
普通高等教育“十五”国家级规划教材《信息论与编码》
6
以3位PCM信源为例
X 000 001 111 3 2 3 P 1 1 P( X ) P0 P0 P
1 0 1 P 1 2
1 1 2
4
普通高等教育“十五”国家级规划教材《信息论与编码》
2.1信源描述与分类
单符号连续无记忆信源
X ( a, b) p ( x) p ( x) X
满足 p X ( x)dx 1
a
普通高等教育“十五”国家级规划教材《信息论与编码》
X x1 x2 P 0.8 0.2
普通高等教育“十五”国家级规划教材《信息论与编码》
17
2.2离散信源熵与互信息
I ( x1 ) log 2 p( x1 ) log 2 0.8bit I ( x2 ) log 2 p( x2 ) log 2 0.2bit N 次后所获得的信息量为 I Np( x1 ) I ( x1 ) Np( x2 ) I ( x2 ) ( 0.8log 2 0.8 0.2 log 2 0.2) N 平均每次所获得的信息量为 I p( x1 ) I ( x1 ) p( x2 ) I ( x2 ) p ( xi ) log p ( xi )
12
可加性。2个符号的联合信息量
I (ai , b j ) log P(ai , b j )
若2个符号独立：
I (ai , b j ) log[ P(ai ) P(b j )] log P(ai ) log P(b j ) I (ai ) I (b j )
普通高等教育“十五”国家级规划教材《信息论与编码》
18
2.2离散信源熵与互信息
含义：
信源输出符号后提供的平均信息量 信源输出符号前，存在的平均不确定性，是固有 的。 反映了信源的随机性
普通高等教育“十五”国家级规划教材《信息论与编码》
19
2.2离散信源熵与互信息
例2. 有两个信源，概率空间分别为
普通高等教育“十五”国家级规划教材《信息论与编码》
3
2.1信源描述与分类
描述：通过概率空间描述 单符号离散无记忆信源
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n
例如：二进制数字与数据信源
X 0 P( x) P 0
5
b
2.1信源描述与分类
离散序列无记忆信源
X (a1 , a1 , a1 ) (a1 , a1 , a2 ) (an , an , an ) P ( a , a a ) P ( a a a ) P ( a , a a ) P ( X ) 1 2 2 2 n n n 1 1
P( X N X 1 ,, X N 1 ) P( X N 1 X 1 ,, X N 2 ) P( X 1 ,, X N 2)
P( X N X 1 ,, X 1 ) P( X 2 X 1 ) P( X 1 )
普通高等教育“十五”国家级规划教材《信息论与编码》
8
当p=1/2
X 000 001 111 1 1 1 P ( X ) 8 8 8
普通高等教育“十五”国家级规划教材《信息论与编码》
7
离散序列有记忆信源
P( X 1 , X 2 ,, X N ) P( X N X 1 ,, X N 1 ) P( X 1 ,, X N 1 )
i 1 j 1 n m
m
j 1
普通高等教育“十五”国家级规划教材《信息论与编码》
23
2.2离散信源熵与互信息
例：已知信源X和Y都是由0和1两个符号构成，XY 的联合概率为： P(a1=0,b1=0)=P(a2=1,b2=1)=1/8 P(a1=0,b2=1)=P(a2=1,b1=0)=3/8 计算条件熵 H ( X Y )
定义：对于给定离散概率空间表示的信源 所定义的随机变量I的数学期望为信源的信 息熵，单位为比特/符号
H ( X ) E[ I ( x)] p( xi )log p( xi)
i
普通高等教育“十五”国家级规划教材《信息论与编码》
16
2.2离散信源熵与互信息
例2. 一个布袋内放100个球，其中80个球为红色， 20球为白色。若随机摸取一个球，猜测其颜色， 求平均摸取一次所获得的（自）信息量。 解：随机事件的概率空间为
普通高等教育“十五”国信息
解：由于甲将一粒棋子随意地放在棋盘中的某方格内， 因此棋子在棋盘中所处位置为二维等概率分布
1 p ( xi , y j ) 64
（1）联合（自）信息量为
1 I ( xi , y j ) log 2 p( xi , y j ) log 2 6bit 64
（2）条件（自）信息量为
I ( xi / y j ) log2 p( xi / y j ) log2 p( xi , y j ) 1 log2 3bit p( y j ) 8
15
普通高等教育“十五”国家级规划教材《信息论与编码》
2.2离散信源熵与互信息
二、单符号离散信源熵
11
2.2离散信源熵与互信息
性质
当P(ai)=1时，I(ai)=0; 当P(ai)=0时，I (ai ) 非负性，即 I (ai ) 0 单调递减性。若 P(a1 ) P(a2 ) ，则 I (a1 ) I (a2 )
普通高等教育“十五”国家级规划教材《信息论与编码》
1 I (ai b j ) log log P(ai b j ) P(ai b j )
普通高等教育“十五”国家级规划教材《信息论与编码》
10
2.2离散信源熵与互信息
含义
信源输出符号ai后提供的信息量 信源输出符号ai前，存在的不确定性，是固有的。
普通高等教育“十五”国家级规划教材《信息论与编码》
a2 X a1 P( x) 0.88 0.12
Y b1 b2 P( y ) 0.5 0.5
H(X)=-0.88log0.88-0.12log0.12=0.529bit/符号 H(Y)=-0.5log0.5-0.5log0.5=1bit/符号
若2个符号不独立：
I (ai , b j ) log[ P(ai ) P(b j ai )] log P(ai ) log P(b j ai ) I (ai ) I (b j ai )
普通高等教育“十五”国家级规划教材《信息论与编码》
13
2.2离散信源熵与互信息
例1 设在一正方形棋盘上共有64个方格，如果甲将 一粒棋子随意地放在棋盘中的某方格内，让乙猜 测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格 的顺序号。 （2）将方格按行和列编号，甲将棋子所在的方 格的行（或列）编号告诉乙，再令乙猜测棋子所 在列（或行）所在的位置。
普通高等教育“十五”国家级规划教材《信息论与编码》
20
2.2离散信源熵与互信息
三、离散信源条件熵 假设有两个集合X和Y
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n b2 bm Y b1 P( y) P(b ) P(b ) P(b ) 1 2 m
离散信源平均互信息
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n b2 bm Y b1 P( y) P(b ) P(b ) P(b ) 1 2 m
第2章 信源与信息熵
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
普通高等教育“十五”国家级规划教材《信息论与编码》
1
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源
普通高等教育“十五”国家级规划教材《信息论与编码》
24
2.2离散信源熵与互信息
四、离散信源联合熵
定义：对于给定离散概率空间表示的信源所定义 的随机变量I（x，y)的数学期望为集合X和集合Y 的信源联合熵，单位为比特/序列
H ( XY ) E[ I ( xy)] p( xi , y j )log p( xi , y j )
2.2离散信源熵与互信息
一、自信息
定义：对于给定的离散概率空间表示的信源， x=ai事件所对应的（自）信息为
1 I (ai ) log log P(ai ) P(ai )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
i, j
普通高等教育“十五”国家级规划教材《信息论与编码》
25
2.2离散信源熵与互信息
例：若有6行8列的棋形方格，现有两个质点A和B， 分别以等概率落入任一方格内，但不能落入同一 方格内，求A，B同时都落入的平均信息量。
普通高等教育“十五”国家级规划教材《信息论与编码》
26
2.2离散信源熵与互信息
P( X ) P( X 1 X 2 X L ) P( X 1 ) P( X 2 ) P( X L ) [ P( X )]L
普通高等教育“十五”国家级规划教材《信息论与编码》
6
以3位PCM信源为例
X 000 001 111 3 2 3 P 1 1 P( X ) P0 P0 P
1 0 1 P 1 2
1 1 2
4
普通高等教育“十五”国家级规划教材《信息论与编码》
2.1信源描述与分类
单符号连续无记忆信源
X ( a, b) p ( x) p ( x) X
满足 p X ( x)dx 1
a
普通高等教育“十五”国家级规划教材《信息论与编码》
X x1 x2 P 0.8 0.2
普通高等教育“十五”国家级规划教材《信息论与编码》
17
2.2离散信源熵与互信息
I ( x1 ) log 2 p( x1 ) log 2 0.8bit I ( x2 ) log 2 p( x2 ) log 2 0.2bit N 次后所获得的信息量为 I Np( x1 ) I ( x1 ) Np( x2 ) I ( x2 ) ( 0.8log 2 0.8 0.2 log 2 0.2) N 平均每次所获得的信息量为 I p( x1 ) I ( x1 ) p( x2 ) I ( x2 ) p ( xi ) log p ( xi )
12
可加性。2个符号的联合信息量
I (ai , b j ) log P(ai , b j )
若2个符号独立：
I (ai , b j ) log[ P(ai ) P(b j )] log P(ai ) log P(b j ) I (ai ) I (b j )