信源熵 第二章—3讲课教案
合集下载
信源及信源熵介绍
14
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
2-第二讲 信源的信息熵
平稳信源的条件概率： 平稳信源的条件概率：
P(xi+1 | xi ) = P(x j+1 | x j ); P(xi+2 | xi xi+1) = P(x j+2 | x j x j+1); ⋯,⋯ P(xl+N | xi xi+1 ⋯xi+N−1) = P(x j+N | x j x j+1 ⋯x j+N−1).
1 4 1 P(aia j ) = 18 0
1 18 1 3 1 18
0 1 18 7 36
平均符号熵： 平均符号熵： 长字母序列，平均每个字母的熵为： 信源输出的 N 长字母序列，平均每个字母的熵为：
1 1 N HN (X) = H( X ) = H( X1X2 ⋯XN ) N N
二维平稳： 二维平稳： 与起点无关的含义! 与起点无关的含义 概率分布不随时间变化。 概率分布不随时间变化。
P(xi ) = P(xj );
P(xi xi+1) = P(x j x j+1), i ≠ j
取同一符号的情况） （含义是 i，j 取同一符号的情况）
完全平稳－－平稳信源： 完全平稳－－平稳信源：与时间起点无关 －－平稳信源 统计特性不随时间变化。 统计特性不随时间变化。 P(x ) = P(x );
i, j
p(xj ) p(xj | xi )
≤ log∑ p(xi xj )
i, j
p(xj ) p(xj | xi )
= log ∑ p(xi ) p(xj ) = 0
i, j
例题： 例题：
二维平稳信源
0 X P( x ) = 11 36
2.2 多符号离散信源的熵
16
17
（2）某时刻信源所处的状态由该时刻输出的符号 和前一时刻的状态唯一确定。
发akm1 发akm2 发......
ak1 ak2 akm ak2 akm akm1 ak3 akm1 akm2
Si Si+1 Si+2
问：m阶马尔可夫信源最多有多少种状态？ nm
所有的状态构成状态空间S，每种状态 以一定的概率发生，则得到的数学模型就是 Байду номын сангаас阶马尔可夫信源的数学模型。
10
解：
3
H ( X ) p(ai ) log p(ai ) 1.542bit / 符号
i 1
H ( X 2 | X 1 ) p(ai ) p(a j | ai ) log p(a j | ai ) 0.870bit / 符号
i 1 j 1
3
3
H ( X 2 ) H ( X 1 X 2 ) H ( X ) H ( X 2 / X 1 ) 2.412bit / 双符号 1 平均符号熵H N ( X ) H ( X N ) N 1 H 2 ( X ) H ( X 2 ) 1.206bit / 符号 2
20
则：
H H m 1 H ( S j | Si )
nm i , j 1 nm
令所有的状态组成一个状态集合Si 或Sj
p( si s j ) log p( s j | si ) p( si ) p( s j | si ) log p( s j | si )
所谓平稳是指序列的统计性质与时间的推移无关。
非平稳随机序列：信源每发一个符号的概率与时间起 点有关。 离散无记忆信源：信源序列的前后符号之间是统计独 立的。
第二章信源及信源的熵
一般地，任意 m步转移概率为： ij (m, n ) P{Sn S j | Sm Si } n P ( Sn 表示状态变量， 时刻的状态| ) n
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
4第二章3-熵的计算
q
q
（3）根据概率关系，可以得到联合熵与条件熵的关系： 根据概率关系，可以得到联合熵与条件熵的关系： 联合熵与条件熵的关系
H ( X1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j )
i =1 j =1
q q
q
qபைடு நூலகம்
= −∑∑ P (ai a j ) log( P (ai )P (a j | ai ))
得：
H ( X ) = −∑ P(ai ) logP(ai ) = 1.542( Bit / Symbol)
i =1 3
H ( X 2 / X 1 ) = −∑∑ P(ai a j ) logP(a j / ai ) = 0.87(Bit / Symbol)
i =1 j =1 3
3
3
H ( X 1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j ) = 2.41( Bit / Symbols)
0.71比特/符号
•
从另一角度（来研究信源X的信息熵的近似值） 从另一角度（来研究信源X的信息熵的近似值）：
（ 1 ） 由于信源 X 发出的符号序列中前后两个符号之间有依 由于信源X 赖性，可以先求出在已知前面一个符号X 已知前面一个符号 赖性， 可以先求出在已知前面一个符号Xl＝ai时，信源输出 下一个符号的平均不确定性 的平均不确定性： 下一个符号的平均不确定性：
0.71比特/符号
二维平稳信源X：
条件熵H(X2|X1） 平均符号熵H2(X) 简单信源X符号熵H(X)
H(X2|X1) ≤H2(X) ≤H(X) H(X1X2)=H(X1)+H(X2|X1)=2H2(X)
有记忆平稳信源的联合熵、条件熵、 有记忆平稳信源的联合熵、条件熵、平均符号熵 与无记忆信源熵之间的定量关系。 与无记忆信源熵之间的定量关系。
信息论与编码-第2章信源熵辅助课件一
一般情况，X和Y既非互相独立，也不是一一对应，那么 从Y获得的X信息必在零与H(X)之间，即常小于X的熵。
2.1单符号离散信源
4。凸函数性 结论: (1)固定信道，调整信源，I(X;Y)是p(x)的上凸 函数 证明：当n＝2时的具体情形
用什么公式？为什么？如何用？ 已知：P(x)及P(y|x) (2)固定信源，调整信道，I(X;Y)是p(y|x)的下凸函数
分布的连续消息的信源； 2. 离散信源：发出在时间上和幅度上都是离散
分布的信源。 离散信源又可以细分为：
2.1单符号离散信源
（1）离散无记忆信源：所发出的各个符号之间 是相互独立的，各个符号的出现概率是它自身 的先验概率。
（2）离散有记忆信源：发出的各个符号之间不 是相互独立的，各个符号出现的概率是有关联 的。
2.1单符号离散信源
总之：
H(X)代表接收到Y前关于X的平均不确定性， H(X/Y)代表接收到Y后尚存关于X的平均不确 定性。可见，通过信道传输消除了一些不确定 性，获得了一定的信息。所以定义平均互信息 量(2.1.5)
I(X;Y) = H(X ) − H(X /Y)
2.1单符号离散信源
2.1.5平均互信息量（交互熵）
2.1单符号离散信源
也可以根据信源发出一个消息所用符号的多 少，将离散信源分为：
1. 发出单个符号的离散信源：信源每次只发出 一个符号代表一个消息；
2. 发出多符号的离散信源：信源每次发出一组 含二个以上符号的符号序列代表一个消息。
将以上两种分类结合，就有四种离散信源：
2.1单符号离散信源
（1）发出单符号的无记忆离散信源； （2）发出多符号的无记忆离散信源； （3）发出单符号的有记忆离散信源； （4）发出多符号的有记忆离散信源。
第2章信源熵-概念及单符号离散信源熵
表示
x2 xn X x1 P(X) P(x ) P( x ) P( x ) 1 2 n
其中,0 P( x i ) 1, i 1,2,, n且 P( x i ) 1
i 1
n
例1
6 X 1 2 P(X) 1/ 6 1 / 6 1/ 6
I(x 4 ) log P(x 4 ) log( 1/ 8) log 8 3(bit )
信源熵
3、熵
定义
信源各消息自信息量的数学期望为该信源的熵， 也叫无条件熵，用H(X)表示。
表示
H(X) E[I( x i )] P( x i )I( x i ) P( x i ) log P( x i )
i 1 i 1
n
n
同理， (1 )P2 ( x i ) log[ P1 ( x i ) (1 )P2 ( x i )]
i 1
n
(1 )P2 ( x i ) log P2 ( x i )
i 1
n
信源熵
[P1 ( x i ) (1 )P2 ( x i )] log[ P1 ( x i ) (1 )P2 ( x i )]
信源熵
2、自信息量
假设单符号离散信源发出消息xi、xj 的概率 P(xi) < P(xj)，那条消息具有更大的信 息量， xi 还是xj ？
信源熵
根据香农信息的概念，消息中具有不确定 性的成分才是信息，不确定性的成分越大， 或者说概率越小，信息量就越大，从这个 意义判断，消息xi 具有更大的信息量。
信源熵
离散信源又可以细分为： （1）离散无记忆信源：所发出的各 个符号之间是相互独立的，发出 的符号序列中的各个符号之间没 有统计关联性，各个符号的出现 概率是它自身的先验概率。 （2）离散有记忆信源：发出的各个 符号之间不是相互独立的，各个 符号出现的概率是有关联的。
平稳信源熵求解课程设计
郑州工业应用技术学院课程设计（论文）题目：离散平稳信源熵求解指导教师：魏平俊职称：教授学生姓名：魏秀涛学号： 1401140108专业：电子信息工程院（系）：信息工程学院答辩日期： 2016年12月18日2016年12月18日信息是从人类出现以来就存在于这个世界上，人类社会的生存和发展都离不开信息的获取、传递、处理、再生、控制和处理。
而信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等方法来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。
主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。
在信息论的指导下，信息技术得到飞速发展，这使得信息论渗透到自然科学和社会科学的所有领域，并且应用与众多领域：编码学、密码学与密码分析、数据压缩、数据传输、检测理论、估计理论等。
信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信源熵；有记忆，无记忆离散和连续信道的信道容量，平均互信息；无失真信源编码相关理论。
求离散性信源熵也是信息论课程实践学习中必须要经历，在了解常规的求解方式的同时，利用计算机语言进行实践编程。
用预先规定的方法将文字、数字或其他对象编成数码，或将信息、数据转换成规定的电脉冲信号。
编码在电子计算机、电视、遥控和通讯等方面广泛使用。
其中哈夫曼编码有广泛的应用,通过本次实验,了解编码的具体过程,通过编程实现编码。
本次实验所使用的机器语言均为C语言。
关键字：信息论离散和连续信源熵 C语言编程设计绪论 (1)1. 课程设计概述及意义 (2)2. 设计任务 (3)2.1设计目的 (3)2.2设计内容 (3)2.3设计条件 (3)3. 理论分析 (4)3.1离散信号概念 (4)3.2信源熵 (5)3.2.1定义 (5)3.2.2本质 (5)3.2.3物理含义 (6)3.3离散平稳信源的数学定义 (6)3.4离散平稳信源熵求解说明 (7)4.软件介绍 (8)4.1 Visual C++ 6.0简介 (8)4. 2主要部分 (9)5.程序设计 (11)5.1设计程序流程图 (11)5.2设计程序编码 (12)5.3程序运行结果 (15)6.课程设计心得体会 (16)致谢 (17)参考文献 (18)绪论在自然界发生的许多过程中，有的过程朝一个方向可以自发地进行，而反之则不行。
信源及其熵
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ：
H(X)= p(a1) I (a1) + p(a2) I (a2) =0.72（比特/符号）
二. 信息熵
对一个信源发出不同的消息所含有的信息量也不同。
所以自信息I(ai)是一个随机变量，不能用它来作为
整个信源的信息测度
定义自信息的数学期望为平均自信息量Hr(X)，称为 信息熵：
Hr (X ) Elogr
1 p(ai
)
q i 1
p(ai
) log r
... ...
qN P( qN
)
N
其中，P( i ) P(aik ), ik (1,2,..., q) k 1
有记忆信源
信源在不同时刻发出的符号之间是相互依赖的， 即信源输出的平稳随机序列X中，各随机变量Xi之 间相互依赖。
例：汉字组成的中文序列中，只有根据中文的语法、
P(X) P( X1X 2 X N ) P( Xi )
i 1
设各随机变量Xi取值同样符号集A:{a1,a2,…,aq}，则
N
P(x i ) P(ai1ai2 ,..., aiN ) P(aik ), ik (1,2,..., q)
k 1
N维随机矢量的一个取
由于信源发送什么消息预先是不可知的，只能 用概率空间来描述信源
2.1 信源的数学模型及分类
信源及信源熵课件
编码是将信息从一种 形式或格式转换为另 一种形式的过程。
编码的方式和格式取 决于应用场景和需求 。
编码的目的是为了便 于信息的存储、传输 和处理。
信源编码的原理
信源编码是对信源输出的符号或数据 进行压缩编码，以减少存储空间和传 输带宽。
信源编码的目标是在保证信息无损的 前提下，尽可能地减小编码后的数据 量。
差分编码
02
通过消除信号中的冗余信息，降低信号的复杂性，提高信号传
输的效率和可靠性。
深度学习在信源编码中的应用
03
利用深度学习算法对信源进行自动编码，提高编码的自适应性
和智能化水平。
信源熵的新应用
信息隐藏
利用信源熵将秘密信息隐 藏在普通数据中，实现隐 蔽通信和数据保护。
数据加密
通过改变数据熵值，增加 数据破解的难度，保护数 据的机密性和完整性。
LZ77编码
基于字典的压缩算法，通过查找已输出的字符串在字典中的匹配项， 替换为较短的指针，实现数据压缩。
BWT编码
将信源输出按字节进行排序并连接成一个字符序列，通过游程编码和 差分编码等技术实现数据压缩。
04
信源的应用
在通信系统中的应用
信源编码
通过将信源输出的消息转换为二进制 或其它形式的数字信号，实现数字通 信，提高通信系统的传输效率和可靠 性。
信源编码的原理基于信息论和概率统 计的知识，通过对信源输出的概率分 布进行分析，采用适当的编码方式实 现数据压缩。
常见信源编码方式
Huffman编码
基于信源符号出现概率的编码方式，通过为出现概率高的符号分配较 短的码字，实现数据压缩。
算术编码
将信源输出区间划分为若干个子区间，每个子区间对应一个符号，通 过小数形式的码字表示输出区间的范围，实现高压缩比。
编码的方式和格式取 决于应用场景和需求 。
编码的目的是为了便 于信息的存储、传输 和处理。
信源编码的原理
信源编码是对信源输出的符号或数据 进行压缩编码，以减少存储空间和传 输带宽。
信源编码的目标是在保证信息无损的 前提下，尽可能地减小编码后的数据 量。
差分编码
02
通过消除信号中的冗余信息，降低信号的复杂性，提高信号传
输的效率和可靠性。
深度学习在信源编码中的应用
03
利用深度学习算法对信源进行自动编码，提高编码的自适应性
和智能化水平。
信源熵的新应用
信息隐藏
利用信源熵将秘密信息隐 藏在普通数据中，实现隐 蔽通信和数据保护。
数据加密
通过改变数据熵值，增加 数据破解的难度，保护数 据的机密性和完整性。
LZ77编码
基于字典的压缩算法，通过查找已输出的字符串在字典中的匹配项， 替换为较短的指针，实现数据压缩。
BWT编码
将信源输出按字节进行排序并连接成一个字符序列，通过游程编码和 差分编码等技术实现数据压缩。
04
信源的应用
在通信系统中的应用
信源编码
通过将信源输出的消息转换为二进制 或其它形式的数字信号，实现数字通 信，提高通信系统的传输效率和可靠 性。
信源编码的原理基于信息论和概率统 计的知识，通过对信源输出的概率分 布进行分析，采用适当的编码方式实 现数据压缩。
常见信源编码方式
Huffman编码
基于信源符号出现概率的编码方式，通过为出现概率高的符号分配较 短的码字，实现数据压缩。
算术编码
将信源输出区间划分为若干个子区间，每个子区间对应一个符号，通 过小数形式的码字表示输出区间的范围，实现高压缩比。
第二章信源信息熵(第二讲)
第二章 信源与信息熵（第二讲）（2课时）主要内容：（1）信源的描述（2）信源的分类 重点：信源的分类，马尔可夫信源。
难点：信源的描述，马尔可夫信源。
作业：2.1, 2.2, 2.3说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。
另外，注意，解题方法。
多加一些内容丰富知识和理解。
2．1 信源的描述与分类在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。
信源：产生随机变量、随机序列和随机过程的源。
信源的基本特性：具有随机不确定性。
信源的分类离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。
发出单个符号的无记忆信源离散无记忆信源： 发出符号序列的无记忆信源离散信源离散有记忆信源： 发出符号序列的有记忆信源发出符号序列的马尔可夫信源 概率论基础：无条件概率，条件概率和联合概率的性质和关系： 非负性0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， 完备性111111()1,()1,(/)1,(/)1,()1n m nijiji j i mm nji i j j j i p x p y p x y p yx p x y ===========∑∑∑∑∑∑11()(),()()n mijjijii j p x y p y p x y p x ====∑∑联合概率()()(/)()(/)()()()(/)()(/)()i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，，贝叶斯公式11()()(/)(/)()()i j i j i j j i nmijiji j p x y p x y p x y p y x p x y p x y ====∑∑，2.1.1 无记忆信源：例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。
第2章 信源与信息熵(3)
平均互信息的物理意义
互信息量实质是通信中实际传送的有用信息量。 互信息量实质是通信中实际传送的有用信息量。 显然，互信息越大越好， 显然，互信息越大越好，极限是 H ( X ) 能否将发送端X的信息量全部传送？ 能否将发送端 的信息量全部传送？ 的信息量全部传送 要求通信过程中没有信息量损失，而实际传输过程中， 要求通信过程中没有信息量损失，而实际传输过程中，信 道中的噪声会淹没一定的信息，即信息有损失。 道中的噪声会淹没一定的信息，即信息有损失。 通信过程中，信息量损失了多少？ 通信过程中，信息量损失了多少？ X的信息量减去实际传输的信息量，即 的信息量减去实际传输的信息量， 的信息量减去实际传输的信息量
I ( X ; Y ) = I (Y ; X )
理论证明略（与单符号互信息相同）。 理论证明略（与单符号互信息相同）。
②非负性
I ( X ;Y ) ≥ 0 I ( X ;Y ) ≤ H ( X )
理论证明参考周荫清编的信息理论基础， 理论证明参考周荫清编的信息理论基础，直观理解
③极值性
直观理解！！ 直观理解！！
p ( xi | y j ) p ( xi )
= log 2
p ( xi ) p ( y j )
p ( xi , y j )
2 .2 离散信源熵和互信息
三、互信息
1、单符号之间的互信息量 性质： ③ 性质： 证明： 证明：
I ( xi ; y j ) = ( xi , y j )
p ( xi ) p ( y j )
p ( xi , y j )
= log 2
p ( xi ) p ( y j )
2 .2 离散信源熵和互信息
三、互信息
2、平均互信息 定义： 指单符号互信息量在X集合和 集合上的统计平均值。 定义： 指单符号互信息量在 集合和Y集合上的统计平均值。 集合和 集合上的统计平均值
互信息量实质是通信中实际传送的有用信息量。 互信息量实质是通信中实际传送的有用信息量。 显然，互信息越大越好， 显然，互信息越大越好，极限是 H ( X ) 能否将发送端X的信息量全部传送？ 能否将发送端 的信息量全部传送？ 的信息量全部传送 要求通信过程中没有信息量损失，而实际传输过程中， 要求通信过程中没有信息量损失，而实际传输过程中，信 道中的噪声会淹没一定的信息，即信息有损失。 道中的噪声会淹没一定的信息，即信息有损失。 通信过程中，信息量损失了多少？ 通信过程中，信息量损失了多少？ X的信息量减去实际传输的信息量，即 的信息量减去实际传输的信息量， 的信息量减去实际传输的信息量
I ( X ; Y ) = I (Y ; X )
理论证明略（与单符号互信息相同）。 理论证明略（与单符号互信息相同）。
②非负性
I ( X ;Y ) ≥ 0 I ( X ;Y ) ≤ H ( X )
理论证明参考周荫清编的信息理论基础， 理论证明参考周荫清编的信息理论基础，直观理解
③极值性
直观理解！！ 直观理解！！
p ( xi | y j ) p ( xi )
= log 2
p ( xi ) p ( y j )
p ( xi , y j )
2 .2 离散信源熵和互信息
三、互信息
1、单符号之间的互信息量 性质： ③ 性质： 证明： 证明：
I ( xi ; y j ) = ( xi , y j )
p ( xi ) p ( y j )
p ( xi , y j )
= log 2
p ( xi ) p ( y j )
2 .2 离散信源熵和互信息
三、互信息
2、平均互信息 定义： 指单符号互信息量在X集合和 集合上的统计平均值。 定义： 指单符号互信息量在 集合和Y集合上的统计平均值。 集合和 集合上的统计平均值
2信源与信息熵3
iL
) log p ( x iL )
H (X
l 1
L
l)
• 可见，离散无记忆信源X的L次扩展信源(或称 序列信源)的序列熵是单符号离散信源X的熵 的L倍。 • H(X)=LH(X)
• 离散无记忆平稳信源平均每个符号的符号熵 HL(X)就等于单个符号信源的符号熵H(X)。
若单符号离散信源的数 X P( X
齐次可遍历马氏链的极限熵
对于齐次 p ( xi
m 1
、 遍历马氏链
m 1 m 1
/ xi , xi ) p ( xi
/ si )
m 1
左边
m 1
p ( xi
m 1
, x i , s i ) log p ( x i
1
/ xi , xi )
m 1
i m 1 , i1 ; i
H
N
(X )
1 N
H (X1X 2 X
N
)
• HN(X)为平均符号熵。
• 当信源退化为无记忆时，有
H (X )
i
p ( x i ) log p ( x i )
H (X
l 1
L
l
)
• 若进一步满足平稳性，即与序号l无关时，则 有H(X)=LH(X)。 • 这一结论与离散无记忆信源结论是完全一致 的。可见，无记忆信源是上述有记忆信源的 一个特例。
2.3.1 离散无记忆序列信源的熵
• 如果有一个离散无记忆信源X，取值于集合 X={x1，x2，…，xl}，其输出消息序列可用若 干个长度为L的序列来表示，即等效于一个新 的信源(X的L重/次扩展信源)。 • 新信源每次输出的是长度为L的消息序列，用 L维离散随机向量/矢量来描述X=(X1，X2，…， XL) ，其中每个分量都是随机变量Xi(i=1， 2，…，L)，它们都取值于同一集合{x1， x2，…，xn}，且分量之间统计独立，则由随 机向量X组成的新信源称为离散无记忆信源X 的L重/次扩展信源，这是最简单的符号序列 无记忆信源。
信息论2章1,23节(上课用)
i 1 j 1
q
m
P( xy)logP( xy)
XY
联合熵的性质：
通信与信息基础教学部
33
信息论课件
平均互信息量
定义：
两个离散随机事件集合X和Y，若 其任意两事件间的互信息量为I(xi；yj)， 则其联合概率加权的统计平均值，称为 两集合的平均互信息量，用I(X；Y)表示。
M N M
通信与信息基础教学部
16
信息论课件
联合自信息量
定义：若有两个消息
xi，xj同时出现， 可用联合概率P(xi，xj)来表示，这时的自 信息量定义为
I ( xi , y j ) log p( xi , y j )
通信与信息基础教学部
17
信息论课件
当xi和xj相互独立时，有P(xi， xj)= P(xi)P(xj)，那么就有I(xi， xj)= I(xi)+ I(xj)
XY XY
通信与信息基础教学部
30
信息论课件
条件熵
物理含义：
称：H(X/Y)为信道疑义度。
称：H(Y/X)为信道噪声熵或散步度。
通信与信息基础教学部
31
信息论课件
举例：已知信源 X、Y 0， 概率为
1 p(a1 0，b1 0） p(a2 1，b2 1） 8
信息论课件
信息论 Information Theory
蒋青
jiangq@ TEL：62460517
通信与信息基础教学部
1
信息论课件
2 离散信源及其信息测度
2.1 信源的数字模型及分类 2.2 离散信源的信息量和信息熵 2.3 信息熵的基本性质 2.4信息熵的唯一性定理 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7马尔可夫信源 2.8信源剩余度与自然语言的熵
q
m
P( xy)logP( xy)
XY
联合熵的性质：
通信与信息基础教学部
33
信息论课件
平均互信息量
定义：
两个离散随机事件集合X和Y，若 其任意两事件间的互信息量为I(xi；yj)， 则其联合概率加权的统计平均值，称为 两集合的平均互信息量，用I(X；Y)表示。
M N M
通信与信息基础教学部
16
信息论课件
联合自信息量
定义：若有两个消息
xi，xj同时出现， 可用联合概率P(xi，xj)来表示，这时的自 信息量定义为
I ( xi , y j ) log p( xi , y j )
通信与信息基础教学部
17
信息论课件
当xi和xj相互独立时，有P(xi， xj)= P(xi)P(xj)，那么就有I(xi， xj)= I(xi)+ I(xj)
XY XY
通信与信息基础教学部
30
信息论课件
条件熵
物理含义：
称：H(X/Y)为信道疑义度。
称：H(Y/X)为信道噪声熵或散步度。
通信与信息基础教学部
31
信息论课件
举例：已知信源 X、Y 0， 概率为
1 p(a1 0，b1 0） p(a2 1，b2 1） 8
信息论课件
信息论 Information Theory
蒋青
jiangq@ TEL：62460517
通信与信息基础教学部
1
信息论课件
2 离散信源及其信息测度
2.1 信源的数字模型及分类 2.2 离散信源的信息量和信息熵 2.3 信息熵的基本性质 2.4信息熵的唯一性定理 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7马尔可夫信源 2.8信源剩余度与自然语言的熵
第二章 信源与信息熵
连续信源的概率空间：
PX(pax,(bx))或Rpx(x)
b
px(x)0, px(x)dx1或px(x)0, Rpx(x)dx1 a
南通大学
2019/9/4
8
第2章 信源与信息熵
3. 发出符号序列离散无记忆信源－－每次发出 一组含两个以上的符号序列来代表一个消息
南通大学
2019/9/4
18
第2章 信源与信息熵
p ij m ,n 一 k 步 步 p p ijik jm m 齐 次 p p iijjk
注：平稳信源的概率分布特性具有时间推移不变性， 而齐次马氏链只要转移概率具有时间推移不变性， 因此一般情况下，平稳包含齐次。
p
k
ii
0
的
n中没有比1大的公因
子。
南通大学
2019/9/4
23
第2章 信源与信息熵
• 作业：2-1，2-2
南通大学
2019/9/4
24
第2章 信源与信息熵
第二章 信源与信息熵
• 第二讲
南通大学
2019/9/4
25
第2章 信源与信息熵
上一讲复习
• 1. 信源的分类
连续信源 信源
离散信源
随机波形信源 其它 单符号无记忆离散信源 符号序列无记忆离散信源 单符号有记忆离散信源 符号序列有记忆离散信源
实际上信源发出的符号往往只与前面几个符号 的依赖关系较强，而与更前面的符号依赖关系就弱。 为此可以限制随机序列的记忆长度。
南通大学
2019/9/4
11
第2章 信源与信息熵
• 连续信源的离散化
南通大学
2019/9/4
PX(pax,(bx))或Rpx(x)
b
px(x)0, px(x)dx1或px(x)0, Rpx(x)dx1 a
南通大学
2019/9/4
8
第2章 信源与信息熵
3. 发出符号序列离散无记忆信源－－每次发出 一组含两个以上的符号序列来代表一个消息
南通大学
2019/9/4
18
第2章 信源与信息熵
p ij m ,n 一 k 步 步 p p ijik jm m 齐 次 p p iijjk
注：平稳信源的概率分布特性具有时间推移不变性， 而齐次马氏链只要转移概率具有时间推移不变性， 因此一般情况下，平稳包含齐次。
p
k
ii
0
的
n中没有比1大的公因
子。
南通大学
2019/9/4
23
第2章 信源与信息熵
• 作业：2-1，2-2
南通大学
2019/9/4
24
第2章 信源与信息熵
第二章 信源与信息熵
• 第二讲
南通大学
2019/9/4
25
第2章 信源与信息熵
上一讲复习
• 1. 信源的分类
连续信源 信源
离散信源
随机波形信源 其它 单符号无记忆离散信源 符号序列无记忆离散信源 单符号有记忆离散信源 符号序列有记忆离散信源
实际上信源发出的符号往往只与前面几个符号 的依赖关系较强，而与更前面的符号依赖关系就弱。 为此可以限制随机序列的记忆长度。
南通大学
2019/9/4
11
第2章 信源与信息熵
• 连续信源的离散化
南通大学
2019/9/4
信息论与编码-第2章信源熵辅助课件三
克拉夫特（Kraft）不等式（P87 2.4.5) 对于m元的长度分别为 k1, k2 ,L, kn 的n个
异前置码存在的条件是满足克拉夫特不等式
n
∑ m −ki ≤ 1
i =1
反之，若码长满足上面的不等式，则一定存在 具有这样码长的即时码。
注意：克拉夫特不等式只是说明唯一可译码是
2.4离散无失真信源编码
但冗余度大的消息具有强的抗干扰能力， 便于纠错。如收到“中X人民X和国”时，容易把 它纠正为“中华人民共和国”。但若将其压缩为
2.2多符号离散平稳信源
“中国”，当错收成“X国”，就很难确定发出的
是“中国”、“美国”…，这将会造成很大的错误。 从提高抗干扰能力角度，
希望增加或者保留信源的冗余度， 或在传输之前，在信源编码后去除冗余的符号 序列里，加入某些特殊的冗余度，以达到通信 系统理想的传输有效性和可靠性的综合平衡，
这就是所谓的信道编码。
2.2多符号离散平稳信源
总结：
信源编码：通过减少或消除信源 的冗余度来提高传输效率；
信道编码：通过增加信源的冗余 度来提高抗干扰能力。
几句话：P67 划一下
2.4离散无失真信源编码
通信实质：信息的传输。 信息传输基本问题：高速度、高质量传送信息
将信源信息－信道－信宿，不失真又快 速？ （1）在不失真或一定失真的条件下，如何用尽 可能少的符号来传送信源信息----信源编码 （2）在信道受干扰时，如何增加信号抗干扰能 力，又使得信息传输率最大----信道编码
要求信源符号 Xi (i = 1,2,L, n)
2.4离散无失真信源编码
与码字是一一对应的，并要求由码字组成的符 号序列的逆变换也是唯一的（唯一可译码）。 定长编码定理：P84
异前置码存在的条件是满足克拉夫特不等式
n
∑ m −ki ≤ 1
i =1
反之，若码长满足上面的不等式，则一定存在 具有这样码长的即时码。
注意：克拉夫特不等式只是说明唯一可译码是
2.4离散无失真信源编码
但冗余度大的消息具有强的抗干扰能力， 便于纠错。如收到“中X人民X和国”时，容易把 它纠正为“中华人民共和国”。但若将其压缩为
2.2多符号离散平稳信源
“中国”，当错收成“X国”，就很难确定发出的
是“中国”、“美国”…，这将会造成很大的错误。 从提高抗干扰能力角度，
希望增加或者保留信源的冗余度， 或在传输之前，在信源编码后去除冗余的符号 序列里，加入某些特殊的冗余度，以达到通信 系统理想的传输有效性和可靠性的综合平衡，
这就是所谓的信道编码。
2.2多符号离散平稳信源
总结：
信源编码：通过减少或消除信源 的冗余度来提高传输效率；
信道编码：通过增加信源的冗余 度来提高抗干扰能力。
几句话：P67 划一下
2.4离散无失真信源编码
通信实质：信息的传输。 信息传输基本问题：高速度、高质量传送信息
将信源信息－信道－信宿，不失真又快 速？ （1）在不失真或一定失真的条件下，如何用尽 可能少的符号来传送信源信息----信源编码 （2）在信道受干扰时，如何增加信号抗干扰能 力，又使得信息传输率最大----信道编码
要求信源符号 Xi (i = 1,2,L, n)
2.4离散无失真信源编码
与码字是一一对应的，并要求由码字组成的符 号序列的逆变换也是唯一的（唯一可译码）。 定长编码定理：P84
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
8
• 如果摸出的是红球，则获得的信息量是 I (x1)=－log2p (x1) = －log20.8 bit
• 如果摸出的是白球，则获得的信息量是 I (x2)=－log2p (x2) = －log20.2 bit
• 如果每次摸出一个球后又放回袋中，再进行下 一次摸取。则如此摸取n次，红球出现的次数为 np(x1)次，白球出现的次数为 np (x2)次。随机摸 取n次后总共所获得的信息量为 np(x1) I (x1)+ np(x2) I (x2)
– 1、自信息量；2、联合自信息量；3、条件自信息量
• II、互信息量和条件互信息量
– 1、互信息量；2、互信息的性质；3、条件互信息量
• III、信源熵
– 1、信源熵；2、条件熵；3、联合熵
2.2.3 信源熵的基本性质和定理 2.2.4 平均互信息量 2.2.5 各种熵之间的关系
6
III、信源熵
• 这种情况下,信源的不确定性最大,信息熵最大。
• 甲地比乙地提供更多的信息量。因为甲地可能 出现的消息数多于乙地可能出现的消息数。
18
III-2.条件熵
• 定义：
– 在给定yj条件下，xi的条件自信息量为I(xi| yj), X 集合的条件熵H(X|yj)为
H (X |yj) p (x i|yj)I(x i|yj)
YPp(yy11)
y2 p(y2)
yn p(yn)
• 互信息定义：xi的后验概率与先验概率比值的 对数
I(xi;yj)lo2gp(px(ix|iy)j)
含义
接收到某消息yj
后获得的关于事
件xi的信息量
4
2.2 单符号离散信源
2.2.1 单符号离散信源的数学模型 2.2.2 自信息和信源熵
• I、信息量
7
III-1.信源熵
例2-6:
一个布袋内放100个球，其中80个球是红色的，20 个球是白色的，若随机摸取一个球，猜测其颜色， 求平均摸取一次所能获得的自信息量？ 解: 依据题意，这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
其中：x1表示摸出的球为红球事件， x2表示摸出的 球是白球事件。
9
• 平均随机摸取一次所获得的信息量为
H(X)
Hale Waihona Puke 1[n np(x1)I(x1)n
p(x2)I(x2)]
[p(x1)logp(x1) p(x2)logp(x2)]
2
p(xi)log2 p(xi) 0.72bit/符号 i1
H(X):平均信息量,称为信源X的熵。 信源熵、香农熵
10
III-1.信源熵
X p(x)
x1, 0.99
x2 0.01
Y p(y)
y1, 0.5
y2 0.5
H (X ) 0 .9 lo 9 0 .9 g 0 9 .0 lo 1 0 .0 g 0 1 .0 比 8 /符 特
H (Y ) 0 .5 lo 0 .5 g 0 .5 lo 0 .5 g 1 比 /符 特 号
– 信息熵H(X)反映了变量X的随机性。
区别：信源熵表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信息的量度。
15
例2-7:
(1) 甲地天气预报
X 晴 阴雨雪 p(x)1/2 1/4 1/8 1/8
乙地天气预报
pY(y)7晴/8
雨 1/8
求：两地天气预报各自提供的平均信息量?
H (X ) 1 lo 1 g 1 lo 1 1 g lo 1 1 g lo 1 1 g .7比 5/符 特 2 24 48 88 8
• 离散信源熵H(X)
(平均不确定度/平均信息量/平均自信息量)
– 定义：
信源的平均不确定度H(X)为信源中各个符号 不确定度的数学期望，即：
H (X )p (x i)I(x i) p (x i)lo p (x ig )
i
i
单位为比特/符号或比特/符号序列
11
例如：有两个信源
其概率空间分别为：
H (Y) 1lo1 g 0lo0 g0 比/符 特号
limεlogε=0
• 信源是一确定信源，所以不存在不确定性， 信息熵等于零。
17
(3) 甲、乙地天气预报为两极端情况：
pX(x)1晴 /4 1阴 /4 1雨 /4 1雪 /4
pY(y)1晴 /2,
雨 1/2
H(X)lo1g2比特 /符号 4
H(Y)lo1g1比特 /符号 2
得出：H(Y) ＞H(X) 信源Y比信源X的平均不确定性要大。
12
III-1.信源熵
• 信息熵：
–从平均意义上来表征信源的总体信息测度 的一个量。
• 自信息：
– 指某一信源发出某一消息所含有的信息量。 – 所发出的消息不同,它们所含有的信息量也
就不同。 – 自信息I (xi)是一个随机变量,不能用它来作
为整个信源的信息测度。
13
熵
有限值
信息量
可为无穷大
确定值 与信源是否输出无关
一般为随机量 接收后才得到信息
信源的平均不确定度 消除不定度得到信息
信源熵与信息量的比较
14
III-1.信源熵
• 信源熵具有以下三种物理含意：
– 信息熵H(X)表示信源输出后，每个离散消 息所提供的平均信息量。
– 信息熵H(X)表示信源输出前，信源的平均 不确定性。
i
– 在给定Y(即各个yj )条件下，X集合的条件熵H(X|Y)
H (Y)7lo7 g1lo1 g0.5比 44/符 特号 8 88 8
• 甲地提供的平均信息量大于乙地
16
(2) 甲、乙地天气预报为两极端情况：
X 晴阴雨雪 p(x)1 0 0 0
Y 晴 雨 p(y)1 0
H (X ) 1 lo 1 0 lg o 0 0 lg o 0 0 lg o 0 0 比 g/符 特 号
第二章—3
信源熵
2.2 单符号离散信源
2.2.1 单符号离散信源的数学模型 2.2.2 自信息和信源熵
• I、信息量
– 1、自信息量；2、联合自信息量；3、条件自信息量
• II、互信息量和条件互信息量
– 1、互信息量；2、互信息的性质；3、条件互信息量
• III、信源熵
– 1、信源熵；2、条件熵；3、联合熵
2.2.3 信源熵的基本性质和定理 2.2.4 平均互信息量 2.2.5 各种熵之间的关系
2
回顾——单符号离散信源的互 信息量和条件互信息量
3
互信息
• 设有两个随机事件X和Y，X取值于信源发出的离 散消息集合，Y取值于信宿收到的离散符号集合
X Pp(xx11)
x2 p(x2)
xn p(xn)
• 如果摸出的是红球，则获得的信息量是 I (x1)=－log2p (x1) = －log20.8 bit
• 如果摸出的是白球，则获得的信息量是 I (x2)=－log2p (x2) = －log20.2 bit
• 如果每次摸出一个球后又放回袋中，再进行下 一次摸取。则如此摸取n次，红球出现的次数为 np(x1)次，白球出现的次数为 np (x2)次。随机摸 取n次后总共所获得的信息量为 np(x1) I (x1)+ np(x2) I (x2)
– 1、自信息量；2、联合自信息量；3、条件自信息量
• II、互信息量和条件互信息量
– 1、互信息量；2、互信息的性质；3、条件互信息量
• III、信源熵
– 1、信源熵；2、条件熵；3、联合熵
2.2.3 信源熵的基本性质和定理 2.2.4 平均互信息量 2.2.5 各种熵之间的关系
6
III、信源熵
• 这种情况下,信源的不确定性最大,信息熵最大。
• 甲地比乙地提供更多的信息量。因为甲地可能 出现的消息数多于乙地可能出现的消息数。
18
III-2.条件熵
• 定义：
– 在给定yj条件下，xi的条件自信息量为I(xi| yj), X 集合的条件熵H(X|yj)为
H (X |yj) p (x i|yj)I(x i|yj)
YPp(yy11)
y2 p(y2)
yn p(yn)
• 互信息定义：xi的后验概率与先验概率比值的 对数
I(xi;yj)lo2gp(px(ix|iy)j)
含义
接收到某消息yj
后获得的关于事
件xi的信息量
4
2.2 单符号离散信源
2.2.1 单符号离散信源的数学模型 2.2.2 自信息和信源熵
• I、信息量
7
III-1.信源熵
例2-6:
一个布袋内放100个球，其中80个球是红色的，20 个球是白色的，若随机摸取一个球，猜测其颜色， 求平均摸取一次所能获得的自信息量？ 解: 依据题意，这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
其中：x1表示摸出的球为红球事件， x2表示摸出的 球是白球事件。
9
• 平均随机摸取一次所获得的信息量为
H(X)
Hale Waihona Puke 1[n np(x1)I(x1)n
p(x2)I(x2)]
[p(x1)logp(x1) p(x2)logp(x2)]
2
p(xi)log2 p(xi) 0.72bit/符号 i1
H(X):平均信息量,称为信源X的熵。 信源熵、香农熵
10
III-1.信源熵
X p(x)
x1, 0.99
x2 0.01
Y p(y)
y1, 0.5
y2 0.5
H (X ) 0 .9 lo 9 0 .9 g 0 9 .0 lo 1 0 .0 g 0 1 .0 比 8 /符 特
H (Y ) 0 .5 lo 0 .5 g 0 .5 lo 0 .5 g 1 比 /符 特 号
– 信息熵H(X)反映了变量X的随机性。
区别：信源熵表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信息的量度。
15
例2-7:
(1) 甲地天气预报
X 晴 阴雨雪 p(x)1/2 1/4 1/8 1/8
乙地天气预报
pY(y)7晴/8
雨 1/8
求：两地天气预报各自提供的平均信息量?
H (X ) 1 lo 1 g 1 lo 1 1 g lo 1 1 g lo 1 1 g .7比 5/符 特 2 24 48 88 8
• 离散信源熵H(X)
(平均不确定度/平均信息量/平均自信息量)
– 定义：
信源的平均不确定度H(X)为信源中各个符号 不确定度的数学期望，即：
H (X )p (x i)I(x i) p (x i)lo p (x ig )
i
i
单位为比特/符号或比特/符号序列
11
例如：有两个信源
其概率空间分别为：
H (Y) 1lo1 g 0lo0 g0 比/符 特号
limεlogε=0
• 信源是一确定信源，所以不存在不确定性， 信息熵等于零。
17
(3) 甲、乙地天气预报为两极端情况：
pX(x)1晴 /4 1阴 /4 1雨 /4 1雪 /4
pY(y)1晴 /2,
雨 1/2
H(X)lo1g2比特 /符号 4
H(Y)lo1g1比特 /符号 2
得出：H(Y) ＞H(X) 信源Y比信源X的平均不确定性要大。
12
III-1.信源熵
• 信息熵：
–从平均意义上来表征信源的总体信息测度 的一个量。
• 自信息：
– 指某一信源发出某一消息所含有的信息量。 – 所发出的消息不同,它们所含有的信息量也
就不同。 – 自信息I (xi)是一个随机变量,不能用它来作
为整个信源的信息测度。
13
熵
有限值
信息量
可为无穷大
确定值 与信源是否输出无关
一般为随机量 接收后才得到信息
信源的平均不确定度 消除不定度得到信息
信源熵与信息量的比较
14
III-1.信源熵
• 信源熵具有以下三种物理含意：
– 信息熵H(X)表示信源输出后，每个离散消 息所提供的平均信息量。
– 信息熵H(X)表示信源输出前，信源的平均 不确定性。
i
– 在给定Y(即各个yj )条件下，X集合的条件熵H(X|Y)
H (Y)7lo7 g1lo1 g0.5比 44/符 特号 8 88 8
• 甲地提供的平均信息量大于乙地
16
(2) 甲、乙地天气预报为两极端情况：
X 晴阴雨雪 p(x)1 0 0 0
Y 晴 雨 p(y)1 0
H (X ) 1 lo 1 0 lg o 0 0 lg o 0 0 lg o 0 0 比 g/符 特 号
第二章—3
信源熵
2.2 单符号离散信源
2.2.1 单符号离散信源的数学模型 2.2.2 自信息和信源熵
• I、信息量
– 1、自信息量；2、联合自信息量；3、条件自信息量
• II、互信息量和条件互信息量
– 1、互信息量；2、互信息的性质；3、条件互信息量
• III、信源熵
– 1、信源熵；2、条件熵；3、联合熵
2.2.3 信源熵的基本性质和定理 2.2.4 平均互信息量 2.2.5 各种熵之间的关系
2
回顾——单符号离散信源的互 信息量和条件互信息量
3
互信息
• 设有两个随机事件X和Y，X取值于信源发出的离 散消息集合，Y取值于信宿收到的离散符号集合
X Pp(xx11)
x2 p(x2)
xn p(xn)