第二章(1) 信源熵
合集下载
信源熵
I ( y j ) I ( y j | xi ) I ( y j )
19
条件互信息量
条件互信息量： 在给定 zk 的条件下，xi 与 y j 之间的互信
I ( xi ; y j ) 0 后验概率 先验概率，X 与 Y 统计独立
I ( xi ; y j ) 0 后验概率 先验概率：由于信道受到干扰， 信宿收到 y j 后不但未使 xi 的不确定度 减少，反而增大了 xi 的不确定度 两个消息之间的互信息不大于其中任一消息的自信息 I ( xi ; y j ) I ( xi ) I ( x i | y j ) I ( x i )
符号从平均意义上表征信源总体特性的一个量对于特定的信源其熵只有一个1log?niiipxpx????1logniiipxpx????信息熵的物理含义信源输出前表征信源的平均不确定度信源输出后表征信源发出的每个消息所能提供的平均信息量是一个统计量反映了随机变量x的随机性22统计热力学中熵是表示分子混乱程度的一个物理量在孤立系统中进行的自发过程总是沿着熵增加的方向进行它是不可逆的平衡态相应于熵取最大值的状态即熵增加原理香农借用热力学中熵来描述信源的平均不确定度在信息论中有用的信息熵只会减少不会增加所以信息熵也被称为负热熵ijxyxy
2
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
三种表达形式等效
log log p( x i y j ) p( x i ) p( y j ) p( y j | x i ) p( y j )
信息论与编码 第二章 信源与信息熵
现概率是它自身的先验概率。
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值个数是有限的（或可列无限多个）。 例如扔骰子，每次实验结果必然是1～6点中的某一 个面朝上。每次实验的结果不随实验次数变化，也 不与先前的实验结果相关，因而该信源是单符号离
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
I=－log2(1/2m)=m bit
2.2.1 自信息量
自信息量I (xi)的特性：
⑴ I (xi)是非负值
⑵ 当p(xi) = 1时， I (xi) = 0
⑶ 当p (xi) = 0时， I (xi) =∞
⑷ I (xi)是先验概率p (xi)的单调递减函数，即 当p (x1)＞p (x2)时， I (x1) ＜ I (x2) ⑸可加性 ： 两个独立事件的联合信息量等于它们分别的信 息量之和。
发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p (X 2 ) … p (X l ) … p (X L ) 若离散信源输出的每个符号是统计独立的，且具有相同的概 率空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
信息论与编码2-信源及信源熵1
9
信息论与编码-信源及信源熵
又例如对离散化的平面图像来说,从 空间上来看是一系列离散的符号,而空间 每一点的符号(灰度)又都是随机的,由此 形成了不同的图像.所以我们可以把一般 信源输出的消息看作为时间或空间上离 散的一系列随机变量,即随机矢量.这样,信 源 描的述输,其出中可N可用为N维有随限机正矢整量数(或x1,可x2,数…的xN)无来 限值.
25
信息论与编码-信源及信源熵
2.2.2 离散信源熵
前面定义的自信息是指某一信源发出某一消 息所含有的信息量.所发出的消息不同,它们所含 有的信息量也就不同.所以自信息I(ai) 是一个 随机变量,不能用它来作为整个信源的信息测度.
我们定义自信息的数学期望为信源的平均信 息量,即
H ( X ) E [ I ( X ) ]p ( x i) I ( x i) p ( x i) lo p ( x i) g
7
信息论与编码-信源及信源熵
离散信源的数学模型就是离散型的概率空间：
X P
x1
p(x1)
x2
xn
p(x2) p(xn)
其中概率p(xi)(i=1,2,…,n)称为符号xi的先验概 率,应满足∑p(xi)=1
它表示信源可能取的消息(符号)只有n 个:x1,x2,…xn,而且每次必定取其中一个.
当xi和yj相互独立时,有p(xi,yj)=p(xi)p(yj) 于是有
I(xi,yj)= I(xi)+ I(yj)
24
信息论与编码-信源及信源熵
条件自信息量： 当xi和yj相互联系时,在事件yj 出现的条件下,xi 的
自信息量称为条件自信息量,定义为 I(xi|yj)=－logp(xi|yj)
信息论与编码-信源及信源熵
又例如对离散化的平面图像来说,从 空间上来看是一系列离散的符号,而空间 每一点的符号(灰度)又都是随机的,由此 形成了不同的图像.所以我们可以把一般 信源输出的消息看作为时间或空间上离 散的一系列随机变量,即随机矢量.这样,信 源 描的述输,其出中可N可用为N维有随限机正矢整量数(或x1,可x2,数…的xN)无来 限值.
25
信息论与编码-信源及信源熵
2.2.2 离散信源熵
前面定义的自信息是指某一信源发出某一消 息所含有的信息量.所发出的消息不同,它们所含 有的信息量也就不同.所以自信息I(ai) 是一个 随机变量,不能用它来作为整个信源的信息测度.
我们定义自信息的数学期望为信源的平均信 息量,即
H ( X ) E [ I ( X ) ]p ( x i) I ( x i) p ( x i) lo p ( x i) g
7
信息论与编码-信源及信源熵
离散信源的数学模型就是离散型的概率空间：
X P
x1
p(x1)
x2
xn
p(x2) p(xn)
其中概率p(xi)(i=1,2,…,n)称为符号xi的先验概 率,应满足∑p(xi)=1
它表示信源可能取的消息(符号)只有n 个:x1,x2,…xn,而且每次必定取其中一个.
当xi和yj相互独立时,有p(xi,yj)=p(xi)p(yj) 于是有
I(xi,yj)= I(xi)+ I(yj)
24
信息论与编码-信源及信源熵
条件自信息量： 当xi和yj相互联系时,在事件yj 出现的条件下,xi 的
自信息量称为条件自信息量,定义为 I(xi|yj)=－logp(xi|yj)
2-2 第2章 信源熵及其基本性质和定理
1、信源熵；2、条件熵；3、联合熵 信源熵； 条件熵；
2.1.3 2.1.4 2.1.5 2.1.6
信源熵的基本性质和定理 加权熵的概念及基本性质 平均互信息量 各种熵之间的关系
1
自信息量不能作为信源的信息测度
自信息量 I ( xi ), i = 1,2,... 是指某一信源X发出某一信 息符号 x i 所含有的信息量。发出的信息符号不同， 它们所含有的信息量就不同。
晴 地域A 1/2 地域B 1/2 多云 1/4 1/8 雨 1/8 1/8 冰雹 1/8 1/4
H(A) = H(B) =1.75bit 1 1 2 = log 2 + log 4 + log 8 2 4 8
17
熵函数的性质—— 2. 非负性 熵函数的性质
非负性
H(X ) = H[ p(x1), p(x2 ),L, p(xn )] H(X ) = −∑p(xi ) log p(xi ) ≥ 0
信源熵与平均自信息量数值相等，含义不同
信源熵表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信 息的度量；
信源熵H(X)的三种物理含义：
表示信源输出后，每个离散消息所提供的平均 信息量； 表示信源输出前，信源的平均不确定度； 反映了变量X的随机性。
9
条件熵
定义 2.1.7 联合集XY上，条件自信息量I(x|y)的 概率加权平均值定义为条件熵。其定义式为
f α X 1 + (1 − α ) X 2 < α f ( X 1) + (1 − α ) f ( X 2) ( X 1 ≠ X 2)
则称f(X)为定义域上的下凸函数（Cup型函数）或严格下凸函数。 f(x)是上凸函数 是上凸函数， f(x)便是下凸函数 反过来也成立。 便是下凸函数， 若f(x)是上凸函数，则-f(x)便是下凸函数，反过来也成立。故， 通常只需研究上凸函数
2.1.3 2.1.4 2.1.5 2.1.6
信源熵的基本性质和定理 加权熵的概念及基本性质 平均互信息量 各种熵之间的关系
1
自信息量不能作为信源的信息测度
自信息量 I ( xi ), i = 1,2,... 是指某一信源X发出某一信 息符号 x i 所含有的信息量。发出的信息符号不同， 它们所含有的信息量就不同。
晴 地域A 1/2 地域B 1/2 多云 1/4 1/8 雨 1/8 1/8 冰雹 1/8 1/4
H(A) = H(B) =1.75bit 1 1 2 = log 2 + log 4 + log 8 2 4 8
17
熵函数的性质—— 2. 非负性 熵函数的性质
非负性
H(X ) = H[ p(x1), p(x2 ),L, p(xn )] H(X ) = −∑p(xi ) log p(xi ) ≥ 0
信源熵与平均自信息量数值相等，含义不同
信源熵表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信 息的度量；
信源熵H(X)的三种物理含义：
表示信源输出后，每个离散消息所提供的平均 信息量； 表示信源输出前，信源的平均不确定度； 反映了变量X的随机性。
9
条件熵
定义 2.1.7 联合集XY上，条件自信息量I(x|y)的 概率加权平均值定义为条件熵。其定义式为
f α X 1 + (1 − α ) X 2 < α f ( X 1) + (1 − α ) f ( X 2) ( X 1 ≠ X 2)
则称f(X)为定义域上的下凸函数（Cup型函数）或严格下凸函数。 f(x)是上凸函数 是上凸函数， f(x)便是下凸函数 反过来也成立。 便是下凸函数， 若f(x)是上凸函数，则-f(x)便是下凸函数，反过来也成立。故， 通常只需研究上凸函数
第二章 信源和信息熵
第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
信息论与编码第二章(1、2节)
以2为底比特bit以10为底奈特nat取自然对数笛特det0693nat0301det2不确定度不确定度是信源符号固有的不论符号是否发出自信息量是信源符号发出后给予收信它与自信息量在数字上大小相等但表示的物理含义不一样
第二章：信源与信源熵
2.1 信源的描述与分类
信源的统计特性
1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源， 数学上，信源是产生 随机变量 U， 随机序列 U和 随机 过程U(t,ω)的源。
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
1 [np(x1)I (x1) + np(x2 )I(x2 )] = −∑p(xi ) log p(xi ) n i
信源熵是在平均意义上来表征信源的总体特性。
1、离散信源熵 H(X) = −∑p(xi ) log p(xi )
i
例: 试验前：
X ＝ P（x）
1
2
3 1/6
4 1/6
5 1/6
6 1/6
2）信源的主要特性
信Hale Waihona Puke 的最基本的特性是具有统计不确定性，它可用概 率统计特性来描述。
第二章：信源与信源熵
2.1 信源的描述与分类
信源的统计特性
1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源， 数学上，信源是产生 随机变量 U， 随机序列 U和 随机 过程U(t,ω)的源。
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
1 [np(x1)I (x1) + np(x2 )I(x2 )] = −∑p(xi ) log p(xi ) n i
信源熵是在平均意义上来表征信源的总体特性。
1、离散信源熵 H(X) = −∑p(xi ) log p(xi )
i
例: 试验前：
X ＝ P（x）
1
2
3 1/6
4 1/6
5 1/6
6 1/6
2）信源的主要特性
信Hale Waihona Puke 的最基本的特性是具有统计不确定性，它可用概 率统计特性来描述。
第二章基本信息论1_信源不确定性-精品文档
X 1 0 例 2 ： pX ( ) 0 . 50 . 5
X 0 1 2 3 4 5 6 7 8 9 例 3 ： p ( X ) 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1
信息速率和信道容量的概念，离散有噪
信道的熵速率，可疑度的物理解释，连 续有噪信道的信道容量
三种多用户信道模型及其信道容量 信源编码原理，等长编码和变长编码
常用的信源编码：山农费诺编码、哈夫
曼编码和L-D编码
本章作业
P113： 1-9，11，15，17，20，21
2.1 信源及信源的不确定性
发生概率小的事件不确定性大， 发生概率大的事件不确定性小 4）两个独立事件的联合信息量应等于它们分别 信息量之和
三、信息度量
信源消息 x i 的自信息量：
Ix () l o g p () x i i
表示信源发出一个消息 x i 所含有（或所提供）的 非平均自信息量
ห้องสมุดไป่ตู้
也表示通信发生前，信源发送消息 x i 的不确定度。
n
p (x gp (x i )lo i)
即信源的非平均不确定度
条件自信息量
I (/ x ) l o g p (/ x ) i y j i y j
y 已 知 的 条 件 下 ， 发 生 x 所 带 来 的 信 息 量 j i
信宿接收到消息 y j 后，对信源发送消息 x i 尚存的不 确定度。
从信宿端看，信息量的定义：
I（信息量）=不肯定程度的减少量
log p( xi / y j ) p( xi )
X 0 1 2 3 4 5 6 7 8 9 例 3 ： p ( X ) 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1
信息速率和信道容量的概念，离散有噪
信道的熵速率，可疑度的物理解释，连 续有噪信道的信道容量
三种多用户信道模型及其信道容量 信源编码原理，等长编码和变长编码
常用的信源编码：山农费诺编码、哈夫
曼编码和L-D编码
本章作业
P113： 1-9，11，15，17，20，21
2.1 信源及信源的不确定性
发生概率小的事件不确定性大， 发生概率大的事件不确定性小 4）两个独立事件的联合信息量应等于它们分别 信息量之和
三、信息度量
信源消息 x i 的自信息量：
Ix () l o g p () x i i
表示信源发出一个消息 x i 所含有（或所提供）的 非平均自信息量
ห้องสมุดไป่ตู้
也表示通信发生前，信源发送消息 x i 的不确定度。
n
p (x gp (x i )lo i)
即信源的非平均不确定度
条件自信息量
I (/ x ) l o g p (/ x ) i y j i y j
y 已 知 的 条 件 下 ， 发 生 x 所 带 来 的 信 息 量 j i
信宿接收到消息 y j 后，对信源发送消息 x i 尚存的不 确定度。
从信宿端看，信息量的定义：
I（信息量）=不肯定程度的减少量
log p( xi / y j ) p( xi )
第2章 信源熵 第1讲 自信息量 与 互信息量
余 映 云南大学
17/38
计算举例
• 对于 2n 进制的数字序列, 假设每一符号的出现完 全随机且概率相等，求任一符号的自信息量。 解：设任一码元 xi 出现概率为 p(xi)，根据题意， p(xi) = 1/ 2n I (xi) = –log(1/ 2n) = n (bit) • 事件的自信息量只与其概率有关，而与它的取值 无关。
余 映 云南大学
18/38
信息量与不确定性的关系
• 信源中某一消息发生的不确定性越大，一旦它发生，并为 收信者收到后，消除的不确定性就越大，获得的信息也就 越大。 • 由于各种原因（例如噪声太大），收信者接收到受干扰的 消息后，对某信息发生的不确定性依然存在或者一点也未 消除时，则收信者获得较少的信息或者说一点也没有获得 信息。
余 映 云南大学 21/38
信息量与不确定性的关系
• 自信息量和不确定度的含义又有区别
– 不确定度只与事件的概率有关，是一个统计量，在静 态状态下也存在； – 自信息量只有该随机事件出现时才给出，不出现时不 给出，因此它是一个动态的概念。
余 映 云南大学
22/38
自信息的含义
• 在事件 xi 发生前：表示事件 xi 发生的不确定性。 • 在事件 xi 发生后：表示事件 xi 所提供的信息量。
余 映 云南大学
19/38
信息量与不确定性的关系
• 信息量的直观定义：
收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) • 在无噪声时，通过信道传输，可以完全不失真地收到消息， 收到此消息后关于某事件发生的不确定性完全消除，此项 为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量
第2章 离散信源熵
H (Y X ) E[ I (b j ai )] p(aib j )log p(b j ai )
i 1 j 1
n
m
(2.2.8) (2.2.9)
21
3 联合熵
H ( XY ) p(aib j ) I (aib j ) p(aib j )log p(aib j )
6
对于离散随机变量，取值于集合
a1
, a 2 , , ai , , a n
对任一 a i 记 p ( ai ) P ( X ai ) 单符号离散信源的数学模型为
, ai , , an X a1 , a2 , P( X ) p(a ), p(a ), , p(a ), , p(a ) 1 2 i n
23
证明：自然对数具有性质 当 x 0时， ln x x 1 ，并且当且仅当 x 1 时，该式取等号。
图2.2.3 自然对数的性质
24
n n 1 1 H ( X ) log n p(ai )log p(ai )log n p(ai )log p(ai ) i 1 np(ai ) i 1 i 1 n
j 1 i 1
m
n
p(a b ) p(b ), p(a b ) p(a )
i 1 i j j j 1 i j i
n
m
p(ai bj ) p(bj ) p(ai bj ) p(ai ) p(bj ai )
当 X 与 Y 相互独立时
p(aib j ) p(ai ) p(b j ), p(b j ai ) p(b j ), p(ai b j ) p(ai )
条 件 熵
信 源 熵
第2章信源熵--马尔科夫信源及极限熵
“基于马尔可夫链的我国城乡居民收入演进分析”
信源熵
四、马尔科夫信源及其极限熵
1、马尔科夫信源
定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。
马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。
信源熵
信源熵
中华人民共和国
中国
*华人民*和国
*国
信源熵 抽象描述
实际信源抽象为N维离散平稳信源，H∞是其熵率， 即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是 不现实的。实际中，只能掌握有限记忆长度m， 其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1>H∞，表现在信息传输上存在冗余。
信源熵
0.2P(s1 ) 0.5P(s3 ) 0 0.2P(s1 ) P(s 2 ) 0.5P(s3 ) 0 0.5P(s 2 ) P(s3 ) 0.2P(s 4 ) 0 0.5P(s 2 ) 0.2P(s 4 ) 0
完备性
P(s1 ) P(s2 ) P(s3 ) P(s4 ) 1
信源熵
定义
信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差 为该信源的冗余度，也叫剩余度。
信源熵
马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 马尔可夫链最近的应用是在地理统计学 （geostatistics）中,被称为是“马尔可夫链地理 统计学”。仍在发展过程中。
信源熵
四、马尔科夫信源及其极限熵
1、马尔科夫信源
定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。
马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。
信源熵
信源熵
中华人民共和国
中国
*华人民*和国
*国
信源熵 抽象描述
实际信源抽象为N维离散平稳信源，H∞是其熵率， 即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是 不现实的。实际中，只能掌握有限记忆长度m， 其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1>H∞，表现在信息传输上存在冗余。
信源熵
0.2P(s1 ) 0.5P(s3 ) 0 0.2P(s1 ) P(s 2 ) 0.5P(s3 ) 0 0.5P(s 2 ) P(s3 ) 0.2P(s 4 ) 0 0.5P(s 2 ) 0.2P(s 4 ) 0
完备性
P(s1 ) P(s2 ) P(s3 ) P(s4 ) 1
信源熵
定义
信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差 为该信源的冗余度，也叫剩余度。
信源熵
马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 马尔可夫链最近的应用是在地理统计学 （geostatistics）中,被称为是“马尔可夫链地理 统计学”。仍在发展过程中。
第二章基本信息论6_连续信源的熵
说明：相比放大前，信 号放大后无穷大项小了 1/ 4 1比特，相对熵大了1比 特，而绝对熵保持不变。 0
P( x )
1/ 2
1 dx1 3
0
x
P( x )
2 dx2
6 x
二、连续信源熵的性质
连续信源熵可正可负
H ( X )
1
p( x )log p( x )dx
1 1 lb dx 1比特/采样 3 2 2
2.6 连续信源的熵
一、连续信源熵的定义
连续信源：输出在时间和取值上都是连续的信源
连续信源
采样
离散信源
求信源熵
若连续信源的频带受限，为W，则根据采样定理， 只要采样频率大于2W，则连续信源经采样离散 后，不损失任何信息。 p( x ) 将连续信源离散化为离散 信源，其信源熵为：
p( xi )dx log p( xi )dx
1
3
x
H ( X ) p( x )log p( x )dx
P( x )
1 1 lb dx 2 4 4 2比特/采样
6
1/ 4
0
2
信息量放大了2倍？
6 x
dx2 2dx1
1 1 lb lb dx2 2dx1 1 1 lb lb 2 dx1 1 1 lb dx1
H max ( X ) ln 2 e ln 2 eP 奈特/采样
1.433lb 2 eP 比特/采样
3、输出幅度平均值受限的信源
连续信源X输出非负信号的平均值受限，当其输 出信号幅度为指数分布时，输出最大熵，最大熵 随着X的数学期望（均值）的增大而增大。
P( x )
1/ 2
1 dx1 3
0
x
P( x )
2 dx2
6 x
二、连续信源熵的性质
连续信源熵可正可负
H ( X )
1
p( x )log p( x )dx
1 1 lb dx 1比特/采样 3 2 2
2.6 连续信源的熵
一、连续信源熵的定义
连续信源：输出在时间和取值上都是连续的信源
连续信源
采样
离散信源
求信源熵
若连续信源的频带受限，为W，则根据采样定理， 只要采样频率大于2W，则连续信源经采样离散 后，不损失任何信息。 p( x ) 将连续信源离散化为离散 信源，其信源熵为：
p( xi )dx log p( xi )dx
1
3
x
H ( X ) p( x )log p( x )dx
P( x )
1 1 lb dx 2 4 4 2比特/采样
6
1/ 4
0
2
信息量放大了2倍？
6 x
dx2 2dx1
1 1 lb lb dx2 2dx1 1 1 lb lb 2 dx1 1 1 lb dx1
H max ( X ) ln 2 e ln 2 eP 奈特/采样
1.433lb 2 eP 比特/采样
3、输出幅度平均值受限的信源
连续信源X输出非负信号的平均值受限，当其输 出信号幅度为指数分布时，输出最大熵，最大熵 随着X的数学期望（均值）的增大而增大。
第二章 信源熵
英文字母中“e”出现的概率为0.105，“c” 出现的概率为0.023，“o”出现的概率为 0.001，分别计算他们的自信息量。 答：I(e)=-logP(e)=-log0.105=3.25bit I(c)=-logP(c)=-log0.023=5.44bit I(o)=-logP(o)=-log0.001=9.97bit
②
公式：参考数学期望的性质，用各符号的自 信息量加权平均表示总体的不确定性。
H ( X ) E[ I ( X )] p( xi )I ( xi ) p( xi ) log p( xi )
i i
③
单位：比特/符号或比特/符号序列
④
I. II.
性质： 非负 与热力学熵相同形式，H(X)又被定义为信源 熵 两个特殊情况 符号 x i 的概率 pi 为零时，定义为pi log pi 0 当信源X只有一个符号，符号只有一个状态， p(x)=1,此时 H ( X ) 0 。
分析 {Xn，n=0,1,2，……}是一随机过程，其状态 空间为：I={0,1}，且当Xn=i，i=0、1时， Xn+1所处的状态分布只与Xn=i有关，而与 时刻n以前所处的状态无关，综上所述。该 过程为一步转移的马尔可夫过程。 p, j i P i, j 0,1 一步转移的概率： P{ X j X i} q, j i 一步转移矩阵： p q
II.
III.
随机过程是随机函数的集合，若一随机系统的样本点数是 随机函数，则称此函数为样本函数。这一随机系统全部样 本函数的集合是一个随机过程。实际应用中，样本函数的 一般定义在时间域或者空间域。用{X（t），t Y }。 具有马尔可夫性的随机过程称为马尔可夫过程。
第2章信源熵-概念及单符号离散信源熵
表示
x2 xn X x1 P(X) P(x ) P( x ) P( x ) 1 2 n
其中,0 P( x i ) 1, i 1,2,, n且 P( x i ) 1
i 1
n
例1
6 X 1 2 P(X) 1/ 6 1 / 6 1/ 6
I(x 4 ) log P(x 4 ) log( 1/ 8) log 8 3(bit )
信源熵
3、熵
定义
信源各消息自信息量的数学期望为该信源的熵， 也叫无条件熵，用H(X)表示。
表示
H(X) E[I( x i )] P( x i )I( x i ) P( x i ) log P( x i )
i 1 i 1
n
n
同理， (1 )P2 ( x i ) log[ P1 ( x i ) (1 )P2 ( x i )]
i 1
n
(1 )P2 ( x i ) log P2 ( x i )
i 1
n
信源熵
[P1 ( x i ) (1 )P2 ( x i )] log[ P1 ( x i ) (1 )P2 ( x i )]
信源熵
2、自信息量
假设单符号离散信源发出消息xi、xj 的概率 P(xi) < P(xj)，那条消息具有更大的信 息量， xi 还是xj ？
信源熵
根据香农信息的概念，消息中具有不确定 性的成分才是信息，不确定性的成分越大， 或者说概率越小，信息量就越大，从这个 意义判断，消息xi 具有更大的信息量。
信源熵
离散信源又可以细分为： （1）离散无记忆信源：所发出的各 个符号之间是相互独立的，发出 的符号序列中的各个符号之间没 有统计关联性，各个符号的出现 概率是它自身的先验概率。 （2）离散有记忆信源：发出的各个 符号之间不是相互独立的，各个 符号出现的概率是有关联的。
第二章 信源熵-习题答案
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生）P(X)0.250.75设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ）y 2（身高<160cm ）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log)()/()(log )/(log )/(11111111=⨯-=-=-=2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(=i x pbit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bitCx p x I C x p i i i 208.134log)(log )(4)(135213135213=-=-==· 2 ·2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？男士： symbolbit x p x p X H bitx p x I x p bit x p x I x p ii i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X，求这个信源的熵，并解释为什么H(X) >log6不满足信源熵的极值性。
第二章信源与信息熵
j i, j
I ( X ; Y ) p( yj ) I ( X ; yj ) p( xiyj ) log
p( xi / yj ) p( xi )
I(X;Y)=H(X)-H(X/Y)；I(Y;X)=H(Y)-H(Y/X)=I(X;Y)．
• 3.疑义度或损失熵
条件熵H(X/Y)信道上的干扰和噪声所造成的对信源符号x的平均不确定度．
X 0 P p
二元信源熵为
1 q
H (X ) p log p q log q p log p (1 p ) log(1 p ) H ( p)
信源信息熵H(X)是概率p的函数，通常用 H(p)表示。函数曲线如图
i i
I ( xi) 0; P( xi) 0;0 p( xi) 1
H(X ) 0
• 2.信源熵：表征信源的平均不确定度． 3.平均自信息：平均每个信源符号所能提供的信息 量.大小与信源熵相同.
• 例2.2.3二元信源是离散信源的一个特例。该信源X输出符号只 有两个，设为0和1。输出符号发生的概率分别为p和q，p+q=1。 即信源的概率空间为可得二元信源熵为
2.概率空间
一个离散信源发出的各个符号消息的集合 例如：
X＝｛x1，x2，…，xn｝
它们的概率分别为 P＝｛p(x1)，p(x2)，…，p(xn)｝ p(xi)称为符号xi的先验概率。 把他们写到一起就是概率空间:
X x1 P p( x1)
x2
n
...xn
xiyi 所包含的不确定度在数值上也等于它们的自信息量。
4.条件自信息量:当二者不独立 在给定y条件下，随机事件x所包含的不确定度在数值 上与条件自信息量相同，但两者含义不同。
I ( X ; Y ) p( yj ) I ( X ; yj ) p( xiyj ) log
p( xi / yj ) p( xi )
I(X;Y)=H(X)-H(X/Y)；I(Y;X)=H(Y)-H(Y/X)=I(X;Y)．
• 3.疑义度或损失熵
条件熵H(X/Y)信道上的干扰和噪声所造成的对信源符号x的平均不确定度．
X 0 P p
二元信源熵为
1 q
H (X ) p log p q log q p log p (1 p ) log(1 p ) H ( p)
信源信息熵H(X)是概率p的函数，通常用 H(p)表示。函数曲线如图
i i
I ( xi) 0; P( xi) 0;0 p( xi) 1
H(X ) 0
• 2.信源熵：表征信源的平均不确定度． 3.平均自信息：平均每个信源符号所能提供的信息 量.大小与信源熵相同.
• 例2.2.3二元信源是离散信源的一个特例。该信源X输出符号只 有两个，设为0和1。输出符号发生的概率分别为p和q，p+q=1。 即信源的概率空间为可得二元信源熵为
2.概率空间
一个离散信源发出的各个符号消息的集合 例如：
X＝｛x1，x2，…，xn｝
它们的概率分别为 P＝｛p(x1)，p(x2)，…，p(xn)｝ p(xi)称为符号xi的先验概率。 把他们写到一起就是概率空间:
X x1 P p( x1)
x2
n
...xn
xiyi 所包含的不确定度在数值上也等于它们的自信息量。
4.条件自信息量:当二者不独立 在给定y条件下，随机事件x所包含的不确定度在数值 上与条件自信息量相同，但两者含义不同。
第2章 -1信源与信息熵1【单符号离散信源】
y信道传输的平均信息量有扰离散信道结论因信道有扰而产生的平均信息量称噪声熵反映了信道中噪声源的不确定度唯一地确定信道噪声所需要的平均信息量hyy的先验不确定度hyx发出x后关于y的后验不确定度在已知x的条件下对于随机变量y存在的平均不确定度发出x前后y不确定度的平均减少量可看作在有扰离散信道上传递消息时唯一地确定接收符号y所需要的平均信息量hy减去当信源发出符号x为已知时需要确定接收符号y所需要的平均信息量hyx
1. 离散信源熵 (平均自信息量/无条件熵)
[定义] 自信息量的数学期望为信源的平均信息量，记为：H（X）。
H(X)=E[I(xi)]= –∑p(xi)log2 p(xi)
——平均不确定度的度量、体现: 总体平均
[单位]
二进制:bit/(信源)符号，或bit/(信源)序列 [含义]信息熵具有以下三方面物理含义： ⑴ 表示信源输出前，信源的平均不确定性 ⑵ 表示信源输出后，每个符号所携带的平均信息量 ⑶ 表示信源的的随机性（不同的信源有不同的统计特性） 信息熵的意义： 信源的信息熵是从整个信源的统计特性来考虑的。它是从 平均意义上来表征信源的总体特性的。对于某特定的信源， 其信息熵只有一个。不同的信源因统计特性不同，其信息熵 也不同。
√
（后续章节）
一、概述
⒈ 信息的一般概念 一个人获得消息→消除不确定性→获得信息。 ⒉ 信息度量的定性分析 事件发生的概率越大，不确定性越小，该事件 包含的信息量越小； 事件发生的概率越小，不确定性越大，该事件 包含的信息量越大； 如果一个事件发生的概率为1，那么它包含的 信息量为0； 两个相互独立事件所提供的信息量应等于它们 各自提供的信息量之和。
2.2.1
自信息量
1.自信息量 [定义] 若信源发出符号xi，由于信道无干扰，收到的就
1. 离散信源熵 (平均自信息量/无条件熵)
[定义] 自信息量的数学期望为信源的平均信息量，记为：H（X）。
H(X)=E[I(xi)]= –∑p(xi)log2 p(xi)
——平均不确定度的度量、体现: 总体平均
[单位]
二进制:bit/(信源)符号，或bit/(信源)序列 [含义]信息熵具有以下三方面物理含义： ⑴ 表示信源输出前，信源的平均不确定性 ⑵ 表示信源输出后，每个符号所携带的平均信息量 ⑶ 表示信源的的随机性（不同的信源有不同的统计特性） 信息熵的意义： 信源的信息熵是从整个信源的统计特性来考虑的。它是从 平均意义上来表征信源的总体特性的。对于某特定的信源， 其信息熵只有一个。不同的信源因统计特性不同，其信息熵 也不同。
√
（后续章节）
一、概述
⒈ 信息的一般概念 一个人获得消息→消除不确定性→获得信息。 ⒉ 信息度量的定性分析 事件发生的概率越大，不确定性越小，该事件 包含的信息量越小； 事件发生的概率越小，不确定性越大，该事件 包含的信息量越大； 如果一个事件发生的概率为1，那么它包含的 信息量为0； 两个相互独立事件所提供的信息量应等于它们 各自提供的信息量之和。
2.2.1
自信息量
1.自信息量 [定义] 若信源发出符号xi，由于信道无干扰，收到的就
第2章 信源熵 第2讲 信源熵(平均自信息量)与 平均互信息量
• ① 观察者站在输出端 • I(X;Y) = H(X) – H(X/Y)
• H(X) — X 的先验不确定度。 • H(X/Y) — 疑义度（损失熵）。 表示已知Y 后，对X 仍然存在的不确 定度。代表了在信道中损失的信息。 • I(X;Y) — 已知Y 后关于X 的不确定度 减少的量。从Y 获得的关于X 的平均 信息量。
• 理解：已知 Y 时 X 的不确定度应小于一无所知时 X 的不 确定度。因为已知 Y 后，从 Y 或多或少可以得到一些关 于 X 的信息，从而使 X 的不确定度下降。
余 映 云南大学
19/38
熵的性质
• 证明：
• （利用了极值性）
余 映 云南大学
20/38
熵的性质
• (7) 可加性 H(XY) = H(X)+H(Y/X) H(XY) = H(Y)+H(X/Y)
余 映 云南大学 3/38
信源熵
• 举例
• 一布袋内放100个球，其中80个是黄色的，20个是白色的。 随便摸出一个球，猜测是什么颜色，其概率空间为
– x1：表示摸出的是黄球，x2：表示摸出的是白球
余 映 云南大学
4/38
信源熵与平均自信息量
• 信源熵和平均自信息量两者在数值上是相等的， 但含意并不相同。
余 映 云南大学
24/38
平均互信息量的定义
• 互信息量 I(xi; yj) 在联合概率空间 P(XY) 中的统 计平均值
称为 Y 对 X 的平均互信息量。 • X 对 Y 的平均互信息定义为
余 映 云南大学
25/38
平均互信息量的定义
• 平均互信息的第三种定义
• 平均互信息 I(X;Y) 克服了互信息量 I(xi;yj) 的随机 性，成为一个确定的量。
• H(X) — X 的先验不确定度。 • H(X/Y) — 疑义度（损失熵）。 表示已知Y 后，对X 仍然存在的不确 定度。代表了在信道中损失的信息。 • I(X;Y) — 已知Y 后关于X 的不确定度 减少的量。从Y 获得的关于X 的平均 信息量。
• 理解：已知 Y 时 X 的不确定度应小于一无所知时 X 的不 确定度。因为已知 Y 后，从 Y 或多或少可以得到一些关 于 X 的信息，从而使 X 的不确定度下降。
余 映 云南大学
19/38
熵的性质
• 证明：
• （利用了极值性）
余 映 云南大学
20/38
熵的性质
• (7) 可加性 H(XY) = H(X)+H(Y/X) H(XY) = H(Y)+H(X/Y)
余 映 云南大学 3/38
信源熵
• 举例
• 一布袋内放100个球，其中80个是黄色的，20个是白色的。 随便摸出一个球，猜测是什么颜色，其概率空间为
– x1：表示摸出的是黄球，x2：表示摸出的是白球
余 映 云南大学
4/38
信源熵与平均自信息量
• 信源熵和平均自信息量两者在数值上是相等的， 但含意并不相同。
余 映 云南大学
24/38
平均互信息量的定义
• 互信息量 I(xi; yj) 在联合概率空间 P(XY) 中的统 计平均值
称为 Y 对 X 的平均互信息量。 • X 对 Y 的平均互信息定义为
余 映 云南大学
25/38
平均互信息量的定义
• 平均互信息的第三种定义
• 平均互信息 I(X;Y) 克服了互信息量 I(xi;yj) 的随机 性，成为一个确定的量。
第2章 信源熵
可用随机矢量来描述。 输出连续消息的信源。可用随 机过 连续信源 程来描述。
离 散 信 源
单符号
随机变量
信源
连 续 信 源
多符号
随机矢量 随机过程
信源分类
对于离散随机变量，取值于集合
a1
, a2 , , ai , , an
对任一 ai 记 p(ai ) P( X ai )
单符号离散信源的数学模型为
第2章：信源熵
统计度量、语义度量、语用度量、模 糊度量等等。最常用的方法是统计度 量。它用事件统计发生概率的对数描
信息度量的方法有：结构度量、
述事物的不确定性，得到消息的信息 量，建立熵的概念。熵概念是香农信 息论最基本最重要的概念。 举例：考研 从随机变量出发来研究信息，正是 香农信息论的基本假说
H ( X ) log n n n n 1 [ p (ai )] log e [ 1 p( ai )]log e 0 i 1 n i 1 n i 1
故有H ( X ) log n
1 式中 p(ai ) 1。当且仅当x 1, np(ai ) i 1 1 即p(ai ) 时，上式等号成立。 n
1 1 1 1 1 1 H ( X ) log log ( log ) 2 2 4 8 2 2 2 4 2 8 1.75(bit )
信源熵和平均自信息量两者在数 值上是相等的，但含义并不相同。信 源熵表征信源的平均不确定度，平均 自信息量是消除信源不确定度所需要 的信息的量度。信源一定，不管它是 否输出离散消息，只要这些离散消息 具有一定的概率特性，必有信源的熵 值，这熵值在总体平均的 意义上才有意义，因而是 一个确定值。
联合随机变量 XY 取值于集合
离 散 信 源
单符号
随机变量
信源
连 续 信 源
多符号
随机矢量 随机过程
信源分类
对于离散随机变量，取值于集合
a1
, a2 , , ai , , an
对任一 ai 记 p(ai ) P( X ai )
单符号离散信源的数学模型为
第2章：信源熵
统计度量、语义度量、语用度量、模 糊度量等等。最常用的方法是统计度 量。它用事件统计发生概率的对数描
信息度量的方法有：结构度量、
述事物的不确定性，得到消息的信息 量，建立熵的概念。熵概念是香农信 息论最基本最重要的概念。 举例：考研 从随机变量出发来研究信息，正是 香农信息论的基本假说
H ( X ) log n n n n 1 [ p (ai )] log e [ 1 p( ai )]log e 0 i 1 n i 1 n i 1
故有H ( X ) log n
1 式中 p(ai ) 1。当且仅当x 1, np(ai ) i 1 1 即p(ai ) 时，上式等号成立。 n
1 1 1 1 1 1 H ( X ) log log ( log ) 2 2 4 8 2 2 2 4 2 8 1.75(bit )
信源熵和平均自信息量两者在数 值上是相等的，但含义并不相同。信 源熵表征信源的平均不确定度，平均 自信息量是消除信源不确定度所需要 的信息的量度。信源一定，不管它是 否输出离散消息，只要这些离散消息 具有一定的概率特性，必有信源的熵 值，这熵值在总体平均的 意义上才有意义，因而是 一个确定值。
联合随机变量 XY 取值于集合
信息论基础-练习与思考1
p/2
/p e2
p(e2 ) p(e1) p(e2 / e1) p(e2 ) p(e2 / e2 ) p(e3) p(e2 / e3) 0
p/2
1
p/2
p(e3 ) p(e1) p(e3 / e1) p(e2 ) p(e3 / e2 ) p(e3) p(e3 / e3) p/2
p/2 p/2
间而且不论此前发生过什么符号，均按P(0)=0.4， P(1)=0.6旳概率发出符号。
(1)试问这个信源是否是平稳旳？
(2)试计算
H
(
X
2
),
H
(
X
3
/
X1X
2
)及
lim
N
H
N
(
X
)；
(3)试计算 H(x4)并写出x4信源中可能有旳全部符号。
2024/9/28
18
作业题6
第二章 信源熵
解答： (1)信源发出符号旳概率分布与时间平移无关，而且 信源发出旳序列之间也是彼此无依赖旳，所以该信源是 平稳旳，而且是离散无记忆信源。
2024/9/28
20
作业题7
第二章 信源熵
2.22.一阶马尔可夫信源旳状态图如图2.8所示。信源X旳符
号集为{0,1,2}。
(1)求信源平稳后旳概率分布P(0),P(1),P(2)；
(2)求信源旳熵H∞。
/p
p/2
/p
(3)近似以为此信源为无记忆时， 符号旳概率分布为平稳分布，
e1
e2
0
p/2
1
2024/9/28
7
作业题2
第二章 信源熵
2.2. 同步扔一对均匀旳骰子，当得知“两骰子面 朝上点数之和为2”或“面朝上点数之和为8” 或“骰子面朝上点数是3和4时”，试问这三种 情况分别取得多少信息量？
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一阶马尔可夫信源：m＝1
p( x1 , x2 , x3 ,...,xL ) p( xL | xL1 ) p( xL1 | xL2 )...p( x2 2.2.1自信息量
概率大小决定信息量的大小 1.自信息量的定义：
I(x i ) log 2 p(x i )
条件熵表示已知Y后，X的不确定度
联合熵
定义：
H(X ,Y)
p(x i ,y )I(xi ,y )
j j j
p(x i ,y )logp(x i ,y )
j j j
联合熵表示X和Y同时发生的不确定度
联合熵、熵、条件熵三者之间的关系
H(X,Y)= H(X)+H(Y|X) = H(Y)+H(X|Y)
Logo
第二章 信源与信息熵
informationzhl@
邹慧兰
本节目的
1
了解信源的分类
2
理解自信息量的概念，意义
3
理解信息熵的概念及意义
本章内容
1 信源的分类
2
离散信源熵和互信息
3 离散序列信源的熵
4
连续信源的熵和互信息
5
冗余度
2.1 信源分类
1.按照消息在时间和幅度上的分布情况分：
2.1.3 马尔可夫信源
定义：该时刻的符号与前m个符号有关联性，与更 前的符号无关。她是一种有记忆信源。 概率公式表示： 只和前m个有关
p(x1,x 2 ,x 3 ,..., x L ) p(x L | x1,x 2 ,x 3 ,..., x L 1 ) p(x1,x 2 ,x 3 ,..., x L 1 )
例2-9
二进制通信系统使用符号0和1，由于存在失真，传输时会 产生误码 ，用符号表示下列事件。 u0:一个0发出 u1:一个1发出 v0:一个0收到 v1:一个1收到 给定下列概率，p(u0)=1/2, p(v0|u0)=3/4, p(v0|u1)=1/2,
H(X) p(x i ) log 2 p(x i )
i
lb10
-3 105
3 10 5 3.322 10 6 bit/ 符号
例2-7 二元信源X输出符号只有两个，设为0和1，输出符号 的概率分别为p和q，p+q=1，信源的概率空间为
X 0 P p 1 yj q
信息熵的物理意义
1 信息熵表示了信源输出前，信源的平均不确定度 2 信息熵表示了信源输出后，每个符号所提供的平 均信息量
例2-5 设信源符号集X={x1,x2,x3},每个符号发生的概率分别为： p(x1) ＝0.5， p(x2) ＝0.25， p(x3) ＝0.25。求信源熵 依据公式：
H(X) p(x i ) log 2 p(x i )
a n ,a n p a ,a
n n
2.1.2 有记忆信源
例二：不放回抽样 若第一个球为红色，则在抽取第二个球时的概率为 红色 白色 P (a1)＝79/(79+20) P (a2)＝20/(79+20)
若第一个球为白色，则在抽取第二个球时的概率为 红色 白色 P (a1)＝80/(79+20) P (a2)＝19/(79+20)
例2-4 布袋内100个球，80个红色，20个白色，随 机摸取一个，猜测其颜色。 用随机变量X表示取球事件 该信源的概率空间为： （x1表示摸出的是红球， x2表示摸出的是白球。)
x1 x2 X P p x 1 p x 2
摸到红球，获得信息量是： I(x 1) lbp(x 1) lb0.8bit 摸到白球，获得信息量是： I(x 2) lbp(x 2) lb0.2bit n次实验后，红球出现次数： np(x 1)
I(e) log 2 0.105 3.25bit
I(c) log 2 0.023 5.44bit
I(o) log 2 0.001 9.97bit
2.2.2 离散信源熵
自信息量只表征各个符号的不确定度
一个信源包括多个符号，自信息量不能作为整体的
信息量度。 求信息总体的信息量度 采取求平均的方法
例：信源发出二进制数0、1，其中概率 p(0)＝0.25，p(1)＝0.75 则这两个符号的自信息量为：
I( 0) log 2 0.25 2bit
I( 1) log 2 0.75 0.415bit
自信息量：
I(x i ) log 2 p(x i )
联合自信息量
I(x i ,y j ) log 2 p(x i ,y j )
X 0
1/4 1/2
3/4
Y
0
? 1
1 (1）求信源熵
2 1 H(X) H ( ， ) 0.92bit/ 符号 3 3
1/2
(2）求条件熵H(Y|X)
H (Y X ) p(x i ,yj)logp(yj xi )
ij
求联合概率？ 联合概率： p(x i ,yj) p(yj)p( yj x i )
p(x i y )I(x i y ) i
j j
给定Y（所有yj）条件下， X集合的条件熵H(X|Y)定义为
H(X Y )
p(y )H(X y )
j j j
p(y )p(x i y )I(x i y ) ij
j j j
p(x i ,yj) ogp(x i yj ) l
ij
前L-1个作为一个整体
p(x L | x L m ,..., x L 1 ) p(x1,x 2 ,x 3 ,..., x L 1 )
按照同样方式展开
p(x L | x L m ,..., x L 1 ) p(x L 1 | x L m 1,..., x L 2 ) p(x1,x 2 ,x 3 ,..., x L 2 )
指符号出现后，提供给收信者的信息量。 概率与信息量之间是单调递减关系。
自信息量的单位与对数底数有关：
以2为底，单位为比特（bit）
以e为底，单位为奈特（nat） 以10为底，单位为笛特（det） 一般我们取以2为底
三者换算关系：
1nat＝log2e=1.433bit 1det＝log210=3.322bit
j
求概率？
1 p(y 0) p(x i ,y 0) 2 i
p(y 1)
1 6 1 3
p(y ？)
1 1 1 H(Y) H ( ， ， ) 1.47bit / 符号 2 6 3
(5）求条件熵H(X|Y) H(X,Y)= H(Y)+H(X|Y) H(X|Y) =H(X,Y)- H(Y) =1.8-1.47 =0.33bit/符号
I(x i y j ) log 2 p(x i y j )
条件自信息量
2.不确定度 信源在发出之前，存在不确定度，用来表征该符号的特性。
不确定度的大小等于它的自信息量，单位相同，含义不同。二者区别： 不确定度是信源符号固有的
自信息量是信源符号发出后给予收信者的。
3.自信息量的特性
1）概率为1，自信息量为0
信源的平均不确定度：又称为信源X的熵，信源熵是在平 均意义上来表征信源的总体特征。 定义式：信源中各个符号自信息量的数学期望，即：
H(X) E(I(X ))
i
p(x i )I(xi ) i
p(x i ) log 2 p(x i )
由上式可以看出，不同的信源因概率空间不同熵值就不同 规定：当符号概率为0时，规定p(xi) log p(xi)也为0
离散信源 时间和幅度都是离散如文字、数据等
连续信源
时间或幅度连续如话音、图像等
0
(a) 话音信号
t
0
(b) 抽样信号
t
2.按照信源发出的符号之间的关系分：
无记忆信源 先验概率不随实验次数变化， 也不与先前的实验结果有关。
有记忆信源
发出的符号序列之间有关联性。
2.1.1 无记忆信源
1.复习几个概念 1）离散信源:时间和幅度都是离散的信源。 2）无记忆信源：先验概率不随实验次数变化，也 不与 先前的实验结果有关。 3）先验概率：各符号之间没有统计关联性，各符号出现 的概率就是其先验概率。如：P(B) 4）后验概率：在已知结果求原因发生的概率。如：P(Bk|A)
1 6
H (Y X ) p(x i ,yj)logp(yj xi ) 0.88bit/ 符号
ij
(3）求联合熵 H(X,Y)= H(X)+H(Y|X)=1.8bit/符号 (4）求H(Y)
H(Y) p(y i ) log 2 p(y i )
i
p(yj)
p(x i ,y ) i
例2-8 有一个二进制信源X发出符号集{0，1}，经过离散无记忆 信道传输，信道输出用Y表示。由于信道中存在噪声，接
收端除收到0和1外，还有不确定的符号，用“？”来表
示，已知X的先验概率为P(x=0)=2/3, P(x=1)=2/3,符号转 移概率为P(y=0|x=0)=3/4, P(y=?|x=0)=1/4, P(y=1|x=1)=1/2 P(y=?|x=1)=1/2,其余为0。 求各种熵：H(X),H(Y|X),H(Y),H(X,Y),H(Y|X)
2
连续无记忆信源的概率空间表示
a, b X p X x P
3
发出符号序列信源的概率空间表示
假定信源序列长度为2
a1 ,a 1 X P p a1 ,a 1
a ,a p a ,a
1 2 1 2
求信源熵 依据公式
H(X) p(x i ) log 2 p(x i )