第二章 信源熵r
合集下载
第2章信源熵
16
2.1.3 信源熵基本性质(续)
4. 扩展性： 信源含有的新增消息为小概率时， 熵不变 5. 确定性：某消息取值概率为1时，熵为0 6. 可加性： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 7. 极值性： H n [ p( x1 ), p( x2 ),, p( xn )] p( xi ) log 2 p( xi )
信源 X
信道
信宿 Y
9
2.1.2 自信息和信源熵(续)
二 、互信息和条件互信息 p( xi / y j ) 1. 互信息 I ( xi ; y j ) log 2 (2.1.7) p( xi ) (1) yj对xi的互信息 I(xi;yj) 即： I(xi;yj)= I(xi)- I(xi/yj) (2.1.8) p(xi) ——先验概率：信源发xi的概率 p(xi/yj)——后验概率：信宿收到yj后， 推测信源发xi的概率 [含义] 互信息I(xi;yj) =自信息I(xi) - 条件自信息I(xi/yj) ＊I(xi) __信宿收到yj之前，对信源发xi的不确定度 ＊ I(xi/yj) __信宿收到yj之后，对信源发xi的不确定度 ＊ I(xi;yj) __收到yj而得到(关于xi )的互信息 =不确定度的减少量 10
20
2.1.5 平均互信息(续)
二、物理意义 1. 由(2.1.43) ： I(X;Y)= H(X) – H(X/Y) (1) H(X)——信源熵：X的不确定度 H(X/Y)——已知Y时，对X仍剩的不确定度 [结论]―Y已知”使得对X的不确定度减小了, 即获得了I(X;Y) 的信息量 (2) H(X)——信源含有的平均信息量(总，有用) I(X/Y)——信宿收到的平均信息量(有用部分) [结论] H(X/Y)—因信道有扰而丢失的平均信息量， 21 故称损失熵
2.1.3 信源熵基本性质(续)
4. 扩展性： 信源含有的新增消息为小概率时， 熵不变 5. 确定性：某消息取值概率为1时，熵为0 6. 可加性： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 7. 极值性： H n [ p( x1 ), p( x2 ),, p( xn )] p( xi ) log 2 p( xi )
信源 X
信道
信宿 Y
9
2.1.2 自信息和信源熵(续)
二 、互信息和条件互信息 p( xi / y j ) 1. 互信息 I ( xi ; y j ) log 2 (2.1.7) p( xi ) (1) yj对xi的互信息 I(xi;yj) 即： I(xi;yj)= I(xi)- I(xi/yj) (2.1.8) p(xi) ——先验概率：信源发xi的概率 p(xi/yj)——后验概率：信宿收到yj后， 推测信源发xi的概率 [含义] 互信息I(xi;yj) =自信息I(xi) - 条件自信息I(xi/yj) ＊I(xi) __信宿收到yj之前，对信源发xi的不确定度 ＊ I(xi/yj) __信宿收到yj之后，对信源发xi的不确定度 ＊ I(xi;yj) __收到yj而得到(关于xi )的互信息 =不确定度的减少量 10
20
2.1.5 平均互信息(续)
二、物理意义 1. 由(2.1.43) ： I(X;Y)= H(X) – H(X/Y) (1) H(X)——信源熵：X的不确定度 H(X/Y)——已知Y时，对X仍剩的不确定度 [结论]―Y已知”使得对X的不确定度减小了, 即获得了I(X;Y) 的信息量 (2) H(X)——信源含有的平均信息量(总，有用) I(X/Y)——信宿收到的平均信息量(有用部分) [结论] H(X/Y)—因信道有扰而丢失的平均信息量， 21 故称损失熵
第二章 信源熵
I ( xi y j ) = log 2 p ( xi y j )
XY x1 y1 , , x1 ym , x2 y1 , , x2 ym , , xn y1 , xn ym P ( XY ) = p( x y ), p( x y ), p( x y ),, p( x y ) 1 1 1 m 2 1 n m 0 ≤ p ( xi y j ) ≤ 1, ∑∑ p ( xi y j ) = 1
信息论基础 第二章 信源熵
苗立刚 ligangmiao@ 实验楼417 实验楼 电话8048018 电话 东北大学秦皇岛分校自动化工程系 2009年 2009年3月
第二章 信源熵
本章主要讨论的问题： 本章主要讨论的问题：
2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理
Y y1 , y2 , , y j , , ym 信宿 = p ( y ), p( y ), , p ( y ), , p ( y ) , ∑ p( y j ) = 1 j 1 2 j m P(Y )
2.1单符号离散信源 2.1
–信源发出消息 xi 的概率 p ( xi ) 称为先验概率，信 信源发出消息 称为先验概率 先验概率， 的概率称为后验概 宿收到 y j 后推测信源发出 xi 的概率称为后验概 率 p ( xi / y j ) 。 –定义 xi 的后验概率与先验概率比值的对数为 y j 的后验概率与先验概 比值的对数为 先验概率 定义 互信息量， 表示， 对 xi 的互信息量，用 I ( x i ; y j ) 表示，即
2.1单符号离散信源 2.1
自信息量的单位 –自信息量的单位取决于对数的底； 自信息量的单位取决于对数的底； 自信息量的单位取决于对数的底 –底为2，单位为“比特（bit）”； 底为2 单位为“比特（bit） ； 底为 –底为e，单位为“奈特（nat）”； 底为e 单位为“奈特（nat） ； 底为 –底为10，单位为“哈特（hat）”； 底为10 底为10，单位为“哈特（hat）”； –1 nat = 1.44bit , 1 hat = 3.32 bit； bit； 1 例1：从26个英文字母中，随即选取一个字母，则该事件的自 26个英文字母中，随即选取一个字母， 个英文字母中 信息量为 I = -log2(1/26) = 4.7 比特 例2：设m比特的二进制数中的每一个是等概率出现的(这样的 比特的二进制数中的每一个是等概率出现的( 数共有2 则任何一个数出现的自信息为: 数共有2m个)，则任何一个数出现的自信息为: 比特/ I = -log2(1/ 2m) = m 比特/符号
信源熵
I ( xi ) I ( xi | y j ) 信宿收到 y j 前对消息 xi 的先验不确定度 信宿收到 y j 后对消息 xi 的后验不确定度
I ( xi ) I ( xi | y j ) 信宿收到 y j 后不确定度被消除的部分， 它是 y j 所获得的关于 xi 的部分信息量
互信息 先验不确定度 后验不确定度
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
13
互信息量(续)
在输出端考查不确定度的变化
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi ) log p( xi | y j )
log p( xi | y j ) p( xi )
后验概率 先验概率
在输入端考查不确定度的变化
后验不确定度 I ( xi y j ) log p( xi y j )
I ( xi ; y j ) I ( x i ) I ( y j ) I ( x i y j ) log[ p( xi ) p( y j )] log p( xi y j ) log
p( x i y j ) p( x i ) p( y j )
先验不确定度 I 先 ( xi y j ) log p( xi y j ) I ( xi ) I ( y j )
通信后，X 与 Y 之间由于信道的统计约束，存在关联关系 后验概率 p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )
I ( xi ) I ( xi | y j ) 信宿收到 y j 后不确定度被消除的部分， 它是 y j 所获得的关于 xi 的部分信息量
互信息 先验不确定度 后验不确定度
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
13
互信息量(续)
在输出端考查不确定度的变化
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi ) log p( xi | y j )
log p( xi | y j ) p( xi )
后验概率 先验概率
在输入端考查不确定度的变化
后验不确定度 I ( xi y j ) log p( xi y j )
I ( xi ; y j ) I ( x i ) I ( y j ) I ( x i y j ) log[ p( xi ) p( y j )] log p( xi y j ) log
p( x i y j ) p( x i ) p( y j )
先验不确定度 I 先 ( xi y j ) log p( xi y j ) I ( xi ) I ( y j )
通信后，X 与 Y 之间由于信道的统计约束，存在关联关系 后验概率 p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )
第二章基本信息论6_连续信源的熵
2.6 连续信源的熵
一、连续信源熵的定义
♦连续信源：输出在时间和取值上都是连续的信源 连续信源：
连续信源
采样
离散信源
求信源熵
若连续信源的频带受限， 若连续信源的频带受限，为W，则根据采样定理， ，则根据采样定理， 只要采样频率大于2W， 只要采样频率大于 ，则连续信源经采样离散 不损失任何信息。 后，不损失任何信息。 p( x ) 将连续信源离散化为离散 信源，其信源熵为： 信源，其信源熵为：
∞
1 λ1 −1 e = σ 2π ⇒ λ =− 1 2 2 2σ
− 2 1 得p ( x ) = e 2σ 为高斯分布 σ 2π
x2
P(x)
最大熵
H max ( X ) = − ∫ p ( x )log p( x )dx
−∞
x 1 − 2 = − ∫ p ( x )ln e 2σ −∞ σ 2π
H max ( X ) = − ∫
V2 −V1
V2
x
p ( x )log p ( x )dx = log(V1 + V2 )
2、输出平均功率受限的信源 、 设信源 ( X ) = − ∫ p( x )log p ( x )dx为极大值的p ( x )
−V
V
以及对应的最大熵H max ( X )， 其限制条件：
P( x )
1/ 2
0
1 dx1 3
x
P(x)
2
dx2
6 x
二、连续信源熵的性质
♦ 连续信源熵可正可负
H ( X ) = −∫
−∞
∞
p ( x )log p( x )dx
1 1 = − ∫ lb dx = −1比特/采样 3 2 2
一、连续信源熵的定义
♦连续信源：输出在时间和取值上都是连续的信源 连续信源：
连续信源
采样
离散信源
求信源熵
若连续信源的频带受限， 若连续信源的频带受限，为W，则根据采样定理， ，则根据采样定理， 只要采样频率大于2W， 只要采样频率大于 ，则连续信源经采样离散 不损失任何信息。 后，不损失任何信息。 p( x ) 将连续信源离散化为离散 信源，其信源熵为： 信源，其信源熵为：
∞
1 λ1 −1 e = σ 2π ⇒ λ =− 1 2 2 2σ
− 2 1 得p ( x ) = e 2σ 为高斯分布 σ 2π
x2
P(x)
最大熵
H max ( X ) = − ∫ p ( x )log p( x )dx
−∞
x 1 − 2 = − ∫ p ( x )ln e 2σ −∞ σ 2π
H max ( X ) = − ∫
V2 −V1
V2
x
p ( x )log p ( x )dx = log(V1 + V2 )
2、输出平均功率受限的信源 、 设信源 ( X ) = − ∫ p( x )log p ( x )dx为极大值的p ( x )
−V
V
以及对应的最大熵H max ( X )， 其限制条件：
P( x )
1/ 2
0
1 dx1 3
x
P(x)
2
dx2
6 x
二、连续信源熵的性质
♦ 连续信源熵可正可负
H ( X ) = −∫
−∞
∞
p ( x )log p( x )dx
1 1 = − ∫ lb dx = −1比特/采样 3 2 2
第二章信源及信源的熵
一般地，任意 m步转移概率为： ij (m, n ) P{Sn S j | Sm Si } n P ( Sn 表示状态变量， 时刻的状态| ) n
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
第2章 信源及其熵
熵的含义
熵----考虑的是整个集合的统计特性，它从平均意义上来 表征信源的总体特征。 在信源输出前，信息熵H(X) 表示信源的平均不确定性； 在信源输出后，信息熵H(X)表示每个消息提供的平均信 息量； 信息熵H(X) 表征了变量X的随机特性。 例如，有两信源X、Y，其概率空间分别为：
例如，语音信号{X(t)} 、热噪声信号{n(t)}
离散无记忆平稳信源
离散平稳信源的特例，信源发出的符号都相互统计独 立，即各随机变量Xi (i＝1,2,…,N)之间统计独立 性质：
独立－>p (X )= p (X1, X2, …,XN)= p1(X1) · 2(X2)· · N(XN) p ·p
问题：这样的信源能输出多少信息? 每个消息的出现携带多少信息量?
信息的测度
考虑：
信息的测度（信息量）和不确定性消除的程度有关， 消除的不确定性＝获得的信息量； 不确定性就是随机性，可以用概率论和随机过程来测 度，概率小－>不确定性大； 概率小 －>信息量大，即信息量是概率的单调递减函 数； 信息量应该具有可加性； 用香农信息量公式来计算。
（1）它应是先验概率p(ai)的单调递减函数，即当 p (a1) > p (a2) 时，有 f [ p (a1)] < f [ p (a2) ] ； （2）当p (ai) =1时， f [ p (ai)] = 0 （3）当p (ai) =0时， f [ p (ai)] = （4）两个独立事件的联合信息量应等于它们分别的信息量之 和，即统计独立信源的信息量等于它们分别的信息量之和。
描述的信源X的各输出Xi间统计独立、且取值同一 例如：A={1，2，3}，N=2。则XN为： 符号集A，则X为离散无记忆信源，称该信源输出 {11，12，13，21，22，23，31，32，33 } 的N维随机矢量X 为离散无记忆信源X的N次扩展 信源
2-2 第2章 信源熵及其基本性质和定理
1、信源熵；2、条件熵；3、联合熵 信源熵； 条件熵；
2.1.3 2.1.4 2.1.5 2.1.6
信源熵的基本性质和定理 加权熵的概念及基本性质 平均互信息量 各种熵之间的关系
1
自信息量不能作为信源的信息测度
自信息量 I ( xi ), i = 1,2,... 是指某一信源X发出某一信 息符号 x i 所含有的信息量。发出的信息符号不同， 它们所含有的信息量就不同。
晴 地域A 1/2 地域B 1/2 多云 1/4 1/8 雨 1/8 1/8 冰雹 1/8 1/4
H(A) = H(B) =1.75bit 1 1 2 = log 2 + log 4 + log 8 2 4 8
17
熵函数的性质—— 2. 非负性 熵函数的性质
非负性
H(X ) = H[ p(x1), p(x2 ),L, p(xn )] H(X ) = −∑p(xi ) log p(xi ) ≥ 0
信源熵与平均自信息量数值相等，含义不同
信源熵表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信 息的度量；
信源熵H(X)的三种物理含义：
表示信源输出后，每个离散消息所提供的平均 信息量； 表示信源输出前，信源的平均不确定度； 反映了变量X的随机性。
9
条件熵
定义 2.1.7 联合集XY上，条件自信息量I(x|y)的 概率加权平均值定义为条件熵。其定义式为
f α X 1 + (1 − α ) X 2 < α f ( X 1) + (1 − α ) f ( X 2) ( X 1 ≠ X 2)
则称f(X)为定义域上的下凸函数（Cup型函数）或严格下凸函数。 f(x)是上凸函数 是上凸函数， f(x)便是下凸函数 反过来也成立。 便是下凸函数， 若f(x)是上凸函数，则-f(x)便是下凸函数，反过来也成立。故， 通常只需研究上凸函数
2.1.3 2.1.4 2.1.5 2.1.6
信源熵的基本性质和定理 加权熵的概念及基本性质 平均互信息量 各种熵之间的关系
1
自信息量不能作为信源的信息测度
自信息量 I ( xi ), i = 1,2,... 是指某一信源X发出某一信 息符号 x i 所含有的信息量。发出的信息符号不同， 它们所含有的信息量就不同。
晴 地域A 1/2 地域B 1/2 多云 1/4 1/8 雨 1/8 1/8 冰雹 1/8 1/4
H(A) = H(B) =1.75bit 1 1 2 = log 2 + log 4 + log 8 2 4 8
17
熵函数的性质—— 2. 非负性 熵函数的性质
非负性
H(X ) = H[ p(x1), p(x2 ),L, p(xn )] H(X ) = −∑p(xi ) log p(xi ) ≥ 0
信源熵与平均自信息量数值相等，含义不同
信源熵表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信 息的度量；
信源熵H(X)的三种物理含义：
表示信源输出后，每个离散消息所提供的平均 信息量； 表示信源输出前，信源的平均不确定度； 反映了变量X的随机性。
9
条件熵
定义 2.1.7 联合集XY上，条件自信息量I(x|y)的 概率加权平均值定义为条件熵。其定义式为
f α X 1 + (1 − α ) X 2 < α f ( X 1) + (1 − α ) f ( X 2) ( X 1 ≠ X 2)
则称f(X)为定义域上的下凸函数（Cup型函数）或严格下凸函数。 f(x)是上凸函数 是上凸函数， f(x)便是下凸函数 反过来也成立。 便是下凸函数， 若f(x)是上凸函数，则-f(x)便是下凸函数，反过来也成立。故， 通常只需研究上凸函数
第二章 信源和信息熵
第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
第2章信源熵--马尔科夫信源及极限熵
“基于马尔可夫链的我国城乡居民收入演进分析”
信源熵
四、马尔科夫信源及其极限熵
1、马尔科夫信源
定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。
马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。
信源熵
信源熵
中华人民共和国
中国
*华人民*和国
*国
信源熵 抽象描述
实际信源抽象为N维离散平稳信源，H∞是其熵率， 即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是 不现实的。实际中，只能掌握有限记忆长度m， 其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1>H∞，表现在信息传输上存在冗余。
信源熵
0.2P(s1 ) 0.5P(s3 ) 0 0.2P(s1 ) P(s 2 ) 0.5P(s3 ) 0 0.5P(s 2 ) P(s3 ) 0.2P(s 4 ) 0 0.5P(s 2 ) 0.2P(s 4 ) 0
完备性
P(s1 ) P(s2 ) P(s3 ) P(s4 ) 1
信源熵
定义
信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差 为该信源的冗余度，也叫剩余度。
信源熵
马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 马尔可夫链最近的应用是在地理统计学 （geostatistics）中,被称为是“马尔可夫链地理 统计学”。仍在发展过程中。
信源熵
四、马尔科夫信源及其极限熵
1、马尔科夫信源
定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。
马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。
信源熵
信源熵
中华人民共和国
中国
*华人民*和国
*国
信源熵 抽象描述
实际信源抽象为N维离散平稳信源，H∞是其熵率， 即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是 不现实的。实际中，只能掌握有限记忆长度m， 其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1>H∞，表现在信息传输上存在冗余。
信源熵
0.2P(s1 ) 0.5P(s3 ) 0 0.2P(s1 ) P(s 2 ) 0.5P(s3 ) 0 0.5P(s 2 ) P(s3 ) 0.2P(s 4 ) 0 0.5P(s 2 ) 0.2P(s 4 ) 0
完备性
P(s1 ) P(s2 ) P(s3 ) P(s4 ) 1
信源熵
定义
信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差 为该信源的冗余度，也叫剩余度。
信源熵
马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 马尔可夫链最近的应用是在地理统计学 （geostatistics）中,被称为是“马尔可夫链地理 统计学”。仍在发展过程中。
第二章 信源熵
英文字母中“e”出现的概率为0.105，“c” 出现的概率为0.023，“o”出现的概率为 0.001，分别计算他们的自信息量。 答：I(e)=-logP(e)=-log0.105=3.25bit I(c)=-logP(c)=-log0.023=5.44bit I(o)=-logP(o)=-log0.001=9.97bit
②
公式：参考数学期望的性质，用各符号的自 信息量加权平均表示总体的不确定性。
H ( X ) E[ I ( X )] p( xi )I ( xi ) p( xi ) log p( xi )
i i
③
单位：比特/符号或比特/符号序列
④
I. II.
性质： 非负 与热力学熵相同形式，H(X)又被定义为信源 熵 两个特殊情况 符号 x i 的概率 pi 为零时，定义为pi log pi 0 当信源X只有一个符号，符号只有一个状态， p(x)=1,此时 H ( X ) 0 。
分析 {Xn，n=0,1,2，……}是一随机过程，其状态 空间为：I={0,1}，且当Xn=i，i=0、1时， Xn+1所处的状态分布只与Xn=i有关，而与 时刻n以前所处的状态无关，综上所述。该 过程为一步转移的马尔可夫过程。 p, j i P i, j 0,1 一步转移的概率： P{ X j X i} q, j i 一步转移矩阵： p q
II.
III.
随机过程是随机函数的集合，若一随机系统的样本点数是 随机函数，则称此函数为样本函数。这一随机系统全部样 本函数的集合是一个随机过程。实际应用中，样本函数的 一般定义在时间域或者空间域。用{X（t），t Y }。 具有马尔可夫性的随机过程称为马尔可夫过程。
第2章信源熵-概念及单符号离散信源熵
表示
x2 xn X x1 P(X) P(x ) P( x ) P( x ) 1 2 n
其中,0 P( x i ) 1, i 1,2,, n且 P( x i ) 1
i 1
n
例1
6 X 1 2 P(X) 1/ 6 1 / 6 1/ 6
I(x 4 ) log P(x 4 ) log( 1/ 8) log 8 3(bit )
信源熵
3、熵
定义
信源各消息自信息量的数学期望为该信源的熵， 也叫无条件熵，用H(X)表示。
表示
H(X) E[I( x i )] P( x i )I( x i ) P( x i ) log P( x i )
i 1 i 1
n
n
同理， (1 )P2 ( x i ) log[ P1 ( x i ) (1 )P2 ( x i )]
i 1
n
(1 )P2 ( x i ) log P2 ( x i )
i 1
n
信源熵
[P1 ( x i ) (1 )P2 ( x i )] log[ P1 ( x i ) (1 )P2 ( x i )]
信源熵
2、自信息量
假设单符号离散信源发出消息xi、xj 的概率 P(xi) < P(xj)，那条消息具有更大的信 息量， xi 还是xj ？
信源熵
根据香农信息的概念，消息中具有不确定 性的成分才是信息，不确定性的成分越大， 或者说概率越小，信息量就越大，从这个 意义判断，消息xi 具有更大的信息量。
信源熵
离散信源又可以细分为： （1）离散无记忆信源：所发出的各 个符号之间是相互独立的，发出 的符号序列中的各个符号之间没 有统计关联性，各个符号的出现 概率是它自身的先验概率。 （2）离散有记忆信源：发出的各个 符号之间不是相互独立的，各个 符号出现的概率是有关联的。
第2章 信源熵 第2讲 信源熵(平均自信息量)与 平均互信息量
• ① 观察者站在输出端 • I(X;Y) = H(X) – H(X/Y)
• H(X) — X 的先验不确定度。 • H(X/Y) — 疑义度（损失熵）。 表示已知Y 后，对X 仍然存在的不确 定度。代表了在信道中损失的信息。 • I(X;Y) — 已知Y 后关于X 的不确定度 减少的量。从Y 获得的关于X 的平均 信息量。
• 理解：已知 Y 时 X 的不确定度应小于一无所知时 X 的不 确定度。因为已知 Y 后，从 Y 或多或少可以得到一些关 于 X 的信息，从而使 X 的不确定度下降。
余 映 云南大学
19/38
熵的性质
• 证明：
• （利用了极值性）
余 映 云南大学
20/38
熵的性质
• (7) 可加性 H(XY) = H(X)+H(Y/X) H(XY) = H(Y)+H(X/Y)
余 映 云南大学 3/38
信源熵
• 举例
• 一布袋内放100个球，其中80个是黄色的，20个是白色的。 随便摸出一个球，猜测是什么颜色，其概率空间为
– x1：表示摸出的是黄球，x2：表示摸出的是白球
余 映 云南大学
4/38
信源熵与平均自信息量
• 信源熵和平均自信息量两者在数值上是相等的， 但含意并不相同。
余 映 云南大学
24/38
平均互信息量的定义
• 互信息量 I(xi; yj) 在联合概率空间 P(XY) 中的统 计平均值
称为 Y 对 X 的平均互信息量。 • X 对 Y 的平均互信息定义为
余 映 云南大学
25/38
平均互信息量的定义
• 平均互信息的第三种定义
• 平均互信息 I(X;Y) 克服了互信息量 I(xi;yj) 的随机 性，成为一个确定的量。
• H(X) — X 的先验不确定度。 • H(X/Y) — 疑义度（损失熵）。 表示已知Y 后，对X 仍然存在的不确 定度。代表了在信道中损失的信息。 • I(X;Y) — 已知Y 后关于X 的不确定度 减少的量。从Y 获得的关于X 的平均 信息量。
• 理解：已知 Y 时 X 的不确定度应小于一无所知时 X 的不 确定度。因为已知 Y 后，从 Y 或多或少可以得到一些关 于 X 的信息，从而使 X 的不确定度下降。
余 映 云南大学
19/38
熵的性质
• 证明：
• （利用了极值性）
余 映 云南大学
20/38
熵的性质
• (7) 可加性 H(XY) = H(X)+H(Y/X) H(XY) = H(Y)+H(X/Y)
余 映 云南大学 3/38
信源熵
• 举例
• 一布袋内放100个球，其中80个是黄色的，20个是白色的。 随便摸出一个球，猜测是什么颜色，其概率空间为
– x1：表示摸出的是黄球，x2：表示摸出的是白球
余 映 云南大学
4/38
信源熵与平均自信息量
• 信源熵和平均自信息量两者在数值上是相等的， 但含意并不相同。
余 映 云南大学
24/38
平均互信息量的定义
• 互信息量 I(xi; yj) 在联合概率空间 P(XY) 中的统 计平均值
称为 Y 对 X 的平均互信息量。 • X 对 Y 的平均互信息定义为
余 映 云南大学
25/38
平均互信息量的定义
• 平均互信息的第三种定义
• 平均互信息 I(X;Y) 克服了互信息量 I(xi;yj) 的随机 性，成为一个确定的量。
第2章 信源熵
可用随机矢量来描述。 输出连续消息的信源。可用随 机过 连续信源 程来描述。
离 散 信 源
单符号
随机变量
信源
连 续 信 源
多符号
随机矢量 随机过程
信源分类
对于离散随机变量，取值于集合
a1
, a2 , , ai , , an
对任一 ai 记 p(ai ) P( X ai )
单符号离散信源的数学模型为
第2章：信源熵
统计度量、语义度量、语用度量、模 糊度量等等。最常用的方法是统计度 量。它用事件统计发生概率的对数描
信息度量的方法有：结构度量、
述事物的不确定性，得到消息的信息 量，建立熵的概念。熵概念是香农信 息论最基本最重要的概念。 举例：考研 从随机变量出发来研究信息，正是 香农信息论的基本假说
H ( X ) log n n n n 1 [ p (ai )] log e [ 1 p( ai )]log e 0 i 1 n i 1 n i 1
故有H ( X ) log n
1 式中 p(ai ) 1。当且仅当x 1, np(ai ) i 1 1 即p(ai ) 时，上式等号成立。 n
1 1 1 1 1 1 H ( X ) log log ( log ) 2 2 4 8 2 2 2 4 2 8 1.75(bit )
信源熵和平均自信息量两者在数 值上是相等的，但含义并不相同。信 源熵表征信源的平均不确定度，平均 自信息量是消除信源不确定度所需要 的信息的量度。信源一定，不管它是 否输出离散消息，只要这些离散消息 具有一定的概率特性，必有信源的熵 值，这熵值在总体平均的 意义上才有意义，因而是 一个确定值。
联合随机变量 XY 取值于集合
离 散 信 源
单符号
随机变量
信源
连 续 信 源
多符号
随机矢量 随机过程
信源分类
对于离散随机变量，取值于集合
a1
, a2 , , ai , , an
对任一 ai 记 p(ai ) P( X ai )
单符号离散信源的数学模型为
第2章：信源熵
统计度量、语义度量、语用度量、模 糊度量等等。最常用的方法是统计度 量。它用事件统计发生概率的对数描
信息度量的方法有：结构度量、
述事物的不确定性，得到消息的信息 量，建立熵的概念。熵概念是香农信 息论最基本最重要的概念。 举例：考研 从随机变量出发来研究信息，正是 香农信息论的基本假说
H ( X ) log n n n n 1 [ p (ai )] log e [ 1 p( ai )]log e 0 i 1 n i 1 n i 1
故有H ( X ) log n
1 式中 p(ai ) 1。当且仅当x 1, np(ai ) i 1 1 即p(ai ) 时，上式等号成立。 n
1 1 1 1 1 1 H ( X ) log log ( log ) 2 2 4 8 2 2 2 4 2 8 1.75(bit )
信源熵和平均自信息量两者在数 值上是相等的，但含义并不相同。信 源熵表征信源的平均不确定度，平均 自信息量是消除信源不确定度所需要 的信息的量度。信源一定，不管它是 否输出离散消息，只要这些离散消息 具有一定的概率特性，必有信源的熵 值，这熵值在总体平均的 意义上才有意义，因而是 一个确定值。
联合随机变量 XY 取值于集合
第二章 信源与信息熵
连续信源的概率空间：
PX(pax,(bx))或Rpx(x)
b
px(x)0, px(x)dx1或px(x)0, Rpx(x)dx1 a
南通大学
2019/9/4
8
第2章 信源与信息熵
3. 发出符号序列离散无记忆信源－－每次发出 一组含两个以上的符号序列来代表一个消息
南通大学
2019/9/4
18
第2章 信源与信息熵
p ij m ,n 一 k 步 步 p p ijik jm m 齐 次 p p iijjk
注：平稳信源的概率分布特性具有时间推移不变性， 而齐次马氏链只要转移概率具有时间推移不变性， 因此一般情况下，平稳包含齐次。
p
k
ii
0
的
n中没有比1大的公因
子。
南通大学
2019/9/4
23
第2章 信源与信息熵
• 作业：2-1，2-2
南通大学
2019/9/4
24
第2章 信源与信息熵
第二章 信源与信息熵
• 第二讲
南通大学
2019/9/4
25
第2章 信源与信息熵
上一讲复习
• 1. 信源的分类
连续信源 信源
离散信源
随机波形信源 其它 单符号无记忆离散信源 符号序列无记忆离散信源 单符号有记忆离散信源 符号序列有记忆离散信源
实际上信源发出的符号往往只与前面几个符号 的依赖关系较强，而与更前面的符号依赖关系就弱。 为此可以限制随机序列的记忆长度。
南通大学
2019/9/4
11
第2章 信源与信息熵
• 连续信源的离散化
南通大学
2019/9/4
PX(pax,(bx))或Rpx(x)
b
px(x)0, px(x)dx1或px(x)0, Rpx(x)dx1 a
南通大学
2019/9/4
8
第2章 信源与信息熵
3. 发出符号序列离散无记忆信源－－每次发出 一组含两个以上的符号序列来代表一个消息
南通大学
2019/9/4
18
第2章 信源与信息熵
p ij m ,n 一 k 步 步 p p ijik jm m 齐 次 p p iijjk
注：平稳信源的概率分布特性具有时间推移不变性， 而齐次马氏链只要转移概率具有时间推移不变性， 因此一般情况下，平稳包含齐次。
p
k
ii
0
的
n中没有比1大的公因
子。
南通大学
2019/9/4
23
第2章 信源与信息熵
• 作业：2-1，2-2
南通大学
2019/9/4
24
第2章 信源与信息熵
第二章 信源与信息熵
• 第二讲
南通大学
2019/9/4
25
第2章 信源与信息熵
上一讲复习
• 1. 信源的分类
连续信源 信源
离散信源
随机波形信源 其它 单符号无记忆离散信源 符号序列无记忆离散信源 单符号有记忆离散信源 符号序列有记忆离散信源
实际上信源发出的符号往往只与前面几个符号 的依赖关系较强，而与更前面的符号依赖关系就弱。 为此可以限制随机序列的记忆长度。
南通大学
2019/9/4
11
第2章 信源与信息熵
• 连续信源的离散化
南通大学
2019/9/4
第二章 信源及信源熵
时间（空间) 取值 离散 离散 连续 连续
3
信源种类
举例 文字、数据、 离散化图像
数学描述 离散随机变量序列， 可列可数
离散信源 离散 （数字信源） 连续 连续信号
跳远比赛的结果、 连续随机变量序列， 语音信号抽样以后 可列可数 语音、音乐、热噪 一般用函数来表示， 声、图形、图像 可求导 不常见
波形信源 连续 （模拟信源） 离散
4
上海第二工业大学冯涛编写
17:18:25
实际信源分类
离散无记忆信源：H ( X) NH ( X） 记忆长度无限长： H 离散平稳信源 离散有记忆信源 平稳信源 记忆长度有限(马尔可夫信源)： H m 1 连续平稳信源 非平稳信源
上海第二工业大学冯涛编写
17:18:25
分类2：根据各维随机变量的概率分布所对应的随机序列的 平稳性，即：是否随时间的推移而变化分： （1）平稳信源 （2）非平稳信源 分类3：根据随机变量间所对应的随机序列中随机变量前后 之间有无统计依赖关系，即：是否统计独立分： （1）有记忆信源 （2）无记忆信源 信源是产生消息（符号）、消息序列和连续消息的来源。 从数学上，由于消息的不确定性，因此，信源是产生随机变 量、随机序列和随机过程的源。 信源的基本特性是具有随机不确定性。
前若干个状态的影响。具有马尔可夫性质的随机过程称为马
尔可夫过程。
9
上海第二工业大学冯涛编写
17:18:25
3、谈谈一些基本概念 概率分布 概率论的基本概念之一，用以表述随机变量取值的概率 规律。 必然与随机 人们会观察到各种各样的现象，大体上分为两大类：一 类是可预言其结果的，即在保持条件不变的情况下，重复进 行试验，其结果总是确定的，必然发生（或必然不发生）。 例如：在标准大气压下，水加热到100℃必然沸腾等。这类现 象称为必然现象或确定性现象。另一类是事前不可预言其结 果的，即在保持条件不变的情况下，重复进行试验，其结果 未必相同（随机）。例如：掷一枚质地均匀对称的硬币，其 结果可能是出现正面，也可能出现反面，事前不可能断言其 结果。这类在个别试验中其结果呈现偶然性、不确定性现象， 称为随机现象或不确定性现象。
3
信源种类
举例 文字、数据、 离散化图像
数学描述 离散随机变量序列， 可列可数
离散信源 离散 （数字信源） 连续 连续信号
跳远比赛的结果、 连续随机变量序列， 语音信号抽样以后 可列可数 语音、音乐、热噪 一般用函数来表示， 声、图形、图像 可求导 不常见
波形信源 连续 （模拟信源） 离散
4
上海第二工业大学冯涛编写
17:18:25
实际信源分类
离散无记忆信源：H ( X) NH ( X） 记忆长度无限长： H 离散平稳信源 离散有记忆信源 平稳信源 记忆长度有限(马尔可夫信源)： H m 1 连续平稳信源 非平稳信源
上海第二工业大学冯涛编写
17:18:25
分类2：根据各维随机变量的概率分布所对应的随机序列的 平稳性，即：是否随时间的推移而变化分： （1）平稳信源 （2）非平稳信源 分类3：根据随机变量间所对应的随机序列中随机变量前后 之间有无统计依赖关系，即：是否统计独立分： （1）有记忆信源 （2）无记忆信源 信源是产生消息（符号）、消息序列和连续消息的来源。 从数学上，由于消息的不确定性，因此，信源是产生随机变 量、随机序列和随机过程的源。 信源的基本特性是具有随机不确定性。
前若干个状态的影响。具有马尔可夫性质的随机过程称为马
尔可夫过程。
9
上海第二工业大学冯涛编写
17:18:25
3、谈谈一些基本概念 概率分布 概率论的基本概念之一，用以表述随机变量取值的概率 规律。 必然与随机 人们会观察到各种各样的现象，大体上分为两大类：一 类是可预言其结果的，即在保持条件不变的情况下，重复进 行试验，其结果总是确定的，必然发生（或必然不发生）。 例如：在标准大气压下，水加热到100℃必然沸腾等。这类现 象称为必然现象或确定性现象。另一类是事前不可预言其结 果的，即在保持条件不变的情况下，重复进行试验，其结果 未必相同（随机）。例如：掷一枚质地均匀对称的硬币，其 结果可能是出现正面，也可能出现反面，事前不可能断言其 结果。这类在个别试验中其结果呈现偶然性、不确定性现象， 称为随机现象或不确定性现象。
第2章 信源熵
2 2
最大熵值随平均功率 P的变化而变化。
2
1 1 1 log 2 2 log e log 2e 2 2 2 2
11
均值受限条件下的最大熵定理
定理3：若连续信源X输出非负信号的均值受限，则其 输出信号幅度呈指数分布时，连续信源X具有最大熵值。
证明：连续信源 X呈指数分布时的概率密 度函数为 1 m p( x ) e ( x 0 ),其它任意分布的概率密 度函数记为q( x ) m 由限制条件知：
... q( x) log
aN a1 N
bN
b1
p ( x) dx ... dx log e ... q ( x ) 1 dx1...dxN 1 N N aN a1 q ( x ) (bi ai ) 1
bN b1 i 1
log (bi ai ) (1 1) log e H c [ p ( x), X ]
R2 R2 R2
p( x ) dxdy p( x / y )
log x log e ln x, ln x x 1, x 0; p( x ) 0, p( x / y ) 0, 则x p( x ) I c ( X ;Y ) log e p( xy ) 1dxdy p( x / y ) R2 log e[ p( x ) p( y )dxdy p( xy )dxdy] 0
当( b a ) 1时，H c ( x ) 0, 为负值
这是由连续熵的相对性所致。
1
2.3.3 连续熵的性质及最大连续熵定理
2.可加性
H c ( XY ) H c ( X ) H c ( Y / X ) Hc( Y ) Hc( X / Y ) 证明： H c ( XY ) p( xy) log p( xy)dxdy
最大熵值随平均功率 P的变化而变化。
2
1 1 1 log 2 2 log e log 2e 2 2 2 2
11
均值受限条件下的最大熵定理
定理3：若连续信源X输出非负信号的均值受限，则其 输出信号幅度呈指数分布时，连续信源X具有最大熵值。
证明：连续信源 X呈指数分布时的概率密 度函数为 1 m p( x ) e ( x 0 ),其它任意分布的概率密 度函数记为q( x ) m 由限制条件知：
... q( x) log
aN a1 N
bN
b1
p ( x) dx ... dx log e ... q ( x ) 1 dx1...dxN 1 N N aN a1 q ( x ) (bi ai ) 1
bN b1 i 1
log (bi ai ) (1 1) log e H c [ p ( x), X ]
R2 R2 R2
p( x ) dxdy p( x / y )
log x log e ln x, ln x x 1, x 0; p( x ) 0, p( x / y ) 0, 则x p( x ) I c ( X ;Y ) log e p( xy ) 1dxdy p( x / y ) R2 log e[ p( x ) p( y )dxdy p( xy )dxdy] 0
当( b a ) 1时，H c ( x ) 0, 为负值
这是由连续熵的相对性所致。
1
2.3.3 连续熵的性质及最大连续熵定理
2.可加性
H c ( XY ) H c ( X ) H c ( Y / X ) Hc( Y ) Hc( X / Y ) 证明： H c ( XY ) p( xy) log p( xy)dxdy
第2章信源及信源熵
续
3、确定性
只要信源符号集中有一个符号出现的概率为1，那么信源熵 就等于零。
H(1 , 0 ) = H(1 , 0 , 0 ) = H(1 , 0 , 0 ….0 ) = 0 确知事件，不存在不确定度，则H(X ) = 0
2、对称性 当变量P的顺序任意互换后， H(X)的值不变，即H(P1 , P2 , P3 …. Pn ) = H(P2 , P3 , P4 …. Pn , P1 ) 该性质表明：信源熵只与随机变量的总体结构有关，即与信 源的总体统计特性有关。 如果两个信源的总体统计特性相同（含有的符号数和概率分 布相同），那么两个信源就是相同的。
熵的性质
1、非负性 2、对称性 3、确定性 4、可加性 5、极值性 6、H(X/Y) ≤ H(X)； H(Y/X) ≤ H(Y) 7、H(XY) ≤ H(X) + H(Y)
续
1、非负性 离散信源熵的值不会小于0，即 H(X) ≥ 0。 只有当随机变量是一个确知量（P(xi) = 1）时等号才成立。
信源熵H(X) 是从平均意义上来表征信源的总 体特征，可以表示信源的平均不确定度。
对于特定的信源（即概率空间给定），其信源 熵是一个确定的数值，不同的信源因统计特性 不同，其熵也不同。
例
通过例子了解信息熵的含义：
一个布袋内放100个球，其中80个为红球，20个为白球， 任摸取一个，猜测是什么颜色。
X
＝
x1
x2
P
0.8 0.2
如果摸出红球，那么这一事件的自信息量为：
I (x1) = －log P (x1) = －log 0.8 bit
如果摸出白球，那么这一事件的自信息量为：
I (x2) = －log P (x2) = －log 0.2 bit
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
离散信源。可用离散随机变量来描述。
多符号离散信源 涉及多个随机事件的离
散信源。可用随机矢量来描述。 连续信源 输出连续消息的信源。可用随
机过程来描述。
信 源分类
离 散 信 源 单符号
随机变量
信源
连 续 信 源
多符号
随机矢量 随机过程
对于离散随机变量，取值于集合
a1
, a2 , , ai , , an
p(ai / b j ) p(b j ) p(ai ) p(b j )
p(ai b j ) / p(ai )
2 当X和Y相互独立时，互信息为0
I (ai ; b j ) log2 p(ai b j ) p(ai ) p(b j ) log2 p(ai ) p(b j ) p(ai ) p(b j ) log2 1 0
这表明从b1分别得到了a2、a3、a4各1bit的 信息量。也可以理解为消息b1使a2、a3、 a4的不确定度各减少了 bit。 1
I (ai ; b j ) log p(ai ) log p(ai b j ) I (ai ) I (ai b j ) (2.1.8)
两个不确定度之差，是不确定度被消 除的部分，代表已经确定的东西。 实际是从b j 得到的关于ai的信息量。
(i 1,2,, n; j 1,2,, m)
例[2.1.2]
继续讨论第一节的例题，即
某地二月份天气构成的信源为
a1 (晴), a2 (阴), a3 (雨), a4 (雪) X 1 1 1 P( X ) 1 , , , 2 4 8 8
3 条件自信息量 条件概率对数的负值
I (ai b j ) log p(ai b j ) I (b j ai ) log p(b j ai )
（2.1.6a） (2.1.6b)
不确定度表示含有多少信息，信 息量表示随机事件发生后可以得到多 少信息。
联合自信息量和条件自信息也满 足非负和单调递减性 ，同时，它们也 都是随机变量，其值随着变量 xi、y j 的变化而变化。 自信息量、条件自信息量和联合 自信息量之间有如下关系式：
X a1 , a2 , , ai , , an P( X ) p(a ), p(a ), , p(a ), , p(a ) 1 2 i n
0 p( xi ) 1,
p( x ) 1
i 1 i
n
信宿Y的数学模型为
Y b1 , b 2 , , b j , , b m P(Y ) p(b ), p(b ), , p(b ), , p(b ) 2 j m 1
无条件概率、条件概率、联合概 率满足下面一些性质和关系： 1 0 p(ai )、p(b j )、p(b j ai )、p(ai b j )、p(aib j ) 1 2
n m m
p(a ) 1， p(b ) 1, p(b
i 1 n i j 1 j j 1
j
ai ) 1,
5
当X与Y相互独立时
p(ai b j ) p(ai ) p(b j ) p(b j ai )＝p(b j )，p(ai b j )＝p(ai )
6
p(ai b j )＝
p(aib j )
p(a b )
i 1 i j
n
，p(b j ai )
p(aib j )
p(a b )
j 1 i j
3 互信息量可为正值或负值
当互信息量为负时，说明信宿收到 b j 后 不仅没有使 a i 的不确定度减小，反而增大。 这是通信受到干扰或发生错误所造成的。
I (a3 ) 3bit， (a4 ) 3bit。 I
自信息量具有下列性质:
1 I ( ai )是非负值。
图2.1.1
对数曲线
2 当p(ai ) 1时，I (ai ) 0
3 当p(ai ) 0时，I (ai )
4
I (ai )是p(ai )的单调递减函数。
值得注意的是：ai是一个随机量，
而I (ai )是ai的函数，所以自信息量也 是一个随机变量，它没有确定的值。
2 联合自信息量
XY P( XY )
a1b1 , , a1bm , , anb1 , , anbm p(a1b1 ), , p(a1bm ), , p(anb1 ), , p(anbm ) 其中 0 p(ai b j ) 1(i 1,2,, n; j 1,2,, m)，
p(a ) 1
i 1 i
n
(2.1.2)
需要注意 的是：大写字母X、
Y、Z 代表随机变量，指的是信源整
体。带下标的小写字母: ai、bk、cl ,
代表随机事件的某一结果或信源的某
个元素。两者不可混淆。
§2.1.1 单符号离散信源的数学模型
§2.1.2 自信息和信源熵
§2.1.3 信源熵的基本性质和定理 §2.1.4 加权熵的概念和基本性质
同样的道理，可定义ai 对b j的互信息量为
I (b j ; ai ) log
p(b j ai ) p(b j )
I (b j ) I (b j ai ) (2.1.9)
(i 1,2,, n; j 1,2,, m)
物理解释：
通信前
发送
接收
“输入端出现ai 和输出端出现b j ”的概率 p(ai b j ) p(ai ) p(b j )
§2.1.5 平均互信息
§2.1.6 各种熵之间的关系
随机变量X、Y分别取值于集合
{a1 , a2 ,, ai ,, an }、 1 , b2 ,, b j ,, bm }。 {b
联合随机变量 XY 取值于集合
{ai b j | i 1,2,, n, j 1,2,, m}，
记 p(ai b j ) P( X ai , Y b j )
第1章：概述
第2章：信源熵
第3章：信道容量 第4章：信息率失真函数
第5章：信源编码
第6章：信道编码 第7章：密码体制的安全性测度
§2.1 单符号离散信源
§2.2 多符号离散信源 §2.3 连续信源 §2.4 离散信源无失真编码定理
信息论是在信息可以度量的前提下，研究 有效地、可靠地、安全地传输信息的科学。 信息度量的方法有：结构度量、统计度 量、语义度量、语用度量、模糊度量等等。 最常用的方法是统计度量。它用事件统计发 生概率的对数描述事物的不确定性，得到消 息的信息量，建立熵的概念。熵概念是香农 信息论最基本最重要的概念。
0 p(b j ) 1,
信源X
p(b ) 1
j 1 j
m
有扰信道C
信宿Y
干扰源N
图2.1.3
简单通信系统模型
后验概率 p(ai / bj ) 先验概率 p(ai )
定义b j 对ai的互信息量为 I (ai ; b j ) log p(ai b j )
p(ai )
（2.1.7）
m
一、信息量
信息量
自信息量
联合 自信息量
条件 自信息量
1 自信息量：一个随机事件发生后所 带来的信息量
I (ai ) log p(ai )
（ 2.1.3）
单位：比特(2为底)、奈特、笛特（哈特） 三个信息单位之间的转换关系如下：
1Hart log 2 10 3.322bit
1nat log 2 e 1.433bit
§2.1.1 单符号离散信源的数学模型
§2.1.2 自信息和信源熵
§2.1.3 信源熵的基本性质和定理
§2.1.4 加权熵的概念和基本性质 §2.1.5 平均互信息
§2.1.6 各种熵之间的关系
离散信源
信源输出的是一个个符号，这
些符号的取值是有限的或可数的。 单符号离散信源 只涉及一个随机事件的
p(a
i 1
i
b j ) 1, p(ai b j ) 1
j 1 i 1
m
n
3
p(a b ) p(b ), p(a b ) p(a )
i 1 i j j j 1 i j i
n
m
4
p(aib j ) p(b j ) p(ai b j ) p(ai ) p(b j ai )
某地二月份天气的概率分
布统计如下：
a1 (晴), a2 (阴), a3 (雨), a4 (雪) X 1 1 1 P( X ) 1 , , , 2 4 8 8
这四种气候的自信息量分别为 : I (a1 ) 1 bit，I (a2 ) 2bit，
一天有人告诉你：今天不是晴天。 把这句话作为收到的消息 y1
当收到y1后，各种天气发生的概
率变成后验概率了。其中
p(a1 b1 ) 0,
1 p(a3 b1 ) , 4
1 p(a2 b1 ) , 2 1 p(a4 b1 ) 。 4
依据式(2.1.7)，可以计算出b1与各 种天气之间的互信息量。
先验不定度（联合自信息量）
1 I (ai b j ) log p(ai ) p(b j )
通信后
发送
接收
输入输出端的联合概率
p(ai b j ) p(ai ) p(b j ai ) p(b j ) p(ai b j )
后验不定度
1 I (ai b j ) log p(ai b j )
2 互信息的性质 1
对称性
I (ai ; b j ) I (b j ; ai )
I (ai ; b j ) log2 log2 log2 p(ai / b j ) p(ai ) p(b j ) p(b j / ai ) p(b j ) I (b j ; ai ) log2