信息论与编码第二章信源与信源熵831

Page 14
Here comes your footer
2.2 离散信源熵和互信息
1. 信息量 信息的定量表示。 2. 信息熵 物理熵：无序程度的度量。描述系统特征，如热力学熵。 信息熵：随机事件的不确定度，描述系统的统计特征。 信源熵：信源发出消息的不确定度。
Here comes your footer
Page 7
{
}
其中 a i ∈ I
Here comes your footer
马尔可夫过程－－－２ 马尔可夫过程－－－２ －－－
转移概率 称条件概率 P (m, m + n) = P X m+n = a j | X m = ai 为马氏链在 ij 时刻ｍ处于状态 转移概率。
{
}
ai
条件下，在时刻ｍ＋ｎ转移到状态
9 9 P( X i = 0) = , P( X i = 1) = 1 − 10 10
20 20
9 EX i = 0 × P( X i = 0) + 1× P( X i = 1) = 1 − 10
10
20
9 20 EX 故： = E[ X 1 + X 2 + L + X 10 ] = ∑ EX i = 101 − ≈ 8.784(次) i =1 10
马尔可夫过程： 马尔可夫过程：具有马尔可夫性的随机过程
Here comes your footer
Page 6
马尔可夫过程－－－２ 马尔可夫过程－－－２ －－－
马尔可夫概率分布 ①分布率描述 研究时间和状态都是离散的随机序列 {X n = X (n), n = 0,1,2, L} 状态空间为 I = {a1 , a2 , L},
= i , i ∈ I 为已知时，Xn+1所处的状态分布只与Ｘn+1有关，
而与时刻n以前所处的状态无关。 马尔可夫过程。 综上所述，该过程为一步转移的马尔可夫过程 马尔可夫过程
一步转移概率： 一步转移概率 Pij = P{X n +1 一步转移概率矩阵： 一步转移概率矩阵
p, j = i = j | X n = i} = q, j ≠ i
Here comes your footer
Page 12
d) 分类
发出单个符号的无记忆信源 离散无记忆信源 发出符号序列的无记忆信源 离散信源 发出符号序列的有记忆信源 离散有记忆信源 发出符号序列的马尔可夫信源
Here comes your footer
Page 13
e) 先验概率
符号发送前已经具有的概率，先验概率不受传输条件影响。 举例：袋子中有10个红球，20个白球，从袋子中拿出红 球的概率为10/(10+20)=1/3
联合概率
定义：多个事件拥有共同样本空间的概率 记作：以事件Ａ与Ｂ为例，联合概率为p(AB) 性质：①数量上等于A、B交集的概率 ②当A、B相互独立时，p(AB)=p(A)p(B)
Here comes your footer
Page 18
联合自信息量
定义：联合概率对数的负值 定义 事件 xi , y j 的联合密度为 p ( xi , y j ) ，联合自信息量 联合自信息量为 联合自信息量
1
2
n
其中Ｘ0为第一级输入，Ｘn为第n+1级输入（ｎ≥１） 设一个单位时间传输一级，每级的传真率为ｐ，误码率为q=1-p
Here comes your footer
Page 10
分析：
{X
n
, n = 0 ,1 , 2 , L
} 是一随机过程 随机过程
状态空间为 I = 状态空间 且当 X
n
{0 ,1 }
Pij (n) = P{X m + n = a j | X m = ai }
称 : Pij (n)为n步转移概率 P(n) = (Pij (n))为n步转移概率矩阵
Here comes your footer Page 9
举例
只传输数0,1的串联系统（0-1传输系统），如下图所示
X0 X1 X2 Xn-1 Xn
Page 20
2.2.2离散信源熵 离散信源熵
1. 数学期望与方差 a) 数学期望(期望)：可看作样本的加权均值
离散型随机变量Ｘ 离散型随机变量Ｘ 连续型随机变量Ｘ 连续型随机变量Ｘ
分布律
P ( X = xk ) = p k , k = 1,2, L n
概率密度
+∞
f (x)
条件
∑x
k =1
+∞
k
解：
0, Xi = 1, 在第 i站没有人下车 在第 i站有人下车 i = 1,2, L10
X = X 1 + X 2 + L + X 10
Here comes your footer Page 23
1
2
3
4
5
6
7
8
9
10
由题意，任一旅客在第i站不下车的概率9/10； 因此，20位旅客都不在第i站下车的概率为(9/10)20 ； 第i站有人下车的概率为1- (9/10)20 ；
aj
的
∑ P (m, m + n) = 1,
j =1 ij
∞
i = 1,2,L
Here comes your footer
Page 8
平稳性
P 当转移概率 ij (m, m + n)
只与ｉ，ｊ及时间间距ｎ有关时
称转移概率具有平稳性，同时也称此链是齐次的或时齐的。 此时，记 Pij (m, m + n) = Pij (n)
设离散信源发出的消息(符号表示)的集合为 X = {x1 , x2 , L, xn }
各符号发生的概率分别为 P = {p ( x1 ), p ( x2 ),L , p ( xn )} ，则 称 p( xi ) 为先验概率。符号及其先验概率构成的矢量称为概率 空间。记作
x2 L xn X x1 P = p( x ) p( x ) L p( x ) 1 n 2
pk 绝对收敛
∞
条件
∫
-∞
xf ( x) dx绝对收敛
+∞ -∞
数学期望
Here comes your footer
E(X) = m = ∑ xk pk
k =1
Page 21
数学期望
E[ X ] = m = ∫ xf ( x)dx
b) 数学期望的性质 设Ｘ，Ｙ是随机变量，a、b、c是常数 ⅰE[aX+bY+c]=aE[X]+bE[Y]+c ⅱ设Ｘ≥０，则E[X] ≥0 ⅲ设a≤X ≤b，则a≤E[X] ≤b ⅳ设X、Y是两个相互独立的随机变量，则 E[ XY ] = E [ X ] E[Y ]
非负值
Here comes your footer
Page 19
条件自信息量
定义：条件概率对数的负值 事件 xi 以事件 y j 的发生为条件，其条件密度为 p ( xi | y j ) ， 则其条件自信息量为
I ( xi | y j ) = − log p ( xi | y j )
性质：非负值
Here comes your footer
Here comes your footer
Page 16
不确定度
a) 表征随机事件发生的不确定程度 b) 随机事件的不确定度与自信息量的关系
两者数值相同
不确定度表征事件的本身性质
单位相同
自信息量表Here comes your footer
Page 17
2 平均不确定度
a) 定义：表征信源总体的多个符号的平均不确定性 b) 公式：参考数学期望的性质用各符号的自信息量的加权平均 表示总体的不确定性。
H ( X ) = E [I ( X )] = ∑ p( xi ) I ( xi ) = −∑ p ( xi ) log p( xi )
i i
c) 单位：比特／符号 or 比特／符号序列 d) 性质：①非负；②H(X)被定义为信源熵； 特殊情况
Here comes your footer Page 5
III. 马尔可夫过程－－－１ 马尔可夫过程－－－ －－－１
随机过程：随机过程是随机函数的集合。若一随机系统的 随机过程 样本点是随机函数，则称此函数为样本函数 样本函数，这一随机系统 样本函数 全部样本函数的集合是一个随机过程 一个随机过程。实际应用中，样本函 一个随机过程 数的一般定义在时间域或者空间域，用 {X (t ), t ∈ Y } 表示。
信息论与编码
Information Theory & Coding
沈阳工业大学 吕瑞宏
2.1 信源的描述和分类
1. 信源描述 离散信源：离散消息的信源 离散消息：时间上、幅度上都是离散分布的消息 连续信源：连续消息的信源 连续消息：时间上、幅度上都是连续分布的消息
Here comes your footer
Page 15
2.2.1自信息量 自信息量
I ( xi ) = − log p ( xi )
自 信 息 量
1. 定义：概率对数的负数 2. 性质：
3.
：
对数 bit (nat) (det) e 10
对数
信息 质
的
数
信
1nat=log2e=lbe≈1.433bit 1det=log210=lb10≈3.322bit
ai ∈ R
对任意的正整数 n, r和0 ≤ t1 < t 2 < L < t r < m,
ti , m, n + m ∈ Ti