第2讲——离散信源的数学模型及其信息测度(1)

其它几种常见信源
• 有记忆信源：输出的随机序列X中各随机变量之间有 依赖关系，但记忆长度有限。
• m阶马尔可夫信源：信源每次发出的符号只与前m个 符号有关，与更前面的符号无关。
• 随机波形信源：信源输出的消息在时间上和取值上都 是连续的。
自信息量定义
设单符号离散信源的信源空间为
X P( x)
简单信源
• 离散信源
X P( x)
a1,
a2 , ,
P(a1
),
P
(a2
),
aq , P(aq )
且满足 : 0 P(ai ) 1
• 连续信源
q
P(ai ) 1
i 1
注：X代表随机变
量，指的是信源整
体；ai代表随机事 件的某一结果或信
源的某个元素。
X p( x)
(a, b)
p(
或 log b X log a X log b a
自信息的性质
(1) I (xi)是非负值 (2) 当p(xi) = 1时，I(xi) = 0 (3) 当p(xi) = 0时，I(xi) =∞ (4) I(xi)是先验概率p(xi)的单调递减函数，即
当p(x1)＞p(x2)时，I (x1)＜I (x2) (5)两个独立事件的联合信息量等于它们分别的信息
• 由离散无记忆信源输出N长的随机序列构成的信源。
X N
P(i )
1, 2 ,
P(1), P(2 ),
qN , P(qN
)
其中i (ai1ai2 aiN ) (i1, i2 , iN 1,2, q)
N
并满足： P(i ) P(ai1ai2 aiN ) P(aik ) ik 1
qN
联合自信息与条件自信息
考虑两个随机事件，其联合概率空间为
XY P( XY
)
x1 y1, p(x1 y1
, x1 ),
ym , x2 y1, , x2 p(x1 ym ), p(x2
ym , y1),
, ,
xn y1, p(xn ym
xn )
ym
nm
0 p(xi y j ) 1,
第二讲
离散信源的数学模型 及其信息测度(Ⅰ)
Review
输 入 码 字 消 息 先 消息后验概率 消 息 输 出 验 概 率 收到0 收到01 收到011
x1 000 1/8
1√/4 ×0
×0
x2 001 1/8
1√/4 ×0
×0
x3 010 1/8
1√/4 1√/2
×0
x4 011 1/8
1√/4 1√/2
不同的信源输出的消息的随机性质不同，可以根据消 息的不同的随机性质来对信源进行分类： • 按照某时刻信源输出消息的取值集合的离散性和连续 性, 信源可分为离散信源和连续信源。 • 按照信源输出消息的所对应的随机序列中随机变量前 后之间有无依赖关系, 信源可分为无记忆信源和有记忆 信源。 • 按照信源输出消息的所对应的随机序列的平稳性, 信源 可分为平稳信源和非平稳信源。
√1
x5 1百度文库0 1/8
×0 ×0
×0
x6 101 1/8
×0 ×0
×0
x7 110 1/8
×0 ×0
×0
x8 111 1/8
×0 ×0
×0
Review
设某系统的输入空间为X={x1, x2}，分别以二元数字 组000和111表示。若系统变换过程中的转移概率为
p(0|0)=p(1|1)=1-p，p(1|0)=p(0|1)=p，则不难算出当
p(xi y j ) 1
qN N
P(i ) P(aik ) 1
i 1
i1 ik 1
X 000 011 10 11
掷两一枚硬币
P
1/
42
1/ 42 1/ 4
1/ 4
其它几种常见信源
• 有记忆信源：输出的随机序列X中各随机变量之间有依赖 关系，但记忆长度有限。
马尔可夫信源实例
Xr
Yr
+
Yr-1
T
相对码编码器 • Y与r是Yr-一1 、个Y马r-2氏…链等,Y无r确关定后,Yr+1概率分布只与Yr有关,
x)
并满足
b
a p(x)dx 1
注：这里的p(x)代 表概率密度函数。
离散无记忆信源
离散信源在不同时刻发出的符号之间是无依赖的 彼此统计独立的。
X
P(
x)
1 ,
2 ,
P(1
),
P(
2
),
q
,
P(
q
)
q
其中，i 1,2 , ,q 且 P(i ) 1 i 1
离散无记忆信源 N次扩展信源
x1 ,
p(
x1
),
x2 , , p(x2 ),
,
xn p(xn )
n
且满足 : 0 p(xi ) 1, p(xi ) 1 i 1
如果知道事件xi已发生，则该事件所含有的信息量称 为自信息，定义为:
I (xi ) log
1 p(xi )
log
p(xi )
自信息量定义
• I (xi) 含义
量之和，即统计独立信源的信息量等于它们分别 的信息量之和。
自信息量例题
• 一个以等概率出现的二进制码元(0,1)所包含的 自信息量为： I(0)= I(1)= -log2 (1/2)=log22=1 bit
• 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4, 则这两个符号的自信息量为： I(0) =-log2 (1/4)=log24= 2bit I(1) =-log2 (3/4) =0.4151 bit
信道
译码器
信宿
干扰
噪声源
可靠性、有效性、保密性和认证性
离散信源的数学模型 及信息测度
信源的数学描述
通信系统中收信者在未收到消息以前对信 源发出什么消息是不确定的,是随机的，所 以可用随机变量、随机序列或随机过程来 描述信源输出的消息,或者说用一个样本空 间及其概率测度—概率空间来描述信源。
信源的分类
– 当事件xi发生以前,表示事件xi 发生的不确定性 – 当事件xi发生以后,表示事件xi所含有的信息量
• I (xi)单位
– 常用对数底是2,信息量的单位为比特(bit)；
– 若取自然对数,则信息量的单位为奈特(nat);
1 nat＝log2e ≈ l.433 bit，
对数换底关系：log a
X
log b X log b a
观察到输出数字为010的过程中输入消息x1和x2的后 验概率变化，如表所示。
输入 码字 消息 (输出)
消息 先验 概率
x1 000 1/2 x2 111 1/2
消息后验概率
收到 收到 收到 0后 01后 010后
1-p 1/2 1-p p 1/2 p
Review
数字通信系统模型
消息
信源
编码器
信号＋干扰 消息