第2讲——离散信源的数学模型及其信息测度(1)
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
输入 码字 消息 (输出) x1 x2 000 111 消息 先验 概率 1/2 1/2 消息后验概率
收到 0后 1-p p
收到 01后 1/2 1/2
收到 010后 1-p p
Review
数字通信系统模型
消息 信号＋干扰 消息 信宿
信源
编码器
信道
干扰 噪声源
译码器
可靠性、有效性、保密性和认证性
离散信源的数学模型 及信息测度
1 ,2 ,,q 且 其中，i
P( ) 1
i 1 i
q
离散无记忆信源 N次扩展信源
• 由离散无记忆信源输出N长的随机序列构成的信源。
2 , qN X N 1 , P(1 ), P( 2 ), , P( q N ) P( i )
I ( xi , y j ) I ( xi )
I ( y j ) I ( y j xi )
I ( xi y j )
I ( xi y j ) log 2 p( xi y j ) log 2 p( xi ) p( y j / xi ) I ( xi ) I ( y j / xi ) log 2 p( xi y j ) log 2 p( y j ) p( xi / y j ) I ( y j ) I ( xi / y j )
自信息量定义
设单符号离散信源的信源空间为
x2 , , xn X x1 , P( x) p( x ), p( x ),, p( x ) 1 2 n
且满足 : 0 p( xi ) 1, p( xi ) 1
i 1 n
如果知道事件xi已发生，则该事件所含有的信息量称 为自信息，定义为:
x8
111
1/8
× 0
× 0
× 0
Review
设某系统的输入空间为X={x1, x2}，分别以二元数字 组000和111表示。若系统变换过程中的转移概率为 p(0|0)=p(1|1)=1-p，p(1|0)=p(0|1)=p，则不难算出当 观察到输出数字为010的过程中输入消息x1和x2的后 验概率变化，如表所示。
X ( a , b ) p ( x) p ( x) 并满足
b
a
p ( x)dx 1
离散无记忆信源
离散信源在不同时刻发出的符号之间是无依赖的 彼此统计独立的。
2 , q X 1 , P( x ) P( ), P( ), , P( ) 1 2 q
= 9.97 × 105 bit
信源熵例题
有一篇千字文章，假定每字可从万字表中任选，则共 有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文可提供 的 信息量为 H(X) ＝ log2N ≈ 1.3 × 104 bit
“一个电视画面”平均提供的信息量远远超过“一 篇千字文”提供的信息量。
其中 i ( ai1 ai2 aiN ) (i1 , i2 , iN 1,2, q )
N ik 1
并满足： P( i ) P( ai1 ai2 aiN ) P( aik )
P( ) P(a
i 1 i i 1 ik 1
qN
qN
N
ik
) 1
信源熵例题
该信源X输出符号只有两个,设为0和1输出符号发生 的概率分别为p和q，p+q=l，即信源的概率空间为
X 0 1 P p q
则二元信源熵为
H(X)= -plogp-qlogq = -plogp- (1- p)log(1-p) = H(p)
或
logb X loga X logb a
自信息的性质
(1) I (xi)是非负值
(2) 当p(xi) = 1时，I(xi) = 0 (3) 当p(xi) = 0时，I(xi) =∞ (4) I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)＞p(x2)时，I (x1)＜I (x2) (5)两个独立事件的联合信息量等于它们分别的信息 量之和，即统计独立信源的信息量等于它们分别 的信息量之和。
信源的数学描述
通信系统中收信者在未收到消息以前对信 源发出什么消息是不确定的,是随机的，所 以可用随机变量、随机序列或随机过程来 描述信源输出的消息,或者说用一个样本空 间及其概率测度—概率空间来描述信源。
信源的分类
不同的信源输出的消息的随机性质不同，可以根据消 息的不同的随机性质来对信源进行分类： • 按照某时刻信源输出消息的取值集合的离散性和连续 性, 信源可分为离散信源和连续信源。 • 按照信源输出消息的所对应的随机序列中随机变量前 后之间有无依赖关系, 信源可分为无记忆信源和有记忆 信源。 • 按照信源输出消息的所对应的随机序列的平稳性, 信源 可分为平稳信源和非平稳信源。
H(p) = -plogp- (1- p)log(1-p) H(p)
1 0.8 0.6 0.4 0.2
0 0.2 0.4
0.6
0.8 1
p
条件熵
条件熵是在联合符号集合XY上的条件自信息量的数学期望。 在已知随机变量Y的条件下，随机变量X的条件熵定义为：
H ( X / Y ) E[ I ( xi / y j )] p ( xi y j )I ( xi / y j )
Xr + Yr
Yr-1
T
相对码编码器
• Yr是一个马氏链,Yr确定后,Yr+1概率分布只与Yr有关, 与Yr-1 、Yr-2 …等无关
其它几种常见信源
• 有记忆信源：输出的随机序列X中各随机变量之间有 依赖关系。 • m阶马尔可夫信源：信源每次发出的符号只与前m个 符号有关，与更前面的符号无关。 • 随机波形信源：信源输出的消息在时间上和取值上都 是连续的。
j 1 i 1 m n m n
要用联合 概率加权
p( xi y j ) log p ( xi / y j )
j 1 i 1
m
H (Y / X ) E[ I ( y j / xi )] p( xi y j ) log2 p( y j / xi )
i 1 j 1
n 1 H ( X ) E[ I ( xi )] E[log2 ] p( xi ) log2 p( xi ) p( xi ) i 1
• 熵函数的自变量是X表示信源整体，实质上是离散无 记忆信源平均不确定度的度量。与自信息不同,自信 息表示某一消息所含有的信息量，它是一个随机变量, 不能用它来作为整个信源的信息测度。
第二讲 离散信源的数学模型 及其信息测度(Ⅰ)
Review 输 入码 字 消 息 先 消 息输 出 验 概 率 x1 x2 x3 x4 x5 x6 x7 000 001 010 011 100 101 110 1/8 1/8 1/8 1/8 1/8 1/8 1/8 消息后验概率 收到0 收到01 1/4 √ 1/4 √ 1/4 √ 1/4 √ × 0 × 0 × 0 × 0 × 0 1/2 √ 1/2 √ × 0 × 0 × 0 收到011 × 0 × 0 × 0 √ 1 × 0 × 0 × 0
n
条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存 在的不确定度。这是传输失真所造成的。有时称H(X/Y)为 信道疑义度，也称损失熵。称条件熵H(Y/X)为信道散布度， 噪声熵。
联合熵
• 联合离散符号集合XY上的每个元素对 ( xi y j ) 的联合 自信息量的数学期望。
信源熵理解
• 信源熵H(X)的两种物理含义 － 信源输出后，每个离散消息所提供的平均信息量； － 信源输出前，信源的平均不确定度； （反映了随机变量X的随机性）
信源熵理解
• 例如有两个信源，其概率空间分别为:
X x1 , x2 0 . 99 0 . 01 p ( x )
I(1) =-log2 (3/4) =0.4151 bit
联合自信息与条件自信息
考虑两个随机事件，其联合概率空间为
XY x1 y1 , , x1 ym , x2 y1 , , x2 ym , , xn y1 , xn ym P( XY ) p ( x y ), p( x y ), p ( x y ),, p ( x y ) 1 1 1 m 2 1 n m 0 p( xi y j ) 1, p ( xi y j ) 1
1 I ( xi ) log log p( xi ) p( xi )
自信息量定义
• I (xi) 含义
– 当事件xi发生以前,表示事件xi 发生的不确定性 – 当事件xi发生以后,表示事件xi所含有的信息量
• I (xi)单位
– 常用对数底是2,信息量的单位为比特(bit)； – 若取自然对数,则信息量的单位为奈特(nat); 1 nat＝log2e ≈ l.433 bit， 对数换底关系：log X logb X a logb a
i 1 j 1 n m
• 联合自信息量
I ( xi y j ) log p( xi y j ) • 条件自信息量
• 在事件yj出现的条件下，随机事件xi发生的 条件自信息量
I ( xi / y j ) log2 p( xi / y j )
联合自信息与条件自信息
– 含义 – 联合自信息量和条件自信息量性质 – 联合自信息量和条件自信息量关系
0 01 1 10 11 X 00 掷两枚硬币 掷一枚硬币 1 / 4 1 / 4 P 1 1/ / 4 2 1 1/ / 4 2
其它几种常见信源
• 有记忆信源：输出的随机序列X中各随机变量之间有依赖 关系，但记忆长度有限。
马尔可夫信源实例
• 当X和Y独立时，
I ( xi y j ) log 2 p( xi y j ) log 2 p( xi ) p( y j ) log 2 p( xi ) log 2 p( y j ) I ( xi ) I ( y j )
信源熵定义
信源各个离散消息的自信息量的数学期望（即概率加权的 统计平均值）为信源的平均信息量，称为信源的信息熵， 也叫信源熵或香农熵，简称熵。
Y y1 , y2 0 . 5 0 . 5 p ( y )
H ( X ) 0.99 log 0.99 0.01log 0.01 0.08bit H (Y ) 0.5 log 0.5 0.5 log 0.5 1bit
因为H(Y) ＞H(X) 所以信源Y比信源X的平均不确定性要大。
自信息量例题
• 一个以等概率出现的二进制码元(0,1)所包含的 自信息量为： I(0)= I(1)= -log2 (1/2)=log22=1 bit
• 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4, 则这两个符号的自信息量为：
I(0) =-log2 (1/4)=log24= 2bit
简单信源
• 离散信源
a2 , , aq X a1 , P ( x) P (a ), P (a ),, P (a ) 1 2 q
wk.baidu.com
且满足 : 0 P(ai ) 1
• 连续信源
P(a ) 1
i 1 i
q
注：X代表随机变 量，指的是信源整 体；ai代表随机事 件的某一结果或信 源的某个元素。 注：这里的p(x)代 表概率密度函数。
信源熵例题
电视屏上约有 500 × 600= 3×105个格点，按每格点
有10个不同的灰度等级考虑，则共能组成10 个 不同的画面。按等概率计算，平均每个画面可提供 的信息量为
3105
H ( X ) p( xi ) log 2 p( xi ) log 2 1/10
i 1
n
3105
收到 0后 1-p p
收到 01后 1/2 1/2
收到 010后 1-p p
Review
数字通信系统模型
消息 信号＋干扰 消息 信宿
信源
编码器
信道
干扰 噪声源
译码器
可靠性、有效性、保密性和认证性
离散信源的数学模型 及信息测度
1 ,2 ,,q 且 其中，i
P( ) 1
i 1 i
q
离散无记忆信源 N次扩展信源
• 由离散无记忆信源输出N长的随机序列构成的信源。
2 , qN X N 1 , P(1 ), P( 2 ), , P( q N ) P( i )
I ( xi , y j ) I ( xi )
I ( y j ) I ( y j xi )
I ( xi y j )
I ( xi y j ) log 2 p( xi y j ) log 2 p( xi ) p( y j / xi ) I ( xi ) I ( y j / xi ) log 2 p( xi y j ) log 2 p( y j ) p( xi / y j ) I ( y j ) I ( xi / y j )
自信息量定义
设单符号离散信源的信源空间为
x2 , , xn X x1 , P( x) p( x ), p( x ),, p( x ) 1 2 n
且满足 : 0 p( xi ) 1, p( xi ) 1
i 1 n
如果知道事件xi已发生，则该事件所含有的信息量称 为自信息，定义为:
x8
111
1/8
× 0
× 0
× 0
Review
设某系统的输入空间为X={x1, x2}，分别以二元数字 组000和111表示。若系统变换过程中的转移概率为 p(0|0)=p(1|1)=1-p，p(1|0)=p(0|1)=p，则不难算出当 观察到输出数字为010的过程中输入消息x1和x2的后 验概率变化，如表所示。
X ( a , b ) p ( x) p ( x) 并满足
b
a
p ( x)dx 1
离散无记忆信源
离散信源在不同时刻发出的符号之间是无依赖的 彼此统计独立的。
2 , q X 1 , P( x ) P( ), P( ), , P( ) 1 2 q
= 9.97 × 105 bit
信源熵例题
有一篇千字文章，假定每字可从万字表中任选，则共 有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文可提供 的 信息量为 H(X) ＝ log2N ≈ 1.3 × 104 bit
“一个电视画面”平均提供的信息量远远超过“一 篇千字文”提供的信息量。
其中 i ( ai1 ai2 aiN ) (i1 , i2 , iN 1,2, q )
N ik 1
并满足： P( i ) P( ai1 ai2 aiN ) P( aik )
P( ) P(a
i 1 i i 1 ik 1
qN
qN
N
ik
) 1
信源熵例题
该信源X输出符号只有两个,设为0和1输出符号发生 的概率分别为p和q，p+q=l，即信源的概率空间为
X 0 1 P p q
则二元信源熵为
H(X)= -plogp-qlogq = -plogp- (1- p)log(1-p) = H(p)
或
logb X loga X logb a
自信息的性质
(1) I (xi)是非负值
(2) 当p(xi) = 1时，I(xi) = 0 (3) 当p(xi) = 0时，I(xi) =∞ (4) I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)＞p(x2)时，I (x1)＜I (x2) (5)两个独立事件的联合信息量等于它们分别的信息 量之和，即统计独立信源的信息量等于它们分别 的信息量之和。
信源的数学描述
通信系统中收信者在未收到消息以前对信 源发出什么消息是不确定的,是随机的，所 以可用随机变量、随机序列或随机过程来 描述信源输出的消息,或者说用一个样本空 间及其概率测度—概率空间来描述信源。
信源的分类
不同的信源输出的消息的随机性质不同，可以根据消 息的不同的随机性质来对信源进行分类： • 按照某时刻信源输出消息的取值集合的离散性和连续 性, 信源可分为离散信源和连续信源。 • 按照信源输出消息的所对应的随机序列中随机变量前 后之间有无依赖关系, 信源可分为无记忆信源和有记忆 信源。 • 按照信源输出消息的所对应的随机序列的平稳性, 信源 可分为平稳信源和非平稳信源。
H(p) = -plogp- (1- p)log(1-p) H(p)
1 0.8 0.6 0.4 0.2
0 0.2 0.4
0.6
0.8 1
p
条件熵
条件熵是在联合符号集合XY上的条件自信息量的数学期望。 在已知随机变量Y的条件下，随机变量X的条件熵定义为：
H ( X / Y ) E[ I ( xi / y j )] p ( xi y j )I ( xi / y j )
Xr + Yr
Yr-1
T
相对码编码器
• Yr是一个马氏链,Yr确定后,Yr+1概率分布只与Yr有关, 与Yr-1 、Yr-2 …等无关
其它几种常见信源
• 有记忆信源：输出的随机序列X中各随机变量之间有 依赖关系。 • m阶马尔可夫信源：信源每次发出的符号只与前m个 符号有关，与更前面的符号无关。 • 随机波形信源：信源输出的消息在时间上和取值上都 是连续的。
j 1 i 1 m n m n
要用联合 概率加权
p( xi y j ) log p ( xi / y j )
j 1 i 1
m
H (Y / X ) E[ I ( y j / xi )] p( xi y j ) log2 p( y j / xi )
i 1 j 1
n 1 H ( X ) E[ I ( xi )] E[log2 ] p( xi ) log2 p( xi ) p( xi ) i 1
• 熵函数的自变量是X表示信源整体，实质上是离散无 记忆信源平均不确定度的度量。与自信息不同,自信 息表示某一消息所含有的信息量，它是一个随机变量, 不能用它来作为整个信源的信息测度。
第二讲 离散信源的数学模型 及其信息测度(Ⅰ)
Review 输 入码 字 消 息 先 消 息输 出 验 概 率 x1 x2 x3 x4 x5 x6 x7 000 001 010 011 100 101 110 1/8 1/8 1/8 1/8 1/8 1/8 1/8 消息后验概率 收到0 收到01 1/4 √ 1/4 √ 1/4 √ 1/4 √ × 0 × 0 × 0 × 0 × 0 1/2 √ 1/2 √ × 0 × 0 × 0 收到011 × 0 × 0 × 0 √ 1 × 0 × 0 × 0
n
条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存 在的不确定度。这是传输失真所造成的。有时称H(X/Y)为 信道疑义度，也称损失熵。称条件熵H(Y/X)为信道散布度， 噪声熵。
联合熵
• 联合离散符号集合XY上的每个元素对 ( xi y j ) 的联合 自信息量的数学期望。
信源熵理解
• 信源熵H(X)的两种物理含义 － 信源输出后，每个离散消息所提供的平均信息量； － 信源输出前，信源的平均不确定度； （反映了随机变量X的随机性）
信源熵理解
• 例如有两个信源，其概率空间分别为:
X x1 , x2 0 . 99 0 . 01 p ( x )
I(1) =-log2 (3/4) =0.4151 bit
联合自信息与条件自信息
考虑两个随机事件，其联合概率空间为
XY x1 y1 , , x1 ym , x2 y1 , , x2 ym , , xn y1 , xn ym P( XY ) p ( x y ), p( x y ), p ( x y ),, p ( x y ) 1 1 1 m 2 1 n m 0 p( xi y j ) 1, p ( xi y j ) 1
1 I ( xi ) log log p( xi ) p( xi )
自信息量定义
• I (xi) 含义
– 当事件xi发生以前,表示事件xi 发生的不确定性 – 当事件xi发生以后,表示事件xi所含有的信息量
• I (xi)单位
– 常用对数底是2,信息量的单位为比特(bit)； – 若取自然对数,则信息量的单位为奈特(nat); 1 nat＝log2e ≈ l.433 bit， 对数换底关系：log X logb X a logb a
i 1 j 1 n m
• 联合自信息量
I ( xi y j ) log p( xi y j ) • 条件自信息量
• 在事件yj出现的条件下，随机事件xi发生的 条件自信息量
I ( xi / y j ) log2 p( xi / y j )
联合自信息与条件自信息
– 含义 – 联合自信息量和条件自信息量性质 – 联合自信息量和条件自信息量关系
0 01 1 10 11 X 00 掷两枚硬币 掷一枚硬币 1 / 4 1 / 4 P 1 1/ / 4 2 1 1/ / 4 2
其它几种常见信源
• 有记忆信源：输出的随机序列X中各随机变量之间有依赖 关系，但记忆长度有限。
马尔可夫信源实例
• 当X和Y独立时，
I ( xi y j ) log 2 p( xi y j ) log 2 p( xi ) p( y j ) log 2 p( xi ) log 2 p( y j ) I ( xi ) I ( y j )
信源熵定义
信源各个离散消息的自信息量的数学期望（即概率加权的 统计平均值）为信源的平均信息量，称为信源的信息熵， 也叫信源熵或香农熵，简称熵。
Y y1 , y2 0 . 5 0 . 5 p ( y )
H ( X ) 0.99 log 0.99 0.01log 0.01 0.08bit H (Y ) 0.5 log 0.5 0.5 log 0.5 1bit
因为H(Y) ＞H(X) 所以信源Y比信源X的平均不确定性要大。
自信息量例题
• 一个以等概率出现的二进制码元(0,1)所包含的 自信息量为： I(0)= I(1)= -log2 (1/2)=log22=1 bit
• 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4, 则这两个符号的自信息量为：
I(0) =-log2 (1/4)=log24= 2bit
简单信源
• 离散信源
a2 , , aq X a1 , P ( x) P (a ), P (a ),, P (a ) 1 2 q
wk.baidu.com
且满足 : 0 P(ai ) 1
• 连续信源
P(a ) 1
i 1 i
q
注：X代表随机变 量，指的是信源整 体；ai代表随机事 件的某一结果或信 源的某个元素。 注：这里的p(x)代 表概率密度函数。
信源熵例题
电视屏上约有 500 × 600= 3×105个格点，按每格点
有10个不同的灰度等级考虑，则共能组成10 个 不同的画面。按等概率计算，平均每个画面可提供 的信息量为
3105
H ( X ) p( xi ) log 2 p( xi ) log 2 1/10
i 1
n
3105