第二章 信源及信源熵

2.1.2 自信息和信源熵
一.信息量(p12)
1 自信息量 定义公式:
log2 Bit 1 I ( x i ) log log P ( x i ) log Nat P( x i ) log Hart 10
2.1.2 自信息和信源熵
自信息量I(xi)的性质
i 1 i
) p ( y j ), p ( xi y j ) p ( xi )
j 1
p ( xi y j ) p ( xi ) p ( y j / xi ) p ( y j ) p ( xi / y j ) 当X与Y相互独立时 p ( y j / xi ) p ( y j ), , p ( xi / y j ) p ( xi ), p ( xi y j ) p ( xi ) p ( y j ) p ( xi y j ) p ( xi y j )
2.1.2 自信息和信源熵
联合自信息量的性质 联合自信息量也满足非负和单调递 减性。
2.1.2 自信息和信源熵
3 条件自信息量(p15)
• 条件概率对数的负值 • 在特定条件下( y已定)随机事件 xi发生所带来的 j 信息量 • 定义
I ( xi / y j ) log2 p( xi / y j )
且满足 : 0 p ( xi ) 1
p( x ) 1
i 1 i
n
X，Y，Z代表随机变量，指的是信源整体； xi , y j , zl 代表随机变量的某一结果或信源的某 个元素。不可混淆!
随机变量X , Y分别取值于集合 x1 , x2 , xi , , xn } { 和{ y1 , y2 , yi , , ym } : (1) ( 2) 0 p ( xi ) , p ( y j ), p ( xi / y j ), p ( y j / xi ), p ( xi y j ) 1
方法一:
设I表示信息量,f 表示信息量I与事件(不同 大小xk,或不同颜色cj)发生概率的某种函 数关系 I(xk)=f(p(xk)) 如每种大小挑选的概率相等,则p(xk)=1/n
计算信息量
I(xk)=f(1/n) 同理， I(cj)=f(1/m) 则 ：总的信息量= f(1/n) +f(1/m)
概 率 复 习
p( x ) 1, p( y
i 1 m i j 1
n
m
j
) 1, p ( xi / y j ) 1,
i 1 n
n
p( y
j 1 n
j
/ xi ) 1, p ( xi y j ) 1
j 1 i 1 m j
m来自百度文库
(3) ( 4) (5)
p( x y
R
2.1 信源的数学模型及分类
离散信源：可能输出的消息是有限的或 可数的，每次只输出一个消息，即两两 不相容。 数学模型：
a2 , , aq X a1 , P ( X ) p (a ), p (a ),, p (a ) 1 2 q
且满足 : 0 P(ai ) 1
•当X和Y独立时，
I ( xi y j ) log2 p( xi ) log2 p( y j ) I ( xi ) I ( y j )
•所以
I ( xi / y j ) I ( xi )
2.1.2 自信息和信源熵
2 联合自信息量(p14)
•信源模型(涉及两个随机事件)
XY x1 y1 , , x1 ym , x2 y1 , , x2 ym , , xn y1 , xn ym P( XY ) p ( x y ), p( x y ), p ( x y ),, p ( x y ) 1 1 1 m 2 1 n m 0 p( xi y j ) 1, p ( xi y j ) 1
Chapter 2
信源熵
第二章 信源熵
信源是信息的来源，实际通信中常见的 信源有：语音、文字、图像、数据…。在 信息论中，信源是产生消息（符号）、 消息（符号）序列以及连续消息的来源
按照信源发出的消息在时间上和幅度上的分析 连续信源 发出单个符号 离散无记忆信源 发出符号序列 离散信源 离散有记忆信源 发出符号序列
马尔可夫信源
2.1 信源的数学模型及分类
连续信源：可能输出的消息数是无限的 或不可数的，每次只输出一个消息。 数学模型：
X ( a , b ) P( X ) p( x) 并满足 或 R p( x)

b
a
p( x)dx 1或 p ( x)dx 1
2.1 信源的数学模型及分类
离散无记忆信源：离散信源在不同时刻发出的 符号之间是无依赖的，彼此统计独立的。 离散无记忆信源X的N次扩展信源：由离散无记 忆信源输出N长的随机序列构成的信源。
数学模型：X信源空间的N重空间 2 , qN X N 1 ,
N P ( i ) P (1 ), P ( 2 ), , P ( q ) (i1 , i2 , iN 1,2, q )
计算信息量
如何用表达式表示信息和信息量呢?
计算信息量
例:设有 n种大小不同的设备 ﹛x1,x2,x3,….xn﹜,每种设备有m种颜色 {c1,c2,c3,…..cm},试分析一下在挑选设 备时所具有的信息量. 分析:不论采用什么样的方法,结果就是挑选 出一个设备.
计算信息量
方法一:先按n个不同大小挑,然后从m个不 同颜色挑. 方法二:直接从n种大小和m种颜色,即m*n 个组合中挑出一台.
2.1.2 自信息和信源熵
例题
某地二月份天气构成的信源为
x1 (晴), x2 (阴), x3 (雨), x4 (雪) X 1 1 1 P( X ) 1 , , , 2 4 8 8
求各种天气发生时所包含的自信 息量是多少?
2.1.2 自信息和信源熵
(6)
p ( xi / y j )
p( x y
i 1 i
n
, p ( y j / xi ) )
j
p( x y
j 1 i
m
j
)
补充:信息与概率
自然科学中通常都对各种物理量做定量的 描述. 例: 长度 米 质量 千克 时间 秒 ……..
思考:信息可以用什么来衡量呢? 信息又怎样计算呢?
2.1.2 自信息和信源熵
思考: 1) 当X和Y相互独立时,条件自信息量怎 样计算呢? 2) 条件自信息量的性质如何?
2.1.2 自信息和信源熵
因为
I ( xi y j ) log2 p( xi ) p( y j / xi ) I ( xi ) I ( y j / xi ) log2 p( y j ) p( xi / y j ) I ( y j ) I ( xi / y j )
• • • • I(xi)是非负值； 当P(xi) =1时， I(xi)=0；(确定事件) 当P(xi) =0时， I(xi)= ∞ ；(不可能事件) I(xi)是P(xi) 的单调递减函数
2.1.2 自信息和信源熵
小概率事件，一当出现必然使人感到意 外，因此产生的信息量就越大；几乎不 可能事件一当出现，将是一条爆炸性的 新闻，一鸣惊人。 大概率事件，是预料之中的，即使发生， 也没什么信息量，特别是当必然事件发 生了，它不会给人以任何信息量。
P( xi | xi 2 xi 1 xi 1 xi 2 xi 3 xi m xi 1 ) P( xi | xi 1 xi 2 xi 3 xi m ) (i 1,2, N )
时齐马尔可夫信源:上述条件概率与时间起点i 无关 随机波形信源：信源输出的消息是时间（或空 间）上和取值上都是连续的函数。
（直观地认识信息和信息量，不使用定义）
第四个重要概念：两个消息随机变量的相互依赖 性越大，它们的互信息量就越大（这里指的是 绝对值大）。 例 X=西安明日平均气温, Y=咸阳明日平均气温， Z=北京明日平均气温，W=纽约明日平均气温。 则 X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0
2.1 信源的数学模型及分类 2.1.1单符号离散信源的数学模型
离散信源只涉及一个随机事件，可用离散随机 变量来表示。 单符号离散的数学模型 x2 , , xn X x1 , P( x) p( x ), p( x ),, p( x ) 1 2 n
q ik 1
其中 i (ai1 ai2 aiN )
并满足： P ( i ) P (ai1 ai2 aiN ) P (aik )
P( ) P(a
i 1 i i 1 ik 1
qN
qN
q
ik
) 1
2.1 信源的数学模型及分类
有记忆信源：输出的随机序列X中各随机变量 之间有依赖关系，但记忆长度有限。 m阶马尔可夫信源：信源每次发出的符号只与 前m个符号有关，与更前面的符号无关。
（直观地认识信息和信息量，不使用 定义）
第一个重要概念：信道上传送的是随机变量的值。 注意： （1）这就是说，我们在收到消息之前，并不知 道消息的内容。否则消息是没有必要发送的。 （2）消息随机变量有一个概率分布。 （3）消息随机变量的一个可能取值就称为一个 事件。
信息是排除不肯定度
信息不以消息的长短来衡量,而是否让人 感觉到新鲜?新鲜度有多大? 例:现在有两则消息: 1)明天有特大暴雨 2)明天天气如常
（直观地认识信息和信息量，不使用定义）
第二个重要概念：事件发生的概率越小， 此事件含有的信息量就越大。（不太可 能发生的事件竟然发生了，令人震惊）
（直观地认识信息和信息量，不使用定义）
概率小 概率大
信息量大 信息量小
结论:概率和信息量是成反比的.
（直观地认识信息和信息量，不使用定义）
第三个重要概念：消息随机变量的随机性越大，此消息 随机变量含有的信息量就越大。 例 消息随机变量X=“中国足球队与韩国足球队比赛的结 果”，则消息随机变量X含有的信息量小。 （随机性小，可预见性大，因此该消息随机变量含有的 信息量小。） 例 消息随机变量X=“意大利足球队与德国足球队比赛的 结果”，则消息随机变量X含有的信息量大。 （随机性大，可预见性小，因此该消息随机变量含有的 信息量大。）
i 1 j 1 n m
•联合自信息量定义公式
I ( xi y j ) log2 p( xi y j )
2.1.2 自信息和信源熵
思考: 1) 当X和Y相互独立时,联合自信息量怎样 计算呢? 2) 联合自信息量的性质如何?
2.1.2 自信息和信源熵
•当X和Y独立时，
I ( xi y j ) log2 p( xi ) log2 p( y j ) I ( xi ) I ( y j )
q
P(a ) 1
i 1 i
2.1 信源的数学模型及分类
离散平稳信源：输出的随机序列 X ( X1 X 2 X N ) 中每个随机变量 X i (i 1,, N ) 取值是离散的， 并且随机矢量X的各维概率分布不随时间 平移而改变。 连续平稳信源：输出的随机序列 X ( X1 X 2 X N ) 中每个随机变量 X i (i 1,, N )取值是连续的， 并且随机矢量X的各维概率密度函数不随 时间平移而改变。
计算信息量
方法二： I(xk， cj)=f(1/mn)
两种方法的结果应该是一样的。 即： f(1/n) +f(1/m) =f(1/mn) 要使f函数能够满足这种信息量的可加 性。
可以选择对数函数。
信息的度量
信息的可度量性-建立信息论的基础； 信息度量的方法:结构度量﹑统计度量﹑ 语义度量﹑模糊度量等； 统计度量：用事件统计发生概率的对数 来描述事物的不确定性，得到消息的信 息量，建立熵的概念； 熵概念是香农信息论最基本最重要的概 念。