第1章 信源模型及信息的度量分解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
信息论
Information Theory
王逸林
哈尔滨工程大学 2013
Tel: 82519503 E-mail: wangyilin@
第 1章
1.1 1.2 1.3 1.4 1.5 1.6
信源模型及信息的度量
信源模型及分类 不确定性与信息量 平均信息量 消息序列的熵 连续信源的信息度量 信源的相关性和剩余度
XY——样本值共有 m n 个
p( xi y j ) p( y j ) p( xi / y j ) p( xi ) p( y j / xi )
当X,Y相互独立时
p( y j ) p( y j / xi )
p( x j ) p( x j / yi )
p( xi y j ) p( y j ) p( xi )
连续信完整的消息
多符号信源: 多个符号代表一个完整的消息
离散信源
输出的符号集的取值是有限的或可数的
, aq a2 , X a1 , P( x) P(a ), P(a ), , P(a ) q 1 2
p(a ) 1
R
p( x)dx 1
离散无记忆信源
信源在不同时刻输出的符号先后之间是无依 赖的,彼此统计独立
p( x j xi ) p( xi ) p( x j / xi ) p( x j / xi ) p( x j )
离散有记忆信源
信源在不同时刻输出的符号先后之间是相互 依赖的
数学模型的建立
例: 掷一个六面均匀的骰子,每次出现朝上一面的点数 是随机的,以朝上一面的点数作为随机实验的结果,并把 实验结果看作一个信源的输出,试建立数学模型。
c1 c 2 P( ) 0.5 0.5
当信源给定,其相应的概率空间就已给定; 反之,如果概率空间给定,表示相应的信源给定。
概率空间能表征离散信源的统计特性!
几个概念
发送端发送的消息为 a i 接收端收到的消息为 bi
P(ai ) 称作先验概率
P(ai / b j ) 称作后验概率
§1.2 不确定性与信息量
非常任务 Johnny Mnemonic 公元2021年,资料除了透过电脑输送外, 还可利用人脑运输。专业运输员尊尼为了运 送更多资料,不惜洗去自己的记忆。一次任 务中,尊尼被客户输入过量资料,若他不在 二十小时内找到输出密码,他便会倒毙。另 一方面,日本集团为了夺取他脑内的资料, 也对他展开一场大追杀。 此片摄于1995年,构思在当时来说还算新 颖,居然把电脑和人脑等同起来,还有容量 限制呢。难以想象在不久的将来面试不再需 要看你的毕业证书、工作经历,而是直接问 “你的脑容量是多少?”是不是很可怕?
什么是信源?
在信息论中,信源是产生消息(符号)、消 息序列以及连续消息的来源;
数学上,信源是产生随机变量X、随机序列X 和随机过程X(t,ω)的源。
信源的主要特性
信源的最基本的特性是具有统计不确定性,它 可用概率统计特性来描述。
用概率空间来描述信源
信源的分类
单符号信源
离散信源
有记忆信源
多符号信源
6
二元联合信源
有两个信源X,Y
, an a2 , X a1 , P( x) P(a ), P(a ), , P(a ) 1 n 2
, bm b2 , Y b1 , P( y) P(b ), P(b ), , P(b ) 1 m 2
信息如何度量:
事物特性五花八门
物质有一个量——质量 m 信息可否有一个量:信息量? 复习一下信里的定义——事物运动状态或存在 方式的不确定性的描述。
信息的度量问题!
, an a2 , X a1 , P( x) P(a ), P(a ), , P(a ) 1 n 2
, aq a2 , X a1, P( x) P(a ), P(a ), , P(a ) q 1 2
例:
a2 a1 P( ) 0.01 0.99
b1 b2 P( ) 0.4 0.6
i 1 i
q
连续信源
输出的符号集的取值是不可数的无限值, 即输出消息的取值是连续的
X (a, b) P( x) p ( x)
p ( x ) dx 1
a
b
或
X R P( x ) p ( x )
两个信源的联合概率空间
an b m a2 b1 , , an b1 , a1b2 , , XY a1b1 , P( xy) P(a b ), P(a b ),, p(a b ), p(a b ),, P(a b ) 1 1 n 1 n m 2 1 1 2
A:{1,2,3,4,5,6}——样本空间 P:{ p(X=1)=1/6,p(X=2)=1/6,…,p (X=6)=1/6} ——概率测度
X a1, a2 , , a6 p(ai ) 1 P( x) 1 / 6, 1 / 6, , 1 / 6 i 1 ——概率空间
§1.1 信源模型及分类
几个概念
一个函数随机变量X,有N个可能取值: a1 a N ,各取值出现概率
Pn P(an )
P
1
N
n
1
所有可能选择的消息的集合,称为样本空间 每个可能选择的消息是这个样本空间的元素 每个可能选择的消息的概率,称为概率测度
概率空间:
一个样本空间和它的概率测度统称为概率空间
该信源中每个消息的出现会携带多少信息量?
自信息问题
非平均不确定性,非平均信息量
整个信源能输出多少信息量?
信源的信息熵问题
平均信息量
Information Theory
王逸林
哈尔滨工程大学 2013
Tel: 82519503 E-mail: wangyilin@
第 1章
1.1 1.2 1.3 1.4 1.5 1.6
信源模型及信息的度量
信源模型及分类 不确定性与信息量 平均信息量 消息序列的熵 连续信源的信息度量 信源的相关性和剩余度
XY——样本值共有 m n 个
p( xi y j ) p( y j ) p( xi / y j ) p( xi ) p( y j / xi )
当X,Y相互独立时
p( y j ) p( y j / xi )
p( x j ) p( x j / yi )
p( xi y j ) p( y j ) p( xi )
连续信完整的消息
多符号信源: 多个符号代表一个完整的消息
离散信源
输出的符号集的取值是有限的或可数的
, aq a2 , X a1 , P( x) P(a ), P(a ), , P(a ) q 1 2
p(a ) 1
R
p( x)dx 1
离散无记忆信源
信源在不同时刻输出的符号先后之间是无依 赖的,彼此统计独立
p( x j xi ) p( xi ) p( x j / xi ) p( x j / xi ) p( x j )
离散有记忆信源
信源在不同时刻输出的符号先后之间是相互 依赖的
数学模型的建立
例: 掷一个六面均匀的骰子,每次出现朝上一面的点数 是随机的,以朝上一面的点数作为随机实验的结果,并把 实验结果看作一个信源的输出,试建立数学模型。
c1 c 2 P( ) 0.5 0.5
当信源给定,其相应的概率空间就已给定; 反之,如果概率空间给定,表示相应的信源给定。
概率空间能表征离散信源的统计特性!
几个概念
发送端发送的消息为 a i 接收端收到的消息为 bi
P(ai ) 称作先验概率
P(ai / b j ) 称作后验概率
§1.2 不确定性与信息量
非常任务 Johnny Mnemonic 公元2021年,资料除了透过电脑输送外, 还可利用人脑运输。专业运输员尊尼为了运 送更多资料,不惜洗去自己的记忆。一次任 务中,尊尼被客户输入过量资料,若他不在 二十小时内找到输出密码,他便会倒毙。另 一方面,日本集团为了夺取他脑内的资料, 也对他展开一场大追杀。 此片摄于1995年,构思在当时来说还算新 颖,居然把电脑和人脑等同起来,还有容量 限制呢。难以想象在不久的将来面试不再需 要看你的毕业证书、工作经历,而是直接问 “你的脑容量是多少?”是不是很可怕?
什么是信源?
在信息论中,信源是产生消息(符号)、消 息序列以及连续消息的来源;
数学上,信源是产生随机变量X、随机序列X 和随机过程X(t,ω)的源。
信源的主要特性
信源的最基本的特性是具有统计不确定性,它 可用概率统计特性来描述。
用概率空间来描述信源
信源的分类
单符号信源
离散信源
有记忆信源
多符号信源
6
二元联合信源
有两个信源X,Y
, an a2 , X a1 , P( x) P(a ), P(a ), , P(a ) 1 n 2
, bm b2 , Y b1 , P( y) P(b ), P(b ), , P(b ) 1 m 2
信息如何度量:
事物特性五花八门
物质有一个量——质量 m 信息可否有一个量:信息量? 复习一下信里的定义——事物运动状态或存在 方式的不确定性的描述。
信息的度量问题!
, an a2 , X a1 , P( x) P(a ), P(a ), , P(a ) 1 n 2
, aq a2 , X a1, P( x) P(a ), P(a ), , P(a ) q 1 2
例:
a2 a1 P( ) 0.01 0.99
b1 b2 P( ) 0.4 0.6
i 1 i
q
连续信源
输出的符号集的取值是不可数的无限值, 即输出消息的取值是连续的
X (a, b) P( x) p ( x)
p ( x ) dx 1
a
b
或
X R P( x ) p ( x )
两个信源的联合概率空间
an b m a2 b1 , , an b1 , a1b2 , , XY a1b1 , P( xy) P(a b ), P(a b ),, p(a b ), p(a b ),, P(a b ) 1 1 n 1 n m 2 1 1 2
A:{1,2,3,4,5,6}——样本空间 P:{ p(X=1)=1/6,p(X=2)=1/6,…,p (X=6)=1/6} ——概率测度
X a1, a2 , , a6 p(ai ) 1 P( x) 1 / 6, 1 / 6, , 1 / 6 i 1 ——概率空间
§1.1 信源模型及分类
几个概念
一个函数随机变量X,有N个可能取值: a1 a N ,各取值出现概率
Pn P(an )
P
1
N
n
1
所有可能选择的消息的集合,称为样本空间 每个可能选择的消息是这个样本空间的元素 每个可能选择的消息的概率,称为概率测度
概率空间:
一个样本空间和它的概率测度统称为概率空间
该信源中每个消息的出现会携带多少信息量?
自信息问题
非平均不确定性,非平均信息量
整个信源能输出多少信息量?
信源的信息熵问题
平均信息量