第1章 信源模型及信息的度量
合集下载
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
信息论第一章
Tianjin Polytechnic University
自信息量 ①自信息量
单符号离散信源的数学模型
信源的描述方法 单符号离散信源 单符号离散信源的数学模型
Company Logo
Tianjin Polytechnic University
单符号离散信源的数学模型
Tianjin Polytechnic University
例题
例题:写出相应的数学模型 (1)某二元信源只含有0和1两个消息,发送1的概率是 0.99,而发送0的概率是0.01 解:
X 1 P ( X ) 0.99 0 0.01
(2)某二元信源只含有0和1两个消息,发送1和0的概率 均是0.5
自信息的定义
若噪声太大, 信宿收到受干扰的信息后,对某信息 产生的不确定性依然存在或一点也未消除,则信宿 获得较少的信息或者说一点也没有获得信息.
自信息 I ( xi ) 的定义: 信源中某个符号 x i 的出现所带来的信息量
Tianjin Polytechnic University
自信息的定义
1 2 9 X 0 P ( X ) 0.1 0.1 0.1 0.1
(4)信源只发送一种消息,即永远发送1或者永远发送0
X 0 P ( X ) 1 X 1 或 P ( X ) 1
其不确定性 I ( xi )
Tianjin Polytechnic University
自信息的定义
自信息 I ( xi ) 满足以下几条公理:
(4)可加性:若
p( xi y j ) p( xi ) p( y j )
I ( xi y j ) I ( xi ) I ( y j )
离散信源的数学模型及其信息测PPT课件
息熵，也叫信源熵或香农熵，简称熵。
H (X ) E[I (xi )] E[log
1] p(xi )
n
i1
p(xi ) log
p(xi )
• 熵函数的自变量是X表示信源整体，实质上是离散无记忆信源平均不确 定度的度量。与自信息不同,自信息表示某一消息所含有的信息量，它是 一个随机变量,不能用它来作为整个信源的信息测度。
q1
其中，ai A a0, a1,, aq1 且 P(ai ) 1
i0
第7页/共50页
离散无记忆信源 N次扩展信源
• 由离散无记忆信源输出N长的随机序列构成的信源。
X N
P(
i
)
0 , P(0
),
1, P(1),,
qN 1
P(qN 1)
N
其中i (ai1ai2 aiN ), i ik q ,k1 (i1, i2 ,iN 0,1,, q 1) k 1
第3页/共50页
信源的分类
不同的信源输出的消息的随机性质不同，可以根 据消息的不同的随机性质来对信源进行分类：
➢按照某时刻信源输出消息的取值集合的离散性和 连 续性, 信源可分为离散信源和连续信源。
➢按照信源输出消息的所对应的随机序列中随机变 量 前后之间有无依赖关系, 信源可分为无记忆信源和有 记忆信源。
• 数学模型：
X (a,b)
p(
x)
p(x)
并满足
b
a p(x)dx 1
注：这里的p(x)代表概率 密度函数。
第6页/共50页
离散无记忆信源
离散信源在不同时刻发出的符号之间是无依赖的
彼此统计独立的。
X P(
x)
a0 ,
信息及其度量
第1章 绪论
I = log a
1 = log a P( x ) P( x)
– 上式中对数的底： 若a = 2，信息量的单位称为比特(bit) ，可简记为b 2，信息量的单位称为比特(bit) ，可简记为b 若a = e，信息量的单位称为奈特(nat)， ，信息量的单位称为奈特(nat)， 若 a = 10，信息量的单位称为哈特莱(Hartley) 。 10，信息量的单位称为哈特莱(Hartley) – 通常广泛使用的单位为比特，这时有
I 108 I= = = 1.89 每个符号的算术平均信息量为 (比特 / 符号） 符号数 57
第1章 绪论
若用熵的概念来计算：
3 3 1 1 1 1 1 1 H = log 2 log 2 log 2 log 2 8 8 4 4 4 4 8 8 = 1.906 （比特/ 符号）
则该消息的信息量
【解】此消息中，“0”出现23次，“1”出现14次，“2” 此消息中，“ 出现23次，“ 出现14次，“ 出现13次，“ 出现7次，共有57个符号，故该消息的 出现13次，“3”出现7次，共有57个符号，故该消息的 信息量
I = 23log2 8 / 3 + 14 log2 4 + 13log2 4 + 7 log2 8 = 108 (b)
– 模拟通信系统： 有效性：可用有效传输频带来度量。 可靠性：可用接收端最终输出信噪比来度量。
第1章 绪论
– 数字通信系统 有效性：用传输速率和频带利用率来衡量。
– 码元传输速率RB：定义为单位时间（每秒）传送码元的数 1 R B = ），简记为B。 目，单位为波特（Baud ( B) 目，单位为波特（Baud），简记为B T 式中T － 码元的持续时间（秒） – 信息传输速率Rb：定义为单位时间内传递的平均信息量或 比特数，单位为比特/ 比特数，单位为比特/秒，简记为 b/s ，或bps ，或bps
第1章 基本概念6(信息的度量和香浓公式)
23
1.8 多路复用
波分复用WDM
光通信中的复用技术，原理同FDM
24
1.8 多路复用
图1-19 三种复用示意图
时间 1 23 4
FD M
频率
时间
4
3 2 1
TD M
频率
时间
1234
CDM 频 率
码型
25
1.10 通信系统的性能评价
主要性能指标
有效性 可靠性
27
模拟通信系统的主要性能指标
17
1.8 多路复用
物理信道与逻辑信道
物理信道：指信号通过的通信设备和传 输介质。
逻辑信道：一个物理信道中传输一路信 号的通道。如一个频段、一个时隙等。
18
1.8 多路复用
多路复用的概念
多路复用：在一个物理信道中，利用特 殊技术传输多路信号，即在一条物理信 道中产生多条逻辑信道。
… …
n路 信号 输入
复 用
解 复 一 条物 理 信 道 用
n个 逻 辑 信 道
图1―18 多路复用示意图
n路 信号 输出
19
1.8 多路复用
频分复用FDM
通过调制技术将多路信号分别调制到频 谱互不重叠的频带上，同时传输的一种 多路复用方式。
信号时间上重叠，频谱互不重叠
20
1.8 多路复用
时分复用TDM
通过脉冲调制等技术将多路信号分时在 信道上传输的一种多路复用方式。
香农公式
C Blb(1 S ) (bit/s) N
式中，C 为信道容量（bit / s或b/s） B 为信道带宽（Hz） S/N 是系统的输出信噪比
11
1.7 信息量与香农公式
例子
若一帧电视图像的信息量为99600bit， 电视的帧频为30Hz，为使接收端收到良 好的图像，要求信道的信噪比S/N＝1000， 10lgS/N＝30dB，求信道的带宽B。
1.8 多路复用
波分复用WDM
光通信中的复用技术，原理同FDM
24
1.8 多路复用
图1-19 三种复用示意图
时间 1 23 4
FD M
频率
时间
4
3 2 1
TD M
频率
时间
1234
CDM 频 率
码型
25
1.10 通信系统的性能评价
主要性能指标
有效性 可靠性
27
模拟通信系统的主要性能指标
17
1.8 多路复用
物理信道与逻辑信道
物理信道：指信号通过的通信设备和传 输介质。
逻辑信道：一个物理信道中传输一路信 号的通道。如一个频段、一个时隙等。
18
1.8 多路复用
多路复用的概念
多路复用：在一个物理信道中，利用特 殊技术传输多路信号，即在一条物理信 道中产生多条逻辑信道。
… …
n路 信号 输入
复 用
解 复 一 条物 理 信 道 用
n个 逻 辑 信 道
图1―18 多路复用示意图
n路 信号 输出
19
1.8 多路复用
频分复用FDM
通过调制技术将多路信号分别调制到频 谱互不重叠的频带上，同时传输的一种 多路复用方式。
信号时间上重叠，频谱互不重叠
20
1.8 多路复用
时分复用TDM
通过脉冲调制等技术将多路信号分时在 信道上传输的一种多路复用方式。
香农公式
C Blb(1 S ) (bit/s) N
式中，C 为信道容量（bit / s或b/s） B 为信道带宽（Hz） S/N 是系统的输出信噪比
11
1.7 信息量与香农公式
例子
若一帧电视图像的信息量为99600bit， 电视的帧频为30Hz，为使接收端收到良 好的图像，要求信道的信噪比S/N＝1000， 10lgS/N＝30dB，求信道的带宽B。
信源模型与信息度量3v
0
H
,n1[1
,
...n
,
n1;
p(
x1
),
...,
p(
xn
)
,
]
H,n[1 , ...n; p( x1 ), ..., p( xn )]
• 物理意义：增加1个意义很大但不可能发生的事件，信源并不能提 供更多的信息量。
• 5. 连续性
lim
0
H
,n [..., n1
, n ; ...,
p(
1
i 1
i 1
f (1, ,n ) (b)
11
最大加权熵的求解
得到 后，将式(a)代入加权熵的定义式，可得：
H,max[1, ...,n;
p( x1 ), ...,
p( xn )]
n
i
i 1
log e
2i
(
i
log e)
最大熵对应的输入信源分布为：
log e
p( xi ) 2i
i 1
• 求 F 关于 p( xi的) 偏导数，列出方程组：
n
H [1, ...,n; p( x1 ), ..., p( xn )] i p( xi ) log p( xi )
i 1
H p( xi
)
i
log
p( xi )
log
e
p( xi
)
i
p( xi
)
i
[log
p( xi
)
log
物理意义：对于确定性信源，总是只有唯一的一个事件永远发生，尽管
该事件是有意义或有效用的，但仍不能提供信息量。 6
4. 扩展性 & 5.连续性
H
,n1[1
,
...n
,
n1;
p(
x1
),
...,
p(
xn
)
,
]
H,n[1 , ...n; p( x1 ), ..., p( xn )]
• 物理意义：增加1个意义很大但不可能发生的事件，信源并不能提 供更多的信息量。
• 5. 连续性
lim
0
H
,n [..., n1
, n ; ...,
p(
1
i 1
i 1
f (1, ,n ) (b)
11
最大加权熵的求解
得到 后，将式(a)代入加权熵的定义式，可得：
H,max[1, ...,n;
p( x1 ), ...,
p( xn )]
n
i
i 1
log e
2i
(
i
log e)
最大熵对应的输入信源分布为：
log e
p( xi ) 2i
i 1
• 求 F 关于 p( xi的) 偏导数，列出方程组：
n
H [1, ...,n; p( x1 ), ..., p( xn )] i p( xi ) log p( xi )
i 1
H p( xi
)
i
log
p( xi )
log
e
p( xi
)
i
p( xi
)
i
[log
p( xi
)
log
物理意义：对于确定性信源，总是只有唯一的一个事件永远发生，尽管
该事件是有意义或有效用的，但仍不能提供信息量。 6
4. 扩展性 & 5.连续性
通信原理 第1章
缺点： 缺点：
需要较大的传输带宽 对同步要求高
第1章 绪论 章
1.3 通信系统分类与通信方式
1.3.1 通信系统的分类
按通信业务分类：电报通信系统、电话通信系统、数据 按通信业务分类：电报通信系统、电话通信系统、 通信系统、 通信系统、图像通信系统 … … 按调制方式分类：基带传输系统和带通（频带或调制） 按调制方式分类：基带传输系统和带通（频带或调制） 传输系统
1.1 通信的基本概念
实现通信的方式和手段： 实现通信的方式和手段： 非电的：如烽火台、 旌旗、消息树… 非电的：如烽火台、 旌旗、消息树 电的：如电报、电话、广播、电视、遥控、 电的：如电报、电话、广播、电视、遥控、 遥测、因特网和计算机通信等。 遥测、因特网和计算机通信等。
1.1 通信的基本概念
1.3 通信系统分类与通信方式
串行传输 ：将数字信号码元序列以串行方式一个码元接 一个码元地在一条信道上传输
优点：只需一条通信信道， 优点 只需一条通信信道，节省线路铺设费用 只需一条通信信道 缺点：速度慢 速度慢， 缺点 速度慢，需要外加码组或字符同步措施
其他分类方式： 其他分类方式：
同步通信和异步通信； 同步通信和异步通信；专线通信和网通信
在工程应用中，习惯把一个二进制码元称作 比特 在工程应用中，习惯把一个二进制码元称作1比特 。
1.4 信息及其度量
若有M个等概率波形（ ），且每一个波形的出现 若有 个等概率波形（P = 1/M），且每一个波形的出现 个等概率波形 ）， 是独立的，则传送 进制波形之一的信息量为 是独立的，则传送M进制波形之一的信息量为
1.2 通信系统的组成
信道：将来自发送设备的信号传送到接收端的物理媒质。 信道：将来自发送设备的信号传送到接收端的物理媒质。 是信号传输的通道，分为有线信道和无线信道。 是信号传输的通道，分为有线信道和无线信道。 噪声源：集中表示分布于通信系统中各处的噪声。 噪声源：集中表示分布于通信系统中各处的噪声。 接收设备：从受到减损的接收信号中正确恢复出原始电信号。 接收设备 从受到减损的接收信号中正确恢复出原始电信号。 从受到减损的接收信号中正确恢复出原始电信号 受信者（信宿）：把原始电信号还原成相应的消息， 受信者（信宿）：把原始电信号还原成相应的消息，如扬声 ）：把原始电信号还原成相应的消息 器等。 器等。
信息论第二讲
（1）它应是先验概率p(xi)的单调递减函数，即当 p (x1) > p (x2) 时，有 f [ p (x1)] < f [ p (x2) ] ； （2）当p (xi) =1时， f [ p (xi)] = 0 （3）当p (xi) =0时， f [ p (xi)] = （4）两个独立事件的联合信息量应等于它们分别的信息量之 和。即统计独立信源的信息量等于它们分别的信息量之和。
第二次测量获得的信息量 = I [P (x2)] - I [P (x3)]=1(bit) 第三次测量获得的信息量 = I [P (x3)] -0=1(bit) 至少要获得3个比特的信息量就可确切知道哪个灯泡已坏。
[例]：求离散信源的自信息量。 一次掷两个骰子，作为一个离散信源，求下列事件产生后提供的信 息量。
a. 仅有一个为3；
b. 至少有一个为4； c. 两个之和为偶数；
解：
一个骰子有6个符号，这一随机事件的总数（信源符号数）为36。 a事件样本数=5×2=10（另外一个不能为3）
b事件样本数=5×2+1=11（加上一个双4）
c事件样本数=18 则 p(a)=10/36=5/18; p(b)=11/36; p(c)=18/36=1/2;
i 1 i
q
X x1 x2 x3 x4 x5 x6 P 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6
离散无记忆信源N次扩展信源
•
由离散无记忆信源输出N长的随机序列构成的信 源。符号取自同一符号集，其相互独立
2 , qN X N 1 , P(1 ), P( 2 ), , P( q N ) P( i )
底为e，单位为“奈特（nat, nature
第二次测量获得的信息量 = I [P (x2)] - I [P (x3)]=1(bit) 第三次测量获得的信息量 = I [P (x3)] -0=1(bit) 至少要获得3个比特的信息量就可确切知道哪个灯泡已坏。
[例]：求离散信源的自信息量。 一次掷两个骰子，作为一个离散信源，求下列事件产生后提供的信 息量。
a. 仅有一个为3；
b. 至少有一个为4； c. 两个之和为偶数；
解：
一个骰子有6个符号，这一随机事件的总数（信源符号数）为36。 a事件样本数=5×2=10（另外一个不能为3）
b事件样本数=5×2+1=11（加上一个双4）
c事件样本数=18 则 p(a)=10/36=5/18; p(b)=11/36; p(c)=18/36=1/2;
i 1 i
q
X x1 x2 x3 x4 x5 x6 P 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6
离散无记忆信源N次扩展信源
•
由离散无记忆信源输出N长的随机序列构成的信 源。符号取自同一符号集，其相互独立
2 , qN X N 1 , P(1 ), P( 2 ), , P( q N ) P( i )
底为e，单位为“奈特（nat, nature
一般信源及其信息量的度量
一般信源及其信息量的度量
刘勇
【期刊名称】《自然辩证法研究》
【年(卷),期】1986()6
【摘要】本文简述了人们在信息度量方面所作的纵横向拓广研究情况,分析了仙农信源模型和信息概念的实质,给出了一个一般信源模型。
在因素分析的基础上推导
出了一个综合性的信息量计量的基本公式,并由之推出三类系统的信息量计算方法。
其中的H(R)可度量有机系统的进化程度。
【总页数】5页(P40-44)
【关键词】信源模型;信息量计算;不定度;肯定度;不定性;元素;拓广;差异度;信宿;复
杂程度
【作者】刘勇
【作者单位】中国人民大学计划统计学院计划系
【正文语种】中文
【中图分类】N031
【相关文献】
1.基于符号信息量的离散信源特性分析 [J], 麻信洛;吕金娜;张志军;葛长涛
2.利用马尔可夫信源原理计算遥感影像信息量 [J], 王占宏;杜道生
3.基于符号信息量的离散信源特性分析 [J], 麻信洛;吕金娜;张志军;葛长涛
4.线状要素空间弯曲特征信息量的度量方法探讨 [J], 许丁友; 李展; 刘强; 何静; 刘
乾坤; 毛宇昆; 蒋雨欣
5.基于图论与互信息量的差分隐私度量模型 [J], 王毛妮; 彭长根; 何文竹; 丁兴; 丁红发
因版权原因，仅展示原文概要，查看原文内容请购买。
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
一阶马尔可夫过程共有3种状态，每个状态转移到其他状态的概率均为 ，设状态的平稳分布为 ，根据
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率
信息资源管理第一章ppt
徐志摩家的月饼 悄悄的我收了，正如你悄悄的送， 我挥一挥衣袖，来年你还送不送！
琼瑶家的月饼 我有一块月饼，不知与谁能共？ 多少秘密在其中，送饼之人能懂。 饼外情深义重，饼内目的重重。 迎来送往惧无踪，徒留一帘幽梦！
第1章 信息与信息管理
1.1 信息
－1.1.1 信息的含义 －1.1.2 数据、信息和知识的关系 －1.1.3 信息的特性 －1.1.4 信息与物质、能量的关系 －1.1.5 信息的类型
1.5 信息管理
信息管理的职能 与管理的一般职能相同，信息管理也有计划、组织、 指挥、协调和控制五个主要职能。 （1）信息管理的计划职能 （2）信息管理的组织职能 （3）信息管理的指挥职能 （4）信息管理的协调职能 （5）信息管理的控制职能
1.5 信息管理
1.5.2 信息管理的基本原理
信息管理的目标 微观：一是建立信息集约，实现信息流的集约控制； 二是对信息进行整序与开发，实现信息的质量控制。 宏观：提高社会活动资源的系统功能，最终提高社会 活动资源的系统效率。 信息管理的四大基本原理 增值原理、增效原理、服务原理、市场调节原理
把一份信息复制一次，信息量并不会增加一倍。
6．时效性（动态性）：信息从产生到对解决特定问题完全失去效用的
过程构成信息的生命周期。
7．可加工性（可变换性）：可编码转换，可加工提炼。 8．真伪性：一个信息可能符合实际情况，也可能与实际情况不符合。 9．有用性：提供决策支持。信息的有用性是相对的。
1.1 信息
1.6 信息管理学
信息管理学研究如何科学地组织、管理信息资 源和信息活动。它是一门综合性的边缘交叉学。 我国学者提出的信息管理学实用体系框架 包括四个模块。如图1.8。
信息经济研究 信息系统建设 信息管理学 信息技术应用 信息资源管理
琼瑶家的月饼 我有一块月饼，不知与谁能共？ 多少秘密在其中，送饼之人能懂。 饼外情深义重，饼内目的重重。 迎来送往惧无踪，徒留一帘幽梦！
第1章 信息与信息管理
1.1 信息
－1.1.1 信息的含义 －1.1.2 数据、信息和知识的关系 －1.1.3 信息的特性 －1.1.4 信息与物质、能量的关系 －1.1.5 信息的类型
1.5 信息管理
信息管理的职能 与管理的一般职能相同，信息管理也有计划、组织、 指挥、协调和控制五个主要职能。 （1）信息管理的计划职能 （2）信息管理的组织职能 （3）信息管理的指挥职能 （4）信息管理的协调职能 （5）信息管理的控制职能
1.5 信息管理
1.5.2 信息管理的基本原理
信息管理的目标 微观：一是建立信息集约，实现信息流的集约控制； 二是对信息进行整序与开发，实现信息的质量控制。 宏观：提高社会活动资源的系统功能，最终提高社会 活动资源的系统效率。 信息管理的四大基本原理 增值原理、增效原理、服务原理、市场调节原理
把一份信息复制一次，信息量并不会增加一倍。
6．时效性（动态性）：信息从产生到对解决特定问题完全失去效用的
过程构成信息的生命周期。
7．可加工性（可变换性）：可编码转换，可加工提炼。 8．真伪性：一个信息可能符合实际情况，也可能与实际情况不符合。 9．有用性：提供决策支持。信息的有用性是相对的。
1.1 信息
1.6 信息管理学
信息管理学研究如何科学地组织、管理信息资 源和信息活动。它是一门综合性的边缘交叉学。 我国学者提出的信息管理学实用体系框架 包括四个模块。如图1.8。
信息经济研究 信息系统建设 信息管理学 信息技术应用 信息资源管理
信息的度量
I (ai ) f [ p(ai )]
3.信源发送符号ai的先验概率p(ai) = 1,则
I (ai ) f [ p(ai )] 0
4.设有两个独立信源X和Y,信源X发送符号ai的先验概率为p(ai), 信源Y发送符号aj的先验概率为p(aj),符号ai 和aj的联合消息 (aiaj)的先验概率为p (aiaj),则
a 0 a 2 1 a 3 2 a 4 3 X 1 1 1 1 P 3 8 4 4 8
其发生的消息为：
（202120130213001203210110321010021032011223210）
求（1）此消息的自信息量。 （2）在此消息中平均每个符号携带的信息量。
此消息中共有14个“0”符号，13个“1”符号，12个“2”符 号，6个“3”符号，则得到的自信息量是：
I 14I (a1 ) 13I (a2 ) 12I (a3 ) 6I (a4 )
14 1.415 13 2 12 2 6 3 87.81bit
（2）此消息中平均每个符号携带的信息量为：
且有
取 0 1 则:
pi 1,
i 1
q
q
pi' 1
i 1
q
H [ (1 )' ] [ pi (1 ) pi' ]log[ pi (1 ) pi' ]
i 1
q
q pi pi' pi log{[pi (1 ) pi' ] } (1 ) pi' log{[pi (1 ) pi' ] ' } pi pi i 1 i 1
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6
二元联合信源
有两个信源X，Y
, an a2 , X a1 , P ( x) P (a ), P (a ), , P (a ) n 1 2
, bm b2 , Y b1 , P ( y ) P (b ), P (b ), , P(b ) 1 m 2
, aq a2 , X a1, P ( x) P (a ), P (a ), , P (a ) q 1 2
例：
a2 a1 P ( ) 0.01 0.99
b1 b2 P ( ) 0 .4 0 .6
可பைடு நூலகம்性公理：
两个消息独立，则 I (ai , b j ) I (ai ) I (b j ) 对同一条消息，观察两次所得到的信息量等 于两次分别收到的信息量之和
I (ai ; b j ck ) I (ai ; b j ) I (ai ; ck / b j )
例题
说明信息论在我们日常生活中的指导意义
P(X)： p
1. p=0.5时； H(X)=-0.5log0.5+(-0.5log0.5)=1 bit/符号 2. p=0.99，1-p=0.01时；
H(X)=-0.99log0.99+(-0.01 log0.01)=0 .08bit/符号
3. p=0，1-p=1（或p=1，1-p=0）时； H(X)=-0log0+(-1 log1)=0 bit/符号
XY——样本值共有 m n 个
p ( x i y j ) p ( y j ) p ( xi / y j ) p ( x i ) p ( y j / x i )
当X，Y相互独立时
p ( y j ) p ( y j / xi )
p ( x j ) p ( x j / yi )
p( xi y j ) p( y j ) p( xi )
例： 掷一个六面均匀的骰子，每次出现朝上一面的点数 是随机的，以朝上一面的点数作为随机实验的结果，并把 实验结果看作一个信源的输出，试建立数学模型。
A：{1，2，3，4，5，6}——样本空间 P：{ p(X=1)=1/6，p(X=2)=1/6，…，p (X=6)=1/6} ——概率测度
X a1 , a2 , , a6 p(ai ) 1 P( x) 1 / 6, 1 / 6, , 1 / 6 i 1 ——概率空间
信息如何度量：
事物特性五花八门
物质有一个量——质量 m 信息可否有一个量：信息量？ 复习一下信里的定义——事物运动状态或存在 方式的不确定性的描述。
信息的度量问题！
, an a2 , X a1 , P ( x) P (a ), P (a ), , P (a ) n 1 2
例题
说明信息论在我们日常生活中的指导意义
设有12个形状完全相同的球，其中一个球的质量与其他球 不同（不知是重还是轻），其他球均等重。为了用天平（无 砝码）称出这个不同重量的球，问至少必须称多少次？
信息获取
天平称一次能判断出3种情况：重、轻和相等
I获
1 log 1.585bit 3
p(a ) 1
i 1 i
q
连续信源
输出的符号集的取值是不可数的无限值， 即输出消息的取值是连续的
X ( a , b ) P( x) p ( x)
p ( x ) dx 1
a
b
或
X R P( x) p( x)
P(ai / b j ) 称作后验概率
什么是信源？
在信息论中，信源是产生消息（符号）、消 息序列以及连续消息的来源；
数学上，信源是产生随机变量X、随机序列X 和随机过程X(t,ω)的源。
信源的主要特性
信源的最基本的特性是具有统计不确定性，它 可用概率统计特性来描述。
用概率空间来描述信源
信源的分类
I需 I获
至少必须称的次数为：
2.9次
§1.3 平均信息量-熵
信息熵
定义：自信息量的数学期望为信源的平均自信 息量，也称为熵
H ( X ) E[ I ( xi )] p(ai ) log p(ai )
i 1
n
单位： 与自信息量的单位相同
H r ( X ) p(ai ) log r p(ai )
1、当 ai 发生前，表示事件 ai 发生的不确定性
2、当 ai 发生后，表示事件 ai 所含有（或所提供） 的不确定性
信息函数中对数log底
log ? p(ai)
2 e 10 bit nat hat
一般假定以2为底，记为log
定义（2）：
I ( ai , b j ; ai , b j ) I ( ai , b j ) p ( ai , b j ) log p ( ai , b j )
(4) 两个统计独立事件的联合信息量，应等于它 们各自信息量之和： I(ab)=I(a)+I(b)
定义（1）：
自信息量：ai 出现后收到关于 ai 的信息量
1 I (ai ; ai ) I (ai ) p(ai ) log log p(ai ) p(ai )
两种含义：
i 1
q
r进制与2进制的变换关系：
H r ( X ) p ( ai ) log r p (ai )
i 1 q
log 2 p ( ai ) 1 p (ai ) H (X ) log 2 r log 2 r i 1
q
X = P
X：
1
2 1-p (0≤ p ≤1)
R
p ( x)dx 1
离散无记忆信源
信源在不同时刻输出的符号先后之间是无依 赖的，彼此统计独立
p( x j xi ) p( xi ) p( x j / xi ) p( x j / xi ) p( x j )
离散有记忆信源
信源在不同时刻输出的符号先后之间是相互 依赖的
数学模型的建立
单符号信源
离散信源
有记忆信源
多符号信源
连续信源
无记忆信源
单符号信源： 一个符号代表一个完整的消息
多符号信源： 多个符号代表一个完整的消息
离散信源
输出的符号集的取值是有限的或可数的
, aq a2 , X a1 , P( x) P (a ), P (a ), , P(a ) q 1 2
“不确定的”、“无知的”事件
事件a：在12个形状完全相同球中，某一球为重量不同的球 事件b：重量不同的球比其它球的重量是重，还是轻 p(b) 1 / 2 信息获取
p(a) 1 / 12
要找出这个不同重量的球所需的信息量 =消除这两个事件的自信息量
事件a ,b统计独立 I 需 I(a ) I(b ) log p(a ) log p(b ) 4.585bit
信息论
Information Theory
王逸林
哈尔滨工程大学 2013
Tel: 82519503 E-mail: wangyilin@
第 1章
1.1 1.2 1.3 1.4 1.5 1.6
信源模型及信息的度量
信源模型及分类 不确定性与信息量 平均信息量 消息序列的熵 连续信源的信息度量 信源的相关性和剩余度
§1.1 信源模型及分类
几个概念
一个函数随机变量X，有N个可能取值： a1 a N ，各取值出现概率
Pn P(an )
P
1
N
n
1
所有可能选择的消息的集合，称为样本空间 每个可能选择的消息是这个样本空间的元素 每个可能选择的消息的概率，称为概率测度
概率空间：
一个样本空间和它的概率测度统称为概率空间
该信源中每个消息的出现会携带多少信息量？
自信息问题
非平均不确定性，非平均信息量
整个信源能输出多少信息量？
信源的信息熵问题
平均信息量
彩票走势图
信息
数量上等于通信前后“不确定性”的消除量/减少 量
信息量 f（不确定性）
―不确定性” →―多种结果的可能性”→用概率来度量 ∴ ―不确定性”是概率的某一函数 f [ p( x)]
设有12个形状完全相同的球，其中一个球的质量与其他球 不同（不知是重还是轻），其他球均等重。为了用天平（无 砝码）称出这个不同重量的球，问至少必须称多少次？
判断“不确定的”、“无知的”量/事件？ 信息获取？ 消除全部不确定性
例题
说明信息论在我们日常生活中的指导意义
设有12个形状完全相同的球，其中一个球的质量与其他球 不同（不知是重还是轻），其他球均等重。为了用天平（无 砝码）称出这个不同重量的球，问至少必须称多少次？
两个信源的联合概率空间
an b m a 2 b1 , , a n b1 , a1b2 , , XY a1b1 , P( xy) P (a b ), P(a b ), , p (a b ), p (a b ), , P(a b ) n 1 n m 1 1 2 1 1 2
ai , b j 同时出现后收到关于 ai , b j 的信息量
定义（3）：
互信息量：观察到 b j 后收到关于 ai 的信息量
p(ai ) I (ai ; b j ) p(ai ) p(ai / b j ) log p(ai / b j )
1、关于 ai 的先验不确定性/无知程度-观察到 b j 后 对 ai 保留的不确定性/无知程度 2、 b j 给定后关于 ai 不确定性减少的程度