信息的度量
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
N
( 9)
其中, Rxi 1 , R (x )与Δf , T, 采样次序以及语义内容有关。非各态历经过程
i 1
特性的信息采样序列的总信息量为: I= N lb1 /R (x ) ( 10)
3.信息的语用学度量(P ragmatics measure ofinformation)
信息的语用学度量是信息主体(宿主)所关心的有效使用的度量或效用指标。 本节论述有概率特性的信息—知识的语用学度量和非各态历经过程的语用学度 量。
H P xi lbP xi
i 1 i 1
n
n
P xi lb1
P xi
( 3)
熵由德国物理学家Rudo lf C lau sius提出, 并应用在热力学中。 香农第一次将 熵的概念引入信息论。在信息论中, 熵表明事件的混乱程度, 与热力学中的分子 运动类似, 但这两种熵机理完全不同。在信息论中, 熵还表明信息平均不确定性 的度量。
2.信息的语义学度量( Semanticsmeasure of information)
自然语言可以是词汇、短语、句子或篇章等不同级别的语言单位。本节主要 论述信息的语义学对词汇、短语和句子的内容、意思和意义的信息度量。词汇一 般采用将接收到信息与词汇库进行比较得到语义学信息量Is= CVd。 其中, C 为内 容系数; V d为处理数据的容量。短语和句子的内容、意思和意义的信息度量较复 杂, 有些具有惊奇性、概率特性、模糊特性和可能性等特征。
不确定性, 即H (λ)= H (x )。 H (λ)上限: H (λ)= 0, 当T= U= 1时, 熵最大; H (λ)下限: H (λ)→ - ∞, 当T及U很大时, 熵最小。 考虑到实用性, 取T= U= 12, 则H m in (λ)= - 32. 319 2。定义关于λ的知识量为:
K 1
信息的度量
借用语言学术语将信息的度量分为语法学、语义学和语用学 3 种度量。
1. 信息的语法学度量(Grammar measure of information)
用于信息源和信息传输的研究和实现, 主要研究表示信息的载体、表示、传 输和处理速度以及符号组成和排列等规律, 而不考虑信息的意思和意义。通信理 论和控制论专家及学者在该方面做出了较大贡献, 如香农和维纳等。提出了信息 的语法学度量—信息量和熵等概念。在信息中, 符号的组成和排列认为是随机事 件。信息的主体认为事件出现具有不确定性或不定性(U nce rtain ty ), 可用概率 表示。
其中, J ( y )为欧拉伽码函数的1阶导数。
H x H 0 x 1 f x ln f x dx
1 0
（12）
B p, q
p q p q
（13）
可以认为, 当前时间敌方剩余导弹到达比例x的不确定性等效于估计到达率λ的
1 x A _ A x 0 x A
( 8)
如公安部门得到嫌疑人信息是青年和中等个。青年和中等个是模糊集范畴, 可请有经验的专家和操作人员绘制隶属度曲线, 如图1所示, 以判断嫌疑人的年 龄和身高。
图1
隶属度曲线示意图
4) 非各态历经过程特性的信息语义学度量 非各态历经过程特性的信息 , 采样语义学度量与按采样定理每个采样函数 值xi ( t)的内容、意思和意义有关。设非各态历经过程特性的信息的内容、意思 和意义的可能性为R ( x ), 则非各态历经过程特性的信息采样语义学度量的信息 量为: I = - lbR ( x ) = lb1 /R ( x )
( 4)
上述3种过程特性的信息采样序列总语法学信息量为:
I lb 2fT NlbN
i 1
N
( 5)
非各态历经平稳随机过程、 非平稳随机过程和突发过程特性的信息采样序列 的采样平均信息量—熵(单位: b /采样)为:
H lb 2fT lbN
( 6)Βιβλιοθήκη Baidu
其中每个采样出现的可能性一样。 当信息属各态历经平稳随机过程特性的信 息时, 式( 4)中的N =1 /P (x )= M, 此时式 ( 4)适用于各态历经平稳随机过程特性 的信息, 即与香农信息量一致。
( 15)
其中, Q X i 1 , Q ( x )与Δf , T, 采样次序以及语用内容有关。 非各态历经过程
i 1
特性的语用学度量信息采样序列的总信息量为:
I Nlb1
Qx
( 16)
F k xt e ikt dt T 2 xt e ikt dt
2 T
因 F (k) 一 般 为 复 数 , 角 频 率 k= 2 π f , 故 可 求 出 平 均 功 率 密 度 谱 为: S k
T 由平均功率密度谱S (k)可求出x ( t )的带宽Δf= Δk/2π。 还可采用快速傅里叶变
I lbP x1 , x2 , , xn lbP x1 lbP x2 lbP xn lbP xi lb1
i 1 i 1 n n
P xi
( 2) 其中 , P ( x 1, x2, …, xn )= P (x 1 )P (x 2 )… P (xn ), 为独立事件 x1, x 2, … , xn 的联合概率; P (x 1 ), P (x 2 ), …,P ( xn )分别为各独立事件x1, x 2, … , xn 出现 的概率。 每个事件的平均信息量称为信息的熵( Entropy, 单位: b /事件), 计算方法如下:
1.2 非各态历经过程特性的信息量和熵
香农主要研究各态历经平稳随机过程特性的信息。 香农的一些公式不适用于 非各态历经平稳随机过程特性的信息, 特别不适用于非平稳随机过程或突发过 程特性的信息。在自然界中, 气象信息和地震信息等均为非平稳随机过程或突发 过程特性的信息。 非各态历经平稳随机过程特性、非平稳随机过程特性或突发过 程特性的客体很难确定其概率分布。为实现非各态历经过程, 即非各态历经平稳 随机过程、非平稳随机过程和突发过程特性的信息的度量, 需先假设这3种过程 的时间t的函数为x ( t ),其观测时间为T。 当随机过程或突发过程连续且无断点, 利 用傅立叶变换求出过程的时间函数为x ( t )的频谱:
1) 带有惊奇性和概率特性的信息语义学度量惊奇性越大的信息往往发生概 率非常小。故对于有概率特性的信息, 其语义学度量可用惊奇性的信息发生概率 表示, 单位为b, 即:
I lbp x lb
1 lbM px
( 7)
其中, P (x )为语义内容发生概率, 而非式( 1)所表示的语法符号发生概率。 如 2036年小行星撞地球的概率为P ( x )= 1 /250 000, 其信息量为 I= - lbP (x )=21. 45 b。 2) 带有概率特性的信息语义学度量 有一些语义学信息带有概率特性, 如彩票号码等, 可以求得语义学信息量和 熵。 3) 带有模糊特性的信息语义学度量 经典集合X 称为论域(如年龄和身高), 其一般元素x 在经典集合X 的子集A (模糊集)中的隶属度, 通常用X 的特征函数_A ( x )表示, X 的值集为{ 0, 1}, 有:
3.1 具有概率特性的信息
以具有概率特性的反导弹知识为例, 为有效指挥控制反导作战, 对来袭导弹 的到达率搜集信息并处理, 获得所需信息(知识, 如来袭导弹到达率),以得到最有 效作战决策。广义的信息包括知识, 知识是信息的高级发展。假设导弹防御决策 所需的相对知识为在j 时间段单位时间内来袭导弹的到达比例, 需求其熵和知识 量。 设x 为在j 时间段单位时间内来袭导弹的比例,即x= h/q。 其中, h为j时间段单 位时间内来袭导弹到达的数量; q为在j - 1时间段来袭导弹的剩余量,x 为随机变 量。x 的熵H ( x )表明x 的信息量。在信息论中x 的熵(单位: 奈特)表示为:
换算法, 计算带宽Δ f。按采样间隔h= 1 / ( 2Δf )进行采样(采样定理)。可得采样 数N = 2ΔfT。可以证明, N = 2ΔfT 是过程时间函数x ( t)最多的独立符号数。可 推算上述3种过程特性的信息采样序列中每个采样的语法信息量为:
F k
2
I - lb1
2fT lb2fT lbN
H H min H H min H min
（14）
其中, K (λ)为相对H m in (λ)的知识量。λ在下个时间段达到最大的情况, 即q= n (n 为敌方导弹库存总量), 在j - 1时间段以前导弹到达率一直为0, 而在j时间段 内导弹将全部到达, 有: λm ax= n /T。其中, T为时间段长度。
1.1 香农信息的信息量和熵
多个独立事件的总信息量应等于各独立事件的信息量之和 , 而多因子乘积 的对数等于各因子的对数之和。美国学者R. V. L. H a rt ly于1928年首先提出采用 出现概率的倒数之对数测度作为信息量。 信息论创始人香农把信息量的单位定为 比特(b )。事件x 出现概率为P (x )的信息量(单位: b)为: I = - lbP (x ) = lb1 /P (x ) = lbM 其中, M 表明信息最多可能出现不同事件的数量;lbM 为log2M。 多个独立事件的总信息量为: ( 1)
H x f x ln f x dx
（11）
其中, f (x )为随机变量x 出现的概率密度。由于0≤ x≤ 1, 故:
ln BT , U T 1J T J T U U 1 J U J T U
3.2 非各态历经过程特性的信息语用学度量
非各态历经过程特性的信息语用学计量与按采样定理的采样函数值xi ( t ) 的价值和效用内容有关。设非各态历经过程特性的信息价值和效用可能性为Q (x), 则非各态历经过程特性的信息采样的语用学度量信息量为:
I lbQ x lb1
N
Qx
( 9)
其中, Rxi 1 , R (x )与Δf , T, 采样次序以及语义内容有关。非各态历经过程
i 1
特性的信息采样序列的总信息量为: I= N lb1 /R (x ) ( 10)
3.信息的语用学度量(P ragmatics measure ofinformation)
信息的语用学度量是信息主体(宿主)所关心的有效使用的度量或效用指标。 本节论述有概率特性的信息—知识的语用学度量和非各态历经过程的语用学度 量。
H P xi lbP xi
i 1 i 1
n
n
P xi lb1
P xi
( 3)
熵由德国物理学家Rudo lf C lau sius提出, 并应用在热力学中。 香农第一次将 熵的概念引入信息论。在信息论中, 熵表明事件的混乱程度, 与热力学中的分子 运动类似, 但这两种熵机理完全不同。在信息论中, 熵还表明信息平均不确定性 的度量。
2.信息的语义学度量( Semanticsmeasure of information)
自然语言可以是词汇、短语、句子或篇章等不同级别的语言单位。本节主要 论述信息的语义学对词汇、短语和句子的内容、意思和意义的信息度量。词汇一 般采用将接收到信息与词汇库进行比较得到语义学信息量Is= CVd。 其中, C 为内 容系数; V d为处理数据的容量。短语和句子的内容、意思和意义的信息度量较复 杂, 有些具有惊奇性、概率特性、模糊特性和可能性等特征。
不确定性, 即H (λ)= H (x )。 H (λ)上限: H (λ)= 0, 当T= U= 1时, 熵最大; H (λ)下限: H (λ)→ - ∞, 当T及U很大时, 熵最小。 考虑到实用性, 取T= U= 12, 则H m in (λ)= - 32. 319 2。定义关于λ的知识量为:
K 1
信息的度量
借用语言学术语将信息的度量分为语法学、语义学和语用学 3 种度量。
1. 信息的语法学度量(Grammar measure of information)
用于信息源和信息传输的研究和实现, 主要研究表示信息的载体、表示、传 输和处理速度以及符号组成和排列等规律, 而不考虑信息的意思和意义。通信理 论和控制论专家及学者在该方面做出了较大贡献, 如香农和维纳等。提出了信息 的语法学度量—信息量和熵等概念。在信息中, 符号的组成和排列认为是随机事 件。信息的主体认为事件出现具有不确定性或不定性(U nce rtain ty ), 可用概率 表示。
其中, J ( y )为欧拉伽码函数的1阶导数。
H x H 0 x 1 f x ln f x dx
1 0
（12）
B p, q
p q p q
（13）
可以认为, 当前时间敌方剩余导弹到达比例x的不确定性等效于估计到达率λ的
1 x A _ A x 0 x A
( 8)
如公安部门得到嫌疑人信息是青年和中等个。青年和中等个是模糊集范畴, 可请有经验的专家和操作人员绘制隶属度曲线, 如图1所示, 以判断嫌疑人的年 龄和身高。
图1
隶属度曲线示意图
4) 非各态历经过程特性的信息语义学度量 非各态历经过程特性的信息 , 采样语义学度量与按采样定理每个采样函数 值xi ( t)的内容、意思和意义有关。设非各态历经过程特性的信息的内容、意思 和意义的可能性为R ( x ), 则非各态历经过程特性的信息采样语义学度量的信息 量为: I = - lbR ( x ) = lb1 /R ( x )
( 4)
上述3种过程特性的信息采样序列总语法学信息量为:
I lb 2fT NlbN
i 1
N
( 5)
非各态历经平稳随机过程、 非平稳随机过程和突发过程特性的信息采样序列 的采样平均信息量—熵(单位: b /采样)为:
H lb 2fT lbN
( 6)Βιβλιοθήκη Baidu
其中每个采样出现的可能性一样。 当信息属各态历经平稳随机过程特性的信 息时, 式( 4)中的N =1 /P (x )= M, 此时式 ( 4)适用于各态历经平稳随机过程特性 的信息, 即与香农信息量一致。
( 15)
其中, Q X i 1 , Q ( x )与Δf , T, 采样次序以及语用内容有关。 非各态历经过程
i 1
特性的语用学度量信息采样序列的总信息量为:
I Nlb1
Qx
( 16)
F k xt e ikt dt T 2 xt e ikt dt
2 T
因 F (k) 一 般 为 复 数 , 角 频 率 k= 2 π f , 故 可 求 出 平 均 功 率 密 度 谱 为: S k
T 由平均功率密度谱S (k)可求出x ( t )的带宽Δf= Δk/2π。 还可采用快速傅里叶变
I lbP x1 , x2 , , xn lbP x1 lbP x2 lbP xn lbP xi lb1
i 1 i 1 n n
P xi
( 2) 其中 , P ( x 1, x2, …, xn )= P (x 1 )P (x 2 )… P (xn ), 为独立事件 x1, x 2, … , xn 的联合概率; P (x 1 ), P (x 2 ), …,P ( xn )分别为各独立事件x1, x 2, … , xn 出现 的概率。 每个事件的平均信息量称为信息的熵( Entropy, 单位: b /事件), 计算方法如下:
1.2 非各态历经过程特性的信息量和熵
香农主要研究各态历经平稳随机过程特性的信息。 香农的一些公式不适用于 非各态历经平稳随机过程特性的信息, 特别不适用于非平稳随机过程或突发过 程特性的信息。在自然界中, 气象信息和地震信息等均为非平稳随机过程或突发 过程特性的信息。 非各态历经平稳随机过程特性、非平稳随机过程特性或突发过 程特性的客体很难确定其概率分布。为实现非各态历经过程, 即非各态历经平稳 随机过程、非平稳随机过程和突发过程特性的信息的度量, 需先假设这3种过程 的时间t的函数为x ( t ),其观测时间为T。 当随机过程或突发过程连续且无断点, 利 用傅立叶变换求出过程的时间函数为x ( t )的频谱:
1) 带有惊奇性和概率特性的信息语义学度量惊奇性越大的信息往往发生概 率非常小。故对于有概率特性的信息, 其语义学度量可用惊奇性的信息发生概率 表示, 单位为b, 即:
I lbp x lb
1 lbM px
( 7)
其中, P (x )为语义内容发生概率, 而非式( 1)所表示的语法符号发生概率。 如 2036年小行星撞地球的概率为P ( x )= 1 /250 000, 其信息量为 I= - lbP (x )=21. 45 b。 2) 带有概率特性的信息语义学度量 有一些语义学信息带有概率特性, 如彩票号码等, 可以求得语义学信息量和 熵。 3) 带有模糊特性的信息语义学度量 经典集合X 称为论域(如年龄和身高), 其一般元素x 在经典集合X 的子集A (模糊集)中的隶属度, 通常用X 的特征函数_A ( x )表示, X 的值集为{ 0, 1}, 有:
3.1 具有概率特性的信息
以具有概率特性的反导弹知识为例, 为有效指挥控制反导作战, 对来袭导弹 的到达率搜集信息并处理, 获得所需信息(知识, 如来袭导弹到达率),以得到最有 效作战决策。广义的信息包括知识, 知识是信息的高级发展。假设导弹防御决策 所需的相对知识为在j 时间段单位时间内来袭导弹的到达比例, 需求其熵和知识 量。 设x 为在j 时间段单位时间内来袭导弹的比例,即x= h/q。 其中, h为j时间段单 位时间内来袭导弹到达的数量; q为在j - 1时间段来袭导弹的剩余量,x 为随机变 量。x 的熵H ( x )表明x 的信息量。在信息论中x 的熵(单位: 奈特)表示为:
换算法, 计算带宽Δ f。按采样间隔h= 1 / ( 2Δf )进行采样(采样定理)。可得采样 数N = 2ΔfT。可以证明, N = 2ΔfT 是过程时间函数x ( t)最多的独立符号数。可 推算上述3种过程特性的信息采样序列中每个采样的语法信息量为:
F k
2
I - lb1
2fT lb2fT lbN
H H min H H min H min
（14）
其中, K (λ)为相对H m in (λ)的知识量。λ在下个时间段达到最大的情况, 即q= n (n 为敌方导弹库存总量), 在j - 1时间段以前导弹到达率一直为0, 而在j时间段 内导弹将全部到达, 有: λm ax= n /T。其中, T为时间段长度。
1.1 香农信息的信息量和熵
多个独立事件的总信息量应等于各独立事件的信息量之和 , 而多因子乘积 的对数等于各因子的对数之和。美国学者R. V. L. H a rt ly于1928年首先提出采用 出现概率的倒数之对数测度作为信息量。 信息论创始人香农把信息量的单位定为 比特(b )。事件x 出现概率为P (x )的信息量(单位: b)为: I = - lbP (x ) = lb1 /P (x ) = lbM 其中, M 表明信息最多可能出现不同事件的数量;lbM 为log2M。 多个独立事件的总信息量为: ( 1)
H x f x ln f x dx
（11）
其中, f (x )为随机变量x 出现的概率密度。由于0≤ x≤ 1, 故:
ln BT , U T 1J T J T U U 1 J U J T U
3.2 非各态历经过程特性的信息语用学度量
非各态历经过程特性的信息语用学计量与按采样定理的采样函数值xi ( t ) 的价值和效用内容有关。设非各态历经过程特性的信息价值和效用可能性为Q (x), 则非各态历经过程特性的信息采样的语用学度量信息量为:
I lbQ x lb1
N
Qx