信息定义随机过程定义

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
信息
[Information]∶有目的地标记在通讯系统或计算机的输入上面的信号…(如电话 号码的一个数字)
[Message]∶音信消息。
“信息”一词在英文、法文、德文、西班牙文中均是“information”,日文中为 “情报”,我国台湾称之为“资讯”,我国古代用的是“消息”。
信息定义:创建一切宇宙万物的最基本万能单位是信息。 信息,指音讯、消息、通讯系统传输和处理的对象,泛指人类社会传 播的一切内容。人通过获得、识别自然界和社会的不同信息来区别不 同事物,得以认识和改造世界。在一切通讯和控制系统中,信息是一 种普遍联系的形式。1948 年,数学家香农在题为“通讯的数学理论” 的论文中指出:“信息是用来消除随机不定性的东西”。
们称此组状态函数 为随机过程 。
定义 1 与定义 2 本质上是一致的,后者常用于做理论分析。
讨论
1.
若 t 和 x 都是变量,则随机过程是一组样本记录,可用全
部样本记录的集合描述;
2.
若 tBiblioteka Baidu是变量,而 x 是固定值,则随机过程只是一个样本记
发,它可描述为一个确定的时间函数;
3.
若 t 是固定值,而 x 是变量,则随机过程是一个随机变量,
对各态历经过程,其统计特性可用时间平均计算: 均值 μ x=E[x]=limT→∞1T∫T0x(t)dt
均方值 Ψ 2x=E[x2]=limT→∞1T∫T0x2(t)dt
方差 σ 2x=limT→∞1T∫T0[x(t)−μx]2dt
三者的关系 σ 2x=Ψ2x−μ2x
自相关分析 自相关函数
Rx(τ)=limT→∞1T�∫T0x(t)x(t+τ)dt
总体平均;二是关于时间样本点的平均,简称时间平均。
究竟采用上述哪种平均法,可根据随机变量的随机过程是否为平稳随
机过程加以确定。但不论是否为平稳过程,采用总体平均的方法总是
通用的。
(1)
该均值对平稳随机过程来说,为物理量随机信号的平均幅值,它反映
了物理量的随机信号的直流分量。
2.
随机过程的协方差函数
经济管理学家认为“信息是提供决策的有效数据”。
美国著名物理化学家吉布斯(Josiah Willard Gibbs)创立了向量分析并 将其引入数学物理中,使事件的不确定性和偶然性研究找到了一个全 新的角度,从而使人类在科学把握信息的意义上迈出了第一步。他认 为“熵”是一个关于物理系统信息不足的量度。
电子学家、计算机科学家认为“信息是电子线路中传输的信号” 。
严平稳过程太抽象了,不好研究,所以一般都研究宽平稳随机过 程,即:均值函数与时间无关为常数,自相关函数只与延迟有关。二 阶矩存在的严平稳过程一定是宽平稳过程,而宽平稳过程不一定是严 平稳过程,但对正态过程,两者是一致的。
对于一个平稳随机过程,若它的任一单个样本函数的时间平均统 计特征等于该过程的集合平均统计特征,则该过程称为各态历经过程。 各态历经随机过程中,任何一个样本必可由另外任何一个样本在时间 轴上位移一个间距 k 而获得,故各阶矩函数的时间平均可以取代集合 平均。 正态随机过程 各阶矩函数只取决于一阶与二阶矩函数。此时,正态随机过程的统计 特性只取决于一阶与二阶矩函数,若随机过程既是正态的又是宽平稳 的,则此平稳一定是严平稳的。
式中 A,K 是常数, θ 是在 [0,2π ] 上具有均匀分布的随机变量。 X(t) 是一个随机过程,称为随机相位正弦波。
由这个例子可以形象的理解随机过程:对于每一个固定的 t∈T , X(t)=Asin(Kt+θ) 是 一 个 随机 变 量;对 于 每一 个 固定 θ ∈ [0,2π] , X(t)=Asin(Kt+θ) 是一个 t 的普通函数,它是随机过程的一个样本函数, 如 X(t)=AsinKt,X(t)=Asin(Kt−π4) 等都是随机过程的样本函数,如下图 所示
谱估计:有经典法和现代法之分,经典法如周期图法,建立在快 速傅里叶变换基础上;现代法如时序模型法。
信息奠基人香农(Shannon)认为“信息是用来消除随机不确定性的 东西”,这一定义被人们看作是经典性定义并加以引用。
控制论创始人维纳(Norbert Wiener)认为“信息是人们在适应外部 世界,并使这种适应反作用于外部世界的过程中,同外部世界进行互 相交换的内容和名称”,它也被作为经典性定义加以引用。
果具有同样的效果。
几个重要的随机过程
1.
平稳随机过程
采用和或计算随机过程的一阶矩和二阶矩时,如果其结果不随给定时
刻 t 而变化,那么该随机过程就为弱平稳过程或广义平稳过程,工程
上也称之为平稳过程。
2.
强平稳过程
如果对于一个随机过程来说,除了一阶矩和二阶矩的结果外,它的无
限个高阶矩和联合矩的结果都不随给定时刻 t 而变化,那么该随机过
3.
按随机过程分布函数的特性不同分为:平稳过程、马尔
克夫过程、独立增量过程等;
4.
按有无平稳性分为:平稳随机过程和非平稳随机过程;
5.
按有无各态历经分为:各态历经随机过程和非各态历经
随机过程;
6.
按功率谱特性分为:白色过程和有色过程,宽带过程和
窄带过程。
随机过程的统计特性
1.
随机过程的均值函数
计算随机过程均值的方法有两种,一是关于总体样本点的平均,简称
3.
随机过程的方差函数
对于平稳随机过程来说,它是一种定量反映物理量随机信号脉动能量
大小的一个量。
4.
随机过程的相关函数
5.
随机过程协方差函数与相关函数之间的关系
6.
随机过程均值函数、方差函数之间的关系
均方值函数为方差函数与均值函数的平方之和,即对平稳随机过程来
说,随机信号的总体能量为直流能量与脉动能量之和。
自协方差函数 Cx(τ)=limT→∞1T∫T0{x(t)−μx}{x(t+τ)−μx}dt=Rx(τ)−μ2x
互相关函数 Rxy(τ )=limT→∞1T∫T0x(t)y(t+τ )dt
互协方差函数 Cxy(τ)=limT→∞1T∫T0{x(t)−μx}{y(t+τ)−μy}dt=Rxy(τ)−μxμy
=P{X(t1)≤x1,X(t2)≤x2,⋯,X(tn)≤xn}
=P{X(t1+τ)≤x1,X(t2+τ)≤x2,⋯,X(tn+τ)≤xn}
F(t1+τ,t2+τ,⋯,tn+τ;x1,x2,⋯,xn)
则称 {X(t),t∈T} 为严平稳的或严平稳过程。注意这里定义里的 xi 不 是上面例子图中的 xi(t) ,而是样本空间的样本(界)。
周期信号的自相关函数仍为周期函数,且两者的频率相同,但丢 掉了相角信息。同频相关,不同频不相关。自相关函数的定义就是功 率的定义。 功率谱分析
自功率谱密度函数(自谱)--自相关函数的傅里叶变换 Sx(f)=∫∞−∞Rx(τ)e−j2πfτdτ
其逆变换为 Rx(τ)=∫∞−∞Sx(f)ej2πfτdf
我国著名的信息学专家钟义信教授认为“信息是事物存在方式或运动
状态,以这种方式或状态直接或间接的表述”。(IEEE 美国纽约科学院 院士) 美国信息管理专家霍顿(F.W.Horton)给信息下的定义是:“信息是为 了满足用户决策的需要而经过加工处理的数据。”简单地说,信息是 经过加工的数据,或者说,信息是数据处理的结果。 根据对信息的研究成果。科学的信息概念可以概括如下: 信息是对客观世界中各种事物的运动状态和变化的反映,是客观事物 之间相互联系和相互作用的表征,表现的是客观事物运动状态和变化 的实质内容。
可以看到, Xt(ω ) 是 t 和 ω 的二元函数,可记为 X(t,ω ):t∈ T,ω ∈Ω 。对于固定的 t∈T ,它是一个随机变量,工程上称之为随 机过程在时刻 t 的状态;对于固定的 ω ∈Ω ,它是一个 t 的普通 函数,工程上称之为随机过程的一个样本函数或一个实现。
如下面的例子,设 X(t)=Asin(Kt+θ ),t∈[0,+∞]
以上两个公式成为维纳-辛钦公式。 自谱与幅值谱之间的关系:
Sx(f)=limT→∞1T|X(f)|2
利用此式可以对时域信号直接做傅里叶变换来计算功率谱。 互功率谱密度函数(互谱)--互相关函数的傅里叶变换
Sxy(f)=∫∞−∞Rxy(τ)e−j2πfτdτ
其逆变换为 Rxy(τ)=∫∞−∞Sxy(f)ej2πfτdf
信号[Signal]是运载消息的工具,是消息的载体。从广义上讲,它包含 光信号、声信号和电信号等。按照实际用途区分,信号包括电视信号、 广播信号、雷达信号,通信信号等;按照所具有的时间特性区分,则 有确定性信号和随机性信号等。
随机过程定义[1]
1.
设随机试验的样本空间为 ,对于空间的每一个样本 ,
总有一个时间函数 与之对应,而对于空间的所有样本 ,可有一组时
间函数 与其对应,那么,此时称此组时间函数 为随机过程 。
2.
对于某一固定时刻 , 为时间函数在 时 的状态,它是
一个随机变量,它的样本空间为 。如果把该状态样本空间描述为状
态函数的形式,那么我们依赖于时刻 t 就有一组这样的状态函数,我
随机过程特别要注意的就是几个概念:随机变量(固定 t 的 Xt(ω ) )、样本空间( Ω ={ω } ),样本函数(固定 ω Xt(ω ) )。注 意样本函数形成的是样本函数空间。 随机信号的特点 具有不能被预测的瞬时值(每一时刻的值只是一次实验的样本而已); 不能用解析的时域模型来加以描述(比如时间序列模型建模,这个模 型是由白噪声激励的,是系统的模型而不是信号的模型); 能由它们的统计和频谱的特性加以表征。
程就为强平稳过程。
3.
非平稳过程
在采用和或求取随机过程的一阶矩和二阶联合矩时,只要它们的结果
中有一个随给定时刻 t 而变化,那么该随机过程就为非平稳过程。
4.
各态历经过程
对于在可能控制的相同实验条件下所有样本记录来说,如果它们每一
个样本记录都包含相同的随机现象的特征信息,则可称该随机现象的
随机过程为各态历经的。显然,对“各态历经”过程的随机信号来说,
它只是全部样本记录中某个固定时刻的点集合;
4.
若 t 和 x 都是固定值,则随机过程是确定值。
显然,只有(1)才反映一个随机变量的完整的随机过程,其他都只
是随机过程的一个样本或样点。
随机过程分类[1]
1.
按时间和状态是否连续分为:连续型随机过程、离散型
随机过程、连续随机序列、离散随机序列;
2.
按样本函数形式分为:不确定随机过程和确定随机过程;
无需采用总体平均这一方法获取信号的平均值,而只需取一个单个样
本作时间平均即可。工程上,一般可以将一个平稳的随机过程看成是
“各态历经”的。
随机过程复习
发表于 2013 年 4 月 8 日由了凡春秋 USTC 定义 设 E 是随机试验, Ω={ω} 是它的样本空间, T={t}⊂R 是一个
参数。若对每一个 t∈T ,都有一个随机变量 Xt=Xt(ω) 与之对应, 则称随机变量族 Xt(ω):t∈T 为一个随机过程。
对于随机过程常用的统计特征参数,如均值、方差、概率密度函 数等,均是按照集合平均来计算的,即集中在某一时刻的所有样本函 数的观测值取平均,如均值 μ x(t1)=limN→∞1N∑i=1Nxi(t1)
随机过程的分类
平稳随机过程 过程的统计特性不随时间的平移而变化,或不随时间原点的选取
而变化的过程。严格地说便是:如果对任意有限个 t1,t2,⋯,tn∈T 和 任意的实数 τ ,当 t1+τ,⋯,tn+τ∈T 时,有 F(t1,t2,⋯,tn;x1,x2,⋯,xn)
7.
单个样本记录的时间平均
时间平均是一种针对“各态历经”过程的随机信号统计特征的平均方
法。它只需要一个样本记录 ,并从中获取随机信号的统计特征。值
得一提的是,由于物理现象中大多数参变量的信号为平稳过程,并可
将它们近似为各态历经的,所以工程中对于获取有关平稳过程随机信
号的统计特性常采用时间平均法。
对于一个平稳随机过程来说,信号的时间平均结果应与总体平均的结
相关文档
最新文档