近似熵论文摘抄综述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(r) = (r)[m=2]反映全曲线上两点相连而成的各线段在相似容限等于 其模式互相近似的频繁程度（但 ）。同理， (r)[m+1=3]则是全曲线上相邻三点连成的各线段在相似容限等于 其模式互相近似的频繁程度。
ApEn[m=2,r]= (r)- 是该曲线两相邻点连成的线段其模式互相近似的‘概率’与三相邻点连成的折线段其模式近似的‘概率’之差；它反映当维数m由2增至3时产生新模式可能性的大小。ApEn愈大，说明产生新模式的机会愈大，因此该曲线愈复杂。
近似熵实际上是在衡量当维数变化时该时间序列中产生新模式的概率的大小，产生新模式的概率越大，序列就越复杂，对应的近似熵也就越大，序列就越复杂，对应的近似熵也就越大。
ApEn反映了时间序列在模式上的自相似程度，即序列在m维情况下两点组成的模式间的近似程度，以及当维数变化时，产生新模式的可能性大小以及时间序列中新信息的发生率。ApEn值越大，说明产生新模式的几率越大，序列越复杂，系统的可预测性越差。它给出新模式发生率随维数而增减的情况，从而反映数据在结构上的复杂性。
近似熵
【仅供参考】
1、近似熵的提出
近似熵是在K熵的基础上提出的，但是与K熵相比,近似熵的优点在于:有更好的抗干扰和噪声的能力,尤其是抗瞬态干扰能力;利用相对短的数据就能够得到稳定的估计值;同时适用于随机信号和确定性信号以及由两者组成的混合信号。
近似熵（ApEn, Approximate Entropy）是由Pincus于1991年提出的一种度量序列的复杂性和统计量化的非线性动力学参数。
近似熵存在自匹配的问题,且其计算严重依赖于数据的长度。
但是ApEn对数据长度十分敏感，当数据点总个数较少时，经常会给出不合理的偏小估计值；当m和r变化时，它在区分信号上缺乏一致性。
下面我们结合图1、图2说明近似熵的含义。如图1，对于m=2，向量X(i)=[ u(i), u(i+1) ]相当于图上相邻两点数据连成的线段。例如当i=8时，以X(8)为参考，我们规定阈值r，相当于限定了两个如图1所示的阴影区域Ⅰ和Ⅱ，如果其他线段的首尾两点对应的落在区域Ⅰ和Ⅱ中，表示它在相似容限r的意义下与X（8）相似，则该线段成为入选模式（如图1中的X（15）、X（19）、X（24）。M增加1（m=3）时，我们要求连续三点连成的折线在相似容限r的意义下近似，实际上只要在m=2时的入选模式X（15）、X（19）、X（24）种再检查新引入的一点是否落在如图2所示的阴影区域Ⅱ中（如图2中的X（15）、X（9））。
实际上，当N足够大时，上式可近似为
ApEn(m,r)=-
3、参数的分析
(r)[m=2]反映曲线上相邻两点连成的所有线段中其模式与X(i)=[x(i),x(i+1)]组成的线段相近似（在相似容限为 ）出现的频繁程度（当N较大时，它也就是此出现频率的近似值）。同理 (r)[m=3]反映同意曲线上相邻三点连成的所有线段中其模式与X(i)=[x(i),x(i+1),x(i+2)]三点连成的线段相近似（在相似容限为 ）出现的近似概率。
(r)= {[ d[X(i) , X(j) ] }，i=1,2,…N-m
(r) = (r)
理论上此序列的近似熵为：
ApEn(m,r)= (r) - (r) ]
一般言之，此极限值以概率1存在。当N为有限值时按上述步骤得出的是序列长度为N时ApEn的估计值。记作：
ApEn(m,r,N)= (r)- (r)
近似熵并不是严格意义上的熵，它大致相当于某种条件概率，即在m维相空间距离小于相似容限r的范围内，如果跑出此范围的数目较多，则ApEn值较大，表示维数由m增至m+1时产生新模式的可能性较大，即序列越复杂。
由此可知近似熵可以理解为：
-ApEn（m,r）={在|(u(i+k)-u(j+k)| r(k=0 m-1)的条件下，
为了避免计算中log(0)的出现，ApEn在比较相似数据段的计数中包含了自身数据段的比较，这就导致了ApEn是有偏差的。它包含两层含义：
（1）ApEn的值是与数据长度有关的，对短记录ApEn值明显比期望值小。
（2）一致性差,即如一时间序列比另一时间序列有较高的ApEn值的话,那对于其它的m和r值,也应具有较高的ApEn值,但ApEn不一定满足。
关于参数r需要牢记一点是，它通常用数据的SD（标准差）的百分比表示，因此近似熵是一种标度不变的方法。我们定义B为维数m时序列自相似的概率，A为维数m+1时序列自相似的概率，于是条件概率CP=A/B。从近似熵的算法可以看出，近似熵是以-log(CP)为计算模型，并计算所有该模型的平均值。为避免log(0)的出现，可知A和B都不应为0，作为修正，CP应定义为(A+1)/(B+1)。为保证这一点，在近似熵的定义中存在着对自身数据段的比较，但这显然与新信息的观点不相容，必然存在偏差。这种偏差也是导致它对微小的复杂性变化不灵敏的原因。事实上，即便如此，当A、B过小，匹配数目过少，接近CP=1，ApEn=0时便出现较大的误差。
（3）给定相似容限r，对每一个i值统计d[X(i),X(j)]小于r的数目及此数目与距离总数N-m+1的比值，记作 (r)，即：
(r) = {[ d[X(i) , X(j) ] }，i=1,2,…N-m+1
（4）先将 (r)取对数，再求其对所有i的平均值，记作
(r) = (r)
（5）再把维数加1，变成m+1,重复步骤（1）-（4），得 (r)和 (r)
（2）定义X(i)与X(j)间的距离d[X(i) ,X(j) ]为两者对应元素中差值最大的一个，即：
d[ X(i), X(j) ]=max
（此时X（i），X（j）中其他对应元素间差值自然都小于d）。并对每一个i值计算X（i）与其余矢量X(j) (j=1, 2, … , N-m+1)的距离d[X(i), X(j) ].
|(u(i+m)-u(j+m)| r的对数条件概率的均值}
这表明近似熵的计算实际上实在确定一个时间序列的模式上的自相似程度有多大，从另一个角度讲，近似熵反映当序列相邻的m个点所连成的折线段其模式互相近似的概率由m+1个点所连成的折线段其模式相互近似的概率之差，因而反映当维数由m增加到m+1时产生新模式可能性的大小。
【参考文献】
金红梅.近似熵对气候突变检测的适用性研究[D].兰州：兰州大学,2013.
2、近似熵的算法流程
设原始数据为x(1), x(2), … , x(N),共N点。（m和r是预先给定的参数，m是嵌入维数，r是相似容限，也称滤波水平）
（1）按序号连续属性组成一组m维矢量:
X(i)=[ x(i), x(i+1), … , x(i+m-1) ],i=1, 2, … , N-m+1
【参考文献】洪波,唐庆生等.近似熵、互近似熵的性质、快速算法及其在脑电与认知研究中的初步应用[J].信号处理,1999,15(2):100-108
ApEn[m=2,r]= (r)- 是该曲线两相邻点连成的线段其模式互相近似的‘概率’与三相邻点连成的折线段其模式近似的‘概率’之差；它反映当维数m由2增至3时产生新模式可能性的大小。ApEn愈大，说明产生新模式的机会愈大，因此该曲线愈复杂。
近似熵实际上是在衡量当维数变化时该时间序列中产生新模式的概率的大小，产生新模式的概率越大，序列就越复杂，对应的近似熵也就越大，序列就越复杂，对应的近似熵也就越大。
ApEn反映了时间序列在模式上的自相似程度，即序列在m维情况下两点组成的模式间的近似程度，以及当维数变化时，产生新模式的可能性大小以及时间序列中新信息的发生率。ApEn值越大，说明产生新模式的几率越大，序列越复杂，系统的可预测性越差。它给出新模式发生率随维数而增减的情况，从而反映数据在结构上的复杂性。
近似熵
【仅供参考】
1、近似熵的提出
近似熵是在K熵的基础上提出的，但是与K熵相比,近似熵的优点在于:有更好的抗干扰和噪声的能力,尤其是抗瞬态干扰能力;利用相对短的数据就能够得到稳定的估计值;同时适用于随机信号和确定性信号以及由两者组成的混合信号。
近似熵（ApEn, Approximate Entropy）是由Pincus于1991年提出的一种度量序列的复杂性和统计量化的非线性动力学参数。
近似熵存在自匹配的问题,且其计算严重依赖于数据的长度。
但是ApEn对数据长度十分敏感，当数据点总个数较少时，经常会给出不合理的偏小估计值；当m和r变化时，它在区分信号上缺乏一致性。
下面我们结合图1、图2说明近似熵的含义。如图1，对于m=2，向量X(i)=[ u(i), u(i+1) ]相当于图上相邻两点数据连成的线段。例如当i=8时，以X(8)为参考，我们规定阈值r，相当于限定了两个如图1所示的阴影区域Ⅰ和Ⅱ，如果其他线段的首尾两点对应的落在区域Ⅰ和Ⅱ中，表示它在相似容限r的意义下与X（8）相似，则该线段成为入选模式（如图1中的X（15）、X（19）、X（24）。M增加1（m=3）时，我们要求连续三点连成的折线在相似容限r的意义下近似，实际上只要在m=2时的入选模式X（15）、X（19）、X（24）种再检查新引入的一点是否落在如图2所示的阴影区域Ⅱ中（如图2中的X（15）、X（9））。
实际上，当N足够大时，上式可近似为
ApEn(m,r)=-
3、参数的分析
(r)[m=2]反映曲线上相邻两点连成的所有线段中其模式与X(i)=[x(i),x(i+1)]组成的线段相近似（在相似容限为 ）出现的频繁程度（当N较大时，它也就是此出现频率的近似值）。同理 (r)[m=3]反映同意曲线上相邻三点连成的所有线段中其模式与X(i)=[x(i),x(i+1),x(i+2)]三点连成的线段相近似（在相似容限为 ）出现的近似概率。
(r)= {[ d[X(i) , X(j) ] }，i=1,2,…N-m
(r) = (r)
理论上此序列的近似熵为：
ApEn(m,r)= (r) - (r) ]
一般言之，此极限值以概率1存在。当N为有限值时按上述步骤得出的是序列长度为N时ApEn的估计值。记作：
ApEn(m,r,N)= (r)- (r)
近似熵并不是严格意义上的熵，它大致相当于某种条件概率，即在m维相空间距离小于相似容限r的范围内，如果跑出此范围的数目较多，则ApEn值较大，表示维数由m增至m+1时产生新模式的可能性较大，即序列越复杂。
由此可知近似熵可以理解为：
-ApEn（m,r）={在|(u(i+k)-u(j+k)| r(k=0 m-1)的条件下，
为了避免计算中log(0)的出现，ApEn在比较相似数据段的计数中包含了自身数据段的比较，这就导致了ApEn是有偏差的。它包含两层含义：
（1）ApEn的值是与数据长度有关的，对短记录ApEn值明显比期望值小。
（2）一致性差,即如一时间序列比另一时间序列有较高的ApEn值的话,那对于其它的m和r值,也应具有较高的ApEn值,但ApEn不一定满足。
关于参数r需要牢记一点是，它通常用数据的SD（标准差）的百分比表示，因此近似熵是一种标度不变的方法。我们定义B为维数m时序列自相似的概率，A为维数m+1时序列自相似的概率，于是条件概率CP=A/B。从近似熵的算法可以看出，近似熵是以-log(CP)为计算模型，并计算所有该模型的平均值。为避免log(0)的出现，可知A和B都不应为0，作为修正，CP应定义为(A+1)/(B+1)。为保证这一点，在近似熵的定义中存在着对自身数据段的比较，但这显然与新信息的观点不相容，必然存在偏差。这种偏差也是导致它对微小的复杂性变化不灵敏的原因。事实上，即便如此，当A、B过小，匹配数目过少，接近CP=1，ApEn=0时便出现较大的误差。
（3）给定相似容限r，对每一个i值统计d[X(i),X(j)]小于r的数目及此数目与距离总数N-m+1的比值，记作 (r)，即：
(r) = {[ d[X(i) , X(j) ] }，i=1,2,…N-m+1
（4）先将 (r)取对数，再求其对所有i的平均值，记作
(r) = (r)
（5）再把维数加1，变成m+1,重复步骤（1）-（4），得 (r)和 (r)
（2）定义X(i)与X(j)间的距离d[X(i) ,X(j) ]为两者对应元素中差值最大的一个，即：
d[ X(i), X(j) ]=max
（此时X（i），X（j）中其他对应元素间差值自然都小于d）。并对每一个i值计算X（i）与其余矢量X(j) (j=1, 2, … , N-m+1)的距离d[X(i), X(j) ].
|(u(i+m)-u(j+m)| r的对数条件概率的均值}
这表明近似熵的计算实际上实在确定一个时间序列的模式上的自相似程度有多大，从另一个角度讲，近似熵反映当序列相邻的m个点所连成的折线段其模式互相近似的概率由m+1个点所连成的折线段其模式相互近似的概率之差，因而反映当维数由m增加到m+1时产生新模式可能性的大小。
【参考文献】
金红梅.近似熵对气候突变检测的适用性研究[D].兰州：兰州大学,2013.
2、近似熵的算法流程
设原始数据为x(1), x(2), … , x(N),共N点。（m和r是预先给定的参数，m是嵌入维数，r是相似容限，也称滤波水平）
（1）按序号连续属性组成一组m维矢量:
X(i)=[ x(i), x(i+1), … , x(i+m-1) ],i=1, 2, … , N-m+1
【参考文献】洪波,唐庆生等.近似熵、互近似熵的性质、快速算法及其在脑电与认知研究中的初步应用[J].信号处理,1999,15(2):100-108