分层FDR阈值滤波算法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
M 数的个数; q 是给定的错判率)的 p jk 中下标 i 最大的一个 pi
记为 pi0 ; (4)使用 pi0 计算阈值 ti0 ; (5) ti0 作为阈值,对所有的系数阈值化处理。 显然由小波分解过程可知这个阈值 ti0 相对于第 1 层及靠
近第 1 层的系数有些偏大,相对于第 m 层及靠近第 m 层的系
数有些偏小。故用这一个阈值去阈值化处理所有的系数,势
必会引起较大的偏差。又由于信号的重构:根据小波分解的
最底层近似系数(低频系数)和各层细节系数(高频系数)进行
重 构 。 即 若 进 行 m 层 分 解 后 , 重 构 过 程 则 只 需 要 cAm ,
cDm , cD(m −1) , cD(m − 2) , " , cD3 , cD2 , cD1 ,这些系数进行
3 分层 FDR 阈值滤波
3.1 分层 FDR 阈值滤波原理 假设对含噪信号 f 进行 m 层小波分解,分解过程如下: 第 1 步 由含噪信号 f 产生 2 个系数集:第 1 层近似系
数(低频系数) cA1 和第 1 层细节系数(高频系数) cD1 。 第 2 步 使用相同的框架将近似系数 cA1 分解成 2 个部
从上面的算法中可以看出改进后分层进行的 FDR 多假 设检验,同 FDR 相比最大的区别是对最底层低频系数和各层 高频系数分别进行多假设检验,进而在各层分别确定阈值。 由于在多假设检验过程中要对系数的双边概率排序,从而必 须考虑排序时间的复杂度,以冒泡排序为例:假设对含噪信 号进行 m 层分解,所有层共有 n 个系数,则 FDR 时间复杂 度 为 O(n2) ; 而 分 层 进 行 的 FDR 的 时 间 复 杂 度 为
1 概述
由于信号在采集、量化、压缩、编码和传输的过程中, 不可避免地会混有噪声,因此,对信号处理前,需要先进行 滤波处理以滤除噪声。文献[1-2]在小波变换的基础上,提出 阈值滤波,该方法在滤波方面得到广泛应用。在阈值滤波算 法中,阈值选取直接影响滤波效果,目前已有通用阈值、极 小化风险阈值和假设检验等确定阈值的方法。虽然在理论上
Layered FDR Threshold Filtering Algorithm
LI Li-jing, HUANG Yong-dong
(Institute of Information and System Science, North University for Nationalities, Yinchuan 750021, China)
【Abstract】Based on the FDR threshold filtering algorithm, a layered FDR threshold filtering algorithm is put forward. Through respectively making multiple hypotheses testing to the low frequency coefficients at the last level and the high frequency coefficients at other levels, multiple threshold values are obtained. The gained threshold values are taken as the criterion at the individual level. Simulation results for signals of heavysine, bumps, doppler, blocks show the proposed threshold algorithm is better than universal threshold, FDR and free distributed FDR threshold filtering algorithm in signal to noise ratio, relative error and so on. It has higher practical value. 【Key words】filtering; wavelet; threshold; hypotheses test; false discovery rate; layered DOI: 10.3969/j.issn.1000-3428.2011.01.065
检验 Hk :θlk = 0 ,
pk
=
2(1− φ(|n θk |)) 。 σ
(5)对 pk 进行排序,即 p(1) ≤ p(2) ≤" ≤ pM ,每个 p(i) 对 应的小波系数为 θlk 。
(6)从
i
= 1 开始,设最大的
i
对应
p( i )
≤( i M
)q
为
i0
(若找不
到满足条件的
i
,取
i0 =1),计算
Baidu Nhomakorabea频率有如下大小关系:
cD1 > cA1 > cD2 > cA2 > " > cA(m −1) > cDm > cAm
而在 FDR 算法中: (1)对所有层的每一个小波系数 θmjk 计算其双边概率 p jk ,
检验 H jk : θmjk = 0 ;
(2)对所有小波系数的双边概率 p jk 进行排序; (3)找出满足不超过给定条件 ( i )q (其中, M 是小波系
重构。而这些系数间存在明显差异,由分解过程可得其频率
大小关系如下:
cD1 > cD2 > " > cD(m − 2) > cD(m −1) > cDm > cAm
因此,本文对这些系数分别在各自层上通过控制滤波后所保
留系数的错判率来进行多假设检验,进而在各自层上分别确
定出各自层上的阈值。记第 m 层近似系数和第 m , m −1 , m − 2 ,
证明并找到最优通用阈值:t = σ 2ln N ,但在应用中效果并 不理想,而且阈值选取依赖噪声方差,需要事先估计噪声方 差。阈值处理过程可看作一个多假设检验过程,文献[3]在多 假设检验过程中引入了错判率(false discovery rate),并在给定 错判率的前提下计算出阈值,最后给出 FDR 阈值滤波方法。 此方法具有灵活性,且可从本质上解释通用阈值依赖信号长 度的原因。由于 FDR 算法是对所有小波系数进行多假设检 验,最终确定唯一一个阈值,但小波变换后不同层上系数差 异较大,仅确定一个阈值则会出现较大偏差,势必影响滤波 效果。文献[4]提出自由分布式 FDR 阈值滤波算法,但其滤波 原理等同 FDR 算法。为克服 FDR 算法中的缺点,本文提出 分层 FDR 阈值滤波算法。
分,即第 2 层的近似系数 cA2 和第 2 层的细节系数 cD2 。 …… 第 m 步 用相同的框架将近似系数 cA(m −1) 分解成 2 个
基金项目:国家自然科学基金资助项目(10961001);教育部科学技术 研究基金资助重点项目(209152);宁夏自然科学基金资助项目(NZ 0846) 作者简介:李丽婧(1985-),女,硕士研究生,主研方向:小波分析, 信息处理;黄永东,教授、博士 收稿日期:2010-09-15 E-mail:lilijing123456789@126.com
步骤 2 对分解后的系数阈值量化。对各尺度下的系数选 择一个阈值进行阈值量化,得到阈值化后的小波系数 θmjk 。
步骤 3 使用阈值化的小波系数 θmjk 进行小波重构得到滤 波后的信号。根据小波分解的最底层的低频系数和各层的高 频系数进行小波重构。
在这 3 个步骤中,最关键的是如何选取阈值以及进行阈 值量化。在某种程度上,它关系到信号滤波质量。
别为: cam, cdm, cd (m −1), cd (m − 2),", cd3, cd 2,cd1 ,最后根据
cam, cdm, cd (m −1), cd (m − 2),", cd3, cd 2,cd1 重构原信号。
3.2 分层 FDR 阈值滤波算法 分层 FDR 阈值滤波算法过程如下:
(1)记原始信号为 g ,噪声为 ε ,含噪信号为 f ,选用合
第 37 卷 第 1 期 Vol.37 No.1
计算机工程 Computer Engineering
2011 年 1 月 January 2011
·人工智能及识别技术·
文章编号:1000—3428(2011)01—0187—03 文献标识码:A
分层 FDR 阈值滤波算法
中图分类号:TP911.7
李丽婧,黄永东
小波系数幅值随尺度变化的趋势不同。随尺度增加,噪声系
数的幅值很快衰减为 0,而真实信号系数的幅值基本不变,
因此在小波变换域可以通过对小波系数进行切削、缩小幅度 等非线性处理,达到滤除噪声的目的。其具体步骤如下:
步骤 1 对含噪信号 f 进行小波分解。选择一个小波并确 定分解层数进行分解计算,得到各层小波系数 θ jk 。
m − 3 , " , 3, 2,1 层的细节系数分别如下:
cAm, cDm, cD(m −1),cD(m − 2),",cD3, cD2,cD1
且记上述各层阈值分别为:
tAmi0 , tDmi0 , tD(m−1)i0 , tD(m−2)i0 ,", tD2i0 , tD1i0 最后对第 m 层近似系数以及第 m , m −1 , m − 2 , m −3 , " ,
188
计算机工程
2011 年 1 月 5 日
部分,即第 m 层的近似系数 cAm 和第 m 层的细节系数 cDm ,
这样含噪信号 f 在第 m 层的分解结构为:
[cAm,cDm,cD(m −1), cD(m − 2),", cD3,cD2, cD1]
由上述分解过程可以看出各层系数间存在明显差异,其
适的小波对含噪信号 f 进行 m 层分解。
(2)提取第 m 层的近似系数(低频系数) cAm 。
(3)分别提取第 1 , 2 , " , m 层的细节系数(高频系数) cD1 ,
cD2 , " , cDm 。
(4)对系数向 量 cAm 中的每个小 波 系数 θlk (k = 1, 2,", M )
(其中,M = length(cAm) ),计算其双边概率 pk (k = 1, 2,", M ) ,
3, 2, 1 层 细 节 系 数 分 别 以 tAmi0 , tDmi0 , tD(m−1)i0 , tD(m−2)i0 ,", tD2i0 , tD1i0 作为各层上相应阈值分别阈值化处理。记第 m 层近似系数和
第 m , m −1 , m − 2 , m − 3 , " , 3, 2,1 层细节系数阈值化处理后分
2 小波阈值滤波原理
首先建立小波滤波的数学模型[5],假设观测数据
fi = gi + εi ;i = 1, 2,", N (N = 2n )
(1)
由 真 实 信 号 gi 和 加 性 噪 声 εi 组 成 , 其 向 量 形 式 表 示 为
f = g+ε 。
由于信号和噪声在小波域中有不同的性态表现,它们的
(北方民族大学信息与系统科学研究所,银川 750021)
摘 要:在已有的 FDR 滤波算法基础上,提出一种分层 FDR 阈值滤波算法。该算法对小波分解后最底层的低频系数和各层的高频系数分 别进行多假设检验,并确定出多个阈值,分别进行阈值化处理。对 heavysine, bumps, doppler, blocks 信号进行仿真实验,结果表明,该分层 FDR 阈值滤波算法在信噪比、相对误差等方面均优于通用阈值算法、FDR 算法及自由分布式 FDR 算法,具有较高的实用价值。 关键词:滤波;小波;阈值;假设检验;错判率;分层
tD1i0 , tD2i0 , " , tDmi0 。 (9)分别以 tD1i0 , tD2i0 , tD3i0 , " , tDmi0 作为阈值,分别对系数
向量 cD1 , cD2 , " , cDm 中的每个小波系数进行阈值化处理。
(10)使用阈值化处理后的第 m 层的近似系数和处理后的
第 m , m −1 , m − 2 , " , 2,1 层的细节系数重构原始信号。
t Ami0
= σφ −1(1−
pi0 2
)
。
(7)以 tAmi0 作为阈值,对系数向量 cAm 中的每个小波系数
进行阈值化处理。
(8) 分 别 对 第 1,2, " , m 层 的 细 节 系 数 向 量 cD1 , cD2 ,
" , cDm 中 的 每 个 小 波 系 数 进 行 (4)~(6)的 处 理 , 分 别 计 算
记为 pi0 ; (4)使用 pi0 计算阈值 ti0 ; (5) ti0 作为阈值,对所有的系数阈值化处理。 显然由小波分解过程可知这个阈值 ti0 相对于第 1 层及靠
近第 1 层的系数有些偏大,相对于第 m 层及靠近第 m 层的系
数有些偏小。故用这一个阈值去阈值化处理所有的系数,势
必会引起较大的偏差。又由于信号的重构:根据小波分解的
最底层近似系数(低频系数)和各层细节系数(高频系数)进行
重 构 。 即 若 进 行 m 层 分 解 后 , 重 构 过 程 则 只 需 要 cAm ,
cDm , cD(m −1) , cD(m − 2) , " , cD3 , cD2 , cD1 ,这些系数进行
3 分层 FDR 阈值滤波
3.1 分层 FDR 阈值滤波原理 假设对含噪信号 f 进行 m 层小波分解,分解过程如下: 第 1 步 由含噪信号 f 产生 2 个系数集:第 1 层近似系
数(低频系数) cA1 和第 1 层细节系数(高频系数) cD1 。 第 2 步 使用相同的框架将近似系数 cA1 分解成 2 个部
从上面的算法中可以看出改进后分层进行的 FDR 多假 设检验,同 FDR 相比最大的区别是对最底层低频系数和各层 高频系数分别进行多假设检验,进而在各层分别确定阈值。 由于在多假设检验过程中要对系数的双边概率排序,从而必 须考虑排序时间的复杂度,以冒泡排序为例:假设对含噪信 号进行 m 层分解,所有层共有 n 个系数,则 FDR 时间复杂 度 为 O(n2) ; 而 分 层 进 行 的 FDR 的 时 间 复 杂 度 为
1 概述
由于信号在采集、量化、压缩、编码和传输的过程中, 不可避免地会混有噪声,因此,对信号处理前,需要先进行 滤波处理以滤除噪声。文献[1-2]在小波变换的基础上,提出 阈值滤波,该方法在滤波方面得到广泛应用。在阈值滤波算 法中,阈值选取直接影响滤波效果,目前已有通用阈值、极 小化风险阈值和假设检验等确定阈值的方法。虽然在理论上
Layered FDR Threshold Filtering Algorithm
LI Li-jing, HUANG Yong-dong
(Institute of Information and System Science, North University for Nationalities, Yinchuan 750021, China)
【Abstract】Based on the FDR threshold filtering algorithm, a layered FDR threshold filtering algorithm is put forward. Through respectively making multiple hypotheses testing to the low frequency coefficients at the last level and the high frequency coefficients at other levels, multiple threshold values are obtained. The gained threshold values are taken as the criterion at the individual level. Simulation results for signals of heavysine, bumps, doppler, blocks show the proposed threshold algorithm is better than universal threshold, FDR and free distributed FDR threshold filtering algorithm in signal to noise ratio, relative error and so on. It has higher practical value. 【Key words】filtering; wavelet; threshold; hypotheses test; false discovery rate; layered DOI: 10.3969/j.issn.1000-3428.2011.01.065
检验 Hk :θlk = 0 ,
pk
=
2(1− φ(|n θk |)) 。 σ
(5)对 pk 进行排序,即 p(1) ≤ p(2) ≤" ≤ pM ,每个 p(i) 对 应的小波系数为 θlk 。
(6)从
i
= 1 开始,设最大的
i
对应
p( i )
≤( i M
)q
为
i0
(若找不
到满足条件的
i
,取
i0 =1),计算
Baidu Nhomakorabea频率有如下大小关系:
cD1 > cA1 > cD2 > cA2 > " > cA(m −1) > cDm > cAm
而在 FDR 算法中: (1)对所有层的每一个小波系数 θmjk 计算其双边概率 p jk ,
检验 H jk : θmjk = 0 ;
(2)对所有小波系数的双边概率 p jk 进行排序; (3)找出满足不超过给定条件 ( i )q (其中, M 是小波系
重构。而这些系数间存在明显差异,由分解过程可得其频率
大小关系如下:
cD1 > cD2 > " > cD(m − 2) > cD(m −1) > cDm > cAm
因此,本文对这些系数分别在各自层上通过控制滤波后所保
留系数的错判率来进行多假设检验,进而在各自层上分别确
定出各自层上的阈值。记第 m 层近似系数和第 m , m −1 , m − 2 ,
证明并找到最优通用阈值:t = σ 2ln N ,但在应用中效果并 不理想,而且阈值选取依赖噪声方差,需要事先估计噪声方 差。阈值处理过程可看作一个多假设检验过程,文献[3]在多 假设检验过程中引入了错判率(false discovery rate),并在给定 错判率的前提下计算出阈值,最后给出 FDR 阈值滤波方法。 此方法具有灵活性,且可从本质上解释通用阈值依赖信号长 度的原因。由于 FDR 算法是对所有小波系数进行多假设检 验,最终确定唯一一个阈值,但小波变换后不同层上系数差 异较大,仅确定一个阈值则会出现较大偏差,势必影响滤波 效果。文献[4]提出自由分布式 FDR 阈值滤波算法,但其滤波 原理等同 FDR 算法。为克服 FDR 算法中的缺点,本文提出 分层 FDR 阈值滤波算法。
分,即第 2 层的近似系数 cA2 和第 2 层的细节系数 cD2 。 …… 第 m 步 用相同的框架将近似系数 cA(m −1) 分解成 2 个
基金项目:国家自然科学基金资助项目(10961001);教育部科学技术 研究基金资助重点项目(209152);宁夏自然科学基金资助项目(NZ 0846) 作者简介:李丽婧(1985-),女,硕士研究生,主研方向:小波分析, 信息处理;黄永东,教授、博士 收稿日期:2010-09-15 E-mail:lilijing123456789@126.com
步骤 2 对分解后的系数阈值量化。对各尺度下的系数选 择一个阈值进行阈值量化,得到阈值化后的小波系数 θmjk 。
步骤 3 使用阈值化的小波系数 θmjk 进行小波重构得到滤 波后的信号。根据小波分解的最底层的低频系数和各层的高 频系数进行小波重构。
在这 3 个步骤中,最关键的是如何选取阈值以及进行阈 值量化。在某种程度上,它关系到信号滤波质量。
别为: cam, cdm, cd (m −1), cd (m − 2),", cd3, cd 2,cd1 ,最后根据
cam, cdm, cd (m −1), cd (m − 2),", cd3, cd 2,cd1 重构原信号。
3.2 分层 FDR 阈值滤波算法 分层 FDR 阈值滤波算法过程如下:
(1)记原始信号为 g ,噪声为 ε ,含噪信号为 f ,选用合
第 37 卷 第 1 期 Vol.37 No.1
计算机工程 Computer Engineering
2011 年 1 月 January 2011
·人工智能及识别技术·
文章编号:1000—3428(2011)01—0187—03 文献标识码:A
分层 FDR 阈值滤波算法
中图分类号:TP911.7
李丽婧,黄永东
小波系数幅值随尺度变化的趋势不同。随尺度增加,噪声系
数的幅值很快衰减为 0,而真实信号系数的幅值基本不变,
因此在小波变换域可以通过对小波系数进行切削、缩小幅度 等非线性处理,达到滤除噪声的目的。其具体步骤如下:
步骤 1 对含噪信号 f 进行小波分解。选择一个小波并确 定分解层数进行分解计算,得到各层小波系数 θ jk 。
m − 3 , " , 3, 2,1 层的细节系数分别如下:
cAm, cDm, cD(m −1),cD(m − 2),",cD3, cD2,cD1
且记上述各层阈值分别为:
tAmi0 , tDmi0 , tD(m−1)i0 , tD(m−2)i0 ,", tD2i0 , tD1i0 最后对第 m 层近似系数以及第 m , m −1 , m − 2 , m −3 , " ,
188
计算机工程
2011 年 1 月 5 日
部分,即第 m 层的近似系数 cAm 和第 m 层的细节系数 cDm ,
这样含噪信号 f 在第 m 层的分解结构为:
[cAm,cDm,cD(m −1), cD(m − 2),", cD3,cD2, cD1]
由上述分解过程可以看出各层系数间存在明显差异,其
适的小波对含噪信号 f 进行 m 层分解。
(2)提取第 m 层的近似系数(低频系数) cAm 。
(3)分别提取第 1 , 2 , " , m 层的细节系数(高频系数) cD1 ,
cD2 , " , cDm 。
(4)对系数向 量 cAm 中的每个小 波 系数 θlk (k = 1, 2,", M )
(其中,M = length(cAm) ),计算其双边概率 pk (k = 1, 2,", M ) ,
3, 2, 1 层 细 节 系 数 分 别 以 tAmi0 , tDmi0 , tD(m−1)i0 , tD(m−2)i0 ,", tD2i0 , tD1i0 作为各层上相应阈值分别阈值化处理。记第 m 层近似系数和
第 m , m −1 , m − 2 , m − 3 , " , 3, 2,1 层细节系数阈值化处理后分
2 小波阈值滤波原理
首先建立小波滤波的数学模型[5],假设观测数据
fi = gi + εi ;i = 1, 2,", N (N = 2n )
(1)
由 真 实 信 号 gi 和 加 性 噪 声 εi 组 成 , 其 向 量 形 式 表 示 为
f = g+ε 。
由于信号和噪声在小波域中有不同的性态表现,它们的
(北方民族大学信息与系统科学研究所,银川 750021)
摘 要:在已有的 FDR 滤波算法基础上,提出一种分层 FDR 阈值滤波算法。该算法对小波分解后最底层的低频系数和各层的高频系数分 别进行多假设检验,并确定出多个阈值,分别进行阈值化处理。对 heavysine, bumps, doppler, blocks 信号进行仿真实验,结果表明,该分层 FDR 阈值滤波算法在信噪比、相对误差等方面均优于通用阈值算法、FDR 算法及自由分布式 FDR 算法,具有较高的实用价值。 关键词:滤波;小波;阈值;假设检验;错判率;分层
tD1i0 , tD2i0 , " , tDmi0 。 (9)分别以 tD1i0 , tD2i0 , tD3i0 , " , tDmi0 作为阈值,分别对系数
向量 cD1 , cD2 , " , cDm 中的每个小波系数进行阈值化处理。
(10)使用阈值化处理后的第 m 层的近似系数和处理后的
第 m , m −1 , m − 2 , " , 2,1 层的细节系数重构原始信号。
t Ami0
= σφ −1(1−
pi0 2
)
。
(7)以 tAmi0 作为阈值,对系数向量 cAm 中的每个小波系数
进行阈值化处理。
(8) 分 别 对 第 1,2, " , m 层 的 细 节 系 数 向 量 cD1 , cD2 ,
" , cDm 中 的 每 个 小 波 系 数 进 行 (4)~(6)的 处 理 , 分 别 计 算