基于噪声方差估计的小波阈值降噪研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
T
式中 p( y θm ) = 2π
⎤ ⎦
−d / 2
Σm
−1/ 2
⎡ 1 exp ⎢− ( y − μm )T Σm−1 ( y − ⎣ 2
μm ) ⎥ 服从高斯分布。
m 、 Σ M 步：最大化式(4)，得到新的参数值 μ m
m ，具体计算公式如下 和α
m = α
m = μ
N
Rm, n ∑ n =1
如果假设所有成分分布都是高斯分布，则所对应的 模型为高斯混合模型。而 d 维的高斯混合模型的参 数 θ 实际上由两个参数所决定：均值 u 矢量和方差 矩阵 ∑ [9]。 在式 (2) 约束下，求式 (1) 参数的解析解非常复 杂，一般采用迭代方法。即先建立样本的最大似然 方程，然后采用 EM 算法对类参数及混合参数进行 估计。 1.2 利用 EM 算法进行参数估计 参数估计的 EM 算法是由 DEMPSTER 等[10]提 出的，它分为 E 步和 M 步。E 步计算对数似然函数 的期望——Q 函数，M 步选择使期望最大的参数， 计算期望， 如此反复。 然后将选择的参数代入 E 步， EM 算法最后会收敛到最大似然意义上的最优解。 其优点是不需要知道解析解，且计算速度较快。对 于高斯混合模型，采用 EM 算法进行参数估计的过 程如下。 E 步：首先初始化参数 μm ， Σ m 和 α m ，计算每 个样本 n 属于第 m 类的后验概率 Qm ,n = α m p ( y θ m ) 标准化后为
(3)
Rm , n
=
Qm , n Qn
=
αm p ( y θm )
∑ α m p( y | θ m )
m =1
k
(4)
1 高斯混合源自文库型和 EM 算法
为进行数据的描述，可通过建模推理数据中的 潜在规律，如果把数据想象为由一个潜在的概率函 数产生，那么可以用概率混合模型来描述和建模数 据。有限混合模型是以概率统计为基础的分析数据 的工具，它不但灵活而且功能强大，已在统计学和 模式识别中得到了广泛的应用。 1.1 高斯混合模型及最大似然估计 设 Y=(Y1,Y2,…,Yd)T 是 d 维的随机变量，y=(y1, 如果它的概率密度函 y2,…, yd) 表示 Y 的一个实例。 数能写成 k 个成分分布的和
0 前言
*
点进行处理。而对于散乱点云模型，由于本身缺乏 拓扑连接信息， 较为成熟的算法还很少。 TAUBIN[1] 将 Laplacian 算子应用到点云模型上，但该算法会 出现特征被磨光的现象，且由于点不在法向方向移 动可能导致顶点漂移。噪声点和特征点反映在数字 化的曲面上都是尖锐的突变点，往往在进行去噪的 同时不可避免的破坏特征数据点的 “尖锐性” ， 对于 一些改进算法往往要通过设计特征保持算子来达
第 46 卷第 2 期 2010 年 1 月
机 械 工 程 学 报
JOURNAL OF MECHANICAL ENGINEERING
Vo l . 4 6 Jan.
No.2 2010
DOI：10.3901/JME.2010.02.028
基于噪声方差估计的小波阈值降噪研究*
曲巍崴 高 峰
北京 100191) (北京航空航天大学交通科学与工程学院
在数据测量中由于人为和环境的影响，不可避 免地引入各种噪声。对于有序点云模型，可以借鉴 图像处理中的概念，采用各种平滑滤波算法对噪声
∗ APTD 基金资助项目(0406022)。 20090329 收到初稿， 20090922 收到修 改稿
月 2010 年 1 月
曲巍崴等：基于噪声方差估计的小波阈值降噪研究
29
到[2-3]。 为了达到在降噪的同时保持特征，考虑利用小 波理论的多分辨性刻画信号的非平稳特性， 如边缘、 尖峰、断点等，根据信号和噪声在不同分辨率下的 分布特征去噪，可以有效地解决降噪和特征丢失之 间的矛盾，为有效进行特征检测和信号重建提供良 好的技术支持
[4-6]
则认为 Y 服从有限混合分布,其对应的模型就为有 限混合模型。其中，α1 , α 2 ," , α k 是各个成分分布混 合 的 概 率 ； θm 是 第 m 个 成 分 分 布 的 参 数 ；
摘要：信号中包含的噪声不仅降低了信号的质量，而且还严重影响着各种相关处理算法的有效性，因此，高效稳健的噪声方 差估计对于各类信号处理非常重要。 提出一种噪声方差估计的新方法， 该方法首先应用两状态高斯混合模型对高频系数建模， 混合模型的各项参数通过 EM(Expectation-maximum)算法迭代估算得到。在建立的高斯混合模型中，当参数满足一定条件时， 可以将高频系数分为噪声类和边缘类。基于高频子带内系数的相关性，对噪声类所包含的系数再次应用高斯混合模型的方法 分类， 并在每个类中分别进行噪声的估计， 最后对所得噪声信号计算方差作为原始信号的噪声方差估计。 基于这种估计方法， 将小波阈值法应用到反求工程的降噪中，实际信号的降噪结果在光滑性和特征保持方面均有较好的效果。试验表明，该噪声 方差估计方法对噪声大小具有一定适应性，且小波阈值降噪法简单易行，应用广泛。 关键词：噪声方差估计 中图分类号：TP391 高斯混合模型 系数相关性 小波阈值降噪
N
N
N
(5)
∑ Rm,n yn
n =1
m Nα
(6)
p( y θ ) = ∑ α m p( y θ m )
m =1
k
(1)
m = n =1 Σ
m )( yn − μ m )T ∑ Rm,n ( yn − μ m Nα
(7)
30
机
械
工
程
学
报
第 46 卷第 2 期期
利用式(4)～(7)，迭代收敛后，可以得到样本 n 属于第 m 类的后验概率 Rm, n 。 这一结果可应用于数 据分类、图像分割等。
Study on Wavelet Threshold Denoising Algorithm Based on Estimation of Noise Variance
QU Weiwei GAO Feng
(School of Transportation Science and Engineering, Beihang University, Beijing 100191)
Abstract：Noise of signal not only reduces the quality of signal but also interferes the validity of correlative arithmetic seriously. Therefore, effective and robust estimation of noise variance is very important for various signal processing. A new method is proposed to estimate noise variance. A Gaussian mixture model (GMM) is used to model the high frequency wavelet coefficients (HFWC). The parameters of the mixture model are obtained with the EM iterative algorithm. The HFWC will be classified as noises class and edges class in the GMM when the parameters meet a certain condition. Based on the correlation among HFWC, GMM is used again to classify the coefficients of the noise as well as to take the noise estimation. Finally, the variance of noise signals is calculated and regarded as the noise variance estimation of original signal. Based on the estimation algorithm, wavelet threshold denoising is applied to reverse engineering. The denoising effect of practical signal is perfect in smoothness and feature preserving. The examination indicates that this estimation method of noise variance has certain adaptability to different noise, moreover, the denoising method of wavelet threshold can be simply achieved and applied in most situations. Key words：Estimation of noise variance Gaussian mixture model Correlation of the coefficients Wavelet threshold denoising
2 基于子带相关性的局部方差分析
数据经小波分解后，在尺度间和尺度内均存在 一定相关性。除此之外，每个细节子带内的小波系 数还按某种先验信息表现出空域聚类特征，称之为 子带内相关性[11]。 2.1 局部方差分析 假设观测数据经过小波变换后，得 w =θ +η
(8)
式中， w ， θ ， η 分别为含噪小波系数、信号系数 与噪声系数。设 σ θ2j 为尺度 j 上信号小波系数的方 差，而小波方差可以看作信号在相应尺度下的平均 能量，已有结论表明[12]： σ θ2j 的值不仅随着尺度的 变化而变化，而且在同一个细节子带内，不同空域 位置(例如边缘与平滑区域)的方差也有很大差别。 因此，在整个细节子带内对图像方差进行全局估计 是不合理的。 针对此问题， MIHCAK 等[13]提出了具 有空域局部适应性质的方法—局部方差分析。在某 一子带中，对任一个位置的带噪小波系数 w j (i) ，设 置以该点为中心的邻域 Ω， 在 Ω 内估计信号 θ j (i ) 的 方差 σ θ2j (i ) ，而不是在整个子带内对其进行估计， 其计算公式如下
θ = {θ1 ,θ 2 ," ,θ k , α1 ,α 2 ," ,α k } 是所有参数的集合； 同时 α m 必须满足如下条件 αm ≥ 0
m = 1, 2," , k 且 ∑ α m = 1
m =1 k
(2)
。现有小波滤波方法大致可分为 3
类： ① 空域相关滤波， 利用信号小波系数在各尺度 间具有的相关性滤波；② 基于奇异性检测的滤波， 利用信号和噪声具有不同的奇异性滤波； ③ 小波域 阈值滤波，根据幅值较大的系数由重要信号产生这 一假设滤波。其中小波域阈值滤波因其算法简单， 得到广泛应用。 DONOHO 等[7]提出了一种典型的阈 值选取方法，在理论上证明了阈值与噪声的方差成 正比，可见噪声方差的准确估计对降噪效果有重要 影响。DONOHO 同时给出了一种较为常用的噪声 方差估计方法，这种方法在噪声较大时，能够有效 地估计噪声方差，当噪声较小时，效果并不理想。 林哲民等[8]提出用高斯混合模型来近似小波系数的 广义高斯分布，在这样的模型下，带噪小波系数仍 服 从 高 斯 混 合 分 布 ， 通 过 采 用 EM(Expectationmaximum)算法估计出高斯混合分布的各部分方差， 并选择最小的方差参数作为噪声方差估计。这种方 法经验证，在噪声方差较小时，效果较好，而在噪 声方差较大时，误差较大。本文利用高斯混合模型 能够很好地对小波系数进行分类的特点，提出一种 基于系数相关性的噪声方差估计的新方法，同时将 基于该估计的小波阈值降噪方法应用到点云模型的 降噪中，以期达到有效降噪和特征保持。
式中 p( y θm ) = 2π
⎤ ⎦
−d / 2
Σm
−1/ 2
⎡ 1 exp ⎢− ( y − μm )T Σm−1 ( y − ⎣ 2
μm ) ⎥ 服从高斯分布。
m 、 Σ M 步：最大化式(4)，得到新的参数值 μ m
m ，具体计算公式如下 和α
m = α
m = μ
N
Rm, n ∑ n =1
如果假设所有成分分布都是高斯分布，则所对应的 模型为高斯混合模型。而 d 维的高斯混合模型的参 数 θ 实际上由两个参数所决定：均值 u 矢量和方差 矩阵 ∑ [9]。 在式 (2) 约束下，求式 (1) 参数的解析解非常复 杂，一般采用迭代方法。即先建立样本的最大似然 方程，然后采用 EM 算法对类参数及混合参数进行 估计。 1.2 利用 EM 算法进行参数估计 参数估计的 EM 算法是由 DEMPSTER 等[10]提 出的，它分为 E 步和 M 步。E 步计算对数似然函数 的期望——Q 函数，M 步选择使期望最大的参数， 计算期望， 如此反复。 然后将选择的参数代入 E 步， EM 算法最后会收敛到最大似然意义上的最优解。 其优点是不需要知道解析解，且计算速度较快。对 于高斯混合模型，采用 EM 算法进行参数估计的过 程如下。 E 步：首先初始化参数 μm ， Σ m 和 α m ，计算每 个样本 n 属于第 m 类的后验概率 Qm ,n = α m p ( y θ m ) 标准化后为
(3)
Rm , n
=
Qm , n Qn
=
αm p ( y θm )
∑ α m p( y | θ m )
m =1
k
(4)
1 高斯混合源自文库型和 EM 算法
为进行数据的描述，可通过建模推理数据中的 潜在规律，如果把数据想象为由一个潜在的概率函 数产生，那么可以用概率混合模型来描述和建模数 据。有限混合模型是以概率统计为基础的分析数据 的工具，它不但灵活而且功能强大，已在统计学和 模式识别中得到了广泛的应用。 1.1 高斯混合模型及最大似然估计 设 Y=(Y1,Y2,…,Yd)T 是 d 维的随机变量，y=(y1, 如果它的概率密度函 y2,…, yd) 表示 Y 的一个实例。 数能写成 k 个成分分布的和
0 前言
*
点进行处理。而对于散乱点云模型，由于本身缺乏 拓扑连接信息， 较为成熟的算法还很少。 TAUBIN[1] 将 Laplacian 算子应用到点云模型上，但该算法会 出现特征被磨光的现象，且由于点不在法向方向移 动可能导致顶点漂移。噪声点和特征点反映在数字 化的曲面上都是尖锐的突变点，往往在进行去噪的 同时不可避免的破坏特征数据点的 “尖锐性” ， 对于 一些改进算法往往要通过设计特征保持算子来达
第 46 卷第 2 期 2010 年 1 月
机 械 工 程 学 报
JOURNAL OF MECHANICAL ENGINEERING
Vo l . 4 6 Jan.
No.2 2010
DOI：10.3901/JME.2010.02.028
基于噪声方差估计的小波阈值降噪研究*
曲巍崴 高 峰
北京 100191) (北京航空航天大学交通科学与工程学院
在数据测量中由于人为和环境的影响，不可避 免地引入各种噪声。对于有序点云模型，可以借鉴 图像处理中的概念，采用各种平滑滤波算法对噪声
∗ APTD 基金资助项目(0406022)。 20090329 收到初稿， 20090922 收到修 改稿
月 2010 年 1 月
曲巍崴等：基于噪声方差估计的小波阈值降噪研究
29
到[2-3]。 为了达到在降噪的同时保持特征，考虑利用小 波理论的多分辨性刻画信号的非平稳特性， 如边缘、 尖峰、断点等，根据信号和噪声在不同分辨率下的 分布特征去噪，可以有效地解决降噪和特征丢失之 间的矛盾，为有效进行特征检测和信号重建提供良 好的技术支持
[4-6]
则认为 Y 服从有限混合分布,其对应的模型就为有 限混合模型。其中，α1 , α 2 ," , α k 是各个成分分布混 合 的 概 率 ； θm 是 第 m 个 成 分 分 布 的 参 数 ；
摘要：信号中包含的噪声不仅降低了信号的质量，而且还严重影响着各种相关处理算法的有效性，因此，高效稳健的噪声方 差估计对于各类信号处理非常重要。 提出一种噪声方差估计的新方法， 该方法首先应用两状态高斯混合模型对高频系数建模， 混合模型的各项参数通过 EM(Expectation-maximum)算法迭代估算得到。在建立的高斯混合模型中，当参数满足一定条件时， 可以将高频系数分为噪声类和边缘类。基于高频子带内系数的相关性，对噪声类所包含的系数再次应用高斯混合模型的方法 分类， 并在每个类中分别进行噪声的估计， 最后对所得噪声信号计算方差作为原始信号的噪声方差估计。 基于这种估计方法， 将小波阈值法应用到反求工程的降噪中，实际信号的降噪结果在光滑性和特征保持方面均有较好的效果。试验表明，该噪声 方差估计方法对噪声大小具有一定适应性，且小波阈值降噪法简单易行，应用广泛。 关键词：噪声方差估计 中图分类号：TP391 高斯混合模型 系数相关性 小波阈值降噪
N
N
N
(5)
∑ Rm,n yn
n =1
m Nα
(6)
p( y θ ) = ∑ α m p( y θ m )
m =1
k
(1)
m = n =1 Σ
m )( yn − μ m )T ∑ Rm,n ( yn − μ m Nα
(7)
30
机
械
工
程
学
报
第 46 卷第 2 期期
利用式(4)～(7)，迭代收敛后，可以得到样本 n 属于第 m 类的后验概率 Rm, n 。 这一结果可应用于数 据分类、图像分割等。
Study on Wavelet Threshold Denoising Algorithm Based on Estimation of Noise Variance
QU Weiwei GAO Feng
(School of Transportation Science and Engineering, Beihang University, Beijing 100191)
Abstract：Noise of signal not only reduces the quality of signal but also interferes the validity of correlative arithmetic seriously. Therefore, effective and robust estimation of noise variance is very important for various signal processing. A new method is proposed to estimate noise variance. A Gaussian mixture model (GMM) is used to model the high frequency wavelet coefficients (HFWC). The parameters of the mixture model are obtained with the EM iterative algorithm. The HFWC will be classified as noises class and edges class in the GMM when the parameters meet a certain condition. Based on the correlation among HFWC, GMM is used again to classify the coefficients of the noise as well as to take the noise estimation. Finally, the variance of noise signals is calculated and regarded as the noise variance estimation of original signal. Based on the estimation algorithm, wavelet threshold denoising is applied to reverse engineering. The denoising effect of practical signal is perfect in smoothness and feature preserving. The examination indicates that this estimation method of noise variance has certain adaptability to different noise, moreover, the denoising method of wavelet threshold can be simply achieved and applied in most situations. Key words：Estimation of noise variance Gaussian mixture model Correlation of the coefficients Wavelet threshold denoising
2 基于子带相关性的局部方差分析
数据经小波分解后，在尺度间和尺度内均存在 一定相关性。除此之外，每个细节子带内的小波系 数还按某种先验信息表现出空域聚类特征，称之为 子带内相关性[11]。 2.1 局部方差分析 假设观测数据经过小波变换后，得 w =θ +η
(8)
式中， w ， θ ， η 分别为含噪小波系数、信号系数 与噪声系数。设 σ θ2j 为尺度 j 上信号小波系数的方 差，而小波方差可以看作信号在相应尺度下的平均 能量，已有结论表明[12]： σ θ2j 的值不仅随着尺度的 变化而变化，而且在同一个细节子带内，不同空域 位置(例如边缘与平滑区域)的方差也有很大差别。 因此，在整个细节子带内对图像方差进行全局估计 是不合理的。 针对此问题， MIHCAK 等[13]提出了具 有空域局部适应性质的方法—局部方差分析。在某 一子带中，对任一个位置的带噪小波系数 w j (i) ，设 置以该点为中心的邻域 Ω， 在 Ω 内估计信号 θ j (i ) 的 方差 σ θ2j (i ) ，而不是在整个子带内对其进行估计， 其计算公式如下
θ = {θ1 ,θ 2 ," ,θ k , α1 ,α 2 ," ,α k } 是所有参数的集合； 同时 α m 必须满足如下条件 αm ≥ 0
m = 1, 2," , k 且 ∑ α m = 1
m =1 k
(2)
。现有小波滤波方法大致可分为 3
类： ① 空域相关滤波， 利用信号小波系数在各尺度 间具有的相关性滤波；② 基于奇异性检测的滤波， 利用信号和噪声具有不同的奇异性滤波； ③ 小波域 阈值滤波，根据幅值较大的系数由重要信号产生这 一假设滤波。其中小波域阈值滤波因其算法简单， 得到广泛应用。 DONOHO 等[7]提出了一种典型的阈 值选取方法，在理论上证明了阈值与噪声的方差成 正比，可见噪声方差的准确估计对降噪效果有重要 影响。DONOHO 同时给出了一种较为常用的噪声 方差估计方法，这种方法在噪声较大时，能够有效 地估计噪声方差，当噪声较小时，效果并不理想。 林哲民等[8]提出用高斯混合模型来近似小波系数的 广义高斯分布，在这样的模型下，带噪小波系数仍 服 从 高 斯 混 合 分 布 ， 通 过 采 用 EM(Expectationmaximum)算法估计出高斯混合分布的各部分方差， 并选择最小的方差参数作为噪声方差估计。这种方 法经验证，在噪声方差较小时，效果较好，而在噪 声方差较大时，误差较大。本文利用高斯混合模型 能够很好地对小波系数进行分类的特点，提出一种 基于系数相关性的噪声方差估计的新方法，同时将 基于该估计的小波阈值降噪方法应用到点云模型的 降噪中，以期达到有效降噪和特征保持。