数字图像处理 第06章 图像复原
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
下一页
home
上一页
目的和任务
• 目的
– 在研究图像退化原因的基础上，以退化图像为依据，根据一定的 先验知识，建立一个退化模型，然后用相反的运算，以恢复原始 景物图像。
• 图像复原要明确规定质量准则
– 衡量接近原始景物图像的程度。
• 图像复原模型
– 可以用连续数学或离散数学处理。 – 图像复原根据退化的数学模型对退化图像进行处理，其实现可在 空间域卷积或在频域相乘。
下一页
home
上一页
• 则输出的降质数字图像为
M 1
g e ( x, y )
m0
N 1
f e ( m , n ) he ( x m , y n )
n0
（6.9）
二维离散退化模型可以用矩阵形式 g=Hf
（6.10）
下一页
home
上一页
H0 H1 H H2 H M -1
不稳定性。
下一页
home
上一页
6.3 约束复原
• 约束复原除了对降质系统的PSF有所了解外，还 需要对原始图像和外加噪声的特性有先验知识。
– 根据不同领域的要求，有时需要对f和n作一些
特殊的规定，使处理得到的图像满足某些条件。
下一页
home
上一页
6.3.1 约束复原的基本原理
• 约束最小二乘法复原问题
–线性代数（循环矩阵的表示；矩阵的广义逆等） –信号与线性系统 –数字信号处理（圆周卷积、离散卷积定理等） –随机过程（平稳随机过程等） –优化理论。
• 注意本章与“图像增强”一章的联系与区别。
下一页
home
上一页
6.1 图像退化原因与复原技术分类
• 图像在形成、传输和记录过程中，由于受到多方面的影响， 造成图像质量的退化（degradation）。 • （1）射线辐射、大气湍流等造成的照片畸变。 • （2）A/D过程会损失部分细节，造成图像质量下降。 • （3）镜头聚焦不准产生的散焦模糊。 • （4）成像系统中始终存在的噪声干扰。 • （5）相机与景物之间的相对运动产生的运动模糊。 • （6）底片感光、图像显示时会造成记录显示失真。 • （7）成像系统的像差、非线性畸变、有限带宽。 • （8） 携带遥感仪器的飞机或卫星运动的不稳定，以及地 球自转等因素引起的照片几何失真。
第6章
内容提要:
图像复原
6.1 图像退化原因与复原技术分类化的数学模型 6.2 逆滤波复原 6.3 约束复原 6.4 非线性复原方法 6.5 盲图像复原 6.6 几何失真校正 6.7 实验：图像复原 本章小结
下一页
home
上一页
知识要点
–
重点了解图像处理的任务、基本的图像处理系统、微机图像处理系
– 令Q为f的线性算子，要设法寻找一个最优估计 fˆ
–
使下面的目标函数为最小
ˆ ˆ J ( f ) Qf
2
ˆ （ g H f
2
n ）
2
（6.22）
式中，α为拉格朗日乘子 , f 的最佳估值
ˆ f (H
T
H Q Q )
T
1
H
T
g
(6.23)
式中，γ=α-1
下一页
home
上一页
• 令Q为f的线性算子，要设法寻找一个最优估计 fˆ 的、服从约束条件
ˆ g Hf
2
，使形式为
ˆ Qf
2
n
2
的函数最小化。
6.3.1 约束复原的基本原理 6.3.2 维纳滤波方法 6.3.3 平滑度约束最小平方滤波
下一页
home
上一页
6.3.1 约束复原的基本原理
• 约束最小二乘法复原问题
2
|| n || n n
2 T
最小。
即目标函数 J ( fˆ ) ||
为最小。
下一页
home
上一页
• 在M=N的情况下，H为方阵且H有逆阵H-1，则
ˆ f (H
T
H)
1
H
T
g H
1
g
（6.20）
当系统H逆作用于退化图像g时，可以得到最小平方意义上
的非约束估计。对式（6.20）进行傅立叶变换，则
• 实际计算的工作量十分庞大。
下一页
home
上一页
通常有两种解决上述问题的途径：
• 假设图像大小M=N，则H的大小为N4，要解出f (x, y)需要 解N2个联立方程组。
• （1）通过对角化简化分块循环矩阵，再利用FFT快速算法 可以大大地降低计算量且能极大地节省存储空间。 • （2）分析退化的具体原因，找出H的具体简化形式。
f ( , ) ( x , y ) d d g ( x , y ) H [ f ( x , y )] H
f ( , ) H [ ( x , y )] d d f ( , ) h ( x , y ) d d
（6.7）
• G(u, v)、F(u, v)、N(u, v)分别是g(x, y)、f(x, y)、n(x, y)的傅立叶变换 • H(u, v)是h(x, y)的傅立叶变换，为系统的传递函数。
下一页
home
上一页
6.1.2 离散图像退化的数学模型
• 设f (x, y)大小为A×B，h(x, y)被均匀采样为C×D 大小。 • 为避免交叠误差，采用添零延拓的方法，将它们 扩展成M=A+C-1和N=B+D-1个元素的周期函数。
f ( , ) h ( x , y ) d d n ( x , y )
f ( x, y ) * h( x, y ) n( x, y )
（6.6）
•在频域上可以写成
G (u , v ) F (u , v ) H (u , v ) N (u , v )
下一页
（6.12）
home
上一页
M 1
g e ( x, y )
m 0
N 1
f e ( m , n ) he ( x m , y n ) n e ( x , y )
（6.13） （6.14）
n0
g=Hf +n
• 给定了退化图像g(x, y)、退化系统的点扩展函数h(x, y)和噪 声分布n(x, y)，就可以得到原始图像f的估计。
H M 1 H0 H1 H
M -2
H
M -2
H M 1 H0 H
M -3
H1 H2 H3 H0
（6.11）
H
j
he ( j , 0 ) h e ( j ,1) h ( j , N 1) e
h e ( j , N 1) h e ( j , N 2 ) h e ( j ,1) he ( j , 0 ) h e ( j , N 1) h e ( j , 2 ) h e ( j , N 2 ) h e ( j , N 3) h e ( j , 0 )
• h(x,y)称为退化系统的冲激响应函数。
•在图像形成的光学过程中，冲激为一光点。 •又被称为退化系统的点扩展函数PSF。
下一页
home
上一页
空间域分析与频率分析
• 退化系统的输出就是输入图像f (x, y)与点扩展函数h(x, y)的 卷积，考虑到噪声的影响，即
g ( x, y )
– 匀速运动造成模糊的PSF就可以用简单的形式表示，这样使复原问 题变得简单。
• 各种代数复原方法
– 可能是通过无约束条件而得到原始图像f的估计。
– 也可能是约束复原f。
下一页
home
上一页
6.2 逆滤波复原
• 非约束复原
– 根据对退化系统H和噪声n的了解，已知退化图像g的情
况下，在一定的最小误差准则下，得到原始图像f的估
• •
Rf = E{f f T} Rn = E{nnT}
T 1 1 T ˆ f ( H H R f R n ) H g
（6.24a） （6.24b）
• 定义QTQ=R-1fRn，代入式(6.23)，得
（6.25）
假设M=N，Sf和Sn分别为图像和噪声的功率谱，则
H (u , v ) ˆ (u , v ) F G (u , v ) 2 | H ( u , v ) | [ S n ( u , v ) / S f ( u , v )]
下一页
home
上一页
在初级视觉处理中的地位
• 在航空航天、国防公安、生物医学、文物修复等领域具有 广泛的应用。
• 传统的复原方法
– 基于平稳图像、线性空间不变的退化系统、图像和噪声统计特性 的先验知识已知等条件下讨论的
• 现代的复原方法
– 对非平稳图像（如卡尔曼滤波）、非线性方法（如神经网络）、
信号与噪声的先验知识未知（如盲图像复原）等前提下开展工作。
统、数字图像的表示、MATLAB图像处理工具箱的初步使用。
图像退化的常见原因
–
– –
图像退化模型
图像退化与图像增强的关系 线性代数复原
–
– –
非线性复原
几何失真校正 盲图像复原
–
MATLAB图像处理工具箱去模糊函数
下一页
home
上一页
教学建议
• 重点了解数字图像复原的基本任务、图像退化的 各种原因、图像复原的常用方法，能够用MATLAB 图像处理工具箱解决简单的图像退化问题。 • 先修知识包括：
计。
• 逆滤波是最早使用的一种无约束复原方法
• 成功地应用于航天器传来的退化图像。
下一页
home
上一页
n = g－Hf
（6.15）
当对n的统计特性不确定时，希望对原始图像f 的估计 fˆ
满足这样的条件，使H fˆ 在最小二乘意义上近似于g。 希望找到一个
fˆ
使得噪声项的范数
ˆ g H f ||
ˆ (u , v ) G (u , v ) F H (u , v )
（6.21）
下一页
home
上一页Leabharlann Baidu
逆滤波法的特点
• 优点：
– 形式简单 – 适用于极高信噪比条件下的图像复原问题，且降质系统的传递函 数H不存在病态性质。
• 缺点：
– 具体求解的计算量很大，需要根据循环分块矩阵条件进行简化。
– 当H等于0或接近于0时，还原的图像将变得无意义。这时需要人 为对传递函数进行修正，以降低由于传递函数病态而造成的恢复
下一页
home
（6.2）
上一页
f(x, y)的最佳估计 • 退化的图像是由成像系统的退化加上额外 的系统噪声而形成的。
• 若已知H(x, y)和n(x, y)，图像复原是在退化 图像的基础上，作逆运算，得到f(x, y)的一 个最佳估计。
• “最佳估计”而非“真实估计”。
– 由于存在可能导致图像复原的病态性。
6.3.2 维纳滤波方法
• 最小二乘法滤波复原的核心是如何选择一个合适的变换矩 阵Q。 • Q的形式不同，可得到不同类型的复原方法。
– 选用图像f和噪声n的自相关矩阵Rf和Rn表示Q就可得到维纳滤波复
原方法。
• 将f和n近似地看成是平稳随机过程。假设Rf和Rn为f和n的
自相关矩阵。
下一页
home
上一页
下一页
home
上一页
6.1.1 连续图像退化的数学模型
• 连续图像退化的一般模型如图6.1所示。
n (x , y ) f (x , y ) H (x , y ) g (x , y )
• 输入图像f(x, y)经过一个退化系统或退化算子H(x, y)后产生 的退化图像g(x, y)可以表示为： – g(x, y)= H[f(x, y)] （6.1） • 如果仅考虑加性噪声的影响，则退化图像可表示为： – g(x, y)= H [f(x, y)]+n(x, y)
下一页
home
上一页
导致图像复原的病态性的原因
• （1）最佳估计问题不一定有解。
–由于图像复原中可能遇到奇异问题；
• （2）逆问题可能存在多个解。
下一页
home
上一页
点扩展函数PSF（Point-spread Function）
• 在退化算子H表示线性和空间不变系统的情况下，输 入图像f(x, y)经退化后的输出为g(x, y)：
f ( x, y ) fe ( x, y ) 0 0 x A 1且 0 y B 1 其他
（6.8a）
h ( x , y ) 0 x C 1且 0 y D 1 he ( x , y ) 0 其他
（6.8b）
1 | H (u , v ) | G (u , v ) 2 H ( u , v ) | H ( u , v ) | [ S n ( u , v ) / S f ( u , v )] 下一页
home
上一页
目的和任务
• 目的
– 在研究图像退化原因的基础上，以退化图像为依据，根据一定的 先验知识，建立一个退化模型，然后用相反的运算，以恢复原始 景物图像。
• 图像复原要明确规定质量准则
– 衡量接近原始景物图像的程度。
• 图像复原模型
– 可以用连续数学或离散数学处理。 – 图像复原根据退化的数学模型对退化图像进行处理，其实现可在 空间域卷积或在频域相乘。
下一页
home
上一页
• 则输出的降质数字图像为
M 1
g e ( x, y )
m0
N 1
f e ( m , n ) he ( x m , y n )
n0
（6.9）
二维离散退化模型可以用矩阵形式 g=Hf
（6.10）
下一页
home
上一页
H0 H1 H H2 H M -1
不稳定性。
下一页
home
上一页
6.3 约束复原
• 约束复原除了对降质系统的PSF有所了解外，还 需要对原始图像和外加噪声的特性有先验知识。
– 根据不同领域的要求，有时需要对f和n作一些
特殊的规定，使处理得到的图像满足某些条件。
下一页
home
上一页
6.3.1 约束复原的基本原理
• 约束最小二乘法复原问题
–线性代数（循环矩阵的表示；矩阵的广义逆等） –信号与线性系统 –数字信号处理（圆周卷积、离散卷积定理等） –随机过程（平稳随机过程等） –优化理论。
• 注意本章与“图像增强”一章的联系与区别。
下一页
home
上一页
6.1 图像退化原因与复原技术分类
• 图像在形成、传输和记录过程中，由于受到多方面的影响， 造成图像质量的退化（degradation）。 • （1）射线辐射、大气湍流等造成的照片畸变。 • （2）A/D过程会损失部分细节，造成图像质量下降。 • （3）镜头聚焦不准产生的散焦模糊。 • （4）成像系统中始终存在的噪声干扰。 • （5）相机与景物之间的相对运动产生的运动模糊。 • （6）底片感光、图像显示时会造成记录显示失真。 • （7）成像系统的像差、非线性畸变、有限带宽。 • （8） 携带遥感仪器的飞机或卫星运动的不稳定，以及地 球自转等因素引起的照片几何失真。
第6章
内容提要:
图像复原
6.1 图像退化原因与复原技术分类化的数学模型 6.2 逆滤波复原 6.3 约束复原 6.4 非线性复原方法 6.5 盲图像复原 6.6 几何失真校正 6.7 实验：图像复原 本章小结
下一页
home
上一页
知识要点
–
重点了解图像处理的任务、基本的图像处理系统、微机图像处理系
– 令Q为f的线性算子，要设法寻找一个最优估计 fˆ
–
使下面的目标函数为最小
ˆ ˆ J ( f ) Qf
2
ˆ （ g H f
2
n ）
2
（6.22）
式中，α为拉格朗日乘子 , f 的最佳估值
ˆ f (H
T
H Q Q )
T
1
H
T
g
(6.23)
式中，γ=α-1
下一页
home
上一页
• 令Q为f的线性算子，要设法寻找一个最优估计 fˆ 的、服从约束条件
ˆ g Hf
2
，使形式为
ˆ Qf
2
n
2
的函数最小化。
6.3.1 约束复原的基本原理 6.3.2 维纳滤波方法 6.3.3 平滑度约束最小平方滤波
下一页
home
上一页
6.3.1 约束复原的基本原理
• 约束最小二乘法复原问题
2
|| n || n n
2 T
最小。
即目标函数 J ( fˆ ) ||
为最小。
下一页
home
上一页
• 在M=N的情况下，H为方阵且H有逆阵H-1，则
ˆ f (H
T
H)
1
H
T
g H
1
g
（6.20）
当系统H逆作用于退化图像g时，可以得到最小平方意义上
的非约束估计。对式（6.20）进行傅立叶变换，则
• 实际计算的工作量十分庞大。
下一页
home
上一页
通常有两种解决上述问题的途径：
• 假设图像大小M=N，则H的大小为N4，要解出f (x, y)需要 解N2个联立方程组。
• （1）通过对角化简化分块循环矩阵，再利用FFT快速算法 可以大大地降低计算量且能极大地节省存储空间。 • （2）分析退化的具体原因，找出H的具体简化形式。
f ( , ) ( x , y ) d d g ( x , y ) H [ f ( x , y )] H
f ( , ) H [ ( x , y )] d d f ( , ) h ( x , y ) d d
（6.7）
• G(u, v)、F(u, v)、N(u, v)分别是g(x, y)、f(x, y)、n(x, y)的傅立叶变换 • H(u, v)是h(x, y)的傅立叶变换，为系统的传递函数。
下一页
home
上一页
6.1.2 离散图像退化的数学模型
• 设f (x, y)大小为A×B，h(x, y)被均匀采样为C×D 大小。 • 为避免交叠误差，采用添零延拓的方法，将它们 扩展成M=A+C-1和N=B+D-1个元素的周期函数。
f ( , ) h ( x , y ) d d n ( x , y )
f ( x, y ) * h( x, y ) n( x, y )
（6.6）
•在频域上可以写成
G (u , v ) F (u , v ) H (u , v ) N (u , v )
下一页
（6.12）
home
上一页
M 1
g e ( x, y )
m 0
N 1
f e ( m , n ) he ( x m , y n ) n e ( x , y )
（6.13） （6.14）
n0
g=Hf +n
• 给定了退化图像g(x, y)、退化系统的点扩展函数h(x, y)和噪 声分布n(x, y)，就可以得到原始图像f的估计。
H M 1 H0 H1 H
M -2
H
M -2
H M 1 H0 H
M -3
H1 H2 H3 H0
（6.11）
H
j
he ( j , 0 ) h e ( j ,1) h ( j , N 1) e
h e ( j , N 1) h e ( j , N 2 ) h e ( j ,1) he ( j , 0 ) h e ( j , N 1) h e ( j , 2 ) h e ( j , N 2 ) h e ( j , N 3) h e ( j , 0 )
• h(x,y)称为退化系统的冲激响应函数。
•在图像形成的光学过程中，冲激为一光点。 •又被称为退化系统的点扩展函数PSF。
下一页
home
上一页
空间域分析与频率分析
• 退化系统的输出就是输入图像f (x, y)与点扩展函数h(x, y)的 卷积，考虑到噪声的影响，即
g ( x, y )
– 匀速运动造成模糊的PSF就可以用简单的形式表示，这样使复原问 题变得简单。
• 各种代数复原方法
– 可能是通过无约束条件而得到原始图像f的估计。
– 也可能是约束复原f。
下一页
home
上一页
6.2 逆滤波复原
• 非约束复原
– 根据对退化系统H和噪声n的了解，已知退化图像g的情
况下，在一定的最小误差准则下，得到原始图像f的估
• •
Rf = E{f f T} Rn = E{nnT}
T 1 1 T ˆ f ( H H R f R n ) H g
（6.24a） （6.24b）
• 定义QTQ=R-1fRn，代入式(6.23)，得
（6.25）
假设M=N，Sf和Sn分别为图像和噪声的功率谱，则
H (u , v ) ˆ (u , v ) F G (u , v ) 2 | H ( u , v ) | [ S n ( u , v ) / S f ( u , v )]
下一页
home
上一页
在初级视觉处理中的地位
• 在航空航天、国防公安、生物医学、文物修复等领域具有 广泛的应用。
• 传统的复原方法
– 基于平稳图像、线性空间不变的退化系统、图像和噪声统计特性 的先验知识已知等条件下讨论的
• 现代的复原方法
– 对非平稳图像（如卡尔曼滤波）、非线性方法（如神经网络）、
信号与噪声的先验知识未知（如盲图像复原）等前提下开展工作。
统、数字图像的表示、MATLAB图像处理工具箱的初步使用。
图像退化的常见原因
–
– –
图像退化模型
图像退化与图像增强的关系 线性代数复原
–
– –
非线性复原
几何失真校正 盲图像复原
–
MATLAB图像处理工具箱去模糊函数
下一页
home
上一页
教学建议
• 重点了解数字图像复原的基本任务、图像退化的 各种原因、图像复原的常用方法，能够用MATLAB 图像处理工具箱解决简单的图像退化问题。 • 先修知识包括：
计。
• 逆滤波是最早使用的一种无约束复原方法
• 成功地应用于航天器传来的退化图像。
下一页
home
上一页
n = g－Hf
（6.15）
当对n的统计特性不确定时，希望对原始图像f 的估计 fˆ
满足这样的条件，使H fˆ 在最小二乘意义上近似于g。 希望找到一个
fˆ
使得噪声项的范数
ˆ g H f ||
ˆ (u , v ) G (u , v ) F H (u , v )
（6.21）
下一页
home
上一页Leabharlann Baidu
逆滤波法的特点
• 优点：
– 形式简单 – 适用于极高信噪比条件下的图像复原问题，且降质系统的传递函 数H不存在病态性质。
• 缺点：
– 具体求解的计算量很大，需要根据循环分块矩阵条件进行简化。
– 当H等于0或接近于0时，还原的图像将变得无意义。这时需要人 为对传递函数进行修正，以降低由于传递函数病态而造成的恢复
下一页
home
（6.2）
上一页
f(x, y)的最佳估计 • 退化的图像是由成像系统的退化加上额外 的系统噪声而形成的。
• 若已知H(x, y)和n(x, y)，图像复原是在退化 图像的基础上，作逆运算，得到f(x, y)的一 个最佳估计。
• “最佳估计”而非“真实估计”。
– 由于存在可能导致图像复原的病态性。
6.3.2 维纳滤波方法
• 最小二乘法滤波复原的核心是如何选择一个合适的变换矩 阵Q。 • Q的形式不同，可得到不同类型的复原方法。
– 选用图像f和噪声n的自相关矩阵Rf和Rn表示Q就可得到维纳滤波复
原方法。
• 将f和n近似地看成是平稳随机过程。假设Rf和Rn为f和n的
自相关矩阵。
下一页
home
上一页
下一页
home
上一页
6.1.1 连续图像退化的数学模型
• 连续图像退化的一般模型如图6.1所示。
n (x , y ) f (x , y ) H (x , y ) g (x , y )
• 输入图像f(x, y)经过一个退化系统或退化算子H(x, y)后产生 的退化图像g(x, y)可以表示为： – g(x, y)= H[f(x, y)] （6.1） • 如果仅考虑加性噪声的影响，则退化图像可表示为： – g(x, y)= H [f(x, y)]+n(x, y)
下一页
home
上一页
导致图像复原的病态性的原因
• （1）最佳估计问题不一定有解。
–由于图像复原中可能遇到奇异问题；
• （2）逆问题可能存在多个解。
下一页
home
上一页
点扩展函数PSF（Point-spread Function）
• 在退化算子H表示线性和空间不变系统的情况下，输 入图像f(x, y)经退化后的输出为g(x, y)：
f ( x, y ) fe ( x, y ) 0 0 x A 1且 0 y B 1 其他
（6.8a）
h ( x , y ) 0 x C 1且 0 y D 1 he ( x , y ) 0 其他
（6.8b）
1 | H (u , v ) | G (u , v ) 2 H ( u , v ) | H ( u , v ) | [ S n ( u , v ) / S f ( u , v )] 下一页