基于BP神经网络的数字图像修复_贺文熙
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 寻找相似边界邻域
首先要得到待修复区域的相似边界邻域，毫无 疑问这是很关键的. 可以定义一个复合向量[6]：
应像素（即在下面的定义 M 和 N 中，A1M 对 A1N，A2M 对 A2N 等等，依此类推）的二范数应为极小.
（2）邻域对应点的二范数也应为极小. 为了说明 问题方便和加快修复速度，引入细胞矩阵 M 和 N.
Δui=u0-ui
其中 u0 和 ui 分别表示关注点的灰度和它的任一邻
域像素的灰度.
按照这一定义的二范数显然满足范数的 3 个
条件.
1）正定性：
軑α ≥0，当且仅当軑α=0 时才有 軑α =0
2）齐次性：
k軑α = k · 軑α ， k∈F
3）三角不等式：
軑α+β軋 ≤ 軑α ＋ β軋
以上三式中的軑α、 β軋向量就是如上定义的任意
0前言
现在数字图像修复是一个热点问题，修复结果 的好坏主要通过感观判断. 过去人们依靠手工的 办法修复破损或者有污渍的图像，费时费力. 人们 自 然 渴 望 能 方 便 快 捷 地 修 复 图 像 . 2000 年 ， Bertalmio 等人 首 [1-2] 次提出了利用三次偏微分方程 算法进行图像修复（即 BSCB 模型），算法中心思想
是充分利用需要修复区域边缘的信息沿梯度垂直 方向扩散到待修补区域内. BSCB 方法修复速度过 于缓慢而且不稳定. 如果图像中出现了大面积的 污渍，可用 Criminisi 和 Efros 及 Shih T K 等人 提 [3-5] 出的基于样图或基于纹理的修复方法进行修复. 这种方法由于需要不间断全局寻找匹配块，直到修 复完毕，所以仍然非常费时，而且可能产生误匹配. 本文提出利用相似边界邻域寻找相似块，只需匹配 一次. 寻找相似块的原因是考虑到待修复区域的
F赞 为均方误差
的近似值，α 是学习速率. 为了加速收敛， 减小振
荡，引入动量因子 γ.
ΔWm（k）=γΔW（k-1）-（1-γ）αSm（am-1）T
（3）
Δbm（k）=γΔbm（k-1）-（1-γ）αSm，m=M-1，… ，2，1 （4）
其中，α 和 γ 是标量，Wm、bm、F赞 和 Sm 是矩阵. 近似均
两个复合向量 r軆 ，三式显然成立.
定义了复合向量的二范数后再定义相似边界
邻域. 所谓相似是指像素值分布近似, 相似边界就 是指两条边界大小（即像素数）几何形状一样.
定义 1 严格相似边界邻域
严格相似边界邻域须满足如下两条：
（1） 待 修 复 区 域 的 边 界 和 找 到 的 边 界 的 两 两 对
0
f觶 m（nm2 ） … 0
Σ Σ Σ Σ Σ
…
…
…
…
Σ
Σ
Σ
Σ
Σ
Σ Σ Σ
0
Σ
0
0
f觶
m
m（nsm
）
Σ Σ Σ Σ Σ
（13）
由于 BP 网络是反向传播敏感性，计算 sm 必须先得
到最后一层的 sM.
sM=-2F觶 M（nM）（T-a）
（14）
m
m
F赞
m
＝
F赞
m
×
ni
m
，
F赞
m
=
F赞
m
×
ni
m
Leabharlann Baidu
（6）
Abstract: BP neural network used to repair digital images has be proposed, considering the traits of BP neural network which has an extraordinary capacity for learning and the non -linear mapping. Because ordinary BP neural network converge at a slower rate, fall in to a local minimum easily, and produce oscillatory behavior, introduction of momentum on the basis of the gradient descent algorithm is considered. It get faster convergence speed, smaller oscillation phenomena. Similar blocks will be found in accordance with the border of areas to be restored. With similar block pixel data, BP neural network get its weights and thresholds. The experiment results show this model spend less time than the model utilized partial differential equation (PDE) (for example BSCB), and this model has larger ISNR than PDE model. Key words: image inpainting; similar boundary ; BP neral network
收稿日期：2013-09-06 基金项目: 江西省教育厅科技项目（GJJ11468） 作者简介：贺文熙（1963- ），男，副教授，主要从事数字图像处理等方面研究，E-mail: hwxhhd@126.com.
66
江西理工大学学报
2014 年 2 月
像素值一般未知， 但两个区域若边界邻域是相似 的，则边界内的像素值分布也是相似的应是大概率 事件，特别是对于人物图像更是如此. 鉴于此本文 提出： 根据待修复区域的边界邻域寻找相似块，再 利用相似块周围像素数据训练网络， 从而得到 BP 神经网络的权值和阈值. 选择引入动量因子的 BP 神经网络是因为可以减少振荡、加速收敛. 修复时 遵循从外及里的原则， 一层一层处理. 试验表明： 利 用 该 方 法 修 复 图 像 ISNR 值 大 ，费 时 较 少 ，且 主 观效果自然流畅. 这种方法也能应用于近红外图 像的修复.
Image inpainting based on BP neural network
HE Wen-xi , YE Kun-tao
(Faculty of Science, Jiangxi University of Science and Technology, Ganzhou 341000, China)
2 BP 神经网络
2.1 BP 神经网络框图 利用神经网络模型控制电机转速[7-9]、对图像进
行 分 割[10]、图 像 复 原[11]、进 行 图 像 增 强 、 [12-13] 图 像 去 噪[14]等 经 常 见 诸 于 各 种 期 刊 ，BP 神 经 网 络 模 型 应 用于图像修复难觅踪影. 考虑到每个像素看作一 个神经元，近邻的神经元密切通讯，因此可引入神 经网络修复数字图像. 而引入动量的 BP 神经网络 在梯度下降算法的基础上引进动量因子，该算法是 以前一次修正结果来影响本次修正量，当前一次的 修正量过大时可以使得式（3）第二项的符号与前一 次的修正量的符号相反， 从而使本次的修正量减 小，起到减小振荡的作用；当前一次修正量过小时，
Vol.35, No.1 Feb. 2014
基于 B P 神经网络的数字图像修复
贺文熙， 叶坤涛
（江西理工大学理学院，江西 赣州 341000）
摘 要：考虑到 BP 神经网络非凡的学习能力和非线性映射能力，提出了利用 BP 神经网络修复 数字图像. 由于一般的 BP 神经网络收敛速度较慢，且易陷入局部极小，产生振荡现象. 因此考虑 在梯度下降算法的基础上引进动量因子，结果发现收敛速度加快、振荡现象减轻. 该方法根据待 修复区域的边界寻找相似块，利用相似块周围像素数据得到 BP 神经网络的权值和阈值. 试验表 明：文中的方法相对于利用偏微分方程（如 BSCB 方法）速度要快，而且具有更大的 ISNR. 关键词：图像修复；相似边界；BP 神经网络 中图分类号：TP319.41 文献标志码：A
输入层
隐含层
输出层
图 1 BP 神经网络模型
第 35 卷 第 1 期
贺文熙，等：基于 BP 神经网络的数字图像修复
67
式（3）第二项的符号与前一次的修正量的符号相同， 从而使本次修正量增大，起到加速修正的作用[15]. 网 络模型如图 1 所示. 本文只需取 2 层，输入层神经
元 13 个，输出层神经元 1 个. 学习速率取 0.01，动 量因子为 0.6，允许误差取 10-3，迭代次数为 5000， 传输函数使用 logsig. 2.2 BP 神经近似均方 误 差 的 最 速 下 降 法 及 网 络
的权值和阈值更新 基于均方误差的最速下降算法为[16]：
m
m
wi，j （k）=wi，j （k-1）-α
F赞
m
（1）
wi，j
m
m
bi （k）=bi （k-1）-α
F赞
m
（2）
bi
m
其 中 ，wi，j 为 m 层 第 j 个 神 经 元 到 第 i 个 神 经 元 的
m
连接权值，bi 是第 m 层第 i 个阈值，
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
sm 的计算需要利用雅可比矩阵
（10）
nm+1 nm
Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ
=Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ ΣΣ Σ
…
m+1
n1
m
n1
m+1
n2
m
n1
m+1
nsm+1
m
n1
m+1
n1
m
…
n2
m+1
n2
m
…
n2
…
…
m+1
nsm+1
M=[[A1M1，A1M2…A1Mj]… [AiM1，AiM2…AiMj]] N=[[A1N1，A1N2…A1Nj]… [AiN1，AiN2…AiNj]] 对于第一条， 细胞矩阵 M 和 N 里每一个单元 只有一个元素，即 Mj=1,i 为边界上像素的个数. 对 于第二条，j=6. 严格相似边界邻域有时很难寻找， 这时可以利用广义边界邻域进行修复. 定义 2 广义相似边界邻域 广义相似边界邻域指边界上存在大小近似相 等的像素， 不要求相对应位置上的像素值相等，只 要求存在大小近似相等的像素值. 这是由于神经 网络只是用这些数据进行训练网络，调整网络的权 值和阈值.
r軆= Σ r軆i i∈Nε（s）
其中：Nε（s）表示关注点的一个小邻域， r軆 i 为待关注 点 s 指向任一邻域像素 p 的向量. 因待修复点的邻 域（东南西北）存在未知像素，且考虑到待修复点和 近邻点关系最大， 故 i 取 6. 再定义复合向量的二 范数为：
Σ r軆 2=（
Δui 2）1/2
i
ni
性） 得：
m
ni
m
m m-1
=si αj ，
F赞
m
m
=si
（9）
wi，j
bi
考虑到 sm 是向量有：
3 试验结果及分析
试 验 以 Matlab6.5 为 平 台 ， 在 PC 机 （Pentium
第 35 卷 第 1 期 2014 年 2 月
江西理工大学学报
Journal of Jiangxi University of Science and Technology
文章编号：2095-3041（2014）00-0065-05 DOI：10.13265/j.cnki.jxlgdxxb.2014.01.011
wi，j ni
wi，j bi
ni
bi
m
其 中 ，ni 为 第 m 层 第 i 个 输 入 . 根 据 神 经 网 络 输
入、输出关系得：
sm-1
Σ m
ni ＝
m m-1 m
wi，j αj +bi
j=1
（7）
m
m
故有：
ni
m
m-1
=αj ，
ni
m
=1
（8）
wi，j
bi
m
定义 si =
F赞
m
（F赞 对 m 层第 i 个元素变化的敏感
方误差F赞 为：
F赞 ＝（t（k）－α（k））T（t（k）－α（k））
（5）
其中，t 为目标输出向量，α 是实际输出向量. 利用
链法则得：
sm=
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
F赞 Σ
= m
Σ Σ
nΣ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
…
F赞
m
n1 F赞
m
n2
F赞
m
nsm
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
，Σ
Σ
a0=p，a=aM
m
…
n1
m+1 Σ
n1
Σ Σ Σ
m
nsm
Σ Σ Σ Σ
m+1
Σ Σ
n2
Σ Σ
Σ
m
Σ
nsm
Σ Σ
Σ
…
Σ
Σ
m+1
Σ Σ
nsm+1
Σ Σ
Σ
m
nsm
Σ Σ ΣΣ Σ
（11）
经过计算可得：
nm+1 nm
=WM+1F觶 m（nm）
（12）
Σ Σ Σ Σ
f觶
m（nm1
）
0
…0
Σ Σ Σ Σ
Σ
Σ
F觶 m（nm）=
Σ Σ Σ
首先要得到待修复区域的相似边界邻域，毫无 疑问这是很关键的. 可以定义一个复合向量[6]：
应像素（即在下面的定义 M 和 N 中，A1M 对 A1N，A2M 对 A2N 等等，依此类推）的二范数应为极小.
（2）邻域对应点的二范数也应为极小. 为了说明 问题方便和加快修复速度，引入细胞矩阵 M 和 N.
Δui=u0-ui
其中 u0 和 ui 分别表示关注点的灰度和它的任一邻
域像素的灰度.
按照这一定义的二范数显然满足范数的 3 个
条件.
1）正定性：
軑α ≥0，当且仅当軑α=0 时才有 軑α =0
2）齐次性：
k軑α = k · 軑α ， k∈F
3）三角不等式：
軑α+β軋 ≤ 軑α ＋ β軋
以上三式中的軑α、 β軋向量就是如上定义的任意
0前言
现在数字图像修复是一个热点问题，修复结果 的好坏主要通过感观判断. 过去人们依靠手工的 办法修复破损或者有污渍的图像，费时费力. 人们 自 然 渴 望 能 方 便 快 捷 地 修 复 图 像 . 2000 年 ， Bertalmio 等人 首 [1-2] 次提出了利用三次偏微分方程 算法进行图像修复（即 BSCB 模型），算法中心思想
是充分利用需要修复区域边缘的信息沿梯度垂直 方向扩散到待修补区域内. BSCB 方法修复速度过 于缓慢而且不稳定. 如果图像中出现了大面积的 污渍，可用 Criminisi 和 Efros 及 Shih T K 等人 提 [3-5] 出的基于样图或基于纹理的修复方法进行修复. 这种方法由于需要不间断全局寻找匹配块，直到修 复完毕，所以仍然非常费时，而且可能产生误匹配. 本文提出利用相似边界邻域寻找相似块，只需匹配 一次. 寻找相似块的原因是考虑到待修复区域的
F赞 为均方误差
的近似值，α 是学习速率. 为了加速收敛， 减小振
荡，引入动量因子 γ.
ΔWm（k）=γΔW（k-1）-（1-γ）αSm（am-1）T
（3）
Δbm（k）=γΔbm（k-1）-（1-γ）αSm，m=M-1，… ，2，1 （4）
其中，α 和 γ 是标量，Wm、bm、F赞 和 Sm 是矩阵. 近似均
两个复合向量 r軆 ，三式显然成立.
定义了复合向量的二范数后再定义相似边界
邻域. 所谓相似是指像素值分布近似, 相似边界就 是指两条边界大小（即像素数）几何形状一样.
定义 1 严格相似边界邻域
严格相似边界邻域须满足如下两条：
（1） 待 修 复 区 域 的 边 界 和 找 到 的 边 界 的 两 两 对
0
f觶 m（nm2 ） … 0
Σ Σ Σ Σ Σ
…
…
…
…
Σ
Σ
Σ
Σ
Σ
Σ Σ Σ
0
Σ
0
0
f觶
m
m（nsm
）
Σ Σ Σ Σ Σ
（13）
由于 BP 网络是反向传播敏感性，计算 sm 必须先得
到最后一层的 sM.
sM=-2F觶 M（nM）（T-a）
（14）
m
m
F赞
m
＝
F赞
m
×
ni
m
，
F赞
m
=
F赞
m
×
ni
m
Leabharlann Baidu
（6）
Abstract: BP neural network used to repair digital images has be proposed, considering the traits of BP neural network which has an extraordinary capacity for learning and the non -linear mapping. Because ordinary BP neural network converge at a slower rate, fall in to a local minimum easily, and produce oscillatory behavior, introduction of momentum on the basis of the gradient descent algorithm is considered. It get faster convergence speed, smaller oscillation phenomena. Similar blocks will be found in accordance with the border of areas to be restored. With similar block pixel data, BP neural network get its weights and thresholds. The experiment results show this model spend less time than the model utilized partial differential equation (PDE) (for example BSCB), and this model has larger ISNR than PDE model. Key words: image inpainting; similar boundary ; BP neral network
收稿日期：2013-09-06 基金项目: 江西省教育厅科技项目（GJJ11468） 作者简介：贺文熙（1963- ），男，副教授，主要从事数字图像处理等方面研究，E-mail: hwxhhd@126.com.
66
江西理工大学学报
2014 年 2 月
像素值一般未知， 但两个区域若边界邻域是相似 的，则边界内的像素值分布也是相似的应是大概率 事件，特别是对于人物图像更是如此. 鉴于此本文 提出： 根据待修复区域的边界邻域寻找相似块，再 利用相似块周围像素数据训练网络， 从而得到 BP 神经网络的权值和阈值. 选择引入动量因子的 BP 神经网络是因为可以减少振荡、加速收敛. 修复时 遵循从外及里的原则， 一层一层处理. 试验表明： 利 用 该 方 法 修 复 图 像 ISNR 值 大 ，费 时 较 少 ，且 主 观效果自然流畅. 这种方法也能应用于近红外图 像的修复.
Image inpainting based on BP neural network
HE Wen-xi , YE Kun-tao
(Faculty of Science, Jiangxi University of Science and Technology, Ganzhou 341000, China)
2 BP 神经网络
2.1 BP 神经网络框图 利用神经网络模型控制电机转速[7-9]、对图像进
行 分 割[10]、图 像 复 原[11]、进 行 图 像 增 强 、 [12-13] 图 像 去 噪[14]等 经 常 见 诸 于 各 种 期 刊 ，BP 神 经 网 络 模 型 应 用于图像修复难觅踪影. 考虑到每个像素看作一 个神经元，近邻的神经元密切通讯，因此可引入神 经网络修复数字图像. 而引入动量的 BP 神经网络 在梯度下降算法的基础上引进动量因子，该算法是 以前一次修正结果来影响本次修正量，当前一次的 修正量过大时可以使得式（3）第二项的符号与前一 次的修正量的符号相反， 从而使本次的修正量减 小，起到减小振荡的作用；当前一次修正量过小时，
Vol.35, No.1 Feb. 2014
基于 B P 神经网络的数字图像修复
贺文熙， 叶坤涛
（江西理工大学理学院，江西 赣州 341000）
摘 要：考虑到 BP 神经网络非凡的学习能力和非线性映射能力，提出了利用 BP 神经网络修复 数字图像. 由于一般的 BP 神经网络收敛速度较慢，且易陷入局部极小，产生振荡现象. 因此考虑 在梯度下降算法的基础上引进动量因子，结果发现收敛速度加快、振荡现象减轻. 该方法根据待 修复区域的边界寻找相似块，利用相似块周围像素数据得到 BP 神经网络的权值和阈值. 试验表 明：文中的方法相对于利用偏微分方程（如 BSCB 方法）速度要快，而且具有更大的 ISNR. 关键词：图像修复；相似边界；BP 神经网络 中图分类号：TP319.41 文献标志码：A
输入层
隐含层
输出层
图 1 BP 神经网络模型
第 35 卷 第 1 期
贺文熙，等：基于 BP 神经网络的数字图像修复
67
式（3）第二项的符号与前一次的修正量的符号相同， 从而使本次修正量增大，起到加速修正的作用[15]. 网 络模型如图 1 所示. 本文只需取 2 层，输入层神经
元 13 个，输出层神经元 1 个. 学习速率取 0.01，动 量因子为 0.6，允许误差取 10-3，迭代次数为 5000， 传输函数使用 logsig. 2.2 BP 神经近似均方 误 差 的 最 速 下 降 法 及 网 络
的权值和阈值更新 基于均方误差的最速下降算法为[16]：
m
m
wi，j （k）=wi，j （k-1）-α
F赞
m
（1）
wi，j
m
m
bi （k）=bi （k-1）-α
F赞
m
（2）
bi
m
其 中 ，wi，j 为 m 层 第 j 个 神 经 元 到 第 i 个 神 经 元 的
m
连接权值，bi 是第 m 层第 i 个阈值，
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
sm 的计算需要利用雅可比矩阵
（10）
nm+1 nm
Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ
=Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ Σ ΣΣ Σ
…
m+1
n1
m
n1
m+1
n2
m
n1
m+1
nsm+1
m
n1
m+1
n1
m
…
n2
m+1
n2
m
…
n2
…
…
m+1
nsm+1
M=[[A1M1，A1M2…A1Mj]… [AiM1，AiM2…AiMj]] N=[[A1N1，A1N2…A1Nj]… [AiN1，AiN2…AiNj]] 对于第一条， 细胞矩阵 M 和 N 里每一个单元 只有一个元素，即 Mj=1,i 为边界上像素的个数. 对 于第二条，j=6. 严格相似边界邻域有时很难寻找， 这时可以利用广义边界邻域进行修复. 定义 2 广义相似边界邻域 广义相似边界邻域指边界上存在大小近似相 等的像素， 不要求相对应位置上的像素值相等，只 要求存在大小近似相等的像素值. 这是由于神经 网络只是用这些数据进行训练网络，调整网络的权 值和阈值.
r軆= Σ r軆i i∈Nε（s）
其中：Nε（s）表示关注点的一个小邻域， r軆 i 为待关注 点 s 指向任一邻域像素 p 的向量. 因待修复点的邻 域（东南西北）存在未知像素，且考虑到待修复点和 近邻点关系最大， 故 i 取 6. 再定义复合向量的二 范数为：
Σ r軆 2=（
Δui 2）1/2
i
ni
性） 得：
m
ni
m
m m-1
=si αj ，
F赞
m
m
=si
（9）
wi，j
bi
考虑到 sm 是向量有：
3 试验结果及分析
试 验 以 Matlab6.5 为 平 台 ， 在 PC 机 （Pentium
第 35 卷 第 1 期 2014 年 2 月
江西理工大学学报
Journal of Jiangxi University of Science and Technology
文章编号：2095-3041（2014）00-0065-05 DOI：10.13265/j.cnki.jxlgdxxb.2014.01.011
wi，j ni
wi，j bi
ni
bi
m
其 中 ，ni 为 第 m 层 第 i 个 输 入 . 根 据 神 经 网 络 输
入、输出关系得：
sm-1
Σ m
ni ＝
m m-1 m
wi，j αj +bi
j=1
（7）
m
m
故有：
ni
m
m-1
=αj ，
ni
m
=1
（8）
wi，j
bi
m
定义 si =
F赞
m
（F赞 对 m 层第 i 个元素变化的敏感
方误差F赞 为：
F赞 ＝（t（k）－α（k））T（t（k）－α（k））
（5）
其中，t 为目标输出向量，α 是实际输出向量. 利用
链法则得：
sm=
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
F赞 Σ
= m
Σ Σ
nΣ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
…
F赞
m
n1 F赞
m
n2
F赞
m
nsm
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
，Σ
Σ
a0=p，a=aM
m
…
n1
m+1 Σ
n1
Σ Σ Σ
m
nsm
Σ Σ Σ Σ
m+1
Σ Σ
n2
Σ Σ
Σ
m
Σ
nsm
Σ Σ
Σ
…
Σ
Σ
m+1
Σ Σ
nsm+1
Σ Σ
Σ
m
nsm
Σ Σ ΣΣ Σ
（11）
经过计算可得：
nm+1 nm
=WM+1F觶 m（nm）
（12）
Σ Σ Σ Σ
f觶
m（nm1
）
0
…0
Σ Σ Σ Σ
Σ
Σ
F觶 m（nm）=
Σ Σ Σ