基于特征点的病理切片图像拼接算法_叶志前

An Image Mosaic Algorithm of Pathological Section Based on Feature Points
Ye Zhiqian Wu Hao
(Col leg e o f Bi ome d ica l Eng inee ri ng & Instr ument S ci ence , Zhej iang U ni v er sit y , H an gz hou 310027 , Chi na)
1 算法的思想
图像拼接一般要进行四方面的处理 :图像预处 理 、图像配准(i mage registrati on)、图像变换和图像
第 5 期 叶志前等 :基于特征点的病理切片图像拼接算法 9 85
融合[ 4] 。我们提出的基于特征点的病理切片图像拼
v ), u , v ∈ [ -ω, +ω] 。 当 m1i 和 m 2 j 满足 :Cm1im2j = m ax C i ∈ P1 , j ∈ P2 m1im2j , 其中 P 1 为第一幅图像的兴趣 点集 , P2 为第二幅图像的兴趣点集 , 则{m1i m2 j }为待拼
接图像的匹配特征对 。
f 1(x , y)
(x , y)∈ f 1
f (x , y)= k1 f 1(x , y)+k2 f 2 (x , y)(x , y)∈ f 1 ∩ f 2 ,
f 2(x , y)
(x , y)∈ f 2
(6)
其中 k1 、k2 为权重值 , 且 k1 +k2 =1 , 0 <k1 , k2 <1 。 在重叠区域中 , k1 由 1 渐变至 0 , k2 由 0 渐变至 1 , 由
匹配的依据是计算两个兴趣点之间的相关系数 , 即
ωω
C=
∑ ∑[
u =Байду номын сангаасωv =-ω
Auv
-A] [ Buv
-B]
ωω
ωω
,
∑ ∑[
u =-ωv =-ω
A uv
-A] 2
＊
u
∑
=-ωv
∑[
=-ω
B uv
-B] 2
(3)
其中 A uv =I 1 (xi +u , y i +v ), B uv =I2 (x j +u , y j +
(1)将待拼接图像的像素信息和位置信息读入 ;
(2)使用 ω×ω的窗口对待拼接图像进行扫描 ,
窗口的中心像素点为 P(x , y), 按式(1)计算水平 、垂
直 、对角线 、反对角线 4 个方向相邻像素灰度差的平
方和 :
k -1
V
1
= ∑ (g i=-k
x
+i
,
y
-g x +i +1 , y )2
k -1
x = m0 m1 x + m2 ,
y
m3 m4 y
m5
(5)
仿射变换矩阵具有 6 个参数 , 根据获得的三对匹配 特征对的位置信息就可以解出所有的参数 , 得到仿 射变换模型 。根据仿射变换模型 , 按式(5)将待拼接 图像变换到同一坐标系下 。 1 .3 图像融合
配准后的两幅图像 , 在重叠部分一般会出现明 暗强度及变形程度的差异 , 为了使拼接后的图像具 有视觉一致性 , 采用加权平均的融合方法对图像进 行平滑过渡 。假设 f 1 和 f 2 是两幅配准后的待拼接 图像 , 将图像 f 1 和 f 2 在空间叠加 , 则融合后的图像 f 可表示为[ 8] :
够看到当地医院的完整“现场” , 而且能在当地医院 再现观测病理切片时的“现场” , 这对于病理切片存 档 、病理研究学习 、解决法律纠纷等都有着重要的意 义[ 2] 。
对于显微镜拍摄的病理切片图像拼接 , 一般具 有如下特点 :病理切片图像获取时 , 样本放在显微镜 下样本平台聚焦 , 可以认为图像在同一视点下采集 得到 , 同一坐标空间中发生大角度旋转的可能性很 小 , 因此一般两幅相邻的病理切片图像大多只存在 平移和小角度的旋转 ;图像拼接时图像的背景对目 标的影响大 、对精确度的要求高 , 所以 , 要求图像的 拼接算法具 有抗 干扰性 和敏锐 性[ 3] 。 针 对以上 问 题 , 我们提出了一种基于特征点的病理切片图像拼 接方法 。
引言
图像拼接(image mo sai c)是指将一组相互间存 在连接关系的图像进行无缝拼合连接 , 生成一张具 有较宽视角的高分辨率图像[ 1] 。通常所拼接图像具 有重叠的连接部分 , 拼接后的图像要求最大程度地 与原始图像接近 , 失真尽可能小 , 并且没有明显的连 接缝合线 。 图像拼接技术是一个日益盛行的研究领 域 , 在虚拟现实技术 、计算机图形学 、医学图像处理 等领域都有广泛的应用 。
摘 要 :通过对常用图像拼接方法的研究 , 针对病理切片图像 的特点 , 提出了一 种基于特 征点的 图像拼 接算法 。 该 算法首先采用 M o ravec 算子提取出兴趣点 , 根据互相关系数进行特征匹配 , 得到两幅图像的对应特征对 。 然后根据 匹配特征对计算出图像的仿射变换参数 , 使用加 权平均的方法融合图像 。 实验结果表明 , 对于存在平移和 旋转的病 理切片图像 , 该算法能准确地提取出匹配特征对 , 实现图像的无缝拼接 。 关键词 :图像拼接 ;病理切片图像 ;M o rav ec 算子 ;兴趣点匹配 中图分类号 T P391 文献标识码 A 文章编号 1001-5515(2010)05-0984-03
98 6 生 物 医 学 工 程 学 杂 志 第 27 卷
此实现了两幅图像在重叠区域的平滑过渡 。
2 实验结果
为了对算法的有效性进行客观评测 , 本文以浙 江大学数字医学工程实验室提供的病理切片图像作 为实验图像 , 实验条件为 :P IV 1.83 G , 512 M , VC ++6.0 , WINXP 。
在医学领域 , 许多图像处理技术是在解决医学 图像问题的过程中产生的 , 且对图像的质量和处理 手段都有极高的要求 。例如 , 在远程会诊中 , 把显微 镜有限视野下所拍摄的序列病理切片图像拼接成全 局图像是十分必要的 , 这样不仅可以使远程医师能
＊国家创新基金资助项目(09C26223301276) Δ 通讯作者 。 E-mail :yezhiqian @
图 1(a)、(b)是两幅相互间存在重叠 部分的病 理切片图像 , 图像间存在平移和小角度旋转的关系 。 图 1(c)、(d)是以 M oravec 算子提取原始 图像的兴 趣点 , 这里阈值 取作5 000 。经过最大相关 系数法匹 配后 , 可以获得两幅图像的匹配特征对 。 根据匹配 特征对 , 将待拼接图像变换到同一坐标系下 , 融合重 叠区域得到的拼接结果 , 如图 1(c)所示 。
V2
=i=∑-k(g x +i , y +i
-g )2 x +i +1 , y +i +1
k -1
V
3
= ∑ (g i=-k
x
,
y
+i
-g x , y +i +1 )2
k -1
V4
= ∑ (g i=-k
x
+i
,
y
-i
-g x +i +1 , y -i -1)2 ,
(1)
其中 k =int(ω/ 2)。 取最小值作为该像素点 P(x , y)
Abstract:In this paper , an image mo saic alg orithm based o n feature points w as pro po sed by making a study of the image mo saic methods and the characteristics of pa tho lo gical imag e .Points of inte rest we re firstly ex tracted by M or avec operato r in this metho d, a nd the co r respo nding feature ma tches o f the origina l image s wer e achieved by co rrelation co efficient .T he parameter s o f affine transfor mation w ere calcula ted by the matching fea ture points, and weig hted av erag e method w as used to fuse imag es .T he ex pe rimental results sho w that , as fo r the patholo gica l image with translatio n and ro tation , the algo rithm can ex tract the matching feature points accurately and realize the image seamless mo saic. Key words:I mage mo saic ;Patholog ical image ;M or avec operato r ;I nter est points ma tching
接方法 , 首先利用 Mo ravec 算子从待拼接图像中提
取出兴趣点 , 利用兴趣点的相关窗进行特征匹配 , 得
到图像的匹配特征对 ;然后根据匹配特征对的位置
信息来获取图像间的变换关系 , 将待拼接图像变换
到同一坐标系下 ;最后使用加权平均的方法融合图
像 , 得到图像拼接结果 。