基于Harris角点检测的图像配准新算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Байду номын сангаас【关键词】图像处理，计算机辅助；图像配准；Harris 算子；相对位置函数
【Abstract】To improve the precision of image registration based on corner detection, a relative position function between multiple points to determine matching points accurately. First the corners in images are detected using Harris detector, and clustering method is used to eliminate most wrong matches after coarse screening. Then the proposed relative position function is used as a criterion of precise matching. Finally the image registration process is accomplished by affine transformation. Results show that the proposed algorithm is more effective and accurate than conventional registration algorithm.
3 图像的几何配准
3.1 相对位置函数配准 传统的配准算法以给定的点 来 拟 合 直 线， 以 最 小 二 乘 法 为 例， 该 算 法 从 预 匹 配 点中选出不少于 4 对的匹配点，这些点是符合直线
Y=a+bX 关系的，且 a 和 b 是最佳的。但该算法并不要 求这条直线精确地经过这些点，所以容易受到整体数 据中离群点的影响，从而使所拟合的模型和真实的模 型之间存在一定的偏差。
针对几何拟合直线算法的不足，本文提出一种相 对位置函数作为精匹配准则，并将标准方差的思想运 用其中。通过对参考图像和待配准图像中匹配点对的 位置关系进行相似性比较，以删除偏离整体分布较大 的误匹配点对，该函数定义为：
Ai=
（ai－ aj）2+（bi－bj）2 （ci－cj）2+（di－dj）2
（4）
值法、双线性插值法和三线性插值法。考虑到算法的 计算复杂度和插值结果，实验中采用双线性插值法， 这样就实现了图像之间的配准。
1 Harris 角点检测算子
Harris 角点 [5-7] 检测法是一种基于图像灰度的检测 方法，是由 Harris 和 Stephens 提出的，主要是通过计 算每个像素邻域的灰度变化矩阵 C 来检测角点，定义 矩阵 C 为：
C= Ix2 IxIy
IxIy Iy2
（1）
其中，Ix 为 x 方向的梯度，Iy 为 y 方向的梯度。设 α、 β 为矩阵 C 的特征值，当 α 和 β 都很小时，检测到的 点是平坦区域点；当 α 和 β 之间只有一个较大而另一 个较小时，检测到的点为边缘点；当 α 和 β 都较大时， 提示沿着任意方向移动，图像的灰度都将导致明显的 变化，表示检测到的点是角点。为了计算方便，采用 矩阵的行列式 det 和矩阵的迹 tr 来代替 α 和 β，其中：
x' = a11 a12 x + tx y' a21 a22 y ty
（5）
a11 a12 其中，点 (x, y) 经仿射变换后为点 (x', y')， a21 a22 为实矩阵，tx 和 ty 为平移量。
在图像配准中，一幅图像经空间变换后得到的像 素坐标一般不是整数，因此需要用插值的方法来重建 非整数坐标点的像素值。常用的插值方法有最邻近插
当 M 的值大于一定的阈值，并且在周围 8 个方向 上取到局部极大值时，才判定该点是角点。阈值一般 取决于图像的清晰度以及角点强弱等因素，当图像较 清晰、角点特征较强时，阈值一般取大一些；当图像 较模糊、角点特征较弱时，阈值一般取小一些；本文 的实验图像为股骨图像和颅脑图像，针对股骨图像中 角点特征较弱的特点，取阈值为 20；针对颅脑图像中 角点特征较强的特点，取阈值为 80。
中国医学影像学杂志 Chinese Journal of Medical Imaging · 787 ·
医学影像工程学 Medical Imaging Engineering
（7） 从 上 述 求 得 的 所 有 标 准 方 差 中 选 取 最 小 的 一个，记为 Cmin。此时，需要设置另一相关函数 ε2 来 判定 2 幅图像中各点的对应关系，使得当 Cmin<ε2×B0 时，可以说明 2 幅图像中对应点之间的位置关系近似 一致，此时，保留 2 幅图像中对应的角点对。经过实 验，ε2 的值可取为 0.6。当 Cmin>ε2×B0 时，存在误匹配 点，需要从 m－1 个角点中筛选掉一个，共有 m－2 个 角点。然后对每一种可能求得 m－1 个标准偏差，然后 与 ε2×B0 比较大小，按上述方式循环下去，直到剩余的 角点对数少于 4 对为止，记录此时 2 幅图像中的匹配 角点，并结束算法。 3.2 仿射变换及插值 将参考图像与待配准图像进行 配准，需要对待配准图像进行一些列的空间变换，这 些变换有多种，可分为刚体变换、投影变换、仿射变换、 多项式变换等，本文采用仿射变换模型 [9]。 给定 2 幅图像间的仿射变换公式为：
由于图像之间的差异较大，错误的匹配分布没有 一定的规律，应用聚类的方法对提取到的角点进行分 类是很适合的。
运用聚类法粗筛选匹配点的主要思路为：对尺寸 同样大小的 2 幅待匹配图像进行高斯滤波，并进行膨 胀处理，以去除图像的边界点。然后将 2 幅图像放置 于同一坐标系中并重叠在一起，把图像中的匹配角点 用直线相连接，则斜率相同或近似的直线对应者为正 确的匹配角点。由于直线的斜率可以是负无穷大到正 无穷大之间的任何一个数，难以处理，故使用反正切 值函数来计算直线倾斜角的弧度值，将此函数返回的 值作为相似程度的统计量，并在匹配点集中找到一个 包含某弧度值最多的邻域，从而该邻域内的匹配角点 即作为粗筛选出的匹配点。
2 聚类法
聚类方法 [8] 是一种理想的多变量统计技术，是研 究分类的一种多元统计方法，其基本思想是：把大量 的数据样本分成不同的几类，在同一类中，样本相似 性最大，而在不同类中，样本的相似性最小。通常在 所研究的一批样本之间存在不同程度的相似性，即可 以根据相似性找出样本之间相似程度的统计量，以统 计量作为划分类型的依据，使得在同一聚类之间最小 化，而在不同聚类之间最大化。
钟 涛 ZHONG Tao 张建国 ZHANG Jianguo 左俊彦 ZUO Junyan 作者单位 上海应用技术学院机械工程学院 上海 201418 通讯作者 张建国 School of Mechanical Engineering, Shanghai Institute of Technology, Shanghai 201418, China Address Correspondence to: ZHANG Jianguo E-mail: jgzhang98328@163.com 基金项目 上海市自然科学基金面上项目 （13ZR1441400）。 中图分类号 TP391.41 收稿日期：2015-06-06 修回日期：2015-08-27 中国医学影像学杂志 2015年 第23卷10期：785-789 Chinese Journal of Medical Imaging 2015 Volume 23(10): 785-789
其中，（ai,bi）和（aj,bj）为参考图像中的任意两点， （ci,di）和（cj,dj）为待配准图像中对应的任意两点。该
函数描述的是 2 幅图像中任意两点距离之比，通过利 用标准差来检测数据的离散程度，以删除偏离整体分 布较大的点。
本文角点精匹配算法实现步骤如下： （1）假设从参考图像和待配准图像中运用聚类法 提取的角点分别为： p={(ai,bi),i=1,2,...,m} q={(ci,di),j=1,2,...,n} 其中，m、n 分别为 2 幅图像中的提取的角点个 数，为方便计算，经处理使 m 和 n 的值相等。点（ai,bi） 和点（cj,dj）分别随着 i 和 j 的变化顺序排列，这样就 构成了任意两点之间的一一对应。 （2）分别从 2 幅图像中找出任意一组对应的角点， 运用公式（4）得到 m(m－1)/2 个函数值，任意一个函 数值记为 Ai，i=1,2,...,m(m－1)/2。 （3）对上述求得的所有函数值 Ai 求标准方差，记 为 B0。 （4）为了判定参考图像和待配准图像中各点之间 的位置关系，需要设置一相关系数 ε1，使得当 B0<ε1 时， 可以说明 2 幅图像中对应点之间的位置关系近似一致， 此时，保留 2 幅图像中对应的角点对。经过实验，ε1 的值可取为 0.05。 （5）当 B0>ε1 时，说明 2 幅图像中至少存在一组匹 配点的对应位置偏离较大，需要剔除其中偏离最大的 匹配点。此时，匹配的角点个数为 m－1 个。由于每 个角点都将被剔除 1 次，所以共有 m 种可能。对每一 种可能，按公式（4）计算，将得到 (m－1)(m－2)/2 个 函数值。 （6）对上述每一种可能求得的所有函数值求标准 方差，记为 Cj，j=1,2,...m。
【Key words】Image processing, computer-assisted; Image registration; Harris detector; Relative position function
图像配准 [1] 是指通过寻找两幅图像之间的几何变 换关系，使图像上对应的特征点达到空间上的一致 [2]。 医学图像配准将不同模态的图像融合在一起，能够提 供给医师丰富的信息，已经在医学研究与临床诊断中 发挥越来越重要的作用。目前图像配准方法主要分为 基于灰度的配准 [3] 和基于特征的配准 [4]。基于灰度的 配准方法利用图像间对应像素点的灰度值进行配准， 由于利用整幅图像信息，该方法精度较高，但计算量大、 耗时。基于特征的配准方法利用图像的局部特征点进行 配准，操作简单、速度较快、应用范围较为广泛，但该 方法在配准过程中会产生一些误匹配点，降低配准精度。 针对这一缺点，本文在研究 Harris 角点检测算子的基础 上，采用聚类法进行粗匹配，然后提出一种相对位置函 数作为精匹配准则，剔除偏离整体分布趋势较大的误匹 配点对，有效地提高了配准精度和性能。
中国医学影像学杂志 Chinese Journal of Medical Imaging · 785 ·
医学影像工程学 Medical Imaging Engineering
Doi：10.3969/j.issn.1005-5185.2015.10.018
基于Harris角点检测的图像配准新算法 A New Image Registration Algorithm Based on Harris Corner Detection
医学影像工程学 Medical Imaging Engineering
· 786 · 中国医学影像学杂志 Chinese Journal of Medical Imaging
det(C)=αβ
tc(C )=α+β 定义角点响应函数 M 为：
（2）
M=det(C ) － ktr2(C )
（3）
其 中 k 的 取 值 范 围 为 0.04~0.06， 一 般 推 荐 取 为 0.04。
【摘要】为提高基于角点的图像配准算法的配准精度，提出一种关于点之间的相对位 置函数来精确地确定角点匹配点对。首先，利用 Harris 算子检测图像中的角点，通 过聚类法对提取的角点粗筛选，删除大部分错误匹配点，然后运用相对位置函数作 为精确匹配准则，最后对待配准图像进行仿射变换，从而实现图像配准。实验结果 表明，与传统的配准方法相比，该方法具有有效性和精确性，实现了良好的配准效果。
【Abstract】To improve the precision of image registration based on corner detection, a relative position function between multiple points to determine matching points accurately. First the corners in images are detected using Harris detector, and clustering method is used to eliminate most wrong matches after coarse screening. Then the proposed relative position function is used as a criterion of precise matching. Finally the image registration process is accomplished by affine transformation. Results show that the proposed algorithm is more effective and accurate than conventional registration algorithm.
3 图像的几何配准
3.1 相对位置函数配准 传统的配准算法以给定的点 来 拟 合 直 线， 以 最 小 二 乘 法 为 例， 该 算 法 从 预 匹 配 点中选出不少于 4 对的匹配点，这些点是符合直线
Y=a+bX 关系的，且 a 和 b 是最佳的。但该算法并不要 求这条直线精确地经过这些点，所以容易受到整体数 据中离群点的影响，从而使所拟合的模型和真实的模 型之间存在一定的偏差。
针对几何拟合直线算法的不足，本文提出一种相 对位置函数作为精匹配准则，并将标准方差的思想运 用其中。通过对参考图像和待配准图像中匹配点对的 位置关系进行相似性比较，以删除偏离整体分布较大 的误匹配点对，该函数定义为：
Ai=
（ai－ aj）2+（bi－bj）2 （ci－cj）2+（di－dj）2
（4）
值法、双线性插值法和三线性插值法。考虑到算法的 计算复杂度和插值结果，实验中采用双线性插值法， 这样就实现了图像之间的配准。
1 Harris 角点检测算子
Harris 角点 [5-7] 检测法是一种基于图像灰度的检测 方法，是由 Harris 和 Stephens 提出的，主要是通过计 算每个像素邻域的灰度变化矩阵 C 来检测角点，定义 矩阵 C 为：
C= Ix2 IxIy
IxIy Iy2
（1）
其中，Ix 为 x 方向的梯度，Iy 为 y 方向的梯度。设 α、 β 为矩阵 C 的特征值，当 α 和 β 都很小时，检测到的 点是平坦区域点；当 α 和 β 之间只有一个较大而另一 个较小时，检测到的点为边缘点；当 α 和 β 都较大时， 提示沿着任意方向移动，图像的灰度都将导致明显的 变化，表示检测到的点是角点。为了计算方便，采用 矩阵的行列式 det 和矩阵的迹 tr 来代替 α 和 β，其中：
x' = a11 a12 x + tx y' a21 a22 y ty
（5）
a11 a12 其中，点 (x, y) 经仿射变换后为点 (x', y')， a21 a22 为实矩阵，tx 和 ty 为平移量。
在图像配准中，一幅图像经空间变换后得到的像 素坐标一般不是整数，因此需要用插值的方法来重建 非整数坐标点的像素值。常用的插值方法有最邻近插
当 M 的值大于一定的阈值，并且在周围 8 个方向 上取到局部极大值时，才判定该点是角点。阈值一般 取决于图像的清晰度以及角点强弱等因素，当图像较 清晰、角点特征较强时，阈值一般取大一些；当图像 较模糊、角点特征较弱时，阈值一般取小一些；本文 的实验图像为股骨图像和颅脑图像，针对股骨图像中 角点特征较弱的特点，取阈值为 20；针对颅脑图像中 角点特征较强的特点，取阈值为 80。
中国医学影像学杂志 Chinese Journal of Medical Imaging · 787 ·
医学影像工程学 Medical Imaging Engineering
（7） 从 上 述 求 得 的 所 有 标 准 方 差 中 选 取 最 小 的 一个，记为 Cmin。此时，需要设置另一相关函数 ε2 来 判定 2 幅图像中各点的对应关系，使得当 Cmin<ε2×B0 时，可以说明 2 幅图像中对应点之间的位置关系近似 一致，此时，保留 2 幅图像中对应的角点对。经过实 验，ε2 的值可取为 0.6。当 Cmin>ε2×B0 时，存在误匹配 点，需要从 m－1 个角点中筛选掉一个，共有 m－2 个 角点。然后对每一种可能求得 m－1 个标准偏差，然后 与 ε2×B0 比较大小，按上述方式循环下去，直到剩余的 角点对数少于 4 对为止，记录此时 2 幅图像中的匹配 角点，并结束算法。 3.2 仿射变换及插值 将参考图像与待配准图像进行 配准，需要对待配准图像进行一些列的空间变换，这 些变换有多种，可分为刚体变换、投影变换、仿射变换、 多项式变换等，本文采用仿射变换模型 [9]。 给定 2 幅图像间的仿射变换公式为：
由于图像之间的差异较大，错误的匹配分布没有 一定的规律，应用聚类的方法对提取到的角点进行分 类是很适合的。
运用聚类法粗筛选匹配点的主要思路为：对尺寸 同样大小的 2 幅待匹配图像进行高斯滤波，并进行膨 胀处理，以去除图像的边界点。然后将 2 幅图像放置 于同一坐标系中并重叠在一起，把图像中的匹配角点 用直线相连接，则斜率相同或近似的直线对应者为正 确的匹配角点。由于直线的斜率可以是负无穷大到正 无穷大之间的任何一个数，难以处理，故使用反正切 值函数来计算直线倾斜角的弧度值，将此函数返回的 值作为相似程度的统计量，并在匹配点集中找到一个 包含某弧度值最多的邻域，从而该邻域内的匹配角点 即作为粗筛选出的匹配点。
2 聚类法
聚类方法 [8] 是一种理想的多变量统计技术，是研 究分类的一种多元统计方法，其基本思想是：把大量 的数据样本分成不同的几类，在同一类中，样本相似 性最大，而在不同类中，样本的相似性最小。通常在 所研究的一批样本之间存在不同程度的相似性，即可 以根据相似性找出样本之间相似程度的统计量，以统 计量作为划分类型的依据，使得在同一聚类之间最小 化，而在不同聚类之间最大化。
钟 涛 ZHONG Tao 张建国 ZHANG Jianguo 左俊彦 ZUO Junyan 作者单位 上海应用技术学院机械工程学院 上海 201418 通讯作者 张建国 School of Mechanical Engineering, Shanghai Institute of Technology, Shanghai 201418, China Address Correspondence to: ZHANG Jianguo E-mail: jgzhang98328@163.com 基金项目 上海市自然科学基金面上项目 （13ZR1441400）。 中图分类号 TP391.41 收稿日期：2015-06-06 修回日期：2015-08-27 中国医学影像学杂志 2015年 第23卷10期：785-789 Chinese Journal of Medical Imaging 2015 Volume 23(10): 785-789
其中，（ai,bi）和（aj,bj）为参考图像中的任意两点， （ci,di）和（cj,dj）为待配准图像中对应的任意两点。该
函数描述的是 2 幅图像中任意两点距离之比，通过利 用标准差来检测数据的离散程度，以删除偏离整体分 布较大的点。
本文角点精匹配算法实现步骤如下： （1）假设从参考图像和待配准图像中运用聚类法 提取的角点分别为： p={(ai,bi),i=1,2,...,m} q={(ci,di),j=1,2,...,n} 其中，m、n 分别为 2 幅图像中的提取的角点个 数，为方便计算，经处理使 m 和 n 的值相等。点（ai,bi） 和点（cj,dj）分别随着 i 和 j 的变化顺序排列，这样就 构成了任意两点之间的一一对应。 （2）分别从 2 幅图像中找出任意一组对应的角点， 运用公式（4）得到 m(m－1)/2 个函数值，任意一个函 数值记为 Ai，i=1,2,...,m(m－1)/2。 （3）对上述求得的所有函数值 Ai 求标准方差，记 为 B0。 （4）为了判定参考图像和待配准图像中各点之间 的位置关系，需要设置一相关系数 ε1，使得当 B0<ε1 时， 可以说明 2 幅图像中对应点之间的位置关系近似一致， 此时，保留 2 幅图像中对应的角点对。经过实验，ε1 的值可取为 0.05。 （5）当 B0>ε1 时，说明 2 幅图像中至少存在一组匹 配点的对应位置偏离较大，需要剔除其中偏离最大的 匹配点。此时，匹配的角点个数为 m－1 个。由于每 个角点都将被剔除 1 次，所以共有 m 种可能。对每一 种可能，按公式（4）计算，将得到 (m－1)(m－2)/2 个 函数值。 （6）对上述每一种可能求得的所有函数值求标准 方差，记为 Cj，j=1,2,...m。
【Key words】Image processing, computer-assisted; Image registration; Harris detector; Relative position function
图像配准 [1] 是指通过寻找两幅图像之间的几何变 换关系，使图像上对应的特征点达到空间上的一致 [2]。 医学图像配准将不同模态的图像融合在一起，能够提 供给医师丰富的信息，已经在医学研究与临床诊断中 发挥越来越重要的作用。目前图像配准方法主要分为 基于灰度的配准 [3] 和基于特征的配准 [4]。基于灰度的 配准方法利用图像间对应像素点的灰度值进行配准， 由于利用整幅图像信息，该方法精度较高，但计算量大、 耗时。基于特征的配准方法利用图像的局部特征点进行 配准，操作简单、速度较快、应用范围较为广泛，但该 方法在配准过程中会产生一些误匹配点，降低配准精度。 针对这一缺点，本文在研究 Harris 角点检测算子的基础 上，采用聚类法进行粗匹配，然后提出一种相对位置函 数作为精匹配准则，剔除偏离整体分布趋势较大的误匹 配点对，有效地提高了配准精度和性能。
中国医学影像学杂志 Chinese Journal of Medical Imaging · 785 ·
医学影像工程学 Medical Imaging Engineering
Doi：10.3969/j.issn.1005-5185.2015.10.018
基于Harris角点检测的图像配准新算法 A New Image Registration Algorithm Based on Harris Corner Detection
医学影像工程学 Medical Imaging Engineering
· 786 · 中国医学影像学杂志 Chinese Journal of Medical Imaging
det(C)=αβ
tc(C )=α+β 定义角点响应函数 M 为：
（2）
M=det(C ) － ktr2(C )
（3）
其 中 k 的 取 值 范 围 为 0.04~0.06， 一 般 推 荐 取 为 0.04。
【摘要】为提高基于角点的图像配准算法的配准精度，提出一种关于点之间的相对位 置函数来精确地确定角点匹配点对。首先，利用 Harris 算子检测图像中的角点，通 过聚类法对提取的角点粗筛选，删除大部分错误匹配点，然后运用相对位置函数作 为精确匹配准则，最后对待配准图像进行仿射变换，从而实现图像配准。实验结果 表明，与传统的配准方法相比，该方法具有有效性和精确性，实现了良好的配准效果。