基于特征光流的角点匹配快速算法

第33卷第4期 光电工程V ol.33, No.4 2006年4月 Opto-Electronic Engineering April, 2006

文章编号：1003-501X(2006)04-0085-04

基于特征光流的角点匹配快速算法

杨常清，王孝通，李博，金良安

( 海军大连舰艇学院航海系，辽宁大连 116018 )

摘要：为了解决视频序列点匹配过程中的实时性和误匹配问题，本文提出了一种基于特征光流技术的快速角点匹配方法。该方法通过多分辨率策略，求出特征光流场概略运动矢量，然后依据匹配准则做相应特征点匹配处理，得到的精确运动矢量用作下一步的光流场计算。这样，既消除了误匹配点，又克服了光流计算的迭代负担。实验结果表明，算法正确匹配率达到98%以上，平均处理帧率24，能够满足系统实时性要求。

关键词：运动估计；点匹配；特征光流；实时性；多分辨率

中图分类号：TN941.1 文献标识码：A

Fast point matching method based on feature optical flow

YANG Chang-qing，WANG Xiao-tong，LI Bo，JIN Liang-an

(Department of Navigation, Dalian Naval Academy, Dalian 116018, China )

Abstract：To solve the general point correspondence problem in motion estimation, a new fast point matching algorithm based on feature optical flow is proposed. This algorithm calculates cursory motion vector of feature optical flow with multi-resolution tactic, and then do feature point matching by the matching criterion. The obtained precision motion vector is used in the next optical flow calculation.

The algorithm can avoid wrong matching and solve the problem of operation load. The experiments show that this algorithm has the right matching rate 98% and process rate 24 frame/second on average.

Key words：Motion estimation; Point matching; Feature optical flow; Real-time; Multi-resolution

引言

特征点(角点)匹配是视频序列运动估计常用算法之一。所谓点匹配，就是在两个2D或3D的点集之间找到几何映射和对应关系。然而，由于噪声、出格点(Outliers)以及非刚性映射的存在，使得角点匹配难以满足系统要求。为此，人们进行了广泛的研究。文献[1]提出通过最小化两个点集之间的Hausdorff距离，来寻找它们之间的仿射变换，这种方法虽然可以排除大量的出格点，但对噪声很敏感。由Ranade最早提出的松弛标记法[2]已广泛应用于点匹配问题中，但这种方法没有考虑一对一匹配的约束，文献[3]在松弛标记框架下应用了确定性退火算法的形式，但是也仅考虑了单向的匹配约束。文献[4]提出了一个同时处理空间映射和对应关系的目标函数，通过最小化目标函数来求解点匹配问题。但是这些方法在排除出格点的同时都不能保证点集之间一一对应。迭代最近点算法(ICP)[5]是通过最小化一点与另一点集中的最近点之间的距离，来求解它们之间的空间变换。文献[6]在ICP的基础上提出共线性以及特征提取等策略实现两个点集的配准。通过求取最小化函数或者穷举算法来实现匹配，都不能保证算法的实时性。

本文为了提高点匹配的鲁棒性和实时性，提出了一种基于特征光流的点匹配算法。该算法首先采用多分辨率策略，求解出特征光流场概略运动矢量，然后根据特征空间匹配策略做相应特征点匹配处理，将得

收稿日期：2005-03-22；收到修改稿日期：2005-08-22

基金项目：“十五”国防预研课题

作者简介：杨常清(1976-)，男(汉族)，辽宁丹东人，博士生，主要从事电子稳像、图像处理研究。E-mail: changqing527@

光电工程 第33卷第4期 86到的精确运动矢量用作下一步的光流场计算。这样，不仅可以克服点匹配过程的误匹配问题，又可以克服光流场计算的迭代运算量问题。

1 角点提取

角点是图像的一种重要局部特征，它决定了图像中目标的形状，所以在图像匹配、目标描述与识别以及运动估计、目标跟踪等领域，具有十分重要的意义。

1.1 Harris 角检测器

在已有的角点提取算法中，Harris 角检测器具有优良特性[7]，该方法使用图像的一阶差分，计算每个像素处的平均平方梯度矩阵(Average square gradient matrix)，通过特征值分析给出角点响应。该方法可以隐式地使用滑动窗口，适合矩阵运算，效率很高。

用Harris 角检测器得到控制点，即计算

04.0)(det 2=−K M trace K M ， (1)

的局部极大值。

⎥⎥⎦

⎤⎢⎢⎣⎡++++++++=}{}{}{}{222222y y y y x y x y x y x y x y x x x x B G R S B B G G R R S B B G G R R S B G R S M σσσσ (2) y y x R y x R x

y x R y x R y x ∂∂=∂∂=),(),(),(),(， 式中 σS 为高斯滤波器，局部彩色梯度用Deriche 滤波器得到。

1.2 角点的均匀化处理

由于在真实影像中，角点的分布并不均匀，加上本算法使用角点邻域内的角点支持强度作为判断角点是否为优胜角点的依据之一，因此，会造成求取的对应角点分布不均匀的现象。本文考虑的是采用分块法将角点进行均匀化处理，即根据配准的需要，将第一幅图像分成p ×q 块(通常选择的块数越多，得到的角点越多，本文选择的是8×8)；然后，在每一块中，只保留一个角点，第二幅图像做相应的处理，这样就可以解决角点分布不均匀的问题在已有的角点提取算法中。Harris 角检测器具有优良特性[7]，该方法使用图像的一阶差分，计算每个像素处的平均平方梯度矩阵(Average square gradient matrix)，通过特征值分析给出角点响应。该方法可以隐式地使用滑动窗口，适合矩阵运算，效率很高。

2 特征光流场计算

光流计算最初由Horn 和Schunch 于1981年提出，可以分为连续光流法和特征光流法。特征光流法是通过特征匹配求得特征点处的光流。主要优点在于：对目标在帧间的运动的限制较小，可以处理大的帧间位移，对噪声的敏感性降低，只处理图像中很少数的特征点，计算量较小。

设E (x , y , t )是图像特征点在时刻t 的照度，如果u (x , y )和v (x , y )是该点光流的x 和y 分量，假定该点在t +δt 时刻运动到(x +δx , y +δx )时，照度保持不变，其中δx=u δt ，δy=v δt ，即：

),,(),,(t y x E t t t v y t u x E =+++δδδ (3)

将上式左边用泰勒级数展开，并略去高阶项，可得

0d d d d =∂∂+∂∂+∂∂t

I t y y I t x x I (4) 上式就是基本的光流约束方程(Optical /Image flow constraint equation)，它反映了运动图像时间梯度与空间梯度之间的时－空微分关系，表示图像强度对时间变化率等于强度的空间变化率与运动速度的乘积。

记 x I I x ∂∂=，y

I I y ∂∂=，t I I t ∂∂= 代入式(4)可得到光流约束方程的另一种表达形式：

0=++t y x I v I u I (5)