结合聚类参数的圆投影模板匹配改进算法

结合聚类参数的圆投影模板匹配改进算法
田明锐;胡永彪;金守峰
【摘要】To overcome the information loss in radical-projection-transform template matching algorithm, the proposed method introduces the clustering model parameters robust to linear illumination. The method eliminates the influence of illumination by linear contrast stretch, and takes the Gaussian mixture model clustering result as the template image feature. The matching errors are obtained by once iterative, and the iterative calculation can be implemented by using a simple look-up table. In searching stage, down sampling matching strategy is used to reduce computation cost and the average error of this stage is set to an adaptive threshold for precise matching. Then, the pixel-wise matching is operated in the neighbor-hood of the down sampling point whose error is less than the threshold, and finally the point of minimum error is set to be the target position. The test shows that the proposed method has better positioning accuracy and reliability than the nor-malized correlation based radical-projection-transform template matching algorithm.%针对圆投影模板匹配方法特征提取过程中损失大量图像信息的缺点，提出了结合聚类模型参数的线性光照鲁棒圆投影模板匹配方法。

所提方法采用线性对比度拉伸来消除光照影响，并将模板图像各圆环内像素点的高斯混合模型聚类参数作为模板特征。

匹配时通过一次迭代计算即可得到匹配误差，且该匹配过程可通过查找表来提高匹配速度。

在目标搜索时使用了降采样搜索方法，并将降采样搜索匹配后各位置的误差均值作为自适应阈值，对匹配误差小于该阈值的降采样点邻域进行逐点匹配，匹配误差最小的位置
作为最终匹配结果。

试验及分析说明所提方法的定位误差及可靠度与基于归一化相关及均值的圆投影匹配算法相比有较大提高。

【期刊名称】《计算机工程与应用》
【年(卷),期】2015(000)021
【总页数】8页(P177-184)
【关键词】模板匹配;圆投影变换;高斯混合模型;聚类特征;光照鲁棒
【作者】田明锐;胡永彪;金守峰
【作者单位】长安大学道路施工技术与装备教育部重点实验室，西安 710064;长安大学道路施工技术与装备教育部重点实验室，西安 710064;西安工程大学机电工程学院，西安 710048
【正文语种】中文
【中图分类】TP751.1
模板匹配是运动目标图像跟踪的一种重要方法，其基本思想是在图像中寻找与标准模板相似度最高的区域，作为目标位置的匹配结果。

在实际应用中，通常要求匹配算法对环境的变化有一定的适应能力，其中目标物的旋转及周围环境光线的变化是较常见的一类影响因素。

对于光线变化，归一化相关（NCC）是一类典型的处理方法[1-2]，NCC度量了待匹配图像与模板像素值序列的线性相关度，使算法具有线性光照变化鲁棒性，但计算量较大，难以满足实时性要求，且算法本身不具备旋转不变性。

目前，光照及旋转不变的模板匹配方法主要有以下几类：第一类是基于不变矩的方法[3-4]，但该方法需在二值图像中提取特征，二值化的处理效果直接影响特征提取结果，这也使不变矩在较复杂的场景中匹配效果不佳。

第二类方法基
于直方图，如mean-shift[5]、cam-shift[6]及HOG[7-8]等，这些算法更多用于
非刚体目标的识别跟踪，不太注重精确定位性能。

第三类方法基于图像中的特征点，如SIFT[9]、CCS[10]、SURF[11]等算子可提取对光照、旋转、缩放，甚至是仿射变化均不敏感的局部特征点，此类方法具有较好的适应性，但计算量通常也比较大，在低对比度图像中特征点提取效率较低，而导致匹配效果较差。

另外，还有一类基于圆投影变换（Radical Projection Transform，RPT）的匹配方法[12-17]，RPT 利用了圆的旋转不变性，以相同半径圆环内的像素均值作为一组特征，结合NCC
可具备旋转及线性光照鲁棒性，由于特征维数很少，该方法计算量较小，主要缺点是采用像素均值作为特征导致了大量图像信息损失。

本文针对RPT特征提取过程中信息损失较大的缺点，提出了一种基于聚类模型参
数的改进RPT匹配算法，本文算法的主要特点是改进了各圆环内图像特征的描述
方法，且与目前其他RPT改进算法相比计算过程较简单，使算法易于满足实时性
的应用要求。

然而，聚类参数特征在线性光照变化情况下呈现出非线性的变化规律，因此本文在提取聚类参数特征前采用线性对比度拉伸来消除光照影响。

在目标搜索阶段，使用了一种自适应阈值的降采样匹配策略，进一步减小了算法的计算量。

2.1 RPT算法介绍
RPT算法利用圆的旋转不变性，提取了相同半径圆环内的像素均值作为匹配特征，因此具有旋转不变性。

定义模板图像为T(x，y)，大小为w×h，中心点为(xc，yc)，则可将模板图像表示为如下极坐标形式：
其中，
则模板T(x，y)的RPT特征可表示为PT(r)：
公式（3）中，Sr为PT(r)所在圆环的像素点个数。

RPT特征提取过程如图1所示，图中PT(r)与PT(R)即为不同半径圆环内的像素均值特征。

图2为同一场景在光照不变情况下分别旋转不同角度后的成像，模板图像为图中
具有大致相同旋转中心点的两个矩形框，划分为12个面积近似圆环区域时的RPT 特征提取结果如图3所示，可以看到，RPT算法具有旋转不变性。

RPT算法的光照不变性一般通过NCC来实现，定义PT和PS分别为模板图像与
待匹配图像的RPT特征向量：
则两者的NCC可表示为
公式（5）使RPT特征具有线性光照鲁棒性。

2.2 结合聚类参数的改进
标准RPT算法的主要缺点是在特征提取过程中丢失了各圆环内灰度分布及其位置
信息，对于灰度图像来说，直方图是一种常用的灰度分布描述方法，与其他图像特征描述方法相比计算量较小，但在各圆环内采用直方图描述得到的特征维数是比较大的，8位灰度图像的特征维数为256·N，N为圆环个数，则匹配时的计算量比较大。

聚类处理[18]本质上是对图像信息的一种压缩，聚类处理将图像中灰度值相近的像素点值进行了合并，灰度图像的灰度级可被压缩至很少的数量，虽然在这一过程中图像信息也存在损失，但与标准RPT的均值特征相比信息量更为丰富。

以常见的
高斯混合模型（GMM）聚类为例，聚类结果可表示为向量参数[μ，σ，n]，其中σ，μ为各圆环的均值与方差向量、n则为各圆环的元素个数向量，这三个向量的
维数可表示为K·N，其中K为聚类中心个数，在各圆环中可取为相同个数，此时
模板图像的特征维数即为3·K·N。

在对模板图像提取上述GMM参数特征时，EM（Expectation Maximization）
算法是一种常用的迭代求解方法，当EM迭代接近收敛时，GMM参数的变化会很小，参数变化小于一定阈值即可认为得到了模板图像的最终聚类结果。

同样，在匹配阶段也可利用EM迭代的形式，考虑光照无变化时真实目标位置的
匹配过程，显然在该位置上将模板特征作为初值对各圆环仅进行一次EM迭代后，
GMM参数几乎不会变化，而在非真实目标位置上迭代后，GMM参数会发生较显著的变化，据此可以对目标进行识别定位。

上述匹配过程利用了聚类计算过程中迭代求解的特点，主要优点在于某一灰度级的类别判断及属于该类别的概率可通过查表来实现，因此具有较好的实时性。

缺点是光照条件变化时，真实目标位置一次迭代后的结果与聚类初值相比也会有较大差异，即使光照变化较小，真实目标位置处的待匹配图像迭代至收敛也需要较长的时间，因此基于聚类参数的RPT方法在使用前需要对光照变化进行预处理。

当发生线性光照变化时，各像素点的值均按照线性模型改变，由此可得到图像均值的变化规律：
上式中的yi表示线性光照变化后的像素点值，xi为对应点的光照变化前的像素值，a0，a1为线性方程的系数。

同理，也可得到光照变化前后图像方差的变化规律：由式（6）与式（7）可以看出，线性光照变化后图像均值也符合线性变化规律，
而图像方程则不是线性变化，因此即使聚类迭代收敛时也无法采用NCC来消除光照变化对聚类参数特征的影响，需要考虑其他的光照处理方法，本文将在3.1节中讨论此问题。

3.1 线性光照不变处理
图像像素值发生线性变化的情况如图4所示，图中MIN，MAX与min，max分
别表示光照变化前后图像中的最小及最大像素值，可利用这两组最小最大值对光照变化后的图像进行简单的拉伸还原处理，所用到对比度拉伸公式如下：
其中Δx=MAX-MIN，Δy=max-min，y，x分别为拉伸还原前后的像素值。

可以看出，发生线性光照变化时，目标真实位置上的待匹配图像能够通过公式（8）得到正确的还原，从而使聚类参数迭代的误差近似为零；而在其他位置上，待匹配图像将被公式（8）进行错误的还原，但这并不影响最终的匹配结果。

实际应用中，上述方法的关键在于快速找出待匹配图像的最小与最大像素值，然而
遍历整个待匹配区域时即为耗时的。

但由图4可以看出，局部区间的像素值仍然符合线性变化关系，因此可利用局部图像区域的像素最小与最大值进行线性对比度拉伸，而不需要遍历整个模板图像及待匹配区域，局部区域的灰度范围小于或等于整幅图像的灰度范围。

而对于目标旋转的情况来说，可选取具有一定宽度的固定圆环区域作为提取最小与最大像素值的局部图像区域，这样提取结果就会不受到目标旋转的影响。

图5所示为采用局部区域像素值对光照变化图像的处理结果，其中光照的变化通过缩小光圈来实现，图中两个黄色矩形框为拉伸变换所需的局部区域，处理结果中的红色像素点表示还原后像素值误差大于10的像素点，区域1与区域2所得结果的误差绝对值均值分别为3.28和4.18。

图5说明：基于局部区域最小与最大值的对比度拉伸在一定程度上能够消除光照变化的影响，但实际中整幅图像的像素值并非严格地线性变化，因此也存在一定的误差，且选取的局部区域不同时得到的误差不同。

3.2 聚类参数特征提取及匹配
本文将GMM参数作为模板图像的特征以及匹配时的迭代初值。

GMM模型的概念在此不再赘述，其求解目标为：
其中，K为聚类中心个数，设给定训练集为{x(1),x(2),…,x(m)}，m为样本个数，相对应的类别标签为隐含变量{z(1)，z(2)，…，z(m)}~Multinomial(ϕ)，并认为在给定z(i)后，x(i)满足多值高斯分布，即x(i)|z(i)=k~N(μk，Σk)。

但样本所述类别是隐含变量，其求解一般需采用EM算法，求解目标变为：
其中Y为隐含变量，EM算法的基本思想是先初始化一组参数θ(0)，根据后验概率Pr(Y|X;θ)来估计期望值E(Y)，然后用E(Y)代替Y求出新的参数θ(1)，并迭代至参数θ稳定。

对GMM来说，就是先固定ϕ，μ，Σ，估计隐含变量z(i)的后验概率，估计之后更新其他参数，并迭代进行最大化似然估计。

其中z(i)的后验概率利用贝叶斯公式得到：
最大化似然的迭代估计公式为：
通过公式（11）与公式（12）的反复迭代，即可得到模板图像的GMM聚类参数特征，而在匹配时将模板聚类参数特征作为初值，利用公式（12）进行一次迭代更新，并将更新结果与其初值进行比较，比较时可采用欧氏距离来度量两者的相似程度，得到的欧氏距离值即为待匹配图像与模板图像的特征误差。

在实际应用中，可将离散的灰度级所对应的概率及其类别标签保存至查找表，这样可大幅度减小计算量。

3.3 降采样匹配策略
采用上述特征匹配方法，并在图像中逐点滑动匹配窗口就能够找到与模板图像相似度最高的位置，但这种遍历的方式效率较低。

模板匹配中降采样是一种常用的较简单的搜索策略，本文利用降采样思想对搜索空间中的匹配点进行间隔采样，然后在降采样后的搜索空间内进行匹配，作为粗匹配结果；之后再将粗匹配结果中特征误差小于一定阈值的位置及其小邻域范围作为搜索空间，进行进一步的精匹配，最后比较各位置的精匹配误差来得到目标位置匹配结果。

上述降采样匹配过程由于强制限定了非真实目标位置的匹配次数，从而避免了无效的多次匹配计算，并尽量在真实目标附近的小误差位置上保留了像素级的遍历匹配过程，因此大幅度减小了匹配计算量，并能够保证匹配到真实目标。

误差阈值的选取是降采样匹配策略的关键，阈值过大则会导致精匹配阶段的搜索空间中元素个数过多，造成算法计算量过大；而阈值过小则可能使降采样搜索空间中某些匹配点的邻域失去进一步匹配的机会，造成算法定位误差过大。

然而，待匹配图像中的景物不断变化，很难确定一个固定的、适当的阈值，因此必须采用自适应的阈值选取方法。

为解决该问题，本文使用粗匹配阶段中所有误差的均值作为自适应阈值，从而保证
了误差较小匹配点的邻域能够参与进一步匹配，而这部分点通常离真实目标较近，这样同时也避免了离真实目标较远的区域进行多次的、不必要的匹配计算。

3.4 算法步骤
本文所提算法的步骤可总结如下：
步骤1选取模板图像并划分为若干圆环，然后采用EM算法分别对该模板图像的各圆环中像素点进行灰度值的GMM聚类，得到聚类参数向量[μ，σ，n]，作为模板的图像特征，可得到[0~255]灰度所对应的类别及其概率，并保存至查找表。

步骤2选取模板图像后即可将该模板图像一定范围的邻域作为下一帧中跟踪匹配时的搜索区域，并对其中各匹配点进行间隔2行及2列的降采样。

步骤3在上述各个降采样匹配点，以[μ，σ，n]为初值按公式（11）进行一次迭代更新，并计算及保存误差，最后将各降采样匹配点的误差均值作为阈值来选取出若干降采样匹配点。

步骤4在选取出的降采样匹配点的5×5邻域范围内逐点进行匹配，并保存匹配误差。

步骤5误差最小的位置即为匹配所得的目标位置，并将该位置的一定邻域范围作为下一帧图像的搜索区域，并重复步骤1~4。

本文试验采用的相机型号为方诚FC-IE130M、计算机CPU为Inter Core i3-2310M，内存2 GB，算法采用C语言在Win32环境下实现。

试验主要对所提RPT-GMM算法与传统RPT-NCC算法进行对比，另外，将基于局部区域像素值的线性对比度拉伸方法表示为RPT-LCS（Linear Contrast Stretch），RPT-LCS 与RPT-NCC的区别仅在于提取各圆环均值后对各均值进行对比度拉伸，对比的目的在于验证同一类向量特征下这种基于局部图像的对比度拉伸方法对光照变化的适应能力。

试验中图像均为连续实时采集，光照变化通过调节镜头光圈大小来实现，目标的旋
转利用了相机云台。

各圆环的GMM聚类中心个数均取为3，其他可变参数主要
为圆环数N，模板尺寸w×h及搜索区域尺寸m×n。

三种算法均采用3.4节所述
的降采样匹配步骤。

4.1 算法匹配效果
当目标与其周围物体的图像差异较大时，较简单的模板匹配算法也更容易取得较好的匹配效果，而当发生光照变化或场景变化时，同一算法的匹配效果就可能与先前的效果相差较大，因此本文选取了几种不同场景来测试算法的匹配效果，其中包含了光照与目标的旋转变化，模板大小为31×31，搜索区域是在模板图像坐标的4
个方向上均扩展30像素范围，本文将该搜索范围称为30×30邻域，包含了
(2×30+1)2=3 721个匹配点。

圆环数N均为10。

结果分别如图6~图8所示，
图中黄色与红色矩形框分别为RPT-GMM算法与RPT-NCC算法的匹配结果，最
外部的紫色大矩形框为搜索区域，在各图（a）中黄色矩形框也为所选的模板图像。

各图的结果定性说明了当光照变化及目标旋转时，RPT-GMM算法与RPT-NCC
算法相比具有更好的识别与定位能力，在一些场景下即使是在模板选取帧中，RPTNCC算法也会出现较大的定位误差。

4.3节中将进一步定量分析两算法的定位性能。

4.2 算法速度分析
由算法原理可知，以上三种RPT算法均需要遍历降采样的搜索区域后才能得出粗
匹配结果，因此算法速度与模板大小及搜索空间大小直接相关，且呈正比例变化。

但由于本文算法中使用了自适应阈值来得到精匹配阶段的搜索空间，所以在模板图像、周围场景图像或圆环个数变化的情况下，搜索区域的大小与精匹配阶段搜索空间中的元素个数并没有一个固定的关系，即随着搜索区域的增大，算法计算量的变化不容易被准确估计。

因此，本节对不同光照条件下多个目标模板图像的匹配速度进行测试，并取测试结
果的平均值来度量算法的实时性。

匹配过程中目标模板图像大小选取了31×31、41×41至111×111等9种尺寸，搜索区域选取了以目标为中心10×10、20×20、30×30的邻域范围。

图9~图11分别为RPT-GMM算法、RPT-NCC算法及
RPT-LCS算法在模板大小与搜索区域大小变化时的平均匹配速度。

图9 ~11结果说明：算法速度随着模板图像尺寸及搜索区域尺寸的增大均变慢，
且对于三种RPT算法来说，搜索区域尺寸对算法速度的影响均大于模板图像尺寸
的影响，随着搜索区域的增大，算法耗时逐渐呈现出更为显著的非线性增加趋势。

另外，RPT-NCC算法与RPT-LCS算法的计算速度变化情况基本相同，RPT-GMM算法由于特征提取时各圆环内各逐像素点的线性对比度拉伸计算使算法速度相对较慢。

图12对比了三种算法在10×10搜索区域下平均匹配速度对比，其中
本文所提出的RPT-GMM算法速度可保持在90 ms以内，并近似为线性变化。

4.3 算法定位误差分析
模板匹配算法的定位误差与模板图像、周围场景图像、光照条件变化及圆环个数均有关。

其中目标图像、周围场景图像、光照条件的变化对匹配结果的影响程度不容易进行量化的度量，因此本文算法定位误差分析时使用也采用了平均误差来表示。

而圆环个数对RPT类算法定位误差的影响规律可大致归纳为：圆环数过少时匹配
定位效果较差，圆环数增加时定位效果有所改善。

由于模板图像及搜索区域的尺寸大小与匹配定位效果基本无关，这里将模板尺寸固定为31×31像素大小，则圆环数的可选取范围为2~15；搜索区域选取30×30邻域范围，因此算法在图像坐标空间中的定位误差最大值被限定为像素。

图13为三种算法平均定位误差的对比。

可以看到：当圆环数较少时RPT-NCC算法及RPT-LCS算法的平均定位误差较大，随着圆环数的增加平均定位误差有所减小，但误差水平并不稳定；当圆环数大于10之后，两算法的误差变化相对较稳定，说明采用均值作为匹配特征时，向量维数较少直接影响匹配效果；其中，RPT-
NCC算法的平均定位误差总体小于RPT-LCS算法的平均定位误差，然而两者的向量特征类型是相同的，这说明了基于局部区域的线性对比度拉伸方法在校正像素值时存在一定误差，并影响到匹配定位结果。

而RPT-GMM算法虽然同样采用了基
于局部区域的线性对比度拉伸像素值校正，但平均定位误差水平相对较稳定，在圆环数较少时也能达到较小的平均定位误差，这说明聚类特征的区分力要优于均值特征。

另外，在图13的对比中可以看到，圆环个数较多时RPT-GMM算法与RPT-NCC 算法的平均定位误差相差并不大，但误差均值仅说明了算法定位性能的总体水平，因此有必要对算法未能准确定位的情况进行分析，以说明不同算法的相对可靠程度。

本文假设当一种算法的定位误差大于另一种算法的定位误差时，就认为其中误差较大的算法失效，这样考虑到了两算法定位效果存在差异的所有样本，便于对两算法的相对失效程度进行比较。

对比的结果如图14及图15所示，图14是由RPT-NCC算法定位误差大于RPT-GMM算法定位误差的样本得到的两算法误差均值；图15是由RPT-GMM算法定位误差大于RPT-NCC算法定位误差的样本得到的
两算法误差均值。

通过图14与图15对比可以看出，同一样本集下，RPT-NCC算法相对失效时的
定位误差远大于RPT-GMM算法的定位误差，而RPT-GMM算法相对失效时的定位误差与RPT-NCC算法的定位误差差异不大，这说明RPTNCC算法失效时对后
续帧匹配造成的不良影响要大于RPT-GMM算法，而RPT-GMM算法失效时对后续帧匹配产生的影响与RPT-NCC算法未失效时比较相近。

另一方面，RPT-GMM 算法在相对失效的情况下，其平均定位误差也相对平稳，在圆环数较大时平均定位误差能够保持在10个像素以内。

因此，本文所提出的RPT-GMM算法相对RPT-NCC算法有着更好的目标定位性能。

以下进一步从特征误差峰的角度来说明以上结论，特征误差的峰一般都出现在真实
目标位置，该位置邻域范围内的特征误差峰值差异越大，则该特征误差峰就相对更加显著，从观感上来说就更容易对目标做出准确的识别，因此特征误差峰一定程度上反映了算法对目标的识别与定位能力。

将图16中黄色矩形框所示部分作为模板图像，可以看到所选取的模板图像与其周围环境较容易混淆，这样的模板图像更适合于说明两算法的定位性能。

对其5×5的邻域范围进行RPT-GMM与RPT-NCC 匹配，匹配时的圆环数选取了5、10和15，特征峰值情况分别如图17~图19所示，为便于对比观察，图中将特征误差归一化并反相处理。

由图17~19各图结果可以看出，在目标易与周围环境混淆的情况下，RPT-GMM 算法在目标邻域内特征误差峰值分布情况与RPT-NCC算法相比显著程度更大，说明了基于聚类模型参数的特征在目标识别能力方面优于基于均值的特征。

在不同圆环数下，RPT-GMM算法的特征误差峰值显著程度的变化不明显，RPT-NCC算法的特征误差峰值显著程度变化较大，圆环数较多时特征误差峰值显著程度明显要大于圆环数较少时，这说明均值特征须配合较多的圆环数来使用，而聚类模型参数特征则对圆环数没有严格的要求且更为稳定。

本文提出了一种结合GMM聚类模型参数的圆投影模板匹配算法，该方法将模板
图像各圆环的GMM参数作为模板图像特征，在匹配时利用EM迭代形式，通过
对模板特征的一次迭代即可得到待匹配图像与模板图像的特征误差。

在匹配前，采用了基于局部图像区域的线性对比度拉伸方法来消除光照整体变化的影响；在迭代匹配过程中，通过查找表来得到圆环内各像素点所属的类别及概率值并用于迭代计算，减小了匹配计算量；在搜索过程中，采用自适应阈值的降采样搜索匹配，通过自适应阈值减小了离真实目标位置较远的匹配点的匹配次数，提高了算法匹配速度。

试验证明，本文所提算法具有旋转及线性光照不变性，与RPT-NCC算法相比目标定位误差较小，通过对本文算法及RPT-NCC算法的平均定位误差、相对失效样本的平均定位误差以及这两种算法的特征误差峰值分布情况的分析，说明了基于聚类。