基于旋转不变HOG特征的图像匹配算法

基于旋转不变HOG 特征的图像匹配算法
汤彪，左峥嵘，李明
作者简介：汤彪，（1988-），男，硕士研究生，主要研究方向：目标检测与跟踪，图像特征提取。

通信联系人：左峥嵘，男，副教授，主要研究方向为数字图像处理，目标跟踪与图像匹配。

E-mail: zhrzuo@
（华中科技大学图像识别与人工智能研究所，武汉 430074） 摘要：图像匹配是目标检测问题中的一个非常重要的组成部分，HOG(Histogram of Oriented 5 Gradient)特征因为能够对图像局部的几何和光学变化保持很好的不变性，在图像匹配领域也得到了应用。

但是HOG 特征并不能保证对旋转不变，在实际使用中存在着一些局限性。

本文提出了一种方法来改进HOG 特征，使得HOG 特征能够保证对旋转不变。

本文主要通过改进HOG 特征中图像的划分方式和梯度方向直方图来得到旋转不变的HOG 特征。

本文提出使用一种新的图像划分方式，将图像划分成一些圆环区域代替传统HOG 特征的方形区域划分方式，10 同时本文提出对梯度进行RGT(Radial Gradient Transform)变换，利用变换后的梯度统计直方图信息以获得旋转不变的直方图信息。

最后文章研究了相关参数的选择问题，以获得最优的匹配效果。

实验结果表明，本文提出的改进的HOG 特征在能够在保证图像匹配准确率的情况下也保证了旋转不变性，同时本文的特征在实时性上也优于传统的HOG 特征。

关键词：图像匹配；梯度方向直方图（HOG）；RGT(Radial Gradient Transform)变换 15
中图分类号：TN911.73
A Rotation-Invariant Histogram of Oriented Gradient for
Image Matching
TANG Biao, ZUO Zhengrong, LI Ming
20 (Institute for Pattern Recognition and artificial Intelligence, Huazhong University of science and
technology, WuHan 430074)
Abstract: Image matching is an essential issue in object detection problem. Being invariant to local geometric and photometric transformations, Histogram of Oriented Gradient(HOG) descriptor performs very well in most cases of image matching. However, its performance is not 25 satisfying when facing images with rotation variation. Our paper improves HOG desriptor to enhance its rotation-invariant ability. Instead of rectangle sub-regions in the orinial HOG descripor, we subdivide the image into annular spatial bins to achieve spatial binning invariant. Besides, we apply Radial Gradient Transform (RGT) to achieve gradient binning invariant. The numbers of gradient bins and annular bins have deep influence on the performance of our proposed algorithm. 30
Experiments shows that our method ourperforms the original HOG in rotation-invariant. Keywords: Image matching; Histogram of Oriented Gradient(HOG); Radial Gradient Transform (RGT)
0 引言
35 图像匹配是解决许多计算机视觉问题中的一个非常重要的步骤。

根据所利用信息的不同，解决图像匹配问题的方法主要分为两大类：基于图像灰度信息和基于特征的图像匹配方法。

基于图像灰度信息的图像匹配方法首先需要逐点提取待匹配灰度图像的子区域（子区域与模板图像大小相等），通过某种相似性度量方法直接计算子区域与模板图像之间的相似度，40 以相似度最高的位置作为匹配位置。

常用的相似性度量方式有，平均绝对差值法（Mean of Absolute Difference ）、归一化互相关积法（Normal Cross Correlation ）[1]。

这种方法在低信噪比的情况下也能取得不错的匹配效果，但是当两幅图像之间存在角度和光照变化时，容易出现匹配精度下降甚至误匹配的情况。

基于特征的图像匹配方法的匹配过程与上述过程基本一致，不同的是，基于特征的图像
45 匹配方法利用图像特征描述子来表征图像子区域和模板图像的信息，通过衡量特征描述子之间的相似度来寻找最佳匹配位置。

SIFT [2]，SURF [3]均给出了一种特征描述方法，它们都具有光照和旋转不变性，但是构造特征描述子的过程较复杂，计算量很大,难以满足实时性要求。

吴博在论文中提出将梯度方向直方图（HOG ）应用于异源图像匹配[4]，并且取得了不错
50 的效果。

HOG 特征最初是由Navneet Dalal 提出的一种用于行人检测的特征[5]，该特征对图像的微小几何形变和局部对比度变化都能保持很好的不变性。

但是论文只解决了当模板图与待匹配图像之间没有角度差异时的匹配问题，当两幅图存在一些角度差异时，使用HOG 特征作为特征描述子进行匹配的效果则不太稳定，难以满足实际应用的需求，因此本文提出了一些方法对HOG 特征加以改进。

55 本文首先对HOG 特征提取过程中不能保证旋转不变的步骤加以分析，并提出相应的方
法进行改进，使得改进后的HOG 特征可以保证对旋转不变。

然后文章研究了改进的HOG 特征的相关参数对匹配效果的影响。

最后本文对传统的HOG 特征与本文特征进行了比较，实验结果表明，利用本文提出的改进后的HOG 特征进行图像匹配，当模板图像与待匹配之间存在角度差异时，算法依然能够保证匹配的准确度。

60 1 HOG 特征
梯度方向直方图（Histogram of Oriented Gradients,简称HOG ）的核心思想是：在一幅图
像中，局部区域的信息能够被梯度或边缘的方向密度分布很好地描述。

算法首先将图像分成小的连通区域，称为图像细胞单元（Cell ）。

然后统计每个图像细胞单元的梯度方向直方图。

最后将这些直方图按照空间顺序组合起来以保存空间信息。

为了保证光照不变性，算法对这
65 些局部直方图在图像的更大的范围内（称为Block ，由若干个Cell 组成）进行对比度归一化。

1.1 HOG 特征的提取过程
（1）计算图像梯度幅值和方向。

梯度的计算公式如下式所示：
⎥⎦⎤⎢⎣⎡=y x d d grad (1) 其中，dx 、y d 分别表示x 方向和y 方向的一阶差分值，常见的一阶差分掩模有：
70 [][]-11 -101，，，以及0 1 1 0-1 00 -1⎡⎤⎡⎤⎢⎥⎢⎥⎣⎦⎣⎦
，等。

梯度的幅值和方向使用如下公式计算：
22y x d d Mag += (2) x y
d d Theta arctan =
(3) （2）图像细胞单元的划分、梯度方向直方图统计。

图像细胞单元（Cell ）和图像块（Block ）以及图像之间的关系如下图所示，一幅图像可
75 以划分为若干个Block ，每个Block 由若干个Cell 构成，以Cell 为单位统计梯度方向直方图，以图像块（Block ）为单位进行对比度归一化。

图1是一幅典型图像划分的示意图，图中每个Block 包含22×个Cell ，一个Cell 包含有88×个像素点，在不同应用场景下,参数的选取会略有差异。

图像
Cell
80 图1图像单元（Cell ）、图像块（Block ）和原始图像（Image ）的对应关系
Fig.1 Spatial binning of HOG, the relationship among cells, blocks and image
以Cell 为基本单位统计梯度方向直方图，将梯度方向分为BIN 组，将属于同一组角度
的梯度幅值相叠加，生成如下图所示的基本特征描述子：
85
图2图像细胞单元梯度方向直方图，其中横轴表示方向范围为π2，被均分为8个π25.0的区间，纵轴是在同一区间内梯度的幅值和 Fig.2 Gradient binning, horizontal axis represents the range of the angle is orientation from 0 to π2, and the
vertical axis accumulate the magnitude of gradient belongs to the same orientation bins
90 （3）标准化和生成HOG 特征描述子。

以Block 单位对各个Cell 的梯度方向直方图进
行标准化，这样可以降低光照不均的影响。

设v 是Block 对应的向量，则标准化的向量norm V 如下式： ξ+=22v v
V norm (4)
95 其中ξ为接近0的正数。

最后将所有的Block 对应的向量按照空间顺序排列形成HOG
特征描述子。

1.2 HOG 特征的旋转可变性分析
假设图3(a)是一幅大小为1个Block 的图像，划分为4个Cell ，从左到右，从上到下分
别为Cell 1、Cell 2、Cell 3、Cell 4。

图3(b)为图3(a)顺时针旋转90°后的图像。

分别对两幅
100 图像提取HOG 特征，区域A 、B 、C 、D 对应的梯度方向直方图分别用1x 、2x 、3x 和4x 表示。

则图3(a)和图3(b)对应的HOG 特征为),,,(4321x x x x 和),,,(2413x x x x 。

图3左图为原图像，右图为原图像顺时针选择90度的图像
105
Fig.3 The left figure is the original image, the right one is the original image rotated 90 degrees clockwise
从上面的讨论可知，当图像旋转一定的角度后，各个Cell对应的图像区域发生了变化，图像旋转后提取的HOG特征也会发生了变化，因此，很明显HOG特征并不是一种旋转不变的特征。

2旋转不变的HOG特征
110
2.1图像的划分
为了提取旋转不变的HOG特征，我们首先要改变传统HOG特征对图像的划分方式，我们采用如图4所示的划分方式，将图像划分成一系列的同心圆环，圆环对应传统HOG特征的Cell。

以这种方式划分图像，当图像旋转一定的角度后，每个圆环包含的图像区域并没115
有发生变化，只是图像区域旋转了一定的角度，我们可以利用这一特点构造旋转不变的HOG 特征。

图4对图像的划分的方式，将图像划分为若干个圆环区域
Fig.4 Spatial binning of image, we subdivide the patch into annular spatial bins
120
2.2改进的旋转不变的梯度方向直方图
将图像划分成一系列圆环后，我们需要对各个圆环进行特征描述，为了使得HOG旋转不变，我们不能使用传统HOG特征中的梯度方向直方图作为特征描述子，因为图像区域旋转后，对应的梯度方向直方图也会发生变化。

125
为了获得旋转不变的HOG特征，我们对梯度进行RGT（Radial Gradient Transform）[6]变换，然后利用变换后的梯度统计直方图信息，可以证明，利用变换后的梯度统计方向直方图得到的特征描述子是旋转不变的。

RGT变换的具体过程如下图所示：
图5 将梯度沿着径向方向和切向方向分解，图像旋转一定的角度之后，梯度沿这两个方向分解的值保持不
130 变
Fig.5 Illustration of radial gradient transform, the gradient,g is projected onto a local, radial coordinate
system ),(t r . When the patch rotation by θ, the gradient coordinate in ),(t r is the same
c 表示圆形区域的中心点，p 为圆周上任意一点。

r 和t 为两个正交的单位向量，其中r
135 表示p 点径向方向的单位向量，t 表示p 点切向方向的单位向量，如图5所示。

r 和t 的计算公式如下，其中θR 表示旋转θ角的旋转矩阵：
c p c p r −−= (5)
r R t 2/π= (6)
g 表示图像在p 点的梯度。

然后将p 点的梯度g 在r 和t 两个方向上投影，我们可以将
140 梯度g 分解为t t g r r g T T )()(+，所以梯度g 在以r 、t 为基向量的坐标系中的坐标为
),(t g r g T T ，这个过程称为RGT （Radial Gradient Transform ）变换，而变换后的值我们称为RGT 梯度值。

当圆形区域旋转θ角度时，有'p p R =θ，'r r R =θ，'t t R =θ。

作者给出了简单的证
明来说明RGT 梯度的旋转不变性，证明过程如下式所示：
145 )
,(),())
)(,)((),(''''t g r g t R R g r R R g t R g R r R g R t g r g T T T T T T T T T T ===θθθθθθθθ
从上面我们可以得出结论，一个圆形区域内的RGT 梯度是旋转不变的。

因此，为了使得HOG 特征能够保证旋转不变，我们先对梯度进行RGT 变换，然后使用RGT 梯度统计直方图信息作为特征描述子。

2.3 改进HOG 特征的提取过程
150 确定图像划分方式后和特征描述子后，提取改进后的HOG 特征基本步骤为：
（1）将图像按照如图4所示的方式进行划分
（2）计算每个像素点的RGT 梯度),(t g r g T T ；
（3）然后利用式（7）和（8）计算RGT 梯度的幅值和方向 22)()(t g r g MAG T T rgt += (7)
155
r
g t g Theta T T rgt arctan = (8) （4）以圆环为单位，统计每个圆环的RGT 梯度方向直方图；
（5）为了保证对光照和对比度不变，我们将相邻的两个圆环为单位（对应传统HOG
特征的Block ）进行对比度归一化，归一化方法如式（4）所示。

最后按照从内环到外环的顺序组合成特征向量。

160 2.4 近似的RGT 变换
为了保证本文方法的实时性，我们不能直接使用2.2中的RGT 变换，因为RGT 变换还
是需要大量的浮点数计算，我们使用一种近似的RGT 变换[6]，即将圆形区域内各个点的基
向量r 和t 以45度为单位量化为r
ˆ和t ˆ，r 量化的结果如图6所示（t 的量化结果也类似，因为r 和t 为两个正交的单位向量）。

基向量量化后的方向与图像的8个方向一致，由于梯
165 度在基向量上的投影值等于图像在该基向量方向的方向导数，因此RGT 梯度的计算可以直接利用图像差分掩膜进行运算。

图6 近似的RGT 变换，将基向量r 和均以45度为单位进行量化为r ˆ和t ˆ，这样计算梯度沿着基向量的投影值可以直接计算
170 Fig.6 Approximate radial gradient transform, approximate basis vectors are quantized to 45, and gradient along the
bases can be efficiently computed directly from pixel data
3 改进后的HOG 特征的相关参数选择
改进后的HOG 特征主要涉及到三个参数：图像划分的环的个数、圆环域的宽度和RGT
175 梯度方向直方图角度的划分组数，三个参数分别用AnnuliNum 、h AnnuliWidt 和BIN 表示。

我们需要综合考虑图像划分的环的数目AnnuliNum 和环的宽度h AnnuliWidt ，环的数
目越多，特征向量的特异性越大，但是环的数目太多会导致每个环包含的像素太少，鲁棒性不高。

Gabriel Takacs 在文章中建议，使用圆环划分方式构造特征10=h AnnuliWidt [6]，当
180 确定h AnnuliWidt 后，AnnuliNum 可由图像大小确定。

因此我们只需要确定参数BIN 的值。

下图是利用本文提出的改进的HOG 特征，当取不同BIN 值时，在规模为310的图库上
进行匹配的正确率的曲线图。

BIN 的值，角度分组个数匹配正确率
185 图7图像匹配正确率与BIN 值的关系示意图
Fig.7 Bin number of gradient binning is critical to achieve good matching accuracy
从上图中我们可以看出，当9≥BIN 后，图像匹配正确率没有明显的改善，但是随着
BIN 值的增大，改进的HOG 特征的维数也增大，计算时间也随之上升，因此在实验中我们
190 令9=BIN 。

4 实验结果
我们利用本文提出的特征进行图像匹配实验，如图8所示，左边小图为模板图像，大小
为100100×，右边为待匹配图像，大小为250200×，模板图像和待匹配图像之间有一定
的角度和光照对比度的差异。

195 实验中我们令10=h AnnuliWidt ，9=BIN 。

由于模板图像大小为100100×，因此
AnnuliNum =10，改进的HOG 特征的维度为90=×AnnuliNum BIN 。

首先提取模板图像改进后的HOG 特征()N x x x X L 21,=，然后逐点在待匹配图像上截
取与模板图像大小相同的区域，提取改进后的HOG 特征向量()N y y y Y L ,,21=。

特征向
量的距离采用相关距离度量：
200 ∑∑∑=i i i i
i
i i
y x y x CD 22
(9)
以相关度最高的点作为匹配位置，匹配结果如图8所示，结果表明，在模板图像与待匹
配图像之间存在较大旋转角度和对比度差异时，使用本文提出的算法模板图像依然可以正确
匹配。

205 图8 两幅存在角度、光照和对比度差异的图像匹配示意图，匹配位置用白色矩形框标注
Fig.8 The two images have different orientation and illumination. The match position is draw by the white
rectangle
同时我们对传统的HOG 特征和本文提出的特征在图像匹配方面的性能进行了比较，我
210 们在规模为310的图库上进行匹配试验，模板图像与参考图像之间存在角度和对比度的差异。

图像旋转角度(单位：度)
图像匹配正确率
图9两种算法在模板图像与待匹配图像存在角度差异时图像匹配的正确率
Fig.9 The rate of correct matches when the rotation angle of image vary from 10 to 90 degree
215 从上图可以看出，利用本文提出的特征进行图像匹配，匹配的正确率基本不受旋转角度
的影响，可以认为本文提出的特征是旋转不变的，而传统的HOG 特征在模板图像与待匹配图像存在较大角度差异时匹配性能较差。

但是，当模板图像和待匹配图像之间的角度差异较小时，本文提出的特征虽然能够保证旋转不变，但是在匹配稳定性方面不如传统的HOG 算
220 法。

这是由于提取本文的特征需要将图像划分为图4所示的结构，图像的一部分区域被舍弃掉，损失了一部分信息，同时传统的HOG 特征对图像划分的区域较多，通过统计局部区域梯度方向直方图的统计和对比度归一化，对于图像局部的光照和对比度变化具有更好的适应性。

最后我们对本文的特征与传统的HOG 特征的提取时间进行了比较。

本文特征在实现上
225 可以使用如下加速方法，当图像大小和划分方式确定后，图像中每个像素所属的圆环区域和基向量r 和t 都可以确定，因此可以预先计算出来，在提取本文的特征时可以通过查表法确
定这些量。

传统的HOG 特征，可以使用积分图像的思想进行加速[7]。

本测试实验环境为：Microsoft VisualC++2008，Intel(R) Core(TM)2 Duo CPU E4600,主频
2.40GHZ ，内存为1G 。

对100幅大小为100100×的图像分别提取本文的特征和传统的HOG
230 特征，结果如表1所示。

表1 不同特征提取算法使用的时间
Tab.1 Time of different matching algorithm
算法 传统HOG 特征
本文算法 匹配时间(ms) 613.50
1503.74
5 结论
235 本文分析了传统HOG 特征不能保证旋转不变的原因，并提出了相应的措施进行改进。

本文介绍了一种旋转不变的梯度变换方法，利用RGT 梯度的旋转不变性，在构造特征向量的过程中，通过统计RGT 梯度方向直方图来代替传统的HOG 特征中的梯度方向直方图。

同时文章采用了一种新的图像划分形式，将图像划分成一系列的同心圆环，分别统计每个圆环的RGT 梯度方向直方图组合成最终的特征向量。

我们利用本文提出的特征进行匹配实验，
240 实验结果表明，匹配正确率基本不受模板图像与待匹配图像之间角度差异的影响，在旋转不变性上和实时性上优于传统的HOG 特征，同时本文提出的特征对光照变化也有一定的适应性。

但是当模板图像与待匹配图像之间角度差异较小时，本文提出的特征的匹配性能不如传统的HOG 特征。

245 [参考文献] (References)
[1] 熊旭杰. 图像相关跟踪算法的改进研究[D]. 武汉：华中科技大学， 2007.
[2] Lowe D. Distinctive image features from scale-invariant key points[J]. Internaitonal Journal of Computer Vision, 2004,60(2):91-110
[3] Bay H, Tuytelaars T. SURF: Speeded Up Robust Features[A]. In Proc. Of European Conference on Computer 250 Vision[C]. Berlin:Springer-Verlag, 2006. 404-417
[4] 曹治国，吴博. 采用HOG 特征的下视景象匹配算法[J]. 红外与激光工程, 2012, 41(2):513-516
[5] Navneet Dalal and Bill Triggs. Histograms of Oriented Gradients for Human Detection[A]. Computer Vision and Pattern Recognition[C]. San Diego:Springer, 2005. 886-893.
[6] Gabriel Takacs. Unified Real-Time Tracking and Recognition with Rotation-Invariant Fast Features[A]. 255
Computer Vision and Pattern Recognition[C]. San Francisco:Springer, 2010. 934-941
[7] 吴博. HOG 特征红外图像匹配技术研究[D]. 武汉：华中科技大学， 2011。