基于深度信息与尺度空间的仿射不变特征检测

关键词：计算机视觉；图像识别；特征检测；尺度空间；仿射不变检测器
中图分类号：ＴＰ３９１
文献标志码：Ａ
文章编号：１００１－３６９５（２００９）１１－４３３８·０４
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１—３６９５．２００９．１１．０９８
Ａｆｆｉｎｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｓｃａｌｅ ｓｐａｃｅ ａｎａｌｙｓｉｓ ａｎｄ ｄｅｐｔｈ ｉｎｆｏｒｎｋａｆｉｏｎ
对于一个三维空间上的点，使用在这点上物体的切面上的 坐标系代替全局坐标系。坐标基相互垂直，且具有单位长度， 这个坐标系称为局部参考基。可以注意到，这个坐标系与视角 是不相关的。把这个三维坐标系投射到投影面，可以得Ｎ－－维 局部坐标系，它的茁，Ｙ轴将作为仿射不变高斯核的基。图４显 示了三维空间任意平面的局部参考基和局部坐标系。
（３）
Ｙ＝Ｙ·（ｄ＋Ｆ）／，
（４）
Ｚ＝ｄ＋，
（５）
其中：，为焦距；ｄ是深度；（茁，Ｙ）为图像上点的坐标；（Ｘ，Ｙ，Ｚ）
为相应的３Ｄ空间中的点的坐标。接下来可以定义在菇和Ｙ方
向上的梯度：
Ｄ；＝（ａ／以）Ｄ
（６）
Ｄ，＝（ａ／以）Ｄ
（７）
这个梯度可以理解为在图片上移动一个单位引起的深度变化。
图５图像投影
２．３从３Ｄ投射到２Ｄ
兀（参）＝厶（喏）
， （１４）
在参照图片兀上的对称高斯尺度空间定义为
三（·；ｌ，）＝ｇ（·；Ｉ，）｝五
（１５）
变换后的图片厶上的一般化高斯尺度空间定义为
Ｒ（·；＝。）＝ｇ（·；乏。）·厶
（１６）
其中：Ｚ∈ＳＰＳＤ（２）。那么可以将￡－和斤通过下列等式关联
起来：
Ｌ（·；ｆ，）＝屁（·；Ｚ。）＾
（１７）
匈圃
（ａ）物体切面上的
（ｂ）局部参考基
图３
是射 由别
星坐标 器系 曩考基 ’二舞维篙局部褥坐标熄系
∞但投０
图４投影坐标系
２．２
为了得到二维局部坐标系，首先必须估计出物体各个像素
点上的切面，这将利用到深度图像（图５）。假设焦点在投射面
上的投影为图像的中心点ｃ，根据投射变换可以得到
Ｘ＝＊·（ｄ＋Ｆ）／，
一物理区域，为后续的识别算法提供了坚实的特征检测基础，在计算机视觉领域有广阔的应用前景。该方法是
基于尺度空间理论，这个理论已经在自动尺度选择中有较成熟的应用。提出了利用深度信息估计出３Ｄ物体模
型的算法，并生成相应的仿射不变的高斯尺度空间，并给出从３Ｄ到２Ｄ的投射变换的高精度估计方法，以补偿
投射变换造成的扭曲形变。因此对特征检测的可靠性将有明显的提高。为了评估本算法的鲁棒性，进行了不同 视角的真实图片与合成图片的实验，并与其他现有的仿射不变检测器进行了比较。
收稿日期：２００８．１２．０９；修回日期：２００９—０２—２０
基金项目：国家科技部“９７３”资助项目（２００５ＣＢ７２４３０１）；国家自然科学基金资助项目
（６０７７５００７）
作者简介：黄智轶（１９８４一），硕士研究生，主要研究方向为人工智能与计算机视觉（ｎｅｏｈｕａｎｇ＠ｓｊｔｕ．ｅｄｕ．ｃａ）；张丽清（１９６２－），教授，博导，主要
计算机视觉是一门分析和理解视觉场景信息的技术。视觉 信息有很多的存在形式，如单幅图像、一段视频或者是医学扫描 仪得到的多维数据。在计算机视觉领域，一个重要的任务就是 分析一个图像数据中是否包含特定的物体、特征，或者行为，也 就是所谓的识别过程。人类视觉可以轻松地完成这项任务，但 是对于计算机，一般情况下（任意物体和任意位置）的物体识 别，仍然无法让人满意。图像中的任何物体都有它的特征。这 些特征可以被提取出来以描述整个物体，是识别和检测过程的 基础。一个理想的特征集应该在图像的尺度、旋转、几何扭曲等 变换下具有鲁棒性。这类特征提取器在计算机视觉学术界已经 取得了一定的成功。一些检测器如边缘检测器Ｃａｎｎｙ＿ｌＪ，角检 测器ＳＵＳＡＮ旧Ｊ、ＦＡＳＴ【３ Ｊ，圆检测器ＭＳＥＲ＿４ Ｊ、ＤｏＧ”Ｊ、ＤｏＨ－６１和脊 检测器旧圳，在很多领域得到了应用，但是大多数检测器在实际 应用中只满足尺度、位移和旋转不变性，只有很少的能提高在投 射变换下的鲁棒性。而一个理想的检测器应该满足投射不变 性，换句话说，在图像经过投射变换后，检测到的区域应该与变 换之前表达同一个物理特征区域。’因此，检测到的区域不是固 定的形状而是根据视角变换自适应的，以确保在不同视角下描 述的相同物理特征。本文将介绍一种新的几何方法来解决仿射
（１）
不断模糊精细结构生成一个图像集合，集合中的参数ｔ可以解
释成：￡嘶小的图像结构在尺度空间的ｔ层被大部分过滤掉。
这样就形成了从精细到粗糙各个不同层次的图像结构，如图１ 所示。
对于一个Ⅳ维信号，：∥一Ｒ，它的尺度空间Ｌ：Ｒ“×Ｒ＋一 只定义为
￡（Ｘ；ｔ）＝ｆ￡。ＲＮｆ（ｘ—ｆ）ｇ（ｆ）ｄｆ
（２）
基于尺度空间，Ｌｉｎｄｅｂｅｒｇ【６ ｏ发展出一种自动尺度选择的 检测器。利用这种检测器，各种尺度下的关键点能被自动选
第２６卷第１１期 ２００９年１１月
计算机应用研究
Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆ Ｃｏｍｐｕｔｅｒｓ
Ｖ０１．２６ Ｎｏ．１１ ＮＯＶ．２００９
基于深度信息与尺度空间的仿射不变特征检测水
黄智轶，张丽清
（上海交通大学计算机科学与工程系，上海２００２４０）
摘要：介绍了一种利用深度信息的仿射区域检测器。这种方法在视角变换的情况下能自动检测出图景中同
２．１基本思想
在尺度变换下，Ｌｉｎｄｅｂｅ曙检测器有非常好的性能，但是 该算法并不适合仿射变换。现有的仿射不变算法中，大多数 是基于一个假设：除了图像灰度值没有任何的先知条件。由 于有限的信息，目前的仿射不变检测器无法达到令人满意的 效果。在本文中，假设图像的灰度值、深度信息和拍摄图像 时的焦距都是已知条件，这些信息可以通过现有的技术，如 三维照相机或三维红外扫描仪来获得。本文将研究分析如 何利用这些多出来的信息，以及这些信息能否使特征检测的 鲁棒性有显著的提高。
（１２）
其中：（吼，菇，）、（儿，Ｙｒ）是二维石、Ｙ轴，（搿３；，茹３，，戈３：）、 （Ｙ３，，乃，，乃：）为２．２节得到的三维髫和Ｙ轴。图６显示了投 射后的结果。
２．４仿射不变高斯尺度空间
得到二维局部坐标系后，可以通过将对称高斯核（ｕｍｆｏｒｍ
Ｇａｕｓｓｉａｎ ｋｅｒｎｅｌ）转换成一般化的高斯核（ｇｅｎｅｒＭ Ｇａｕｓｓｉａｎ ｋｅｒ－
研究方向为仿脑计算和模式识别．
万方数据
第１１期
黄智轶，等：基于深度信息与尺度空间的仿射不变特征检测
·４３３９·
择出来，从而满足了尺度不变性。图２显示了这～特性的一 个例子。
Ｔ：垒乡ｆ瓣～ ’／—一。 芝三三乡乙砸ｇｉｎａｌ ｓｉｇｎａｌ
图１一个信号在尺度空间上 的多尺度表现
图２尺度不变性的一个例子： 不同尺度的两张照片，检 测到的物理区域一致
不变性问题。其主要思想是利用图像深度信息来估计物体到图 像的投射变换。在实际应用中，将用到一些立体视觉系统，如立 体照相机来获得图像的深度信息。
１ 相关背景
本算法是基于尺度空间阻１３ ３理论发展起来的。尺度空间
是用于处理图像在不同尺度上结构的理论。它通过大小为ｔ
的高斯核：
ｇ（ｘ；￡）＝１／（２１ｒｔｒ２）Ｍ ｅ—Ｉ。耽‘
其中：Ｚ。＝￡船１ ｏ
对一个可逆变换，存在一个矩阵Ｚ。，使得变换后的图像厶
ｎｅｌ）生成一个仿射不变的高斯尺度空间。给定一个半正定对
称矩阵乏∈ＳＰＳＤ（２）（符号ＳＰＳＤ（２）代表半正定对称矩阵２×２
ｇ（ｘ；ｚｔ）２三去＋一ｚ厂１耽 的集合），一般化的二维高斯核可以定义为
（１３）
在特例情况下，当矩阵互。是ｔ乘上单位矩阵，（∑。＝ｔ０，
这个等式将退化成尺度为ｔ的对称高斯核。
令五：砰一Ｒ为参照图片扁：尺２一Ｒ为变换后的图片。假 设这是个可逆的线性变换田＝噬，那么
考虑３Ｄ空间的一条直线，为了方便并且不失一般性，将 忽略Ｙ坐标，使问题简化到２Ｄ空间。图３显示了这条线如何 投射到图像。可以看到，图像中的物体大小不仅依赖于它本身 的物理大小，而且与它离投射面的距离有关。在检测过程中， 相同的物体应该在同一尺度层被检测出来。显然，这需要对同 一物体的不同图像采用不同的滤波核。一个不错的想法是在 对图像应用高斯核前，将它进行与物体一样的变换，但并不是 对高斯核进行逐一像素的变换，而是介绍一种局部坐标系来解 决这个问题。
有了三维局部坐标系，再利用投射变换将它投射到图片
上，即可得到二维局部坐标系： ．
ｚ，＝（Ⅳ·（ｄ＋Ｆ）＋弗３，·Ｐ）／（（ｄ＋，）＋。３；）一＊。
（ห้องสมุดไป่ตู้）
髫，＝（，，·（ｄ＋，）＋髫３，·，）／（（ｄ＋，）＋牟３。）－ｙ
（１０）
儿＝（聋·（ｄ＋，）＋Ｙ３，·，）／（（ｄ＋，）＋Ｙ３，）一髫
（１１）
Ｙ，＝（Ｙ·（ｄ＋，）＋Ｙ３，·Ｆ）／（（ｄ＋，）＋＂；）一Ｙ
ＨＵＡＮＧ Ｚｈｉ－ｙｉ，ＺＨＡＮＧ Ｌｉ—ｑｉｎｇ （Ｄｅｐｔ．ｏｆＣｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｈａｎｇｈａｉ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２００２４０，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ａｒｔｉｃｌｅ ｐｒｅｓｅｎｔｅｄ ａｎ ａｆｆｉｎｅ ｒｅｇｉｏｎ ｄｅｔｅｃｔｏｒ ｕｓｉｎｇ ｔｈｅ ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔ１１ｅ ｉｍａｇｅ．Ｉｓ ｗａｓ ｃｏｎｃｅｒｎｅｄ ｗｉｔｈ ａ ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏｍａｔｉｃａｌｌｙ ｄｅｔｅｃｔｉｎｇ ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｐａｔｃｈｅｓ ｃｏｖｅｒｉｎｇ ｉｄｅｎｔｉｃａｌ ｐｈｙｓｉｃａｌ ｐａｒｔ ｏｆ ｓｃｅｎｅ ｅｖｅｎ ｗｈｅｎ ｔｈｅ ｃｈａｎｇｅ ｏｆ ｖｉｅｗｐｏｉｎｔ．Ｉｔ ｃｏｕｌｄ ｐｒｏｖｉｄｅ ｒｏｂｕｓｔ ｆｅａｔｕｒｅ ｄｅｔｅｃｔｉｏｎ ｆｏｒ ｆｕｒｔｈｅｒ ｒｅｃｏｇｎｉｔｉｏｎ ｐｒｏｃｅｓｓ ａｎｄ ｃｏｕｌｄ ｂｅ ｗｉｄｅｌｙ ｕｓｅｄ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｃｏｍ． ｐｕｔｅｒ ｖｉｓｉｏｎ．Ｔｈｅ ｍｅｔｈｏｄ ｗａｓ ｂａｓｅｄ ｏｎ ｓｃａｌｅ．ｓｌｊａｃｅ ｔｈｅｏｒｙ．ｗｈｉｃｈ ｗａｓ ａｌｓｏ ｕｓｅｄ ｆｏｒ ａｕｔｏｍａｔｉｃ ｓｅａｌｅ ｓｅｌｅｃｔｉｏｎ．Ｉｔ ｐｒｏｐｏｓｅｄ ａｎ ａｌｇｏｒｉｔｈｍ，ｗｈｉｃｈ ｃｏｕｌｄ ｅｓｔｉｍａｔｅ ｔｈｅ ３Ｄ ｐａｒｔ ｏｆ ｔｈｅ ｏｂｊｅｃｔ ａｎｄ ｇｅｎｅｒａｔｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ａｆｆｉｎｅ ｉｎｖａｒｉａｎｔ Ｇａｕｓｓｉａｎ ｓｃａｌｅ ｓｐａｃｅ ｗｉｔｈ ｔｈｅ ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ．Ｔｈｉｓ ｉｍｐｒｏｖｅｄ ｔｈｅ ｒｅｌｉａｂｉｌｉｔｙ ｏｆ ｆｅａｔｕｒｅ ｄｅｔｅｃｔｉｏｎ．ｓｉｎｃｅ ｔｈｅ ｐｅｒｓｐｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｆｒｏｍ ３ Ｄ ｔｏ ２Ｄ ｃｏｕｌｄ ｂｅ ｒｅｌａｔｉｖｅ ｐｒｅｃｉｓｅｌｙ ｓｉｍｕｌａｔｅｄ．ｗｈｉｃｈ ｃｏｕｌｄ ｃｏｍｐｅｎｓａｔｅ ｆｏｒ ｔｈｅ ｄｉｓｔｏｒｔｉｏｎｓ ｄｕｅ ｔｏ ｐｅｒｓｐｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ．Ｉｎ ｏｒｄｅｒ ｔｏ ｔｅｓｔ ｔｈｅ ｒｏｂｕｓｔｎｅｓｓ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ．ｅｘｐｅｒｉｍｅｎｔｓ ｏｎ ｒｅａｌ ａｎｄ ｓｙｎｔｈｅｔｉｃ ｉｍａｇｅｓ ｗｉｔｈ ｋｎｏｗｎ ｏｒｉｅｎｔａｔｉｏｎ ｗｅｒｅ ｔａｋｅｎ．Ｔｈｅ ｃｏｍｐａｒｉ． ｓｏｎ ｗｉｔｈ ｏｔｈｅｒ ａｆｆｉｎｅ ｉｎｖａｒｉａｎｔ ｄｅｔｅｃｔｏｒｓ ｗａｓ ｄｅｍｏｎｓｔｒａｔｅｄ ａｓ ｒｅｓｕｌｔ． Ｋｅｙ ｗｏｒｄｓ：ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ；ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ；ｆｅａｔｕｒｅ ｄｅｔｅｃｔｉｏｎ；ｓｃａｌｅ ｓｐａｃｅ；ａｆｆｉｎｅ ｉｎｖａｒｉａｎｔ ｄｅｔｅｃｔｏｒ
２仿射不变检测器
显然，所有在点（ｘ，ｙ，ｚ）的切平面上的向量ｙ都满足等式：
产１ 矿Ｉ Ｄｙ ｌ＿ｏ
Ｌｌ Ｊ
那么可以取任一满足该等式的向量（如嵋＝（一Ｄ，，Ｄ，，０）） 作为局部坐标系的并轴，并利用Ｇｒａｍ—Ｓｃｈｍｉｄｔ方法找到在切平 面上与之相垂直的Ｙ轴，从而得到局部坐标系的两个基％、如， 它们都在该点的切平面上，并且相互垂直。