(完整版)46图像特征的非刚性匹配_Ji_ZHAO_2016_10_12

- 鲁棒的向量场插值、误匹配消除问题是对偶问题。解决了
其中一个，另一个自然就解决了。
11
问题形式化
给定向量场的样本集合 S {(xn , yn )}nN1 , 该集合存在噪 声和野值点, 目标是寻找一个向量场 f 能够解释潜在的 inlier 样本, 同时区分出 outlier 样本.
12
基本假设与模型
- 图像特征：SIFT、SURF、BRISK、BRIEF、ORB … - 点云：shape context、Spin-Image、FPFH … - Mesh：meshDoG/meshHoG … - 生成初始匹配：最近邻、KD-tree、FLANN、vocabulary tree …
Step 2. 根据初始匹配求解特征之间的变换（刚性、相似、 仿射变换），并区分出正确匹配和错误匹配。
blue = true positive; green = false negative; red = false positive
28
实验结果(cont.)
图像检索的项目：寻找照片与报纸扫描图像的对应
29
个人的应用实践
估计基础矩阵的时候，如果错误匹配比较多，可以先用VFC 算法消除掉大部分误匹配，再运行RANSAC。
特征匹配对应的向量场通常是“光滑的”。 自然界存在很多这样的“光滑”向量场。
8
“不光滑”的向量场
9
来自百度文库
我们的工作：向量场一致性算法
利用向量场的光滑先验，从具有outlier的样本中寻 找向量场 f 的鲁棒估计，并且用于图像的特征匹配。 方案：将outlier考虑到概率模型中 [CVPR’11, TIP’14]
2. Jiayi Ma, Ji Zhao, Jinwen Tian, Alan L. Yuille, Zhuowen Tu, “Robust point matching via vector field consensus”, IEEE Trans. IP, 2014.
32
Thank you！
33
- 向量场一致性算法（Vector Field Consensus, VFC）
10
基本思想示意图
SIFT 匹配以及对应的位移场 (蓝: inliers; 红: outliers).
- Inliers: 光滑
- Outliers: 杂乱，比较随机
- 向量场插值: 根据带有outlier的样本，拟合光滑的向量场
22
实验结果：算法的收敛性
23
实验结果 (cont.)
➢ 鲁棒性测试
- 算法对outlier比例很高的情况非常鲁棒 (甚至允许outlier的比例达到 90%).
24
实验结果(cont.)
➢在数据集 [Mikolajczyk 2005 IJCV]上, PrecisionRecall 与其他两种非参数方法的对比
➢ 向量场的先验(smoothness): ➢ 最大后验估计:
- 等价于能量最小化
- 采用 EM 算法求解.
16
问题求解
➢ EM 算法:
- 写出完全数据对数后验（The complete-data log posterior）
17
问题求解(cont.)
➢ EM 算法:
- E step. 更新每个样本的 responsibilities
.
25
实验结果(cont.)
➢ 存在非刚性变形时，图像上的结果
blue = true positive; green = false negative; red = false positive
26
实验结果(cont.)
➢ 存在非刚性形变时，形状匹配的结果
27
实验结果 (cont.)
➢ 3D surfaces上的结果
- 2D-2D图像特征匹配的经典解法：RANSAC+八点法、五点法 - 非刚性匹配：图匹配、拟合一个变换函数（例如vector field
consensus、 RPM-L2E）。
4
刚性匹配 vs 非刚性匹配
刚性匹配
需要一个参数化的模型刻画正确匹 配之间的关系。例如，相似变换、 homography、对极几何
图像检索、图像拼接，用VFC来建立特征之间的匹配。
计算两幅图像的重叠区域，初略判断机器人有没有移动，移 动多远，用VFC来做非常高效。
地点识别的时候 (ORB+BoW+VocabTree)，假设找到了一些候 选图像，接下来用VFC来做几何验证。
30
小结
➢ 建议的适用范围：误匹配比例高的时候（遥感、红外、异质图像）； 无法提供变换模型的时候（例如，存在非刚性变形、相机的内参未知）； 需要一个快速的特征匹配算法，并且不需要求解变换函数的时候。
• 提出了SparseVFC，算法对N的复杂度降为O(N)。
SURF初始匹配 VFC效果
ORB初始匹配 VFC效果
图像分辨率256×384，Intel i7 CPU @ 2.40GHz，C++/openCV SURF特征提取用时85ms；ORB特征提取14ms；建立初始匹配1ms；VFC 用时3.6ms。
图像特征的非刚性匹配
Ji ZHAO
2016.10.12
1
特征匹配
任务： 给定2幅图像（或2D点集、点云、3D mesh等） 的稀疏特征点和描述子, 要求建立特征点之间的 对应关系.
2
特征匹配的应用
三维重建 / SLAM
闭环检测
图像拼接
三维目标的识别
3
特征匹配的常用框架
Step 1. 提取特征点及其描述子，生成初始匹配。
31
参考文献
1. Ji Zhao, Jiayi Ma, Jinwen Tian, Jie Ma, Dazhi Zhang, “A robust method for vector field learning with application to mismatch removing”, IEEE CVPR, 2011
➢ 正确的匹配是由“光滑”的向量场产生的，带有高 斯噪声；错误的匹配是均匀分布的。
➢光滑性作为向量场的先验。光滑性是由 RKHS （再 生核希尔伯特空间）的范数表征的。范数小，说明为 了表达该向量场需要少量基(basis)的组合。
➢每个候选的特征匹配赋予一个隐变量，用于指示该 匹配是否属于正确匹配。使用 EM 算法将后验概率最 大化。
- M step. 重新估计参数
f?
其中,
;,
;,
;
; 符号 代表 Kronecker 积.
18
问题求解(cont.)
➢ EM算法中向量场 f 的更新
考虑对数后验中所有与向量场 f 相关的项，得到
假设 f 位于再生核 Hilbert 空间(RKHS) , 该空间通过一个矩阵核 函数 来表征，例如高斯核 于是，函数的光滑性（复杂程度）可以用范数来表征：
如果算法够快，可以用作前处理、后处 理，把outlier的比例降低。
5
非刚性匹配——没有模型为何能work？
做一个实验： 右图给出了图像之间的特征点匹 配；箭头的头部和尾部分别代表 匹配特征在两幅图中的位置。 能猜出哪些图对应正确的匹配吗 ？
6
非刚性匹配——利用先验信息
7
自然界中“光滑”的向量场
19
问题求解(cont.)
根据表示定理，向量场 f 的最优解具有如下形式
其中，系数
由下式确定
其中， Gram 矩阵 是 N × N 的块矩阵，其第 (i, j) 个块
元素为
,
.
20
算法小结
该算法将匹配问题转化为鲁棒的向量场插值问题。算法自动 估计向量场样本的 inlier 集合，并且依据该集合对整个向量场 进行插值。因此，我们将该算法称作向量场一致性算法 （Vector Field Consensus, VFC）
非刚性匹配
通常没有参数化的模型。而是定义一些 能量函数来表征形变的大小，融入先验 信息。
经典解法： RANSAC、八点法、五点法
图匹配、拟合变换函数/向量场
需要精确推算几何信息的场合。 例如，估计相机的姿态
用于不需要精确几何、或者无法得到精 确的几何模型的场合。例如，场景存在 变形、图像拼接、图像检索、机器人的 导航。
➢ 对误匹配非常鲁棒 、 计算高效、参数不需要调整（小数据集上调好参， 以后从未变过）
➢ 适用于图像、点云、mesh；还可以用在非图像的场合。
➢代码开源，有C++/openCV版、matlab版。
➢局限性：需要求解几何变换的时候，只能作为一种预处理方法。正确 匹配数量太少（少于20左右）的时候，效果不能保证。图像中物体运动 太大时，只能发现一组匹配。
➢ 向量场一致性算法小结
输入: 向量场样本S {(xn , yn , )}nN1 , 核函数 1. 初始化； 2. EM 算法迭代
E-step: 估计每个样本的 responsibilities M-step: 重新估计参数 输出: 向量场 f, inlier 的集合
21
算法效率
• VFC 的原始形式需要求解矩阵的逆，算法复杂度为 O(N3)， N为特征的个数。
13
向量场的光滑先验
第1列：用所有样本估计一个向量场，比较杂乱 第2列：只用inlier样本估计一个向量场，比较光滑
14
问题形式化
➢ 基本假设:
- Inlier: 高斯噪声 - Outlier: 均匀分布的噪声
➢ 似然函数是混合概率模型:
- 隐变量 -
指示是高斯、均匀噪声 未知量的集合
15
问题形式化(cont.)