基于宽基线的弱纹理特征点提取与描述方法研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
研究内容
构造一种弱纹理特征点提取方法 设计一种适用于弱纹理区域的特征点匹配方法 将所提出的方法用于稠密匹配中
智能系统与网络智能实验室
4.基于Self- Similarity的弱纹理
特征点提取与匹配算法
研究方法与实现
弱纹理区域对称性检测
弱纹理特征点性质：即，在该点的某个领域内不存在角点，边界以及
在Meanshif的启发下，设计了一种窗口自适应的特征描述子，该特征描述子可 通过特征点周围的纹理信息自适应的调整窗口大小，并将其应用于宽基线情 况的图像深度信息获取中。
智能系统与网络智能实验室
2. 研究内容和创新点
创新点
特征点提取阶段：基于Self- Similarity设计了一种弱纹理特征点提取方法，
智能系统与网络智能实验室
1. 研究背景及意义
研究背景
数字测量
三维重建 立体视觉
宽基线
特征点
提取
图像识别
图像跟踪
非接触
可通过非接触的方式获得可靠精准的量测 信息，并具有通过二维图像感知三维环境 信息的能力，包括形状、位置、姿态、运 动等。
鲁棒性 强
对不同视角下所拍摄的二维图像，能够采 集到同名特征，便于后续的三维重建及图 像或视频分析技术的应用，对遮挡、背景 模糊、光照变化等情况具有较高的鲁棒性 ，
局部极值点等显著的纹理特征，令 I x, y 表示图像中某个点的灰度值
，则在弱纹理区域中，该点的灰度值具有以下特征：
I x , I y , I xx , I yy , I xy , I yx 0
因此，用传统的Hessian, Harris等特征检测算子无法提取该部分点 的特征。
智能系统与网络智能实验室
Harris
Harris-Laplace
特征点提取
Harris-Affine Hessian-Affine
SIFT(具有特征描述子) 特
征 点
SURF(具有特征描述子)
提
取
与
匹
配
方
法
特征点匹配 欧式距离
图1. 特征点提取与匹配方法分类 智能系统与网络智能实验室
3.特征点提取与匹配技术综述
面临挑战 当两幅图像存在变化时，得到稳定的不变特征点。 在图像对之间得到尽可能多的特征点。 在弱纹理区域得到稳定的特征点。
增加了稠密匹配算法中匹配点的数目，并增强了其在实际应用中的 准确性。
扩展了立体匹配方法的应用领域，使其可在宽基线情况下获取图像的 深度信息。
智能系统与网络智能实验室
2. 研究内容和创新点
研究内容
分析了弱纹理区域的性质，并据此实现了弱纹理区域的特征 点提取与匹配
分析了二维图像中，弱纹理区域的性质，并据此设计了一种基于自相似性算子的特征 点提取方法，同时，根据稀疏表示理论设计了一种适用于弱纹理特征点的匹配方法。
智能系统与网络智能实验室
3.特征点提取与匹配技术综述
特征点提取与匹配系统
图2. 特征点提取与匹配步骤
智能系统与网络智能实验室
4.基于Self- Similarity的弱纹理
特征点提取与匹配算法
研究目标与内容
研究目标
-- 克服传统方法在弱纹理区域中无法检测到特征点的缺陷， 构造一种能够在该区域中检测到稳定特征点的方法。
应用 领域
在目前的计算机视觉研究领域中，该方法 作为后续应用的基础，已成为研究领域的 核心之一，具有广阔的应用空间。
智能系统与网络智能实验室
1. 研究背景及意义
研究意义
基于宽基线下的特征点提取及匹配方法，扩展了经典算法的应用领 域，加强了传统方法在稠密匹配，图像深度获取等应用领域的适用 范围。 弥补了传统特征点提取算法在图像的弱纹理区域中无法提取特征点的 使其能在纹理较弱的区域提取到足够多的特征点。
提出了基于尺度空间的半径自适应机制；特征点匹配阶段: 提出了基于稀 疏表示理论的特征点匹配方法。 根据弱纹理区域的特征提出一种纹理添加算法，在传统纹理合成算法的基 础上提出一种适用于特征点提取的纹理合成算法，根据图像对之间的关系 计算出相应的仿射变换，提出了一种基于Graph Cut 算法的特征点匹配调整 算法。
基于MeanShift算法提出了窗口自适应的特征点描述子方法，在宽基线的图
像深度信息获取中，提出了一种基于Graph Cut算法的视差图获取机制。
智能系统与网络智能实验室
3. 特征点提取与匹配技术综述
特征点提取与匹配综述
应用领域
三维重构 图像识别 视频跟踪 数字测量 深度感知
国内外研究现状
特征半径选取机制
在不同情况下得到不同的对称性检测图与图像中每点实际的对称性和区域半径 有关，所以，我们对不同的点采用不同的半径进行检测， 因此，我们提出一 种机制，为图像中的每个点自动的选择区域半径。 我们所要达到的目标是： (i). 为每个点选取最优的半径来表达该点的对称性信息。 (ii). 根据半径的选取，得到最佳对称性点的位置。特别的，对一些弱纹理性较 强的点，尽可能选取大的半径，而对一些弱纹理性较小的点，则选取小的半径 ，并保证弱纹理性强的特征点被选出。 (iii).且该机制必须能够随着特征点的不同，而采用变化的区域半径。
ncc P,T
i I xi I I T xi I
i I xi I 2 i I T xi I 2
, p q | q 1, 2, , N
I T x a bI x x p
智能系统与网络智能实验室
4.基于Self- Similarity的弱纹理
特征点提取与匹配算法
4.基于SelfFra Baidu bibliotek Similarity的弱纹理
特征点提取与匹配算法
弱纹理区域示意图
传统特征点检测算法效果
Harris
SIFT
智能系统与网络智能实验室
4.基于Self- I T x abI x xp Similarity的弱纹理
特征点提取与匹配算法
对称性算子
弱纹理区域具有较强的对称性，且具有较强的各向同性。采用如下所示 的对称性算子来衡量区域的对称性强度。
基于宽基线的弱纹理特征点提取与匹配方法研究
基于宽基线的弱纹理特征点提取与匹配方法研究
主要内容
1. 研究背景及意义 2. 研究内容和创新点 3. 特征点提取与匹配技术综述 4. 基于自相似算子的特征点提取方法 5. 基于纹理合成的弱纹理区域特征点提取方法 6. 基于Meanshift的特征描述子构造方法 7. 总结与展望 8. 攻读博士学位期间的成果
根据弱纹理区域的性质，设计一种基于纹理合成的仿射变换方法，用于增加
弱纹理区域的纹理信息，并使之用于特征点提取 扩展了经典特征点提取与匹配算法在弱纹理区域无法提取到特征的缺陷，在图 像对应信息不变的情况下，采用纹理合成方法增加了弱纹理区域的纹理信息， 并将其应用于特征点提取方法中。
设计在宽基线情况下的图像深度信息获取方法
构造一种弱纹理特征点提取方法 设计一种适用于弱纹理区域的特征点匹配方法 将所提出的方法用于稠密匹配中
智能系统与网络智能实验室
4.基于Self- Similarity的弱纹理
特征点提取与匹配算法
研究方法与实现
弱纹理区域对称性检测
弱纹理特征点性质：即，在该点的某个领域内不存在角点，边界以及
在Meanshif的启发下，设计了一种窗口自适应的特征描述子，该特征描述子可 通过特征点周围的纹理信息自适应的调整窗口大小，并将其应用于宽基线情 况的图像深度信息获取中。
智能系统与网络智能实验室
2. 研究内容和创新点
创新点
特征点提取阶段：基于Self- Similarity设计了一种弱纹理特征点提取方法，
智能系统与网络智能实验室
1. 研究背景及意义
研究背景
数字测量
三维重建 立体视觉
宽基线
特征点
提取
图像识别
图像跟踪
非接触
可通过非接触的方式获得可靠精准的量测 信息，并具有通过二维图像感知三维环境 信息的能力，包括形状、位置、姿态、运 动等。
鲁棒性 强
对不同视角下所拍摄的二维图像，能够采 集到同名特征，便于后续的三维重建及图 像或视频分析技术的应用，对遮挡、背景 模糊、光照变化等情况具有较高的鲁棒性 ，
局部极值点等显著的纹理特征，令 I x, y 表示图像中某个点的灰度值
，则在弱纹理区域中，该点的灰度值具有以下特征：
I x , I y , I xx , I yy , I xy , I yx 0
因此，用传统的Hessian, Harris等特征检测算子无法提取该部分点 的特征。
智能系统与网络智能实验室
Harris
Harris-Laplace
特征点提取
Harris-Affine Hessian-Affine
SIFT(具有特征描述子) 特
征 点
SURF(具有特征描述子)
提
取
与
匹
配
方
法
特征点匹配 欧式距离
图1. 特征点提取与匹配方法分类 智能系统与网络智能实验室
3.特征点提取与匹配技术综述
面临挑战 当两幅图像存在变化时，得到稳定的不变特征点。 在图像对之间得到尽可能多的特征点。 在弱纹理区域得到稳定的特征点。
增加了稠密匹配算法中匹配点的数目，并增强了其在实际应用中的 准确性。
扩展了立体匹配方法的应用领域，使其可在宽基线情况下获取图像的 深度信息。
智能系统与网络智能实验室
2. 研究内容和创新点
研究内容
分析了弱纹理区域的性质，并据此实现了弱纹理区域的特征 点提取与匹配
分析了二维图像中，弱纹理区域的性质，并据此设计了一种基于自相似性算子的特征 点提取方法，同时，根据稀疏表示理论设计了一种适用于弱纹理特征点的匹配方法。
智能系统与网络智能实验室
3.特征点提取与匹配技术综述
特征点提取与匹配系统
图2. 特征点提取与匹配步骤
智能系统与网络智能实验室
4.基于Self- Similarity的弱纹理
特征点提取与匹配算法
研究目标与内容
研究目标
-- 克服传统方法在弱纹理区域中无法检测到特征点的缺陷， 构造一种能够在该区域中检测到稳定特征点的方法。
应用 领域
在目前的计算机视觉研究领域中，该方法 作为后续应用的基础，已成为研究领域的 核心之一，具有广阔的应用空间。
智能系统与网络智能实验室
1. 研究背景及意义
研究意义
基于宽基线下的特征点提取及匹配方法，扩展了经典算法的应用领 域，加强了传统方法在稠密匹配，图像深度获取等应用领域的适用 范围。 弥补了传统特征点提取算法在图像的弱纹理区域中无法提取特征点的 使其能在纹理较弱的区域提取到足够多的特征点。
提出了基于尺度空间的半径自适应机制；特征点匹配阶段: 提出了基于稀 疏表示理论的特征点匹配方法。 根据弱纹理区域的特征提出一种纹理添加算法，在传统纹理合成算法的基 础上提出一种适用于特征点提取的纹理合成算法，根据图像对之间的关系 计算出相应的仿射变换，提出了一种基于Graph Cut 算法的特征点匹配调整 算法。
基于MeanShift算法提出了窗口自适应的特征点描述子方法，在宽基线的图
像深度信息获取中，提出了一种基于Graph Cut算法的视差图获取机制。
智能系统与网络智能实验室
3. 特征点提取与匹配技术综述
特征点提取与匹配综述
应用领域
三维重构 图像识别 视频跟踪 数字测量 深度感知
国内外研究现状
特征半径选取机制
在不同情况下得到不同的对称性检测图与图像中每点实际的对称性和区域半径 有关，所以，我们对不同的点采用不同的半径进行检测， 因此，我们提出一 种机制，为图像中的每个点自动的选择区域半径。 我们所要达到的目标是： (i). 为每个点选取最优的半径来表达该点的对称性信息。 (ii). 根据半径的选取，得到最佳对称性点的位置。特别的，对一些弱纹理性较 强的点，尽可能选取大的半径，而对一些弱纹理性较小的点，则选取小的半径 ，并保证弱纹理性强的特征点被选出。 (iii).且该机制必须能够随着特征点的不同，而采用变化的区域半径。
ncc P,T
i I xi I I T xi I
i I xi I 2 i I T xi I 2
, p q | q 1, 2, , N
I T x a bI x x p
智能系统与网络智能实验室
4.基于Self- Similarity的弱纹理
特征点提取与匹配算法
4.基于SelfFra Baidu bibliotek Similarity的弱纹理
特征点提取与匹配算法
弱纹理区域示意图
传统特征点检测算法效果
Harris
SIFT
智能系统与网络智能实验室
4.基于Self- I T x abI x xp Similarity的弱纹理
特征点提取与匹配算法
对称性算子
弱纹理区域具有较强的对称性，且具有较强的各向同性。采用如下所示 的对称性算子来衡量区域的对称性强度。
基于宽基线的弱纹理特征点提取与匹配方法研究
基于宽基线的弱纹理特征点提取与匹配方法研究
主要内容
1. 研究背景及意义 2. 研究内容和创新点 3. 特征点提取与匹配技术综述 4. 基于自相似算子的特征点提取方法 5. 基于纹理合成的弱纹理区域特征点提取方法 6. 基于Meanshift的特征描述子构造方法 7. 总结与展望 8. 攻读博士学位期间的成果
根据弱纹理区域的性质，设计一种基于纹理合成的仿射变换方法，用于增加
弱纹理区域的纹理信息，并使之用于特征点提取 扩展了经典特征点提取与匹配算法在弱纹理区域无法提取到特征的缺陷，在图 像对应信息不变的情况下，采用纹理合成方法增加了弱纹理区域的纹理信息， 并将其应用于特征点提取方法中。
设计在宽基线情况下的图像深度信息获取方法