SIFT算法的并行实现及应用.kdh
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
输入视频 构建 DoG 空间 检测特征点 N All Scales? Y 进一步筛选特征 降采样视图 All Octaves? N
All Octaves? Y
SIFT 特征
图2
SIFT 算法流程图
SIFT 算 法 分 为 四 步 ： （1） 尺度 （Scales） 空间极值检测； （2） 特征点定位； （3） 计算特征点的描述信息； （4） 生成特征描 述符。 首先对输入视频的视图 I ( x y)进行高斯滤波， 则有
从图 3 可知， 对每个尺度组 （Octave） 检测得到的特征点分 配一个栈， 同一个尺度组中的不同尺度空间 （Scale） 共享一个 特征点栈。 对于改进的 SIFT 算法， 首先对所有尺度组进行特征点检 测， 把尺度空间 （DoG 空间） 中 26 个邻域 （上下尺度各 9 个邻 域， 本尺度 8 个邻域） 的极值点作为候选点。由于在后续的定
L( x y σ ) = G( x y σ ) × I ( x y)
x2 + y2
（1）
Y 定位特征点方向 生成特征描述符 SIFT 特征
2 其中， G( x y σ ) = 1 2 e 2σ 。 2πσ 对不同尺度的高斯核的差分构成了高斯差分空间 （Differ-
ence-of-Gaussian， DoG） ， 表达式如下
2
视频全景图像生成算法
将摄像机采集的相邻视频图像作为输入， 对摄像机的位
置、 移动方向和旋转角度等均没有特殊限制， 但要求相邻视点 间存在部分公共场景。在实际拍摄中， 不需要知道摄像机的 参数， 利用特征点匹配来估计运动模型， 并对输入视频图像进 行配准。整个算法的框架如图 1 所示。 输入视频图的配准分为两步骤： （1） 对单视点图像进行特 征提取， 这里采用改进的 SIFT 算法来提取， 该特征在摄像机角 度变化的情况下仍能较稳定地描述视频场景； （2） 匹配相邻视 图的特征， 并用正确匹配的特征点坐标来估算投影矩阵， 不需 要了解摄像机的标定参数。 考虑到实际全景视频会议的实时要求， 在视点融合阶段， 采用双线性融合来完成。而 SIFT 算法虽具有很好的鲁棒性， 但计算复杂度比较高。这里， 利用多核平台， 对 SIFT 算法进行
3.1 SIFT 算法
SIFT 算法 [4-6] 对图像进行特征检测和提取， 应用于图像处 理、 计算机视觉、 立体匹配等领域， 其流程图如图 2 所示。
为与矩阵特征值相关的阈值， 文中取r为 10。 为了使特征点具有旋转不变性， 对每个特征点再计算一 定邻域内所有像素的梯度， 对梯度模赋予高斯权重并统计梯 度方向直方图， 以决定该特征点的主方向。 最后， 对以特征点为中心、 主方向为法方向的16 ´ 16像素 区域再进行高斯加权及分格梯度直方图统计， 形成 128 维的特 征描述符。该特征描述符具有平移、 旋转、 尺度不变性， 通过 比较两两之间的欧氏距离获得初匹配的特征点对。
韩 并行实现， 充分满足了实时性能。
输入
视频 图的 配准 相邻视频
龙， 郭
立， 李玉云： SIFT 算法的并行实现及应用
2010， 46 （Leabharlann Baidu0）
57
T 2 D(v) = D + ¶D v + 1 v T ¶ D v （3） ¶v 2 ¶v 2 其中， v = ( x y σ )T。由上式解得关键点亚像素及亚尺度的精确
D( x y σ ) = L( x y kσ ) - L( x y σ )
图 3 改进 SIFT 算法的流程图
（2）
式中系数k 决定了尺度组的大小， 这样得到第一个尺度组， 即 Octave。再对原始视图降采样， 进行同样的高斯核滤波形成第 二个尺度组， 重复操作直到视图小于某给定阈值。 其次， 将 DoG 空间中 26 个邻域 （上下尺度各 9 个邻域， 本尺 度 8 个邻域 ） 的极值点作为候选点， 并在候选点处泰勒展开， 得到
改进的 SIFT 特征点提取 特征匹配和投影矩阵
视点图间的融合 合成视频全景
坐标为：
2 -1 T v̂ = - ¶ D2 × ¶D ¶v ¶v 并对该处的 DoG 函数 D(v̂ )进行阈值限定， 以消除对比度较低
的不稳健点。 再次， 构造关键点周围高斯差分图像的 Hessian 矩阵 M Hes， 并利用该矩阵的迹和行列式近似估计该处的曲率比， 以消除 过强的边缘响应， 其式如下： æ D xx D xy ö Tr( M Hes) (1 + r)2 M Hes = ç （4） < ÷， r è D xy D yy ø Det( M Hes)
景合成方法。该方法采用了多核系统平台并行优化来实现 SIFT 算法， 首先对相邻视点的特征进行配准， 然后对重合区域进行双 线性融合， 减少了视差的影响， 同时克服了 SIFT 算法高复杂度问题。实验结果证明， SIFT 算法的并行实现能够实时处理视频拼 接， 并在大角度旋转情况下仍能较好地合成视图。 关键词： 尺度不变特征变换 （SIFT） 算法； 并行优化； 图像配准； 视频拼接 DOI： 10.3778/j.issn.1002-8331.2010.20.016 文章编号： 1002-8331 （2010） 20-0056-04 文献标识码： Ａ 中图分类号： TN911.73
输入视频 构建 DoG 空间
检测特征点
3.2
改进的 SIFT 算法
定位特征点方向
N
生成特征描述符
All Scales? Y 降采样视图 N
分析 SIFT 算法可知， 消耗时间比较长的模块为特征点定 位、 生成特征点描述符和降采样视图等关键模块。从串行 SIFT 算法流程图中看出， 对每个尺度空间中所检测到的每个 特征点都定位特征点方向和生成特征点描述符。由于在后续 迭代的尺度组和尺度空间中仅有很少一部分特征点被利用， 这样造成了计算的浪费， 从而加重了执行的负荷。为了均衡 负载， 采用改进的 SIFT 算法来完成特征提取， 具体流程图如图 3 所示。
Tr( M Hes)和Det( M Hes)分别为 Hessian 矩阵的迹和行列式， r 式中，
图1
视频全景合成算法框架图
3
SIFT 特征提取
对于视频全景图像， 视点中视图特征提取的精确度对合
成视图效果起着决定作用。采用 SIFT 算法提取特征点及初匹 配， 该算法是在空间域和尺度域上同时进行特征点的计算与 提取， 因此得到的特征点具有尺度不变性， 而且能够正确提取 尺度和视角变化较大的视频序列关键帧中存在的特征点， 有 效地克服了输入视频图像中的噪声干扰。
58
2010， 46 （20）
Computer Engineering and Applications 计算机工程与应用 平面透视运动模型 [8] 来估计视图间的几何关系。该模型使用 透视矩阵将视图投影到同一平面上， 则有
éx′ù éxù éh0 h1 h 2ù éxù êy′ú = H × êyú = êh3 h 4 h5ú × êyú êú ê êú ê ú ë1û ëh6 h7 1 ú ë1û û ë1û
基金项目： 教育部 - 英特尔信息技术专项科研基金 （the Ministry of Education and Intel Information Technology of Special Scientific Research Foundation under Grant No.MOE-INTEL-08-08） 。 作者简介： 韩龙 （1985-） ， 硕士， 主要研究领域为图像处理， 视频处理； 郭立 （1946-） ， 教授， 博士生导师， 主要研究领域为多媒体技术， 图形图像处 理， 片上系统设计等； 李玉云 （1985-） ， 硕士， 主要研究领域为图形处理器的硬件设计。 收稿日期： 2009-06-16 修回日期： 2009-08-03
1
引言
视频全景合成技术是图像处理与计算机视觉领域的一项
杂度， 并满足了视频全景合成的实时性能。
新技术， 它提供比普通视频更广阔的视野。目前被广泛应用 在视频会议、 航空拍摄、 军事监测以及虚拟视点绘制技术等领 域。从原理上可以将其分为两大类： 一类是直接利用特殊光 学器件， 如鱼眼镜头、 倒金字塔镜头等采集全景视频图像； 另 一类是由普通镜头采集多视点的图像， 再通过算法合成全景 视频。后者不受设备和环境等条件约束， 可以根据实际应用 的需要选择任意视点， 因此具有较大的应用价值。 目前， 在理想条件下的全景合成技术日趋完善， 而对视频 全景合成的实时性需求继续提升。国内外学者对图像拼接技 术已经取得了一些研究成果， 如减少视差影响 [1]、 消除鬼影 [2-3] 等方法， 但这些方法运算量大， 或者需要人为干预。本文提出 了一种鲁棒性较好的视频全景生成技术， 该方法是基于多核 系统平台， 采用并行优化实现鲁棒性较好的 SIFT （Scale Invariant Feature Transform） 特征提取算法， 从而减少运算的复
56
2010， 46 （20）
Computer Engineering and Applications 计算机工程与应用
SIFT 算法的并行实现及应用
韩 龙， 郭 立， 李玉云 HAN Long， GUO Li， LI Yu-yun
中国科学技术大学 电子科学与技术系， 合肥 230027 Department of Electronic Science and Technology， University of Science and Technology of China， Hefei 230027， China E-mail： dragon30@163.com HAN Long， GUO Li， LI Yu-yun.SIFT algorithm parallel implementation and application.Computer Engineering and Applications， 2010， 46 （20） ： 56-59. Abstract： Scale Invariant Feature Transform （SIFT） has been widely applied to many computer vision problems.But it has higher complexity.To tackle this challenging situation， an improved SIFT approach is proposed to generate panorama.Based on the multi-core system platform， this approach first uses parallel optimization to implement SIFT algorithm.And then it estimates the perspective motion model to align the adjacent views by SIFT features.Through the blending， the video panorama can be synthesized.The experimental results show that the proposed method can real-time deal with video mosaic， and also effectively synthesize different views with misregistration or parallax. Key words：Scale Invariant Feature Transform （SIFT） algorithm； parallel optimization； image registration； video mosaic 摘 要： SIFT 算法广泛应用于计算机视觉等领域， 而该算法具有较高复杂度， 为此提出了一种基于改进 SIFT 特征提取的视频全
All Octaves? Y
SIFT 特征
图2
SIFT 算法流程图
SIFT 算 法 分 为 四 步 ： （1） 尺度 （Scales） 空间极值检测； （2） 特征点定位； （3） 计算特征点的描述信息； （4） 生成特征描 述符。 首先对输入视频的视图 I ( x y)进行高斯滤波， 则有
从图 3 可知， 对每个尺度组 （Octave） 检测得到的特征点分 配一个栈， 同一个尺度组中的不同尺度空间 （Scale） 共享一个 特征点栈。 对于改进的 SIFT 算法， 首先对所有尺度组进行特征点检 测， 把尺度空间 （DoG 空间） 中 26 个邻域 （上下尺度各 9 个邻 域， 本尺度 8 个邻域） 的极值点作为候选点。由于在后续的定
L( x y σ ) = G( x y σ ) × I ( x y)
x2 + y2
（1）
Y 定位特征点方向 生成特征描述符 SIFT 特征
2 其中， G( x y σ ) = 1 2 e 2σ 。 2πσ 对不同尺度的高斯核的差分构成了高斯差分空间 （Differ-
ence-of-Gaussian， DoG） ， 表达式如下
2
视频全景图像生成算法
将摄像机采集的相邻视频图像作为输入， 对摄像机的位
置、 移动方向和旋转角度等均没有特殊限制， 但要求相邻视点 间存在部分公共场景。在实际拍摄中， 不需要知道摄像机的 参数， 利用特征点匹配来估计运动模型， 并对输入视频图像进 行配准。整个算法的框架如图 1 所示。 输入视频图的配准分为两步骤： （1） 对单视点图像进行特 征提取， 这里采用改进的 SIFT 算法来提取， 该特征在摄像机角 度变化的情况下仍能较稳定地描述视频场景； （2） 匹配相邻视 图的特征， 并用正确匹配的特征点坐标来估算投影矩阵， 不需 要了解摄像机的标定参数。 考虑到实际全景视频会议的实时要求， 在视点融合阶段， 采用双线性融合来完成。而 SIFT 算法虽具有很好的鲁棒性， 但计算复杂度比较高。这里， 利用多核平台， 对 SIFT 算法进行
3.1 SIFT 算法
SIFT 算法 [4-6] 对图像进行特征检测和提取， 应用于图像处 理、 计算机视觉、 立体匹配等领域， 其流程图如图 2 所示。
为与矩阵特征值相关的阈值， 文中取r为 10。 为了使特征点具有旋转不变性， 对每个特征点再计算一 定邻域内所有像素的梯度， 对梯度模赋予高斯权重并统计梯 度方向直方图， 以决定该特征点的主方向。 最后， 对以特征点为中心、 主方向为法方向的16 ´ 16像素 区域再进行高斯加权及分格梯度直方图统计， 形成 128 维的特 征描述符。该特征描述符具有平移、 旋转、 尺度不变性， 通过 比较两两之间的欧氏距离获得初匹配的特征点对。
韩 并行实现， 充分满足了实时性能。
输入
视频 图的 配准 相邻视频
龙， 郭
立， 李玉云： SIFT 算法的并行实现及应用
2010， 46 （Leabharlann Baidu0）
57
T 2 D(v) = D + ¶D v + 1 v T ¶ D v （3） ¶v 2 ¶v 2 其中， v = ( x y σ )T。由上式解得关键点亚像素及亚尺度的精确
D( x y σ ) = L( x y kσ ) - L( x y σ )
图 3 改进 SIFT 算法的流程图
（2）
式中系数k 决定了尺度组的大小， 这样得到第一个尺度组， 即 Octave。再对原始视图降采样， 进行同样的高斯核滤波形成第 二个尺度组， 重复操作直到视图小于某给定阈值。 其次， 将 DoG 空间中 26 个邻域 （上下尺度各 9 个邻域， 本尺 度 8 个邻域 ） 的极值点作为候选点， 并在候选点处泰勒展开， 得到
改进的 SIFT 特征点提取 特征匹配和投影矩阵
视点图间的融合 合成视频全景
坐标为：
2 -1 T v̂ = - ¶ D2 × ¶D ¶v ¶v 并对该处的 DoG 函数 D(v̂ )进行阈值限定， 以消除对比度较低
的不稳健点。 再次， 构造关键点周围高斯差分图像的 Hessian 矩阵 M Hes， 并利用该矩阵的迹和行列式近似估计该处的曲率比， 以消除 过强的边缘响应， 其式如下： æ D xx D xy ö Tr( M Hes) (1 + r)2 M Hes = ç （4） < ÷， r è D xy D yy ø Det( M Hes)
景合成方法。该方法采用了多核系统平台并行优化来实现 SIFT 算法， 首先对相邻视点的特征进行配准， 然后对重合区域进行双 线性融合， 减少了视差的影响， 同时克服了 SIFT 算法高复杂度问题。实验结果证明， SIFT 算法的并行实现能够实时处理视频拼 接， 并在大角度旋转情况下仍能较好地合成视图。 关键词： 尺度不变特征变换 （SIFT） 算法； 并行优化； 图像配准； 视频拼接 DOI： 10.3778/j.issn.1002-8331.2010.20.016 文章编号： 1002-8331 （2010） 20-0056-04 文献标识码： Ａ 中图分类号： TN911.73
输入视频 构建 DoG 空间
检测特征点
3.2
改进的 SIFT 算法
定位特征点方向
N
生成特征描述符
All Scales? Y 降采样视图 N
分析 SIFT 算法可知， 消耗时间比较长的模块为特征点定 位、 生成特征点描述符和降采样视图等关键模块。从串行 SIFT 算法流程图中看出， 对每个尺度空间中所检测到的每个 特征点都定位特征点方向和生成特征点描述符。由于在后续 迭代的尺度组和尺度空间中仅有很少一部分特征点被利用， 这样造成了计算的浪费， 从而加重了执行的负荷。为了均衡 负载， 采用改进的 SIFT 算法来完成特征提取， 具体流程图如图 3 所示。
Tr( M Hes)和Det( M Hes)分别为 Hessian 矩阵的迹和行列式， r 式中，
图1
视频全景合成算法框架图
3
SIFT 特征提取
对于视频全景图像， 视点中视图特征提取的精确度对合
成视图效果起着决定作用。采用 SIFT 算法提取特征点及初匹 配， 该算法是在空间域和尺度域上同时进行特征点的计算与 提取， 因此得到的特征点具有尺度不变性， 而且能够正确提取 尺度和视角变化较大的视频序列关键帧中存在的特征点， 有 效地克服了输入视频图像中的噪声干扰。
58
2010， 46 （20）
Computer Engineering and Applications 计算机工程与应用 平面透视运动模型 [8] 来估计视图间的几何关系。该模型使用 透视矩阵将视图投影到同一平面上， 则有
éx′ù éxù éh0 h1 h 2ù éxù êy′ú = H × êyú = êh3 h 4 h5ú × êyú êú ê êú ê ú ë1û ëh6 h7 1 ú ë1û û ë1û
基金项目： 教育部 - 英特尔信息技术专项科研基金 （the Ministry of Education and Intel Information Technology of Special Scientific Research Foundation under Grant No.MOE-INTEL-08-08） 。 作者简介： 韩龙 （1985-） ， 硕士， 主要研究领域为图像处理， 视频处理； 郭立 （1946-） ， 教授， 博士生导师， 主要研究领域为多媒体技术， 图形图像处 理， 片上系统设计等； 李玉云 （1985-） ， 硕士， 主要研究领域为图形处理器的硬件设计。 收稿日期： 2009-06-16 修回日期： 2009-08-03
1
引言
视频全景合成技术是图像处理与计算机视觉领域的一项
杂度， 并满足了视频全景合成的实时性能。
新技术， 它提供比普通视频更广阔的视野。目前被广泛应用 在视频会议、 航空拍摄、 军事监测以及虚拟视点绘制技术等领 域。从原理上可以将其分为两大类： 一类是直接利用特殊光 学器件， 如鱼眼镜头、 倒金字塔镜头等采集全景视频图像； 另 一类是由普通镜头采集多视点的图像， 再通过算法合成全景 视频。后者不受设备和环境等条件约束， 可以根据实际应用 的需要选择任意视点， 因此具有较大的应用价值。 目前， 在理想条件下的全景合成技术日趋完善， 而对视频 全景合成的实时性需求继续提升。国内外学者对图像拼接技 术已经取得了一些研究成果， 如减少视差影响 [1]、 消除鬼影 [2-3] 等方法， 但这些方法运算量大， 或者需要人为干预。本文提出 了一种鲁棒性较好的视频全景生成技术， 该方法是基于多核 系统平台， 采用并行优化实现鲁棒性较好的 SIFT （Scale Invariant Feature Transform） 特征提取算法， 从而减少运算的复
56
2010， 46 （20）
Computer Engineering and Applications 计算机工程与应用
SIFT 算法的并行实现及应用
韩 龙， 郭 立， 李玉云 HAN Long， GUO Li， LI Yu-yun
中国科学技术大学 电子科学与技术系， 合肥 230027 Department of Electronic Science and Technology， University of Science and Technology of China， Hefei 230027， China E-mail： dragon30@163.com HAN Long， GUO Li， LI Yu-yun.SIFT algorithm parallel implementation and application.Computer Engineering and Applications， 2010， 46 （20） ： 56-59. Abstract： Scale Invariant Feature Transform （SIFT） has been widely applied to many computer vision problems.But it has higher complexity.To tackle this challenging situation， an improved SIFT approach is proposed to generate panorama.Based on the multi-core system platform， this approach first uses parallel optimization to implement SIFT algorithm.And then it estimates the perspective motion model to align the adjacent views by SIFT features.Through the blending， the video panorama can be synthesized.The experimental results show that the proposed method can real-time deal with video mosaic， and also effectively synthesize different views with misregistration or parallax. Key words：Scale Invariant Feature Transform （SIFT） algorithm； parallel optimization； image registration； video mosaic 摘 要： SIFT 算法广泛应用于计算机视觉等领域， 而该算法具有较高复杂度， 为此提出了一种基于改进 SIFT 特征提取的视频全