双目立体视觉技术的实现及其进展

!电子技术应用 " !""# 年第 !" 期
本 刊 投 稿 邮 箱 $ !"#$%&’! ( &)* ( &%
.
45678
躯体姿态的世界坐标系! 建立机器人周围区域的地图" 其次根据实时建立的地图进 行障 碍物检 测!从 而确定 机 器人的行走方向# 日 本 冈 山 大 学 使 用 立 体 显 微 镜 $ 两 个 ##$ 摄 像 头 $ 微操作器等研制了使用立体显微镜控制微操作器的视 觉反馈系统!用于 对细胞 进行 操作$对 种子 进行 基因注 射和微装配等# 麻省理工学院计算机系提出了一种新的用于智能 交 通 工 具 的 传 感 器 融 合 方 法 % &’ ! 由 雷 达 系 统 提 供 目 标 深 度 的大 致范 围!利用 双目 立 体 视 觉 提 供 粗 略 的 目 标 深 度 信 息!结合 改进 的 图 像 分 割 算 法 !能 够 在 高 速 环 境 下 对 视频图像中的目标位置进行分割!而传统的目标分割算 法难以在高速实时环境中得到令人满意的结果!系统框 图如图 (# 可对三 维不 规则物 体*偏 转线 圈+的三 维空 间坐标 进行 非 接触精密测量# 哈工大采用异构双目活动视觉系统实现了全自主 足 球 机 器 人 导 航 % ,’ # 将 一 个 固 定 摄 像 机 和 一 个 可 以 水 平 旋转的摄像机! 分别安装 在机 器人的 顶部 和中下 部!可 以同时监视不同方位视点!体现出比人类视觉优越的一 面# 通过合理的资源分配及协调机制!使机器人在视野 范围$测 距精 度及处 理速 度 方 面 达 到 最 佳 匹 配 # 双 目 协 调技术可使机器人同时捕捉 多个 有效目 标!观 测相同 目 标 时通 过数据 融合 !也可 提 高 测 量 精 度 # 在 实 际 比 赛 中 其他传感器失效的情况下!仅仅依靠双目协调仍然可以 实现全自主足球机器人导航# 火 星 -,( 计 划 课 题 % 人 体 三 维 尺 寸 的 非 接 触 测 量 & ! 采用 %双视 点投 影光栅 三维 测量&原 理!由 双摄 像 机 获 取 图 像对!通 过计 算 机 进 行 图 像 数 据 处 理 !不 仅 可 以 获 取 服装设计所需的特征尺寸!还可根据需要获取人体图像 上任意一点的三维坐标# 该系统已通过中国人民解放军 总后勤部军需部鉴定# 可 达到 的技术 指标 为’数据 采集 时 间 小 于 )./ 人 " 提 供 身 高 $ 胸 围 $ 腰 围 $ 臀 围 等 围 度 的 测 量 精 度 不 低 于 !0"12 #
!!!"#$%&$%"’&
!!!"($%&$%"’)*+’&
!电子技术应用 " !""# 年第 !" 期
<=>45
了其应用范围! 此外双摄像机标定还需考虑镜头的非线 性校正"测量 范围和 精度 的问 题#目前 户外 的应用 还很 少! 上海大学通信与信息工程学院提出了基于神经网 络的双目立体视觉摄像机标定方法! 首先对摄像机进行 线性标定#然后通过 网络 训练 建立起 三维 空间点 位置 补 偿的多层前馈神经网络模型! 此方法对双目立体视觉摄 像机的标定具有较好的 通用 性#但是 精确 测量控 制点 的 世界坐标和图像坐标是一项严格的工作! 因此神经网络 中训练样本集的获得非常困难! 成的平面分别与两个成像平面的交线称为该空间点在 这两个成像平面中的极线! 一旦两摄像机的内外参数确 定#就可通过两个成 像平 面上 的极线 的约 束关系 建立 对 应点之间的关系#并由此联立方程#求得图像点的世界 坐标值! 对图像的全像素的三维重建目前仅能针对某一 具体目标#计算量大且效果不明显!
!(" ! " # $ %
立体像对中需要提取的特征点应满足以下要求$与 传感器类型及抽取特征所用技术等相适应%具有足够的 鲁棒性和一致性! 需要说明的是$在进行特征点像的坐 标提取前#需对获取的 图像 进行 预处理 ! 因为 在图像 获 取过程中#存在 一系 列的噪 声源#通过 此处理 可显 著改 进图像质量#使图像中特征点更加突出!
! !"#$%&’()
双目体视技术的实现可分为以下步骤$ 图像获取# 摄像 机标 定#特征 提取#图像匹 配和 三维 重 建 !下 面 依 次 介绍各个步骤的实现方法和技术特点"
!!! * + , 双目体视的图像获取是由不同位置的两台或者一 台 摄 像 机 #$$%& 经 过 移 动 或 旋 转 拍 摄 同 一 幅 场 景 ! 获 取 立 体 图 像 对 " 其 针 孔 模 型 如 图 ! " 假 定 摄 像 机 $! 与 $+ 的 角距和内部参数都相等! 两摄像机的光轴互相平行!二
% ./’012345
%(! 6 7 8 9 : ;
双目体视目前主要应用于四个领域$ 机器人导航" 微操作系统的参数检测"三维测量和虚拟现实! 日本大阪大学自适应机械系统研究院研制了一种 自 适 应 双 目 视 觉 伺 服 系 统 $ !% # 利 用 双 目 体 视 的 原 理 # 以 每幅图像中相对静止 的三 个标志 为参 考#实 时计算 目标 图像的雅可比矩阵# 从而预测出目标下一步运动方向# 实现了对运动方式未知的目标的自适应跟踪! 该系统仅 要求两幅图像中都有静止的参考标志# 无需摄像机参 数! 而传统的视觉跟踪伺服系统需事先知道摄像机的运 动"光学等参数和目标的运动方式! 日本奈良科技大学信息科学学院提出了一种基于 双 目 立 体 视 觉 的 增 强 现 实 系 统 & &’ ’ 注 册 方 法 $ (% # 通 过 动 态修正特征点的位置提高注册精度! 该系统将单摄像机 注 册 & )’ ’ 与 立 体 视 觉 注 册 *+’, 相 结 合 # 利 用 )’ 和 三 个 标志点算出特征点 在每 个图 像上的 二维 坐标和 误差 #利 用 +’ 和 图 像 对 计 算 出 特 征 点 的 三 维 位 置 总 误 差 # 反 复 修正特征点在图像对上的二维坐标#直至三维总误差小 于 某 个 阈 值 ! 该 方 法 比 仅 使 用 )’ 或 +’ 方 法 大 大 提 高 了 &’ 系 统 注 册 深 度 和 精 度 ! 实 验 结 果 如 图 ( # 白 板 上 三 角形的三顶点被作为单摄像机标定的特征点#三个三角 形上的模型为虚拟场景#乌龟是真实场景#可见基本上 难 以区 分出虚 拟场 景 &恐龙 ’和现 实场 景&乌龟 ’!
!!" . + / % 0 1
对 双 目 体 视 而 言 ! $$% 摄 像 机 # 数 码 相 机 是 利 用 计 算机技术对物理世界 进行 重建前 的基 本测 量工具 !对它 们的标定是实现立体视觉基本而又关键的一步" 通常先 采用单摄像机的标定方法! 分别得到两个摄像机的内# 外参数%再通过同 一世界 坐标 中的 一组定 标点 来建立 两 个摄像机之间的位置关系" 目前常用的单摄像机标定方 法主要有$ & ! ’ 摄 影 测 量 学 的 传 统 设 备 标 定 法 " 利 用 至 少 !1 个 参数描述摄像机与三维物体空间的约束关系!计算量非 常大" &+ ’ 直 接 线 性 变 换 法 " 涉 及 的 参 数 少 # 便 于 计 算 " &2 ’ 透 视 变 换 矩 阵 法 " 从 透 视 变 换 的 角 度 来 建 立 摄 像 机的 成像 模型!无 需初 始值!可 进行 实时 计算" &3 ’ 相 机 标 定 的 两 步 法 " 首 先 采 用 透 视 矩 阵 变 换 的 方法求解线性系统的摄像机参数!再以求得的参数为初 始值 !考虑 畸变 因素 !利 用最 优化方 法 求 得 非 线 性 解 !标 定精度较高" &0 ’ 双 平 面 标 定 法 " 在双摄像机标定中!需要精确的外部参数" 由于结 构配置很难准确! 两个摄像机的距离和视角受到限制! 一 般 都 需 要 至 少 4 个 以 上 & 建 议 取 !" 个 以 上 ’ 的 已 知 世 界坐标点!才能得到比较满意的参数矩阵!所以实际测 量过程不但复杂!而且效果并不一定理想!大大地限制
双目立体视觉是计算机视觉的一个重要分支!即由 不 同 位 置 的 两 台 或 者 一 台 摄 像 机 #$$%& 经 过 移 动 或 旋 转 拍摄同一幅场景! 通过计算空间点在两幅图像中的视 差 ! 获 得 该 点 的 三 维 坐 标 值 " ’" 年 代 美 国 麻 省 理 工 学 院 人 工 智 能 实 验 室 的 ()** 提 出 了 一 种 视 觉 计 算 理 论 并 应 用 在双 眼匹配 上!使 两 张 有 视 差 的 平 面 图 产 生 有 深 度 的 立体图形!奠定了 双目 立体视 觉发 展的 理论基 础" 相 比 其他类的体视方法!如透镜板三维成像#投影式三维显 示 #全息照相术 等!双 目体视 直接 模拟 人类双 眼处 理景 物 的方 式!可 靠简便 !在许 多领 域均极 具应 用 价 值 !如 微 操作系统的位姿检测与控制#机器人导航与航测#三维 测量学及虚拟现实等" 维 成 像 平 面 ,!-!.! 和 ,+-+.+ 重 合 ! /! 与 /+ 分 别 是 空 间 点 / 在 $! 与 $+ 上 的 成 像 点 " 但 一 般 情 况 下 ! 针 孔 模 型 两个摄像机的内部参数不可能完全相同!摄像机安装时 无 法看 到光 轴和成 像平 面!故 实际中 难以 应用" 上海交大在理论上对会聚式双目体视系统的测量 精度与系统结构参 数之间 的关 系作 了详尽 分析 !并通过 试验指出!对某一 特定 点进行 三角 测量 " 该点测 量误 差 与 两 $$% 光 轴 夹 角 是 一 复 杂 的 函 数 关 系 % 若 两 摄 像 头 光 轴夹 角一 定!则 被 测 坐 标 系 与 摄 像 头 坐 标 系 之 间 距 离 越大 !测量 得到 点 距 离 的 误 差 就 越 大 " 在 满 足 测 量 范 围 的 前 提 下 ! 应 选 择 两 $$% 之 间 夹 角 在 0" $% ’" $ 之 间 "
!($ * + , 在得到空间任一点在两个图像中的对应坐标和两 摄像机参数矩阵的条件下#即可进行空间点的重建! 通 过建立以该点的世界坐 标为未 知数 的 # 个 线性方 程#可 以用最小二乘法求解得该点的世界坐标! 实际重建通常 采用外极线约束法! 空间 点"两 摄像机 的光 心这三 点组 日本东京大学将实时双目立体视觉和机器人整体 姿态信息集成 # 开发了仿真机器人动态行走导航系统 $ -% ! 该 系统实现分两个步骤$首先#利用平面分割算法分离所 拍摄图像对中的地面 与障 碍物 #再结合 机器 人躯体 姿态 的信 息#将图 像从 摄 像 机 的 二 维 平 面 坐 标 系 转 换 到 描 述
78/9:
双目立体视觉技术的实现及其进展
北 京 理 工 大 学 信 息 科 学 技 术 学 院 光 电 工 程 系 #!"""’!&
2
隋 婧 金伟其
3 ! 阐述了双目立体视觉技术在国内外应用的最新动态及其优越性# 指出双目体视技术的
实现分 为图像 获取$摄 像机标 定$特 征提取 $立体匹 配和三 维重 建几个 步 骤 %详 细 分 析 了 各 个 步 骤 的 技术 特点$存 在的问 题和 解决方 案%并对 双目体 视技 术的发 展做了 展望# 456! 双目立体视觉 计算机视觉 立体匹配 摄像机标定 特征提取
Hale Waihona Puke Baidu
!(# & ’ ( )
立体匹配是双目体视中最关键"困难的一步! 与普 通的图像配准不同#立 体像对 之间 的差 异是由 摄像 时观 察点的不同引起的# 而不是由其它如景物本身的变化" 运动所引起的! 根据匹配基元的不同#立体匹配可分为 区域匹配"特征匹配和相位匹配三大类! 区域匹配算法的实质是利用局部窗口之间灰度信 息 的相 关程度 #它在 变 化 平 缓 且 细 节 丰 富 的 地 方 可 以 达 到较高的精度! 但该算法的匹配窗大小难以选择#通常 借助于窗口形状技术来改善视差不连续处的匹配%其次 是计算量大"速度慢#采取由粗至精分级匹配策略能大 大减少搜索空间的大小#与匹配窗大小无关的互相关运 算能显著提高运算速度! 特征匹配不直接依赖于灰度# 具有较强的抗干扰 性#计 算量 小#速度 快! 但 也同样 存在 一些 不 足 $特 征 在 图像中的稀疏性决定特征匹配只能得到稀疏的视差场% 特征的提取和定位过程直接影响匹配结果的精确度! 改 善办法是将特征匹配的鲁棒性和区域匹配的致密性充 分结合 # 利用对高频噪声不敏感的模型来提取和定位特征 ! 相位匹配是近二十年才发展起来的一类匹配算法! 相位作为匹配基元#本身反映信号的结构信息#对图像 的高频噪声有很好的抑制作用#适于并行处理#能获得 亚像素级精度的致密视差! 但存在相位奇点和相位卷绕 的问题 #需加 入自适 应滤 波器 解决!