基于双目视觉的目标定位系统设计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
畸 变 系 数 ， 由于 其 一 般 很 小 ，因 此 其 初 始 值 可 置为０ 。优 化模 型 取 初 步 求 出 的 、 、 作 为 优
化 函数 的 初值 ，约束 等式 是所 有尺 应 满 足正 都 交 性 的６ 等 式 ，采 用 的 优 化算 法 是 Ｌ ｖ ｎ ｅ ｇ 个 ｅ ｅ ｂ ｒ．
，＝
『车『 差＝ 言］差 ｉ『 ． ＝ ］ 善 ｊ ］芝 ， ， 差
４５
图 １ 双 目视 觉系统结构 示意图
２ 双 目视觉系统关键技术
现代仪器 （，，， ｄ ｒ ｉｓｒ．ｒ．ｎ 、、 『ｍｏ ｅ ｎｎ ｔ ｏ ｇｃ ） ＾＾Ｉ 、． ｓ
由于 Ｄ 点在外极平 面上 ，因此外极平面在右侧图 ，
左摄像机的光心 ，Ｄ 是右摄像机的光心。Ｐ既位于 ｒ 直线 Ｄ尸， ，又位 于直 线 Ｄ 上 ，因此 Ｐ是 ０ 上 ，
和 Ｄ 两 条直 线 的交 点 。运用 双 目视 觉原 理 进 行 目标定 位 的 目的就 是得 到 目标上 特征 点位 置 。首先
Ｚｗ
１
通过摄像机标定得到摄像机光心 Ｄ 和 Ｄ 坐标 ，然 ， ， 后通过特征提取和立体匹配得到 尸 和 Ｐ 坐标 ，利 ， ， 用两条空间直线的交点就可以得到 Ｐ点三维坐标 。
式 中，尸 、 为第ｉ 、 幅图像 的内外参数 ，， ， 表示
选 取 的 第 ｆ 图像 中心 附 近 的 点 数 ， 幅 ｃ表 示 第
摄像机的投影中心在各 自图像中的投影。由于所有 外极 平 面都包含 Ｄ， Ｄ 点 ，因此外 极点 都位 于 由 和 ２ ｆ 图像 中第， 点 的非齐次 图像 坐标 向量， 是 两个投影中心定义 的直线 （ 幅 个 ¨ 基线 ） 上，这种约束条 相 对 应 的 世 界坐 标 向量 。 ， Ｐ ， 本 文 考 虑 的 件称 为外极 线约 束 。 ， 为 Ｐ
技 术进行 深 入研究 。 ２ １ 摄 像机标 定 ．
自动 控制 等先进 技术 ，在机 器人 视觉 导航 、公共 场 景监 控 、军 事视 觉制 导 、智 能交 通等 领域 有着 广泛
应用 ［ 目 １ 前对 目 】 。 标定位技术研究多是基于单 目视
觉展 开 的 ，由于在 图像 投影 过程 中丢 失场 景 的三维
得 系统 的结构 参数 ： 转矩 阵 Ｒ和平移 向量 。设 旋 双 目视觉 系统 左右 摄像 机 的外 部 参数分 别 为 尺， 、 与 、 ，则 两 台摄像 机之 间 的相 对几 何关 系可 由
摄像 机标 定是 进行 目标 定位 的必 要过程 ，通 过 信息 ，因此得到的 目 标位置信息只是相对的。双 目 摄像机标定可以得到空间点坐标与两幅图像上像点 视觉模拟人类双眼机制 ，采用 ２台摄像机从 ２ 个视 坐标 之 间的对应 关 系 。此 外 ，每个 镜头 的畸 变程度 点 去观察 同一 目标 ，获 得不 同视 角下 的一组 目标 图 各不相同，通过摄像机标定就可以求得镜头畸变系 像 ，然后 通 过不 同图像 中同一 目标 的视 差 ，推断 出 数 。本文 采用 改进 的平 面标 定法 ［，首 先通 过线性 ４ ］ 场 景 中 目标 的空 间位 置 和形状 。当需要 对 目标 进 行 模 型求 出摄 像机 的初始 内外 参 数矩 阵 ， 后 引人径 然 三维测量时 ，双 目视觉有其不可替代的优点 ［ ２ 】 。因 向和切向畸变 ， 通过非线性优化算法求出畸变参数。 此， 本文基 于双 目视 觉原 理进行 目标 定位 系统设 计 。 摄像机标定就是要解决计算机图像坐标 （ ｖ ，）
Ｍ ａ ｑ ａ ｄ 算 法 。通 过 优 化 得 到 最 终 的 内 外 参 ｒｕｒｔ 】
数 矩 阵 ，作 为摄 像 机 标 定 的最 终 结果 。 双 目视 觉 系统除 要得 到各个摄 像 机 的内外参数
图 ２ 两个 摄 像 机 外 极 线 几何 结构
外 ，还要知道两台摄像机之间的相对位置关系 ， 获
实验 结果验证 本 文方 法的 准确性 。
关 键词
双 目 觉 目标 定位 视
摄像 机标 定
立体 匹配
引
言
目标定 位融 合 图像处 理 、 模式 识别 、 人工智 能 、
运用双 目 视觉原理进行 目 标定位主要包括图像 采集 、图像预处理、和立体 匹配是 最难 也是最 重要 的部 分 ，本文 对这 两项关 键
１ 双 目视觉系统工作原理
双 目视 觉 系 统 的结 构 （ 图 １ ３ 见 ）［ 】 。Ｐ是 目标
与世界 坐标
， ） 间的转 换 问题 。根 据 针 孔 ｚ 之
成像原理 ， 它们之间的转换关 系如下
上的一个特征点 ，Ｐ 是 Ｐ在左摄像机 图像上 的投 ，
影 点 ，Ｐ 是 Ｐ在 右 摄像 机 图像 上 的投 影 点 ，Ｄ， ， 是
研 与开发
基 于双 目视 觉的 目标定位 系统设计
时 洪光 张凤 生 郑春 兰
（ 青岛大学机电工程学院 青岛 ２ ６ ７ ６ ０ １）
摘 要 基 于双 目视 觉原理 进行 目标 定 位 可 以得 到 目标 的 深度 信 息。 本文 对双 目视 觉 关
键 技 术 中的摄 像机 标 定和 立体 匹配进行 深入 研 究 ，采 用改 进 的平 面标 定 法和基 于外极 线 约束 和灰 度 相 关性 的立体 匹配 算 法 。搭 建双 目视 觉 系统 实验 平 台，编 制 目标 定位 程 序 。
ｍ ＝ ∑ 一（ｋ ：，，ｍ） ｉ ∑ ｍ ，ＰＰＦ ／Ｉ ｎ 毛２ ， ，ｊ … ， ｆ
（ ２）
像上 的投 影为一 条直 线 ， 我们称 这条 直线 为外极线 。 从 图 ２中可 以看 出一 幅 图像 中所 有 的外极 线相交 于 同一点 ，这个 点 被称 为外极 点 ，外极 点 是另一 个
化 函数 的 初值 ，约束 等式 是所 有尺 应 满 足正 都 交 性 的６ 等 式 ，采 用 的 优 化算 法 是 Ｌ ｖ ｎ ｅ ｇ 个 ｅ ｅ ｂ ｒ．
，＝
『车『 差＝ 言］差 ｉ『 ． ＝ ］ 善 ｊ ］芝 ， ， 差
４５
图 １ 双 目视 觉系统结构 示意图
２ 双 目视觉系统关键技术
现代仪器 （，，， ｄ ｒ ｉｓｒ．ｒ．ｎ 、、 『ｍｏ ｅ ｎｎ ｔ ｏ ｇｃ ） ＾＾Ｉ 、． ｓ
由于 Ｄ 点在外极平 面上 ，因此外极平面在右侧图 ，
左摄像机的光心 ，Ｄ 是右摄像机的光心。Ｐ既位于 ｒ 直线 Ｄ尸， ，又位 于直 线 Ｄ 上 ，因此 Ｐ是 ０ 上 ，
和 Ｄ 两 条直 线 的交 点 。运用 双 目视 觉原 理 进 行 目标定 位 的 目的就 是得 到 目标上 特征 点位 置 。首先
Ｚｗ
１
通过摄像机标定得到摄像机光心 Ｄ 和 Ｄ 坐标 ，然 ， ， 后通过特征提取和立体匹配得到 尸 和 Ｐ 坐标 ，利 ， ， 用两条空间直线的交点就可以得到 Ｐ点三维坐标 。
式 中，尸 、 为第ｉ 、 幅图像 的内外参数 ，， ， 表示
选 取 的 第 ｆ 图像 中心 附 近 的 点 数 ， 幅 ｃ表 示 第
摄像机的投影中心在各 自图像中的投影。由于所有 外极 平 面都包含 Ｄ， Ｄ 点 ，因此外 极点 都位 于 由 和 ２ ｆ 图像 中第， 点 的非齐次 图像 坐标 向量， 是 两个投影中心定义 的直线 （ 幅 个 ¨ 基线 ） 上，这种约束条 相 对 应 的 世 界坐 标 向量 。 ， Ｐ ， 本 文 考 虑 的 件称 为外极 线约 束 。 ， 为 Ｐ
技 术进行 深 入研究 。 ２ １ 摄 像机标 定 ．
自动 控制 等先进 技术 ，在机 器人 视觉 导航 、公共 场 景监 控 、军 事视 觉制 导 、智 能交 通等 领域 有着 广泛
应用 ［ 目 １ 前对 目 】 。 标定位技术研究多是基于单 目视
觉展 开 的 ，由于在 图像 投影 过程 中丢 失场 景 的三维
得 系统 的结构 参数 ： 转矩 阵 Ｒ和平移 向量 。设 旋 双 目视觉 系统 左右 摄像 机 的外 部 参数分 别 为 尺， 、 与 、 ，则 两 台摄像 机之 间 的相 对几 何关 系可 由
摄像 机标 定是 进行 目标 定位 的必 要过程 ，通 过 信息 ，因此得到的 目 标位置信息只是相对的。双 目 摄像机标定可以得到空间点坐标与两幅图像上像点 视觉模拟人类双眼机制 ，采用 ２台摄像机从 ２ 个视 坐标 之 间的对应 关 系 。此 外 ，每个 镜头 的畸 变程度 点 去观察 同一 目标 ，获 得不 同视 角下 的一组 目标 图 各不相同，通过摄像机标定就可以求得镜头畸变系 像 ，然后 通 过不 同图像 中同一 目标 的视 差 ，推断 出 数 。本文 采用 改进 的平 面标 定法 ［，首 先通 过线性 ４ ］ 场 景 中 目标 的空 间位 置 和形状 。当需要 对 目标 进 行 模 型求 出摄 像机 的初始 内外 参 数矩 阵 ， 后 引人径 然 三维测量时 ，双 目视觉有其不可替代的优点 ［ ２ 】 。因 向和切向畸变 ， 通过非线性优化算法求出畸变参数。 此， 本文基 于双 目视 觉原 理进行 目标 定位 系统设 计 。 摄像机标定就是要解决计算机图像坐标 （ ｖ ，）
Ｍ ａ ｑ ａ ｄ 算 法 。通 过 优 化 得 到 最 终 的 内 外 参 ｒｕｒｔ 】
数 矩 阵 ，作 为摄 像 机 标 定 的最 终 结果 。 双 目视 觉 系统除 要得 到各个摄 像 机 的内外参数
图 ２ 两个 摄 像 机 外 极 线 几何 结构
外 ，还要知道两台摄像机之间的相对位置关系 ， 获
实验 结果验证 本 文方 法的 准确性 。
关 键词
双 目 觉 目标 定位 视
摄像 机标 定
立体 匹配
引
言
目标定 位融 合 图像处 理 、 模式 识别 、 人工智 能 、
运用双 目 视觉原理进行 目 标定位主要包括图像 采集 、图像预处理、和立体 匹配是 最难 也是最 重要 的部 分 ，本文 对这 两项关 键
１ 双 目视觉系统工作原理
双 目视 觉 系 统 的结 构 （ 图 １ ３ 见 ）［ 】 。Ｐ是 目标
与世界 坐标
， ） 间的转 换 问题 。根 据 针 孔 ｚ 之
成像原理 ， 它们之间的转换关 系如下
上的一个特征点 ，Ｐ 是 Ｐ在左摄像机 图像上 的投 ，
影 点 ，Ｐ 是 Ｐ在 右 摄像 机 图像 上 的投 影 点 ，Ｄ， ， 是
研 与开发
基 于双 目视 觉的 目标定位 系统设计
时 洪光 张凤 生 郑春 兰
（ 青岛大学机电工程学院 青岛 ２ ６ ７ ６ ０ １）
摘 要 基 于双 目视 觉原理 进行 目标 定 位 可 以得 到 目标 的 深度 信 息。 本文 对双 目视 觉 关
键 技 术 中的摄 像机 标 定和 立体 匹配进行 深入 研 究 ，采 用改 进 的平 面标 定 法和基 于外极 线 约束 和灰 度 相 关性 的立体 匹配 算 法 。搭 建双 目视 觉 系统 实验 平 台，编 制 目标 定位 程 序 。
ｍ ＝ ∑ 一（ｋ ：，，ｍ） ｉ ∑ ｍ ，ＰＰＦ ／Ｉ ｎ 毛２ ， ，ｊ … ， ｆ
（ ２）
像上 的投 影为一 条直 线 ， 我们称 这条 直线 为外极线 。 从 图 ２中可 以看 出一 幅 图像 中所 有 的外极 线相交 于 同一点 ，这个 点 被称 为外极 点 ，外极 点 是另一 个