双目立体视觉测量系统的研究与实现
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
点 的 坐 标 测 量 是 双 目立 体 视 觉 的 最 基 本 内 容 . 维 空 间 点 成 像 模 型 如 图 1所 示 , 于 空 间 对
收 稿 臼期 :0 1 0 2 1 】一】 4
毒 t U 0
一
1
式 () , 1 中 是 比 例 系 数 ; 一 , f ; 阵 “ 一 矩
乎 失去 了物体 所 有 的深 度信 息 , 而 物 体 的j 维 然
图像 能 够 _ 加 全 面 、 实 地 反 映 客 观 物 体 , 供 更 史 真 提
加 丰 富而 准 确 的 信 息 , 以 有 必 要 从 二 维 图像 中 所
重 构 场 景 的 蔓维 空 间 , 获 取 其 三 维 信 息 . 的 视 以 人 觉 系 统 具 有 将 获 取 的 图 像 信 息 转 换 为 立 体 视 图 的 功 能 , 现对 客 观世 界 三维 场 景 的感 知 、 识 和 理 实 认 解 . 日立 体 视 觉 测 量 系 统 正 是 根 据 此 原 理 , 拟 双 模 人 类 视 觉 处 理 景 物 的 方 式 , 求 从 二 维 图 像 中 恢 探
12 O
武 汉 工 程 大 学 学 报
第 3 3卷
一l 22 r3 r1 " l } 1
} I ?
R L1r 2为 转 , { 平 矩 —j 2 3 旋 矩阵 t t 为 移 2 { r r 2 —I , j L j
。 。 。 。
阵; 厂为 摄像 机 焦 距 ; 和 d d 分 别 为 图 像 坐 标 系
中相邻 像 素在 X 轴 和 y轴方 向上 的距离 . 在 测 量系 统 中, 像 机 是 基 于 双 目平 行 的 空 摄 间关 系进行 配置 的. 求空 间点 P 的坐 标 , 要 先用 摄 像机定 标 的 方 法 分 别 求 出 双 目摄 像 机 的 投 影 矩
阵 , 将 这 两 个 投 影 矩 阵 分 别 带 人 式 ( ) 从 而 可 再 1, 以 得 到 关 于 X 、 Z 的 四 个 线 性 方 程 构 成 的 超 定 y、
i oes g on pr c s m
方程组 , 可利 用最 小二乘 法解 得该点 的世界 坐标 .
2 图 像 预 处 理
从 图像获取 系统 中得 到 的符合 立 体 视 觉原 理
的左 右 图 像 对 , 于 各 方 面 因 素 的 影 响 , 不 可 避 由 会
圈 5 图像 降嗓 处 理 后
和操作 之前 , 必须 对原 始 图 像进 行必 要 的预处 理 . 图像 预处 理 的就是 对 图像 采 用一 系列 技术 来 降低 噪声 的影响 和图像 的失 真 ,改善 图像 的视觉效 果 , 突出有 用信息 、 制无用 信息_ . 抑 3 ] 基 于上述 问题 , 出一 种 图像 预 处 理方 法 , 提 步
Fi Prn i eofbi c a son i a n g.1 i cpl no ulrvii m gig
媒体 技 术等 前沿 领域 研 究 的重要 内容 .
令 世 界 坐 标 系 下 空 间 点 P( Y, 在 两 个 摄 X, Z) 像 机 像 平 面 上 的 投 影 坐 标 分 别 为 P ( ) U, 和 P ( ) 点 P 、 坐 标 均 以像 素 为 单 位 . 据 z“ , , P 根
双 目立体 视觉 测 量 系 统 的 研 究 与实 现
陈 李 王海晖 念 , 进 , 。
( . 汉工程 大 学 计 算机 科 学 与工程 学院 , 1武 湖北 武汉 4 0 0 ; 3 2 5
2 武 汉 工 程 大 学 智 能 机 器 人 湖 北 省 重 点 实验 室 , 北 武 汉 4 0 0 ) . 湖 3 2 5
O 引 言
客 观 现 实 世 界 是 一 个 三 维 的 空 间 世 界 , 用 常
物 体 表面任 意一 点 P, 果 用 C 如 和 C 两 个 摄 像 机 同 时观察 P 点 , 在 两 相 机 的投 影 分 别 为 P 、 P _z并 且 己经 确定 P 尸, 与 P。为双 目视 觉 图像 的匹
() 2
由式 ( ) 去 P 后 得 到 : 2消
P2 R2 Pl t 一R2 = R + 2 R t = R, : 目立 体视觉测量 系统 的研 究与实现 等 双
i3 0
令 摄像 机 C 相 对 于摄 像 机 C :的位 置 关 系 为
1 双 目 立 体 视 觉 原 理
双 目视 觉 测 量 原 理 是 从 两 个 视 点 观 察 同 一 物
针孑 成像 模 型 , 过 理 论 推 导 可 以得 到 像 素 坐标 L 经
和世 界坐 标之 间 的关 系为 l : 2 ]
一
体 , 获 取 存 不 同 视 角 下 的 感 知 图 像 , 过 三 角 几 以 通
节, 标定 的精 度 直 接 影 响最 终 的重 建 效 果 与测 量
误差.
双 目立体 视觉 中双 目摄 像 机标 定 与单 个摄 像
机标 定类 似 , 用 单 摄 像 机 标 定 的方 法 分 别 得 到 先 两个 摄像 机 各 自的 内 外参 数 , 后利 用 两 摄 像 机 然 的外参 数 标 定 摄像 机 与摄 像 机 之 间 的位 置关 系.
配 点 , 么 可 以 得 出 , 点 既 位 于 直 线 (l , , 那 P ) P】 上 又
的摄像 机 、 码 相 机 等 图像 捕 获 设 备 利 用 光 学 镜 数
头 成像 原理 只 能 获 取 到二 维 图 像 , 二 维 图像 几 但
位 于 直 线 P 上 . 此 , 就 是 这 两 条 直 线 的 交 因 P 点 , 的三维 位 置是 唯一 确定 的. 它
理 , 果如 图 4 图 5所示 . 效 、 阈值 面积 去 噪法 即采 用
区 域 面 积 滤 波 的 方 式 消 除 掉 面 积 过 大 和 面 积 过 小 的 图像 区域 , 掉 标 靶 外 围 大 部 分 干 扰 点 , 到 标 去 得 靶 去 噪 后 的 二 值 化 图 像 ] .
R、 , 则
最 终计 算 出双 目标 定 的结果 .
双 目摄 像 机 标 定 结 果 :
< 2 』 R~ l
几何 关 系.
t t — 2一 R2 R t 1
f ( 4 )
欧拉角: R 一一0 0 69 7 R =0 0 28 9 . 2 0 ; . 4 1 ;
3 双 目摄 像 机 标 定
摄像机 标定是 指建 立 摄像 机 图像 像 素坐 标 与 场景点 三维坐 标之 间的关 系 , 根据 摄像 机模 型 , 由
( )采 用 阈 值 法 将 图 像 二 值 化 , 果 如 图 2 1 效 、
图 3所 示 。
豳一 豳
t n I a a m ge
何原 理训 算 图像像 素 问 的 位置 偏 差 ( 即视 差 ) 获 来
取 景 物 的 j 维 信 息 [ 空 问 点 是 构 成 三 维 空 问 结 构 的 最 基 本 单 元 , 论 上 可 以 由 点 形 成 线 , 线 形 理 由
X
( 1)
成而 , 由各 种 面 构 成 1 立 体 结 构 . 冉 二维 因此 , 间 空
模 块 经 过 试验 测 试 和 验 证 , 够 对 空 间 物 体 的三 维 位 置 坐 标 进 行 高 精 度 的 测 量 , 足 对 物体 三 维 测 量 要 求 . 能 满
关 键 词 : 同立 体 视 觉 ; 像 处 理 ; 像 机 标 定 ; 双 罔 摄 三维 测 量 中图 分 类 号 : TP2 2 6 4 . 2 文献标识码 : A d i 1 . 9 9 jis . 6 42 6 . 0 1 0 . 2 o : 0 3 6 /.sn 1 7 — 8 9 2 1 . 5 0 6
设两摄 像机 的外 参 数 分 别为 R 、 t 与 R 、。 R 为 : t(
旋转 矩 阵 , T为平 移 矩 阵 ) R 、 , t 示 摄像 机 C 表
图 3 图 像 二 值 化 后
与世界 坐标 系之 间的相对 位置 , t 表示摄 像机 R 、 。
C 与 世 界 坐 标 系 之 间 的 相 对 位 置 . 于 空 间 任 意 。 对
■一
Fi 5 A fe he i a ie r d to oc s i g g. t r t m geno s e uci n pr e sn
免 的存 在 噪声 、 干扰 和失 真 现 象 , 成 图 像质 量 的 造 下降 , 而两 台摄像 机 由于接 收 的光 强 不 同 , 体 图 立 像对 间也 会存 在亮 度 差 异. 因此 在 对 其 进 行 分 析
一
Fi 3 A fe hebi rz ton ofa i a g. t r t na ia i n m ge
( )采 用 阈 值 面 积 去 噪 法 对 图 像 进 行 降 噪 处 2
点 P, 三 维 重 建 原 理 可 得 由
f =RI t f PI P+ l
l 一R2 P2 P+ t z
摘 要 : 据 双 目视 觉 原 理 , 绍 了双 目立 体 视 觉 测 量 系统 的 组 成 , 系统 涉 及 的 关 键 技 术 进 行 了有 关 的 探 讨 根 介 对 和 研 究 . 用 VC 6 0与 HAl O 软 件 开 发 平 台 结 合 相 关 硬 件 设 备 , 现 了 双 目立 体 视 觉测 量 系 统 . 统 各 利 . N C 实 系
基 金 项 目 : 汉 : 大 学 第 五 届 校 长基金 资 助 项 目 武 程 作者简介 : 陈 念 ( 8 ) 男 , 北 汉 J 人 , 究 方 向 : 字 图像 处 理 、 器 视 觉 . 1 9一 , 湖 9 I f 研 数 机
指 导 教 师 : 海 晖 , , 授 , 十 , 士 研 究 生 指 导 老 师 . 究 方 向 : 式识 别 、 字 冈像 处 理 . 王 男 教 博 硕 研 模 数
己知 特征 点 的 图像 坐标 和 世界 坐标求 解 摄像机 的
内外 参 数 , 要 参 数 包 括 摄 像 机 的畸 变 系数 、 主 焦
距、 中心 点坐标 、 投影 矩 阵 以及 摄像 机 之 间的旋 转
矩 阵 、 移 矩 阵 . 像 机 标 定 是 双 目立 体 视 觉 研 平 ]摄 究 中需 要 解 决 的 第 一 问 题 , 是 进 行 双 目视 觉 三 也 维 重 建 和 非 接 触 三 维 测 量 时 不 可 或 缺 的 重 要 环
复 j维 空 间 信 息 的 方 法 , 到 从 图像 认 识 世 界 的 达
目的 . 日立 体 视 觉 技 术 在 物 体 二 维 测 量 中 的 应 双 三
用 E 益 成 为 计 算 机 视 觉 、 拟 现 实 、 物 工 程 和 多 I 虚 生
02
图 1 双 目视 觉 成 像 原 理
第3 3眷第 5 期
武
汉 工
程
大
学
学
报
Vo1 3 No. .3 5
g1 年 O 0 1 5月
文 章 编 号 : 7 1 4—2 6 2 1 ) 5—0 O 6 8 9( 0 1 0 l l—O 5
J W u a I s. Teh . hn nt c.
Ma g 1 y 01
骤如 下 :
( ) 存 经处理 后 的二 值化 图像 . 3保 经 过处理 后 , 噪声 与失 真 等不 利 因素 明显 减
少 , 定 版 特 征 圆清 晰 可见 , 圆心 坐 标 容 易得 标 且
到, 使得标 定 图像 在 特 征 检 测 与提 取 时有 利 于计 算 机分析 和计算 , 提高 了系统 精度.
收 稿 臼期 :0 1 0 2 1 】一】 4
毒 t U 0
一
1
式 () , 1 中 是 比 例 系 数 ; 一 , f ; 阵 “ 一 矩
乎 失去 了物体 所 有 的深 度信 息 , 而 物 体 的j 维 然
图像 能 够 _ 加 全 面 、 实 地 反 映 客 观 物 体 , 供 更 史 真 提
加 丰 富而 准 确 的 信 息 , 以 有 必 要 从 二 维 图像 中 所
重 构 场 景 的 蔓维 空 间 , 获 取 其 三 维 信 息 . 的 视 以 人 觉 系 统 具 有 将 获 取 的 图 像 信 息 转 换 为 立 体 视 图 的 功 能 , 现对 客 观世 界 三维 场 景 的感 知 、 识 和 理 实 认 解 . 日立 体 视 觉 测 量 系 统 正 是 根 据 此 原 理 , 拟 双 模 人 类 视 觉 处 理 景 物 的 方 式 , 求 从 二 维 图 像 中 恢 探
12 O
武 汉 工 程 大 学 学 报
第 3 3卷
一l 22 r3 r1 " l } 1
} I ?
R L1r 2为 转 , { 平 矩 —j 2 3 旋 矩阵 t t 为 移 2 { r r 2 —I , j L j
。 。 。 。
阵; 厂为 摄像 机 焦 距 ; 和 d d 分 别 为 图 像 坐 标 系
中相邻 像 素在 X 轴 和 y轴方 向上 的距离 . 在 测 量系 统 中, 像 机 是 基 于 双 目平 行 的 空 摄 间关 系进行 配置 的. 求空 间点 P 的坐 标 , 要 先用 摄 像机定 标 的 方 法 分 别 求 出 双 目摄 像 机 的 投 影 矩
阵 , 将 这 两 个 投 影 矩 阵 分 别 带 人 式 ( ) 从 而 可 再 1, 以 得 到 关 于 X 、 Z 的 四 个 线 性 方 程 构 成 的 超 定 y、
i oes g on pr c s m
方程组 , 可利 用最 小二乘 法解 得该点 的世界 坐标 .
2 图 像 预 处 理
从 图像获取 系统 中得 到 的符合 立 体 视 觉原 理
的左 右 图 像 对 , 于 各 方 面 因 素 的 影 响 , 不 可 避 由 会
圈 5 图像 降嗓 处 理 后
和操作 之前 , 必须 对原 始 图 像进 行必 要 的预处 理 . 图像 预处 理 的就是 对 图像 采 用一 系列 技术 来 降低 噪声 的影响 和图像 的失 真 ,改善 图像 的视觉效 果 , 突出有 用信息 、 制无用 信息_ . 抑 3 ] 基 于上述 问题 , 出一 种 图像 预 处 理方 法 , 提 步
Fi Prn i eofbi c a son i a n g.1 i cpl no ulrvii m gig
媒体 技 术等 前沿 领域 研 究 的重要 内容 .
令 世 界 坐 标 系 下 空 间 点 P( Y, 在 两 个 摄 X, Z) 像 机 像 平 面 上 的 投 影 坐 标 分 别 为 P ( ) U, 和 P ( ) 点 P 、 坐 标 均 以像 素 为 单 位 . 据 z“ , , P 根
双 目立体 视觉 测 量 系 统 的 研 究 与实 现
陈 李 王海晖 念 , 进 , 。
( . 汉工程 大 学 计 算机 科 学 与工程 学院 , 1武 湖北 武汉 4 0 0 ; 3 2 5
2 武 汉 工 程 大 学 智 能 机 器 人 湖 北 省 重 点 实验 室 , 北 武 汉 4 0 0 ) . 湖 3 2 5
O 引 言
客 观 现 实 世 界 是 一 个 三 维 的 空 间 世 界 , 用 常
物 体 表面任 意一 点 P, 果 用 C 如 和 C 两 个 摄 像 机 同 时观察 P 点 , 在 两 相 机 的投 影 分 别 为 P 、 P _z并 且 己经 确定 P 尸, 与 P。为双 目视 觉 图像 的匹
() 2
由式 ( ) 去 P 后 得 到 : 2消
P2 R2 Pl t 一R2 = R + 2 R t = R, : 目立 体视觉测量 系统 的研 究与实现 等 双
i3 0
令 摄像 机 C 相 对 于摄 像 机 C :的位 置 关 系 为
1 双 目 立 体 视 觉 原 理
双 目视 觉 测 量 原 理 是 从 两 个 视 点 观 察 同 一 物
针孑 成像 模 型 , 过 理 论 推 导 可 以得 到 像 素 坐标 L 经
和世 界坐 标之 间 的关 系为 l : 2 ]
一
体 , 获 取 存 不 同 视 角 下 的 感 知 图 像 , 过 三 角 几 以 通
节, 标定 的精 度 直 接 影 响最 终 的重 建 效 果 与测 量
误差.
双 目立体 视觉 中双 目摄 像 机标 定 与单 个摄 像
机标 定类 似 , 用 单 摄 像 机 标 定 的方 法 分 别 得 到 先 两个 摄像 机 各 自的 内 外参 数 , 后利 用 两 摄 像 机 然 的外参 数 标 定 摄像 机 与摄 像 机 之 间 的位 置关 系.
配 点 , 么 可 以 得 出 , 点 既 位 于 直 线 (l , , 那 P ) P】 上 又
的摄像 机 、 码 相 机 等 图像 捕 获 设 备 利 用 光 学 镜 数
头 成像 原理 只 能 获 取 到二 维 图 像 , 二 维 图像 几 但
位 于 直 线 P 上 . 此 , 就 是 这 两 条 直 线 的 交 因 P 点 , 的三维 位 置是 唯一 确定 的. 它
理 , 果如 图 4 图 5所示 . 效 、 阈值 面积 去 噪法 即采 用
区 域 面 积 滤 波 的 方 式 消 除 掉 面 积 过 大 和 面 积 过 小 的 图像 区域 , 掉 标 靶 外 围 大 部 分 干 扰 点 , 到 标 去 得 靶 去 噪 后 的 二 值 化 图 像 ] .
R、 , 则
最 终计 算 出双 目标 定 的结果 .
双 目摄 像 机 标 定 结 果 :
< 2 』 R~ l
几何 关 系.
t t — 2一 R2 R t 1
f ( 4 )
欧拉角: R 一一0 0 69 7 R =0 0 28 9 . 2 0 ; . 4 1 ;
3 双 目摄 像 机 标 定
摄像机 标定是 指建 立 摄像 机 图像 像 素坐 标 与 场景点 三维坐 标之 间的关 系 , 根据 摄像 机模 型 , 由
( )采 用 阈 值 法 将 图 像 二 值 化 , 果 如 图 2 1 效 、
图 3所 示 。
豳一 豳
t n I a a m ge
何原 理训 算 图像像 素 问 的 位置 偏 差 ( 即视 差 ) 获 来
取 景 物 的 j 维 信 息 [ 空 问 点 是 构 成 三 维 空 问 结 构 的 最 基 本 单 元 , 论 上 可 以 由 点 形 成 线 , 线 形 理 由
X
( 1)
成而 , 由各 种 面 构 成 1 立 体 结 构 . 冉 二维 因此 , 间 空
模 块 经 过 试验 测 试 和 验 证 , 够 对 空 间 物 体 的三 维 位 置 坐 标 进 行 高 精 度 的 测 量 , 足 对 物体 三 维 测 量 要 求 . 能 满
关 键 词 : 同立 体 视 觉 ; 像 处 理 ; 像 机 标 定 ; 双 罔 摄 三维 测 量 中图 分 类 号 : TP2 2 6 4 . 2 文献标识码 : A d i 1 . 9 9 jis . 6 42 6 . 0 1 0 . 2 o : 0 3 6 /.sn 1 7 — 8 9 2 1 . 5 0 6
设两摄 像机 的外 参 数 分 别为 R 、 t 与 R 、。 R 为 : t(
旋转 矩 阵 , T为平 移 矩 阵 ) R 、 , t 示 摄像 机 C 表
图 3 图 像 二 值 化 后
与世界 坐标 系之 间的相对 位置 , t 表示摄 像机 R 、 。
C 与 世 界 坐 标 系 之 间 的 相 对 位 置 . 于 空 间 任 意 。 对
■一
Fi 5 A fe he i a ie r d to oc s i g g. t r t m geno s e uci n pr e sn
免 的存 在 噪声 、 干扰 和失 真 现 象 , 成 图 像质 量 的 造 下降 , 而两 台摄像 机 由于接 收 的光 强 不 同 , 体 图 立 像对 间也 会存 在亮 度 差 异. 因此 在 对 其 进 行 分 析
一
Fi 3 A fe hebi rz ton ofa i a g. t r t na ia i n m ge
( )采 用 阈 值 面 积 去 噪 法 对 图 像 进 行 降 噪 处 2
点 P, 三 维 重 建 原 理 可 得 由
f =RI t f PI P+ l
l 一R2 P2 P+ t z
摘 要 : 据 双 目视 觉 原 理 , 绍 了双 目立 体 视 觉 测 量 系统 的 组 成 , 系统 涉 及 的 关 键 技 术 进 行 了有 关 的 探 讨 根 介 对 和 研 究 . 用 VC 6 0与 HAl O 软 件 开 发 平 台 结 合 相 关 硬 件 设 备 , 现 了 双 目立 体 视 觉测 量 系 统 . 统 各 利 . N C 实 系
基 金 项 目 : 汉 : 大 学 第 五 届 校 长基金 资 助 项 目 武 程 作者简介 : 陈 念 ( 8 ) 男 , 北 汉 J 人 , 究 方 向 : 字 图像 处 理 、 器 视 觉 . 1 9一 , 湖 9 I f 研 数 机
指 导 教 师 : 海 晖 , , 授 , 十 , 士 研 究 生 指 导 老 师 . 究 方 向 : 式识 别 、 字 冈像 处 理 . 王 男 教 博 硕 研 模 数
己知 特征 点 的 图像 坐标 和 世界 坐标求 解 摄像机 的
内外 参 数 , 要 参 数 包 括 摄 像 机 的畸 变 系数 、 主 焦
距、 中心 点坐标 、 投影 矩 阵 以及 摄像 机 之 间的旋 转
矩 阵 、 移 矩 阵 . 像 机 标 定 是 双 目立 体 视 觉 研 平 ]摄 究 中需 要 解 决 的 第 一 问 题 , 是 进 行 双 目视 觉 三 也 维 重 建 和 非 接 触 三 维 测 量 时 不 可 或 缺 的 重 要 环
复 j维 空 间 信 息 的 方 法 , 到 从 图像 认 识 世 界 的 达
目的 . 日立 体 视 觉 技 术 在 物 体 二 维 测 量 中 的 应 双 三
用 E 益 成 为 计 算 机 视 觉 、 拟 现 实 、 物 工 程 和 多 I 虚 生
02
图 1 双 目视 觉 成 像 原 理
第3 3眷第 5 期
武
汉 工
程
大
学
学
报
Vo1 3 No. .3 5
g1 年 O 0 1 5月
文 章 编 号 : 7 1 4—2 6 2 1 ) 5—0 O 6 8 9( 0 1 0 l l—O 5
J W u a I s. Teh . hn nt c.
Ma g 1 y 01
骤如 下 :
( ) 存 经处理 后 的二 值化 图像 . 3保 经 过处理 后 , 噪声 与失 真 等不 利 因素 明显 减
少 , 定 版 特 征 圆清 晰 可见 , 圆心 坐 标 容 易得 标 且
到, 使得标 定 图像 在 特 征 检 测 与提 取 时有 利 于计 算 机分析 和计算 , 提高 了系统 精度.