双目立体视觉系统的立体匹配
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
２０ ０ ９年 ５月
第 ５ （ 第 ｌ Hale Waihona Puke Baidu期 ） 期 总 ２
广 西 轻 工 业 Ｇ Ａ Ｇ Ｉｏ ＲＡ ＦＬ Ｈ Ｄ ｓＲ 计 算机 与信息技 术 ｕ Ｎ ｘ ｕ Ｎ Ｌｏ Ｉ Ｔ ｕＴＹ Ｊ Ｇ
双 目立体 视 觉 系统 的立体 匹配
吴 媛 ， 周德 俭 １， 宣 军 ＇代 。
公式 （ ） ３ 为实 际应用中常用的相 似 比较函数 ， 比原 Ｓ ｓ Ｎ ｕＡ
算法 中的有更好 的稳定性。
【 作者简介】 媛（９８ ） 硕士研究生， 吴 １７一 ． 女， 讲师， 研究方向： 业信息化、 动化 制造 自 检测。
６ ７
１ ‘
一
采用公式 （ ） ８ 可大大提高相关计算速度 。
预匹配点视为匹配点 ， 从而得到一个初始匹配集。
ｎ ０ ∑ｃ ， ） （） （ｒ ｒ＝ ｒ０
２３ 角 点 响 应 ．
（ ） ４ 极线 约 束优 化 ４
利用极线约束对 匹配点进行优化 。如图 ３所示： 三维空间 点 Ｐ在左 、右摄像 机成像平面上投 影为一对 相匹配 的点 ｐ和 ｐ； ’ 两摄像 机 的光 心 ｃ和 ｃ 的连线 为基线 ， 与摄 像机 图像 平 。 其 面的交点 ｅ ｅ 称为两图像 平面的极点 ， 和 ’ 它们 分别 为两个摄像
最大值。 每进行一次迭代进行判断， Ｉ Ｉｆ ， 若ｆ＋ ｏ则停止迭 一 ＝
代 ， Ｔ作 为最后 的 ｓ Ｓ Ｎ模板的灰度差阈值。即在不 同灰 取 ． ｕＡ
度对 比度下 ， 得到最佳灰度差值 ｔ 。
２２ 对应 点 ＳＵ Ｎ 区域 大 小 ． ＳＡ
２ 特征点 的提取
角点是 图像上在两 维空间 内灰度和边缘 方向变化剧烈并
估计 、 摄像机 自标定 、 匹配和跟踪 的基础 。 对极几何关系在数学 上 的表示是—个 ３阶的且秩为 ２的矩阵 ， 称为基本矩阵。 因此 ， 对极几何 的求解 问题 就转化为对基本矩阵的估计 问题 。 对极几
何 的本 质是 ， 于左图像上 的点 ｐ若 在右图像找它 的对应 点 ， 对 ，
信息的方法。其基本原理是从两个视点观察同一 景物 ， 以获取
在不同视角下的感知 图像 ， 通过 三角测量原理计算 图像像素间 的位置偏差（ 即视差 ） 来获取景物的三维信息。 图像特征点的提 取以及特征点的立体匹配是计算机视觉领域的一 个基本 问题 ， 也是立体视觉中最重要 ， 最困难 的部分。
１ 引言
客观世界是一个三维的空间世界 。 用各种观测 系统 以不同
ｍｅ ｔ ｓｉ １ｔ ｇＮ ｃｅ 算子 ， 是一 种错 误率 低 、 ｎ ｓ ａｉ ｕ ｌ ｓ Ａ ｍｉ ｎ ｕ） 它 定位精 确而且快速的算法 ；它提供的角点 提取和边缘提取方法一样 ， 有很强 的抗噪声能力 ， 因此不需要进行 去噪声处理（ 滤波 ） 。 本文采用的特征点的提取算法是基于 ｓ ｓ ｕ ＡＮ算子和角点 几何结构分析 的思想 ， 是一种改进 的快速 自适 应阈值 ｔ 的角点 提取算法。 使用一个包含 ３ ７个像 素的圆形模板 ， 半径 为 ３ ． ４个像素 ，
ｃ；；）ｅ （， ＝
（ ３）
在实 际的匹配过程 中 ， 是计 算出来 的 ｓ ｐ ｐ ） 足阈值 若 ‘ ，。 满
公式 （ ） ｒ ｒ分别是模板 中心点和模板 中其他点 的坐 ３ 中：和
的要求 ， 明该点是 点 ｐ的一个候选匹配点。用此方法可求 出 说
左图像上所有 已提取的角点在右 图像上 的候选 匹配点 ； 将相 同
（） １
然后根据迭代初值 Ｔ 将灰度差直方图分为两部分 ，由公 。 式（ ） ２ 计算 下一个迭代值 Ｔ ｉ
Ｃ…
葛
ｆ 点—一 ｝ 对 点—Ｊ — ｆ————化 特 — 提 ｆ ———配 ＋点配 —．Ｊ 征 取— ——— 匹 —— 优 ｆ 应 匹 Ｌ —— —— —
图 １特征点 匹配算法流程
Ｓ ｐ ｐ ） （ ， ’＝
公式（ ） ， 一个秩为 ２的基本矩阵 ， ｐ的匹 配点 ｐ ９ 中 Ｆ是 因 ’ 在极 线 ｌ上 ， ’ 故有 ：
ｐ ｐＯ ’ ＝ （Ｏ １）
对极几何关 系是指 从 ２ 个不 同视点获得 的来 自同一场 景 的２ 幅图像 之间存在着一定的约束关系 。 是非定标情 况下可 以 从图像对 中获 得的唯一信 息 ， 的准确求解是 三维重建 、 动 它 运
ｇ ｌ２ 。一般而言 ， ＝ ，ｎ 对于 ｇ 不需要 通过 调整就能取得较好 的
效果 。
对应 的极线 ，和 ｌ 为对应极线 。 ｌ ‘ 互 Ｒ为摄像机刚体运动时的旋
转矩阵 ， Ｔ为平移向量。 据极线约束性质 ， ’ 根 ｐ 一定位 于 ｐ相关
联的极线 ｌ上 ， １与 ｐ之间满足一个线性变换 ： ‘ 则 ．
的交线 ｌ ｌ称为极线 ， 和 ’ 一般称 ｌ 为点 ｐ对应 的极线 ，’ ｌ为点 ｐ ’
公 式（ ） ｇ ５ 中 为几 何阈值 ， 它决定 了提取 的角点 的尖 锐程 度 ， 越小提取 的角点越尖锐 。 ｇ 在用 Ｓ Ｓ ｕ ＡＮ算法进行边缘提取 的时候 通 常取 ｇ ３４ ，在 进行 角 点 提取 的 时候 ，通 常 取 ＝ ，ｎ
（ ． 林工 学院 ， 西 桂林 ５ １ ０ ；２河南机 电高 等专科 学校 ， 南 新 乡 ４ ３ ０ ；３广 西工 学院 ， 西 柳州 １桂 广 ４ ０４ ． 河 ５０２ ． 广
５５０ ４ ０ ６）
【 摘 要 】 双目 体视觉 立 是计算 视觉的 分支， 机 一个 立体匹 配是立体 视觉中 键问 是三维重建中 核心问 的关 题， 的 题。以 双
标，（， ） 较的结果 ， ；为该点的亮度值，为灰度差阈 ｃ；； 为比 ｌ） （ ｔ
值。 理论 与实践都证 明当指数取 ６时错误 的否 定和错误 的肯定
概率都最小 。 Ｕｓ Ｎ区域 的大小可 以由公式 （ ） Ａ ４ 给出 ：
的原理应用于右 图像上 ， 求出右图像上所有 已提取 的角点在左 图像上 的候 选匹配 点 ， 若是 还能找到相 同的匹配点 ， 对应的 则
如 图 ２所 示 ：
的形式和手段 观测客观世界而得来的图像是 二维 平面的， 尽管 其中包含有三维物体 的空间信息。 的视觉系统具有将获取的 人 图像信息转换 为立体视图的功能。立体视觉 正是根据此原理 ， 探求从二维图像 中恢复三维空间信息的方法 ， 达到从图像认 识 世界 的目的。 而双目立体视觉是 由两幅图像获取物体三维几何
ｒ— ——— —— —］ — ——— ——— 一 ＿— —— ——— 一
为提取 出角点 ， 模板 内每个像 素的灰度 与模板中心的 需将 灰度进行 比较 ， 首先计算模板 内像 素点 与模板 中心 的灰度差 阈 值， 取灰度差值 的平均值 为迭代初始值 Ｔ： ０
Ｔ 去 Ｉ ） （） 。Ｊ （ 一 ｒ ＝Ｕ ｒ Ｉ０
是 ， ｐ， 若 ’ｐ是一对正 确的匹配点 ， 么在右 图像中 ， ｐ 和对 那 点 ‘
表示在 点（ ，） 的灰 度平均 值 ， 的 ｘｙ处 它
应点 ｐ的极线之间的距离一定非常小 ， 若距离比较大的话， 则
点 ｐ 必然是 ｐ的错误 匹配点 。 此种情况 时， 可使 用 Ｌ ｄ 来 优 ｍｅ ｓ
解决对应点匹配的方法有两种 ： 于特征 的匹配方法和基 基
瑚善 ｜ 枷一峨■ 鲁■■Ｉ 一■一 ■ 一 ■ 一
图 ２ 包括 ３ ７个像 素 的 Ｓ ＡＮ 圆 形模 板 ＵＳ
２１ 灰度差阈值 ｔ 自适应选取 。 的
—一 ■
＋
于区域的匹配方法 ［ １ 】 。基于点特征的图像 匹配方法对灰度变化 有较强适应能力 ，能够处理 图像间存在的较大未对准情况 ， 且 计算量小 ， 因此 ， 它在计算机视觉 、 目标识别 、 医学图像处理 、 遥 感等领域 的应用越 来越广泛 。 特征点的选择是基于点特 征匹配 算法的一个关键步骤 ， 特征点选择的成功与否对于下一步的匹 配有着至关重要的影响。特征点匹配的算法流程如图 １ 所示 ：
且和周围的邻点有着明显差异的点 ， 图像立体匹配的一个很 是 好特征 ， 图像立体匹配算 法中的关键点 。角点的提取直接影 是
根 据计算得 到的 ｔ 由公式 （ ）公式 （ ） 算核点 ｓ Ｓ Ｎ ３、 ４计 ｕＡ
区域 的 大 小 。
响立体匹配算法 的准确性和稳定性 。
Ｓ ｔ Ｂ ａ ｙ 出的 Ｓ Ａ Ｓ ｌ ｓ Ｕ ｉａｕ ｅ — ｍｉ ｈ和 ｒｄ 提 ＵＳ Ｎ ｍａ１ ｔ ｎｖｌｅ ｇ ｅ Ｓ
１＝ ｐ Ｆ （ ９）
最后搜索初始角点响应中的局部最 大值 ， 将其对应 的像素
点标记为角点。
３ 特征点的灰度值相关双相匹配与极线约束优化
在初始 匹配阶段 ，采用基 于灰度 相关 的双 向特 征匹配方
图 ３对极几何
法。 相关方法假设左右立体 图像对中对应点及其 各 自的邻域上 各点的灰度具有相似性 。 考虑到噪声 的影 响 ， 以左图像为基准 ， 取左 图像上一个像 素点为 中心 ， 大小为 （ ｍ＋ ） ２ ＋１的相 ２ １ ×（ ｎ ） 关窗 口，在 右图像 中选定一个与该 点具有相 同坐标 为中心 ， 大 小为（ ｄ＋ ） ２ ， １的矩形搜索区域 ， ２ １ ×（ ｄ＋ ） 对左 图像 中的该角点 与右 图像 中落人搜 索区域的全部角点 在给定 的窗 口内完成一 个基于灰度 的相关计算 ， ｓ ｐ ｐ ） 用 ‘ ，。 表示这 种灰 度相 似性 。 预定义角点 的图像坐标为 ｐ ［ ， ，。 【‘ ’ ， 文采用 ＝ ｘ ｙ］ｐ： ｘ， 】本 ｙ 归一化灰度相关系数方法来计算相似度 。 此时 ， 度相关值 为 ： 灰
∑ｍ ｈ ×（ ｍ）
Ｉ ＝ ｝ ｍ ∑ Ｏ
ｈ（ ） ｍ
（ ２）
本文通过对图像特 征点 的提取及对应点匹配算法的研究 ，
采用一种改进 的 ｓ ｓ ｕ ＡＮ角点检测算法 ， 对提取 的角点结合基 于灰 度相关及极线 约束 的双向匹配技术来 优化的特征点 匹配
算法 。
公式（ ） ｍ为模板 中像素点 和中心像 素点 的灰 度差值 ， ２中 ｈｍ 为模板 中具有该灰度差值 的点 的数量 ， ～ 为灰度差值 的 （） ｃ
和值 ｎ ｕ ＡＮ区域的像素值个数 ， ｕ ＡＮ区域的面积。 为 ｓ 即 ｓ 由公式 （ ） 到图像 的初始角响应。 ５得
Ｒ＝ ㈩仨
ｇ
㈩
机 中心 ｃ和 ｃ 在对应的摄 像机成像平面上的投影坐标 ； 、 Ｐ Ｃ和 ｃ‘ 成的三角平 面称为极平面 。 １ 组 ｒ和两个摄像机成像平 面
目立体视觉原理为基础 ， 用一种改进的 ｓ ＡＮ 角点特征检 测方法 ， 采 ｕｓ 结合基于灰度相关及极 线几何约束的双向 匹配及优化 。 实现
了一个鲁棒的匹配算法的应用。通过对真 实图像 的实验表明 ， 该立体 匹配算法效果良好 。 具有较好的实用性 。
【 关键词 】 立体匹 双目 体视觉； 配； 立 极线几何； 基本矩阵； 点检测 角 【 中图分类号 】Ｔ３１１ 【 Ｐ９． ４ 文献标识码 】 Ａ 【 文章编号 】 １０—６３ ｏ９ ５ ６ — ２ ０３２７（ ｏ） — ７ ０ ２ ０
＿＿
ｉ
对 至圣（ ｙ）７ 化 ， 过解非线性 最小化 问题来 估计参数 ， 于全部数据 的所 ｉＩ ＋ （） 通 ｘ ｊ 有 可能 的余差平 方的中值求解 ， 此方法 给出的中值最小网 即 ： ，
∑ ∑［ｘｉ＋） 】 【 ｘ ｉｔ ） ｉ Ｉ ＋ｙ — （ ，ｊ ｉ ×Ｉ ｔ，＋ — ｉ ・ ＋ ｙｊ （
］
窆［＋ ＋一 ］ 主 ｉ＋ Ｉ ｊｊ （ ，ｊ （． ） ｙ Ｉｙ ） ＋－
公 式（） ， ６中
表达式为 ：
】 ６ （ ）
则该点 必定位 于点 ｐ 在右 图像 的极线上 ，但 由于噪音 等的影 响， 正确 的匹配也 不一 定会严格 满足公式 （ Ｏ 。但可 以肯定的 １）
第 ５ （ 第 ｌ Hale Waihona Puke Baidu期 ） 期 总 ２
广 西 轻 工 业 Ｇ Ａ Ｇ Ｉｏ ＲＡ ＦＬ Ｈ Ｄ ｓＲ 计 算机 与信息技 术 ｕ Ｎ ｘ ｕ Ｎ Ｌｏ Ｉ Ｔ ｕＴＹ Ｊ Ｇ
双 目立体 视 觉 系统 的立体 匹配
吴 媛 ， 周德 俭 １， 宣 军 ＇代 。
公式 （ ） ３ 为实 际应用中常用的相 似 比较函数 ， 比原 Ｓ ｓ Ｎ ｕＡ
算法 中的有更好 的稳定性。
【 作者简介】 媛（９８ ） 硕士研究生， 吴 １７一 ． 女， 讲师， 研究方向： 业信息化、 动化 制造 自 检测。
６ ７
１ ‘
一
采用公式 （ ） ８ 可大大提高相关计算速度 。
预匹配点视为匹配点 ， 从而得到一个初始匹配集。
ｎ ０ ∑ｃ ， ） （） （ｒ ｒ＝ ｒ０
２３ 角 点 响 应 ．
（ ） ４ 极线 约 束优 化 ４
利用极线约束对 匹配点进行优化 。如图 ３所示： 三维空间 点 Ｐ在左 、右摄像 机成像平面上投 影为一对 相匹配 的点 ｐ和 ｐ； ’ 两摄像 机 的光 心 ｃ和 ｃ 的连线 为基线 ， 与摄 像机 图像 平 。 其 面的交点 ｅ ｅ 称为两图像 平面的极点 ， 和 ’ 它们 分别 为两个摄像
最大值。 每进行一次迭代进行判断， Ｉ Ｉｆ ， 若ｆ＋ ｏ则停止迭 一 ＝
代 ， Ｔ作 为最后 的 ｓ Ｓ Ｎ模板的灰度差阈值。即在不 同灰 取 ． ｕＡ
度对 比度下 ， 得到最佳灰度差值 ｔ 。
２２ 对应 点 ＳＵ Ｎ 区域 大 小 ． ＳＡ
２ 特征点 的提取
角点是 图像上在两 维空间 内灰度和边缘 方向变化剧烈并
估计 、 摄像机 自标定 、 匹配和跟踪 的基础 。 对极几何关系在数学 上 的表示是—个 ３阶的且秩为 ２的矩阵 ， 称为基本矩阵。 因此 ， 对极几何 的求解 问题 就转化为对基本矩阵的估计 问题 。 对极几
何 的本 质是 ， 于左图像上 的点 ｐ若 在右图像找它 的对应 点 ， 对 ，
信息的方法。其基本原理是从两个视点观察同一 景物 ， 以获取
在不同视角下的感知 图像 ， 通过 三角测量原理计算 图像像素间 的位置偏差（ 即视差 ） 来获取景物的三维信息。 图像特征点的提 取以及特征点的立体匹配是计算机视觉领域的一 个基本 问题 ， 也是立体视觉中最重要 ， 最困难 的部分。
１ 引言
客观世界是一个三维的空间世界 。 用各种观测 系统 以不同
ｍｅ ｔ ｓｉ １ｔ ｇＮ ｃｅ 算子 ， 是一 种错 误率 低 、 ｎ ｓ ａｉ ｕ ｌ ｓ Ａ ｍｉ ｎ ｕ） 它 定位精 确而且快速的算法 ；它提供的角点 提取和边缘提取方法一样 ， 有很强 的抗噪声能力 ， 因此不需要进行 去噪声处理（ 滤波 ） 。 本文采用的特征点的提取算法是基于 ｓ ｓ ｕ ＡＮ算子和角点 几何结构分析 的思想 ， 是一种改进 的快速 自适 应阈值 ｔ 的角点 提取算法。 使用一个包含 ３ ７个像 素的圆形模板 ， 半径 为 ３ ． ４个像素 ，
ｃ；；）ｅ （， ＝
（ ３）
在实 际的匹配过程 中 ， 是计 算出来 的 ｓ ｐ ｐ ） 足阈值 若 ‘ ，。 满
公式 （ ） ｒ ｒ分别是模板 中心点和模板 中其他点 的坐 ３ 中：和
的要求 ， 明该点是 点 ｐ的一个候选匹配点。用此方法可求 出 说
左图像上所有 已提取的角点在右 图像上 的候选 匹配点 ； 将相 同
（） １
然后根据迭代初值 Ｔ 将灰度差直方图分为两部分 ，由公 。 式（ ） ２ 计算 下一个迭代值 Ｔ ｉ
Ｃ…
葛
ｆ 点—一 ｝ 对 点—Ｊ — ｆ————化 特 — 提 ｆ ———配 ＋点配 —．Ｊ 征 取— ——— 匹 —— 优 ｆ 应 匹 Ｌ —— —— —
图 １特征点 匹配算法流程
Ｓ ｐ ｐ ） （ ， ’＝
公式（ ） ， 一个秩为 ２的基本矩阵 ， ｐ的匹 配点 ｐ ９ 中 Ｆ是 因 ’ 在极 线 ｌ上 ， ’ 故有 ：
ｐ ｐＯ ’ ＝ （Ｏ １）
对极几何关 系是指 从 ２ 个不 同视点获得 的来 自同一场 景 的２ 幅图像 之间存在着一定的约束关系 。 是非定标情 况下可 以 从图像对 中获 得的唯一信 息 ， 的准确求解是 三维重建 、 动 它 运
ｇ ｌ２ 。一般而言 ， ＝ ，ｎ 对于 ｇ 不需要 通过 调整就能取得较好 的
效果 。
对应 的极线 ，和 ｌ 为对应极线 。 ｌ ‘ 互 Ｒ为摄像机刚体运动时的旋
转矩阵 ， Ｔ为平移向量。 据极线约束性质 ， ’ 根 ｐ 一定位 于 ｐ相关
联的极线 ｌ上 ， １与 ｐ之间满足一个线性变换 ： ‘ 则 ．
的交线 ｌ ｌ称为极线 ， 和 ’ 一般称 ｌ 为点 ｐ对应 的极线 ，’ ｌ为点 ｐ ’
公 式（ ） ｇ ５ 中 为几 何阈值 ， 它决定 了提取 的角点 的尖 锐程 度 ， 越小提取 的角点越尖锐 。 ｇ 在用 Ｓ Ｓ ｕ ＡＮ算法进行边缘提取 的时候 通 常取 ｇ ３４ ，在 进行 角 点 提取 的 时候 ，通 常 取 ＝ ，ｎ
（ ． 林工 学院 ， 西 桂林 ５ １ ０ ；２河南机 电高 等专科 学校 ， 南 新 乡 ４ ３ ０ ；３广 西工 学院 ， 西 柳州 １桂 广 ４ ０４ ． 河 ５０２ ． 广
５５０ ４ ０ ６）
【 摘 要 】 双目 体视觉 立 是计算 视觉的 分支， 机 一个 立体匹 配是立体 视觉中 键问 是三维重建中 核心问 的关 题， 的 题。以 双
标，（， ） 较的结果 ， ；为该点的亮度值，为灰度差阈 ｃ；； 为比 ｌ） （ ｔ
值。 理论 与实践都证 明当指数取 ６时错误 的否 定和错误 的肯定
概率都最小 。 Ｕｓ Ｎ区域 的大小可 以由公式 （ ） Ａ ４ 给出 ：
的原理应用于右 图像上 ， 求出右图像上所有 已提取 的角点在左 图像上 的候 选匹配 点 ， 若是 还能找到相 同的匹配点 ， 对应的 则
如 图 ２所 示 ：
的形式和手段 观测客观世界而得来的图像是 二维 平面的， 尽管 其中包含有三维物体 的空间信息。 的视觉系统具有将获取的 人 图像信息转换 为立体视图的功能。立体视觉 正是根据此原理 ， 探求从二维图像 中恢复三维空间信息的方法 ， 达到从图像认 识 世界 的目的。 而双目立体视觉是 由两幅图像获取物体三维几何
ｒ— ——— —— —］ — ——— ——— 一 ＿— —— ——— 一
为提取 出角点 ， 模板 内每个像 素的灰度 与模板中心的 需将 灰度进行 比较 ， 首先计算模板 内像 素点 与模板 中心 的灰度差 阈 值， 取灰度差值 的平均值 为迭代初始值 Ｔ： ０
Ｔ 去 Ｉ ） （） 。Ｊ （ 一 ｒ ＝Ｕ ｒ Ｉ０
是 ， ｐ， 若 ’ｐ是一对正 确的匹配点 ， 么在右 图像中 ， ｐ 和对 那 点 ‘
表示在 点（ ，） 的灰 度平均 值 ， 的 ｘｙ处 它
应点 ｐ的极线之间的距离一定非常小 ， 若距离比较大的话， 则
点 ｐ 必然是 ｐ的错误 匹配点 。 此种情况 时， 可使 用 Ｌ ｄ 来 优 ｍｅ ｓ
解决对应点匹配的方法有两种 ： 于特征 的匹配方法和基 基
瑚善 ｜ 枷一峨■ 鲁■■Ｉ 一■一 ■ 一 ■ 一
图 ２ 包括 ３ ７个像 素 的 Ｓ ＡＮ 圆 形模 板 ＵＳ
２１ 灰度差阈值 ｔ 自适应选取 。 的
—一 ■
＋
于区域的匹配方法 ［ １ 】 。基于点特征的图像 匹配方法对灰度变化 有较强适应能力 ，能够处理 图像间存在的较大未对准情况 ， 且 计算量小 ， 因此 ， 它在计算机视觉 、 目标识别 、 医学图像处理 、 遥 感等领域 的应用越 来越广泛 。 特征点的选择是基于点特 征匹配 算法的一个关键步骤 ， 特征点选择的成功与否对于下一步的匹 配有着至关重要的影响。特征点匹配的算法流程如图 １ 所示 ：
且和周围的邻点有着明显差异的点 ， 图像立体匹配的一个很 是 好特征 ， 图像立体匹配算 法中的关键点 。角点的提取直接影 是
根 据计算得 到的 ｔ 由公式 （ ）公式 （ ） 算核点 ｓ Ｓ Ｎ ３、 ４计 ｕＡ
区域 的 大 小 。
响立体匹配算法 的准确性和稳定性 。
Ｓ ｔ Ｂ ａ ｙ 出的 Ｓ Ａ Ｓ ｌ ｓ Ｕ ｉａｕ ｅ — ｍｉ ｈ和 ｒｄ 提 ＵＳ Ｎ ｍａ１ ｔ ｎｖｌｅ ｇ ｅ Ｓ
１＝ ｐ Ｆ （ ９）
最后搜索初始角点响应中的局部最 大值 ， 将其对应 的像素
点标记为角点。
３ 特征点的灰度值相关双相匹配与极线约束优化
在初始 匹配阶段 ，采用基 于灰度 相关 的双 向特 征匹配方
图 ３对极几何
法。 相关方法假设左右立体 图像对中对应点及其 各 自的邻域上 各点的灰度具有相似性 。 考虑到噪声 的影 响 ， 以左图像为基准 ， 取左 图像上一个像 素点为 中心 ， 大小为 （ ｍ＋ ） ２ ＋１的相 ２ １ ×（ ｎ ） 关窗 口，在 右图像 中选定一个与该 点具有相 同坐标 为中心 ， 大 小为（ ｄ＋ ） ２ ， １的矩形搜索区域 ， ２ １ ×（ ｄ＋ ） 对左 图像 中的该角点 与右 图像 中落人搜 索区域的全部角点 在给定 的窗 口内完成一 个基于灰度 的相关计算 ， ｓ ｐ ｐ ） 用 ‘ ，。 表示这 种灰 度相 似性 。 预定义角点 的图像坐标为 ｐ ［ ， ，。 【‘ ’ ， 文采用 ＝ ｘ ｙ］ｐ： ｘ， 】本 ｙ 归一化灰度相关系数方法来计算相似度 。 此时 ， 度相关值 为 ： 灰
∑ｍ ｈ ×（ ｍ）
Ｉ ＝ ｝ ｍ ∑ Ｏ
ｈ（ ） ｍ
（ ２）
本文通过对图像特 征点 的提取及对应点匹配算法的研究 ，
采用一种改进 的 ｓ ｓ ｕ ＡＮ角点检测算法 ， 对提取 的角点结合基 于灰 度相关及极线 约束 的双向匹配技术来 优化的特征点 匹配
算法 。
公式（ ） ｍ为模板 中像素点 和中心像 素点 的灰 度差值 ， ２中 ｈｍ 为模板 中具有该灰度差值 的点 的数量 ， ～ 为灰度差值 的 （） ｃ
和值 ｎ ｕ ＡＮ区域的像素值个数 ， ｕ ＡＮ区域的面积。 为 ｓ 即 ｓ 由公式 （ ） 到图像 的初始角响应。 ５得
Ｒ＝ ㈩仨
ｇ
㈩
机 中心 ｃ和 ｃ 在对应的摄 像机成像平面上的投影坐标 ； 、 Ｐ Ｃ和 ｃ‘ 成的三角平 面称为极平面 。 １ 组 ｒ和两个摄像机成像平 面
目立体视觉原理为基础 ， 用一种改进的 ｓ ＡＮ 角点特征检 测方法 ， 采 ｕｓ 结合基于灰度相关及极 线几何约束的双向 匹配及优化 。 实现
了一个鲁棒的匹配算法的应用。通过对真 实图像 的实验表明 ， 该立体 匹配算法效果良好 。 具有较好的实用性 。
【 关键词 】 立体匹 双目 体视觉； 配； 立 极线几何； 基本矩阵； 点检测 角 【 中图分类号 】Ｔ３１１ 【 Ｐ９． ４ 文献标识码 】 Ａ 【 文章编号 】 １０—６３ ｏ９ ５ ６ — ２ ０３２７（ ｏ） — ７ ０ ２ ０
＿＿
ｉ
对 至圣（ ｙ）７ 化 ， 过解非线性 最小化 问题来 估计参数 ， 于全部数据 的所 ｉＩ ＋ （） 通 ｘ ｊ 有 可能 的余差平 方的中值求解 ， 此方法 给出的中值最小网 即 ： ，
∑ ∑［ｘｉ＋） 】 【 ｘ ｉｔ ） ｉ Ｉ ＋ｙ — （ ，ｊ ｉ ×Ｉ ｔ，＋ — ｉ ・ ＋ ｙｊ （
］
窆［＋ ＋一 ］ 主 ｉ＋ Ｉ ｊｊ （ ，ｊ （． ） ｙ Ｉｙ ） ＋－
公 式（） ， ６中
表达式为 ：
】 ６ （ ）
则该点 必定位 于点 ｐ 在右 图像 的极线上 ，但 由于噪音 等的影 响， 正确 的匹配也 不一 定会严格 满足公式 （ Ｏ 。但可 以肯定的 １）