基于置信传播的立体匹配并行算法_周自维

） 文章编号 １ ０ ０ ４ ９ ２ ４ Ｘ（ ２ ０基于置信传播的立体匹配并行算法
２＊ ， 周自维１， 樊继壮１， 赵 杰１， 刘晓丽２
（ 哈尔滨工业大学 机器人技术与系统国家重点实验室 ， 黑龙江 哈尔滨 １ １． ５ ０ ０ ８ ０； 辽宁科技大学 电信学院 ， 辽宁 鞍山 １ ２． １ ４ ０ ４ ４）
第１ １期
等： 基于置信传播的立体匹配并行算法 周自维 ，
２ ７ ７ ５
问题 ， 然后使用最 大 流 算 法 解 最 小 切 割 问 题 从 而
１ 引 言
双目立体视觉技术是移动机器人视觉导航和 视觉伺服领域中 的 关 键 技 术 ， 而双目立体视觉匹
］ １ ２ － 。 配算法一直是立体视觉领域研究的热点问题 ［
Ｌ ｉ ａ ｏ ｎ ｉ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｏ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ Ａ ｎ ｓ ｈ ａ ｎ１ １ ４ ０ ０ １， Ｃ ｈ ｉ ｎ ａ） ｇ ｙ ｆ ｇ ｙ， ｏ ｒ ｒ ｅ ｓ ｏ ｎ ｄ ｉ ｎ ａ ｕ ｔ ｈ ｏ ｒ， Ｅ－ ｍ ａ ｉ ｌ： ３ ８ １ ４ ３ １ ９ ７ ０＠ ｃ ｏ ｍ ＊Ｃ ｐ ｇ ｑ ｑ．
Ｏ ｔ ｃ ｓ ａ ｎ ｄ Ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ Ｅ ｎ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｐｉ ｇ ｇ ２ ０ １ １年１ １月
第１ ９卷 第１ １期
光学 精密工程
Ｖ ｏ ｌ ． １ ９ Ｎ ｏ ． １ １ Ｎ ｏ ｖ ． ２ ０ １ １
不同试验的匹配错误率和匹配时间tab1matchrateresultofourexperiment实验实验bp匹配总体错配率bp算法匹配时间ms本文匹配总体错配率本文算法匹配时间ms115502511615871356988133179111255071121623本文算法得到的实验结果fig4experimentresultusingfastmatchingalgorithm匹配精度的前提下大大提高了匹配速度为高精度从匹配的执行时间上看本文提出的快速匹配方法大大缩短了实现时间这充分体现出了并行运算的本文提出了基于置信传播的改进算法在保证光学精密工程第192780优势本文用电脑intelcorei5核处理器如果使用更多核处理器算法速度应该还有目前多核处理器已经普遍应用在单片机dsp入系统openmp持而在设计集成一体化视觉机构时需要将图像采集运动控制和图像处理等工作在一个嵌入系统中实现工作必须脱离桌面计算机完成这就给进行视觉处理的嵌入系统带来了巨大负担而如果使用本文提出的并行算法在嵌入系统中进行实际应用也能使其运算效率有所提高
］ 中提出两个解最小切割 使问题得解 。 在文献 ［ １ ２ 的快速算法即 α 使得 该 β 交换算法和 α 扩张算法 ， 问题的运算效率 大 幅 度 提 高 ， 同时该问题的求解
１ ４， １ ７］ 。 也衍生出不同改进算法 ［ ［８］ 引 入 贝 叶 斯 准 则， 将匹配问题转 Ｂ Ｐ 算法 １ 换成为一个最 大 后 验 概 率 （ Ｍ ａ ｘ ｉ ｍ ｕ ｍ Ａ Ｐ ｏ ｓ ｔ ｅ ｒ ｉ －
［ ］ ５ ７ －
问 题， 并通过相邻点的置信度对当前 ｏ ｒ ｉ－ＭＡ Ｐ） 点视差置信度进行更新从而得到当前点视差最大
［ ９］ １ ６］ ， 后验概率 ［ 在 Ｑ． Ｙ ａ ｎ ｇ 的文献中提出了对该
算法的改进 。 对于立体视觉匹配问题根据这两种
９］ ， 基本方法得到 的 视 差 图 从 质 量 和 时 间 上 相 近 ［
。 但是 由 于 环 境 中 不 连 续 性 的 存 在 使
得支撑窗口的确定成为困难的问题 。 尽管局部优 化算法匹配速度较高 ， 接近实时性要求 ， 但是由于 局部优化算法的限制得到的视差图准确性通常比 ］ 中提出的加权自适应窗口得到 较差 。 在 文 献 ［ ８ 的视差图非常理想 但 是 计 算 时 间 非 常 长 （ 作者的 ， 程序测试结果为 ３ 测试使用的电脑为 Ｐ １ １ｓ ｅ ｎ ｔ ｉ － ， 因而难以应用于实 ｕ ｍ Ｉ ｎ ｔ ｅ ｌ Ｃ ｏ ｒ ｅ ｉ ５Ｃ Ｐ Ｕ ２． ７ Ｇ） 际需求 。 基于目标函数能量极小化的匹配算法属于全 ］ 。 由于经过全局优化 ， 通常全局算 局匹配算法 ［ ９ 法得到的视差图准确性要好于局部算法 。 基于能 量函数极小化的优化算法众多 ， 比如 ， 模拟退火算 法、 均值场退火算法
（ １． Ｓ ｔ ａ ｔ ｅ Ｋ ｅ Ｌ ａ ｂ ｏ ｒ ａ ｔ ｏ ｒ ｏ Ｒ ｏ ｂ ｏ ｔ ｉ ｃ ｓ ａ ｎ ｄ Ｓ ｓ ｔ ｅ ｍ ，Ｈ ａ ｒ ｂ ｉ ｎ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｙ ｙ ｆ ｙ ｆ ｇ ｙ， Ｈ ａ ｒ ｂ ｉ ｎ１ ５ ０ ０ ８ ０， Ｃ ｈ ｉ ｎ ａ； ２． Ｓ ｃ ｈ ｏ ｏ ｌ ｏ Ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ ｓ Ｉ ｎ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ， ｆ ｆ
但是置信传播算法的最大后验概率推导过程可以 从多个位置同时 开 始 ， 不同位置的推导过程可以 互不影响并 行 执 行 ， 因此 Ｂ Ｐ算法为并行化计算 提供了良好的基础 。 在立体视觉匹配过程中边缘信息的处理比较 因为边缘位置视差具有很大的不连续性 ， 由 复杂 ， 于边缘位置的影响立体匹配的全局或局部优化算 法难以得到 完 善 结 果 。 但 是 换 个 角 度 看 ， 边缘信 息也为研究提供 了 一 个 非 常 有 意 义 的 线 索 ， 因为 在一幅图像中体现场景特征最明显的位置往往在 图像的边缘 上 。 基 于 此 种 思 想 ， 本文假设视差图 的不连续性发生 在 边 缘 位 置 ， 因此如果一个区域 那么该区域自然的就和周围 被边缘信息所包 围 ， 相邻区域分隔开 ， 成为一块单独的区域和其他区 域没有关联 ， 在这 个 假 设 下 就 可 以 对 不 同 的 独 立 区域并行匹配而不影响全局视差的连续性 。 针对以上叙述 ， 本文提出了一种基于置信传 播的快速匹配方 法 ， 该算法首先计算待匹配图像 的边缘特征 ， 然后 以 边 缘 为 界 限 将 整 个 视 图 分 割 为若干小的区域 。 采用 Ｏ ｅ ｎ ＭＰ 并 行 运 算 技 术 ， ｐ 将不同分割区域 进 行 并 行 匹 配 ， 最后将不同匹配 段进行拼接 合 成 整 个 视 差 图 。 实 验 结 果 证 明 ， 相 对于标准 Ｂ 该算法在保证视差图质量的 Ｐ 运 算， 前提下大大提高了运算速度 。
； 修订日期 ： ２ ０ １ １ ０ ５ ２ ３ ２ ０ １ １ ０ ６ ２ ７． 收稿日期 ： － － － － ； 国家高技术研究发 展 计 划 资 助 项 目 （ 哈尔滨市科技创新人才研究专向基金资助项 Ｎ ｏ ． ２ ０ ０ ７ ＡＡ ０ ４ １ ５ ０ １） 基金项目 ： ） ； ） 目（ 哈尔滨工业大学科研创新基金资助项目 （ Ｎ ｏ ． ２ ０ ０ ８ Ｒ Ｆ Ｑ Ｘ Ｇ ０ ５ １ Ｎ ｏ ． Ｈ Ｉ Ｔ． Ｎ Ｓ Ｒ Ｉ Ｆ． ２ ０ ０ ９ ０ ２ ３
双目立体匹配算法研究的目标是根据两幅匹配视 图产生与其对应的视差图 （ Ｄ ｉ ｓ ａ ｒ ｉ ｔ Ｓ ａ ｃ ｅ Ｉ ｍ ａ ｅ ｐ ｙ ｐ ｇ ） ， 视差图信息能够转换成真实世界中成像物 Ｓ Ｉ －Ｄ 体距离视点的距 离 ， 因而通过视差图可以得到视 点周围场景的三 维 信 息 ， 进而对外部环境进行三 维重构 ， 因此构建 良 好 的 视 差 图 是 立 体 视 觉 研 究 中关键的步骤 。 目前计算致密视差图的算法大体上分为两类 ］ 即局部优化方法和全局优化方法 ， 文献 ［ 中对立 ３ 同时提供 体视觉的算法进 行 了 比 较 详 尽 的 描 述 ， 了一个统一的测 试 标 准 ， 该测试平台大大推动了 ］ 同时文献 ［ 也针对局 立体视觉匹配算法的研究 ， ４ 部和全局 算 法 对 匹 配 效 果 和 匹 配 时 间 进 行 了 比 较。 基于支撑窗口的相似度匹配算法属于局部优 化算法
摘要 ： 考虑在双目立体视觉匹配算法中置信传播算法虽然能获得较好的视差图但匹配速度较慢 ， 本文提出了 一 种 基 于 置 信传播的并行匹配方法 。 该方法以置信传播为基础 ， 采用并行机制来提高匹配速度 。 首先 ， 利用最优边缘 算 法 计 算 图 像 中的边缘信息 ； 然后 ， 利用边缘信息将整个待匹配视图切割成若干 小 的 区 域 ， 使用 Ｏ ｅ ｎ ＭＰ 多 核 优 化 算 法 并 行 对 各 个 小 ｐ 区域进行匹配 ； 最后 ， 合并出整个视差图 。 使用 Ｍ 在保证匹 ｅ ｄ ｄ ｌ ｅ ｂ ｕ ｒ ｙ 测试平台提供的立体图对进行了实验 。 结 果 表 明 ， 置信传播算法将匹配速度提高了 ３． 为立体匹配的实际应用奠定良好的基础。该方法在具备 配准确率的前提下 ， ５ １倍， 多核处理器的嵌入系统中也有良好的应用前景 。 关 键 词： 立体匹配 ； 全局优化 ； 最优边缘提取 ； 置信传播算法 ： ／ 中图分类号 ： Ｔ Ｐ ３ ９ １． ４ 文献标识码 ： Ａ ｄ ｏ ｉ １ ０． ３ ７ ８ ８ Ｏ Ｐ Ｅ． ２ ０ １ １ １ ９ １ １． ２ ７ ７ ４
ｒ ｏ ａ ａ ｔ ｉ ｏ ｎ Ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ ｓ ｔ ｅ ｒ ｅ ｏ ｍ ａ ｔ ｃ ｈ ｉ ｎ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｂ ａ ｓ ｅ ｏ ｎ ｂ ｅ ｌ ｉ ｅ ｆ ｐ ｐ ｇ ｇ ｇ
１２ １ １ ２ ， Ｚ ＨＯＵ Ｚ ｉ ｅ ｉ Ｆ ＡＮ Ｊ ｉ ｚ ｈ ｕ ａ ｎ Ｚ ＨＡＯ Ｊ ｉ ｅ Ｌ Ｉ Ｕ Ｘ ｉ ａ ｏ ｌ ｉ －ｗ ＊， － － ｇ， ，
： ， Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ Ｉ ｎ ｔ ｈ ｉ ｓ ａ ｅ ｒ ａｐ ａ ｒ ａ ｌ ｌ ｅ ｌ ｓ ｔ ｅ ｒ ｅ ｏ ｍ ａ ｔ ｃ ｈ ｉ ｎ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｉ ｓ ｒ ｏ ｏ ｓ ｅ ｄ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｂ ｅ ｌ ｉ ｅ ｆ ｒ ｏ ａ ａ ｔ ｉ ｏ ｎ ｐ ｐ ｇ ｇ ｐ ｐ ｐ ｐ ｇ ， ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｔ ｏ ａ ｃ ｃ ｅ ｌ ｅ ｒ ａ ｔ ｅ ｔ ｈ ｅ ｍ ａ ｔ ｃ ｈ ｉ ｎ ｓ ｅ ｅ ｄ ． Ｆ ｉ ｒ ｓ ｔ ｌ ｈ ｅ ｅ ｄ ｅ ｏ ｆ ｔ ｈ ｅ ｉ ｍ ａ ｅ ｉ ｓ ｃ ａ ｌ ｃ ｕ ｌ ａ ｔ ｅ ｄ ｕ ｓ ｉ ｎ ａ ｎ ｏ ｔ ｉ － ｇ ｇ ｐ ｙｔ ｇ ｇ ｇ ｐ ， ｍ ｉ ｚ ｅ ｄ ｅ ｄ ｅ ｃ ｏ ｍ ｕ ｔ ｉ ｎ ｍ ｅ ｔ ｈ ｏ ｄ ｔ ｈ ｅ ｎ ｔ ｈ ｅ ｉ ｍ ａ ｅ ｔ ｏ ｂ ｅ ｍ ａ ｔ ｃ ｈ ｅ ｄ ｉ ｓ ｃ ｕ ｔ ｉ ｎ ｔ ｏ ｓ ｅ ｖ ｅ ｒ ａ ｌ ｓ ｅ ｍ ｅ ｎ ｔ ｓ ｂ ｔ ｈ ｅ ｅ ｄ ｅ ｇ ｐ ｇ ｇ ｇ ｙ ｇ ， ｒ ｏ ａ ａ ｔ ｉ ｏ ｎ ａ ｒ ａ ｌ ｌ ｅ ｌ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ａ ｎ ｄ ｅ ｖ ｅ ｒ ｓ ｅ ｍ ｅ ｎ ｔ ｉ ｓ ｍ ａ ｔ ｃ ｈ ｅ ｄ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｂ ｅ ｌ ｉ ｅ ｆ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｉ ｎ ｔ ｉ ｍ ｅ ． Ｆ ｉ － ｐ ｐ ｇ ｐ ｙ ｇ ｇ ｎ ａ ｌ ｌ ａ ｌ ｌ ｔ ｈ ｅ ｓ ｅ ｍ ｅ ｎ ｔ ａ ｒ ｅ ａ ｓ ｓ ｅ ｍ ｂ ｌ ｅ ｄ ｉ ｎ ｔ ｏ ａ ｗ ｈ ｏ ｌ ｅ ｄ ｉ ｓ ａ ｒ ｉ ｔ ｉ ｍ ａ ｅ ． Ｔ ｈ ｅ ｅ ｘ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｓ ｈ ｏ ｗ ｔ ｈ ａ ｔ ｙ， ｇ ｐ ｙ ｇ ｐ ， ｔ ｈ ｅ ｍ ａ ｔ ｃ ｈ ｉ ｎ ｓ ｅ ｅ ｄ ｈ ａ ｓ ａ ｃ ｃ ｅ ｌ ｅ ｒ ａ ｔ ｅ ｄ ｂ ３． ５ １ ｔ ｉ ｍ ｅ ｓ ｔ ｈ ａ ｔ ｏ ｆ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｏ ｎ ｅ ｉ ｎ ｔ ｈ ｅ ｓ ａ ｍ ｅ ｄ ｉ ｓ ａ ｒ ｉ ｔ ｕ ａ ｎ ｔ ｉ ｔ ｙ ｐ ｙ ｇ ｑ ｙ ｐ ａ ｎ ｄ ｔ ｈ ｉ ｓ ｍ ｅ ｔ ｈ ｏ ｄ ｃ ａ ｎ ｌ ａ ｔ ｈ ｅ ｆ ｏ ｕ ｎ ｄ ａ ｔ ｉ ｏ ｎ ｆ ｏ ｒ ｔ ｈ ｅ ｆ ｕ ｒ ｔ ｈ ｅ ｒ ｒ ｅ ａ ｌ ｔ ｉ ｍ ｅ ａ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ． － ｙ ｐ ｐ ： ； ； ； Ｋ ｅ ｗ ｏ ｒ ｄ ｓ ｓ ｔ ｅ ｒ ｅ ｏ ｍ ａ ｔ ｃ ｈ ｉ ｎ ｏ ｔ ｉ ｍ ｉ ｚ ａ ｔ ｉ ｏ ｎ ｏ ｔ ｉ ｍ ｉ ｚ ｅ ｄ ｅ ｄ ｅ ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ ｂ ｅ ｌ ｉ ｅ ｆ ｌ ｏ ｂ ａ ｌ ｒ ｏ ａ ａ ｔ ｉ ｏ ｎ ｇ ｐ ｐ ｇ ｇ ｐ ｐ ｇ ｙ