双目立体视觉的研究现状及进展
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
收稿日期：２０１７０９０１ 基金项目：国家重点研发计划（２０１６ＹＦＢ０４０２０００）；国家重大科学仪器设备研发专项（２０１３ＹＱ４７０７６５） 作者简介：黄鹏程（１９９５—），男，硕士研究生，主要从事光学工程方面的研究。Ｅｍａｉｌ：ｈｐｃ００１８＠１６３．ｃｏｍ 通信作者：杨 波（１９７７—），男，副研究员，主要从事光学工程、自由曲面设计方面的研究。Ｅｍａｉｌ：ｙａｎｇｂｏ＠ｕｓｓｔ．ｅｄｕ．ｃｎ
第４０卷 第４期 ２０１８年８月
光 学 仪 器
ＯＰＴＩＣＡＬＩＮＳＴＲＵＭＥＮＴＳ
文章编号：１００５５６３０（２０１８）０４００８１０６
Ｖｏｌ．４０，Ｎｏ．４ Ａｕｇｕｓｔ，２０１８
双目立体视觉的研究现状及进展
黄鹏程１，２，３，江剑宇１，２，３，杨 波１，２，３
（１．上海理工大学 光电信息与计算机工程学院，上海 ２０００９３； ２．上海理工大学 上海市现代光学系统重点实验室，上海 ２０００９３； ３．上海理工大学 教育部光学仪器与系统工程研究中心，上海 ２０００９３）
相机从三维空间到二维图像的对应关系；犎 矩阵是相机外部
摘要：双目立体视觉是机器视觉的一个重要分支，通过直接模拟人眼观察和处理景物的方式来 进行测量，是一种速度快、精度高、操作简便的非接触式测量方法，在农业、工业及军事等领域均 有着广阔的应用前景。为此介绍了双目立体视觉的原理及实现步骤，总结了近年来国内外相关 研究现状，并对该技术的发展趋势作了展望。
关键词：双目立体视觉；相机标定；立体匹配 中图分类号：ＴＮ２５３ 文献标志码：Ａ 犱狅犻：１０．３９６９／ｊ．ｉｓｓｎ．１００５５６３０．２０１８．０４．０１３
３．ＥｎｇｉｎｅｅｒｉｎｇＲｅｓｅａｒｃｈＣｅｎｔｅｒｏｆＯｐｔｉｃａｌＩｎｓｔｒｕｍｅｎｔｓａｎｄＳｙｓｔｅｍｓ（ＭＯＥ），ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒ ＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ）
犃犫狊狋狉犪犮狋：Ｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎｉｓａｎｉｍｐｏｒｔａｎｔｂｒａｎｃｈｏｆｍａｃｈｉｎｅｖｉｓｉｏｎ．Ｔｈｅｍｅａｓｕｒｅｍｅｎｔｉｓ ｃｏｎｄｕｃｔｅｄｂｙｄｉｒｅｃｔｌｙｏｂｓｅｒｖａｔｉｏｎａｎｄｔｈｅｓｃｅｎｅｒｙｐｒｏｃｅｓｓｉｎｇ．Ｉｔｉｓａｆａｓｔ，ａｃｃｕｒａｔｅａｎｄｅａｓｙ ｔｏｕｓｅｎｏｎｃｏｎｔａｃｔｍｅａｓｕｒｅｍｅｎｔｍｅｔｈｏｄｗｈｉｃｈｈａｓｂｒｏａｄａｐｐｌｉｃａｔｉｏｎｐｒｏｓｐｅｃｔｓｉｎａｇｒｉｃｕｌｔｕｒｅ， ｉｎｄｕｓｔｒｙａｎｄ ｍｉｌｉｔａｒｙ．Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｓｔｈｅｐｒｉｎｃｉｐｌｅａｎｄｒｅａｌｉｚａｔｉｏｎｓｔｅｐｓｏｆｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏｖｉｓｉｏｎ，ｓｕｍｍａｒｉｚｅｓｔｈｅｒｅｌａｔｅｄｒｅｓｅａｒｃｈｓｔａｔｕｓａｔｈｏｍｅａｎｄａｂｒｏａｄｉｎｒｅｃｅｎｔｙｅａｒｓ，ａｎｄ ｐｒｏｓｐｅｃｔｓｔｈｅｄｅｖｅｌｏｐｍｅｎｔｔｒｅｎｄｏｆｔｈｅｔｅｃｈｎｏｌｏｇｙ．
燅
犣犠
燀１燅
（１）
熿α γ 狌０燄
［ ］ 犚 狋
犕 ＝ ０ β 狏０ ， 犎 ＝ ０Ｔ １
（２）
燀０ ０ １燅
式中：犆 为比例系数；α和β 分别为像素坐标系犝 和犞 的比例 因子；γ 为两坐标 轴 的 偏 离 度；（狌０，狏０）是 相 机 像 素 坐 标 系 下 图像坐标系原点的坐标；犕 矩阵是相机内部参数矩阵，确定
犚犲狊犲犪狉犮犺狊狋犪狋狌狊犪狀犱狆狉狅犵狉犲狊狊狅犳犫犻狀狅犮狌犾犪狉狊狋犲狉犲狅狏犻狊犻狅狀
ＨＵＡＮＧＰｅｎｇｃｈｅｎｇ１，２，３，ＪＩＡＮＧＪｉａｎｙｕ１，２，３，ＹＡＮＧＢｏ１，２，３
（１．ＳｃｈｏｏｌｏｆＯｐｔｉｃａｌＥｌｅｃｔｒｉｃａｌａｎｄＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ； ２．ＳｈａｎｇｈａｉＫｅｙＬａｂｏｒａｔｏｒｙｏｆＭｏｄｅｒｎＯｐｔｉｃａｌＳｙｓｔｅｍ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ；
· ８ ２·
光 学 仪 器
第４０卷
者人工视觉难以满足要求的场合。而作为机器视觉的一个重要分支，双目立体视觉具有效率高、精度合 适、系统结构简单、成本低等优点，在虚拟现实、机器人导航及非接触式测量等许多方向均极具应用价值。 ２０世纪８０年代美国麻省理工学院的 Ｍａｒｒ［１］提出了一种基于双眼匹配的视觉计算理论，使两张有视差的 平面图经过处理能够产生有深度的立体图形，从而实现三维重建。与透镜板三维成像、投影式显示、全息 照相术等其他三维重建方法相比，双目立体视觉直接模拟人类双眼来处理待测物体，更为可靠简便，应用 前景也更为广阔。
犓犲狔狑狅狉犱狊：ｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎ；ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ；ｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌｍａｔｃｈｉｎｇ
引 言
随着人工智能和计算机技术的快速发展，用机器视觉代替人眼来做测量和判断的技术日渐成为人们 的研究重点。它能提高生产的灵活性和自动化程度，特别适用于一些不适合人工作业的危险工作环境或
１ 双目立体视觉原理
图１是双目立体视觉原理图［２］。相机通过目标物体表面的反射光将空间三维物体转化为平面二维 图像，而双目立体视觉是相机成像的逆过程，即以两台相机模拟人眼，通过计算两幅图像对应点间的位置 差异并基于视差原理得到物体的三维几何信息，实现三维重建及还原。世界坐标系为犗犠 犡犠犢犠犣犠 ，左 右相机的相机坐标系分别为 犗犾 犡犾犢犾犣犾 和犗狉 犡狉犢狉犣狉，图 像坐标系分别为犗犾 犡犾犢犾 和犗狉 犡狉犢狉，像素坐标系分别为 犗犾 犝犾犞犾 和犗狉 犝狉犞狉［３４］。设空间目标点 犘 在两相机成像 面上的像点坐 标 分 别 为 （狌犾，狏犾）和 （狌狉，狏狉），它 们 均 满 足 如 下 方程：
第４０卷 第４期 ２０１８年８月
光 学 仪 器
ＯＰＴＩＣＡＬＩＮＳＴＲＵＭＥＮＴＳ
文章编号：１００５５６３０（２０１８）０４００８１０６
Ｖｏｌ．４０，Ｎｏ．４ Ａｕｇｕｓｔ，２０１８
双目立体视觉的研究现状及进展
黄鹏程１，２，３，江剑宇１，２，３，杨 波１，２，３
（１．上海理工大学 光电信息与计算机工程学院，上海 ２０００９３； ２．上海理工大学 上海市现代光学系统重点实验室，上海 ２０００９３； ３．上海理工大学 教育部光学仪器与系统工程研究中心，上海 ２０００９３）
相机从三维空间到二维图像的对应关系；犎 矩阵是相机外部
摘要：双目立体视觉是机器视觉的一个重要分支，通过直接模拟人眼观察和处理景物的方式来 进行测量，是一种速度快、精度高、操作简便的非接触式测量方法，在农业、工业及军事等领域均 有着广阔的应用前景。为此介绍了双目立体视觉的原理及实现步骤，总结了近年来国内外相关 研究现状，并对该技术的发展趋势作了展望。
关键词：双目立体视觉；相机标定；立体匹配 中图分类号：ＴＮ２５３ 文献标志码：Ａ 犱狅犻：１０．３９６９／ｊ．ｉｓｓｎ．１００５５６３０．２０１８．０４．０１３
３．ＥｎｇｉｎｅｅｒｉｎｇＲｅｓｅａｒｃｈＣｅｎｔｅｒｏｆＯｐｔｉｃａｌＩｎｓｔｒｕｍｅｎｔｓａｎｄＳｙｓｔｅｍｓ（ＭＯＥ），ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒ ＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ）
犃犫狊狋狉犪犮狋：Ｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎｉｓａｎｉｍｐｏｒｔａｎｔｂｒａｎｃｈｏｆｍａｃｈｉｎｅｖｉｓｉｏｎ．Ｔｈｅｍｅａｓｕｒｅｍｅｎｔｉｓ ｃｏｎｄｕｃｔｅｄｂｙｄｉｒｅｃｔｌｙｏｂｓｅｒｖａｔｉｏｎａｎｄｔｈｅｓｃｅｎｅｒｙｐｒｏｃｅｓｓｉｎｇ．Ｉｔｉｓａｆａｓｔ，ａｃｃｕｒａｔｅａｎｄｅａｓｙ ｔｏｕｓｅｎｏｎｃｏｎｔａｃｔｍｅａｓｕｒｅｍｅｎｔｍｅｔｈｏｄｗｈｉｃｈｈａｓｂｒｏａｄａｐｐｌｉｃａｔｉｏｎｐｒｏｓｐｅｃｔｓｉｎａｇｒｉｃｕｌｔｕｒｅ， ｉｎｄｕｓｔｒｙａｎｄ ｍｉｌｉｔａｒｙ．Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｓｔｈｅｐｒｉｎｃｉｐｌｅａｎｄｒｅａｌｉｚａｔｉｏｎｓｔｅｐｓｏｆｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏｖｉｓｉｏｎ，ｓｕｍｍａｒｉｚｅｓｔｈｅｒｅｌａｔｅｄｒｅｓｅａｒｃｈｓｔａｔｕｓａｔｈｏｍｅａｎｄａｂｒｏａｄｉｎｒｅｃｅｎｔｙｅａｒｓ，ａｎｄ ｐｒｏｓｐｅｃｔｓｔｈｅｄｅｖｅｌｏｐｍｅｎｔｔｒｅｎｄｏｆｔｈｅｔｅｃｈｎｏｌｏｇｙ．
燅
犣犠
燀１燅
（１）
熿α γ 狌０燄
［ ］ 犚 狋
犕 ＝ ０ β 狏０ ， 犎 ＝ ０Ｔ １
（２）
燀０ ０ １燅
式中：犆 为比例系数；α和β 分别为像素坐标系犝 和犞 的比例 因子；γ 为两坐标 轴 的 偏 离 度；（狌０，狏０）是 相 机 像 素 坐 标 系 下 图像坐标系原点的坐标；犕 矩阵是相机内部参数矩阵，确定
犚犲狊犲犪狉犮犺狊狋犪狋狌狊犪狀犱狆狉狅犵狉犲狊狊狅犳犫犻狀狅犮狌犾犪狉狊狋犲狉犲狅狏犻狊犻狅狀
ＨＵＡＮＧＰｅｎｇｃｈｅｎｇ１，２，３，ＪＩＡＮＧＪｉａｎｙｕ１，２，３，ＹＡＮＧＢｏ１，２，３
（１．ＳｃｈｏｏｌｏｆＯｐｔｉｃａｌＥｌｅｃｔｒｉｃａｌａｎｄＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ； ２．ＳｈａｎｇｈａｉＫｅｙＬａｂｏｒａｔｏｒｙｏｆＭｏｄｅｒｎＯｐｔｉｃａｌＳｙｓｔｅｍ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ；
· ８ ２·
光 学 仪 器
第４０卷
者人工视觉难以满足要求的场合。而作为机器视觉的一个重要分支，双目立体视觉具有效率高、精度合 适、系统结构简单、成本低等优点，在虚拟现实、机器人导航及非接触式测量等许多方向均极具应用价值。 ２０世纪８０年代美国麻省理工学院的 Ｍａｒｒ［１］提出了一种基于双眼匹配的视觉计算理论，使两张有视差的 平面图经过处理能够产生有深度的立体图形，从而实现三维重建。与透镜板三维成像、投影式显示、全息 照相术等其他三维重建方法相比，双目立体视觉直接模拟人类双眼来处理待测物体，更为可靠简便，应用 前景也更为广阔。
犓犲狔狑狅狉犱狊：ｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎ；ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ；ｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌｍａｔｃｈｉｎｇ
引 言
随着人工智能和计算机技术的快速发展，用机器视觉代替人眼来做测量和判断的技术日渐成为人们 的研究重点。它能提高生产的灵活性和自动化程度，特别适用于一些不适合人工作业的危险工作环境或
１ 双目立体视觉原理
图１是双目立体视觉原理图［２］。相机通过目标物体表面的反射光将空间三维物体转化为平面二维 图像，而双目立体视觉是相机成像的逆过程，即以两台相机模拟人眼，通过计算两幅图像对应点间的位置 差异并基于视差原理得到物体的三维几何信息，实现三维重建及还原。世界坐标系为犗犠 犡犠犢犠犣犠 ，左 右相机的相机坐标系分别为 犗犾 犡犾犢犾犣犾 和犗狉 犡狉犢狉犣狉，图 像坐标系分别为犗犾 犡犾犢犾 和犗狉 犡狉犢狉，像素坐标系分别为 犗犾 犝犾犞犾 和犗狉 犝狉犞狉［３４］。设空间目标点 犘 在两相机成像 面上的像点坐 标 分 别 为 （狌犾，狏犾）和 （狌狉，狏狉），它 们 均 满 足 如 下 方程：