双目视觉导航.
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Aims at finding homologous points in the stereo pair
Disparity map
Xiaogang Wang
York University
图像匹配（Corresponding Pair）
• 图像匹配的概念
–在双目视觉测量中，图像匹配的目的是给定一 幅图像上的已知点，在另一幅图像上寻找与之 对应的目标匹配点，或称为同名像点。 –图像匹配方法通常有基于图像灰度（区域）的 匹配、基于图像特征的匹配和基于解释的匹配， 或者是多种方法相结合的匹配
Standard form
双目视觉三维测量时基于 视差原理
Triangulation equation
Xiaogang Wang
York University
视差disparity与深度depth 的关系
视差与深度成反比例关系
Xiaogang Wang
York University
视差disparity与深度depth 的关系
Stereo Vision and Image Processing (Calibration)
Calibration aimed at finding
• Intrinsic parameters (focal length, image center, lens distortion, etc) • Extrinsic parameters (matrix aligns the two cameras)
Raw left Image
Raw Righ Image
Xiaogang Wang
York University
Stereo Vision and Image Processing (Rectification)
Using the information from the calibration step
图像匹配（Corresponding Pair）
Xiaogang Wang
York University
图像匹配（Corresponding Pair）
• 图像
–一幅完整的图像，是由红色、蓝色和绿色三个 通道组成 –红色、蓝色和绿色三个通道 都以灰度显示，用不同的灰度 来表示“红、蓝、绿”的比重。
Xiaogang Wang
York University
–三目视觉
XiaogangΒιβλιοθήκη BaiduWang
York University
背景
• 立体视觉
–立体视觉通过设计和模仿人类视觉来获得物体 的深度信息； –它在逆向工程、测试测量、文化产业、公共安 全、视觉导航、地图生成、航空勘测等领域都 有很好的应用价值； –二维信息与三维信息的结合，也为一些具体的 工程问题提供了方法，如目标识别的图像分割。
Xiaogang Wang
York University
Stereo Vision and Image Processing
物体的深度信息可以通过 双眼观察得到
Xiaogang Wang
York University
Stereo Vision and Image Processing
Two camera system
York University
Mobile Robot System
Software Configuration
Xiaogang Wang
York University
Stereo Vision and Image Processing
For the single camera • Both P and Q project into the same image point • This occur for each point along the same line of sight
Vision-based Navigation
Xiaogang Wang
Xiaogang Wang
York University
背景
• 计算机视觉
–单目视觉 –双目视觉
• 又称为立体视觉，是机器视觉的一个重要分支，立 体视觉的研究目的是使机器具有通过二维图像认知 三维环境信息的能力。 • 这种能力不仅使机器能感知 三维环境中物体的几何信息， 而且还能对它们进行描述、存储 识别和理解，以满足特定的需求。
Xiaogang Wang
York University
Mobile Robot System
Hardware configuration • Mobile robot – ERA-BASE • Stereo vision camera – Bumblebee2 • Smart computer
– STEALTH.Com Inc
同一个深度下，视差相同
Xiaogang Wang
York University
Flow Chart of Stereo Vision Image Processing
Xiaogang Wang
York University
镜头的畸变
切向畸变 镜像畸变
Xiaogang Wang
York University
• Inertial measurement unit – ADIS16405 • Dead-reckoning • Viper board
Xiaogang Wang – SPI
York University
Mobile Robot System
Communication interface
Xiaogang Wang
• Remove the lens distortion • Turns the stereo pair in the standard form
Rectified Image
Xiaogang Wang
York University
Stereo Vision and Image Processing (Stereo)
We can infer the depth, by means of triangulation, if we Can find the correspondence points.
Xiaogang Wang
York University
Stereo Vision and Image Processing
Disparity map
Xiaogang Wang
York University
图像匹配（Corresponding Pair）
• 图像匹配的概念
–在双目视觉测量中，图像匹配的目的是给定一 幅图像上的已知点，在另一幅图像上寻找与之 对应的目标匹配点，或称为同名像点。 –图像匹配方法通常有基于图像灰度（区域）的 匹配、基于图像特征的匹配和基于解释的匹配， 或者是多种方法相结合的匹配
Standard form
双目视觉三维测量时基于 视差原理
Triangulation equation
Xiaogang Wang
York University
视差disparity与深度depth 的关系
视差与深度成反比例关系
Xiaogang Wang
York University
视差disparity与深度depth 的关系
Stereo Vision and Image Processing (Calibration)
Calibration aimed at finding
• Intrinsic parameters (focal length, image center, lens distortion, etc) • Extrinsic parameters (matrix aligns the two cameras)
Raw left Image
Raw Righ Image
Xiaogang Wang
York University
Stereo Vision and Image Processing (Rectification)
Using the information from the calibration step
图像匹配（Corresponding Pair）
Xiaogang Wang
York University
图像匹配（Corresponding Pair）
• 图像
–一幅完整的图像，是由红色、蓝色和绿色三个 通道组成 –红色、蓝色和绿色三个通道 都以灰度显示，用不同的灰度 来表示“红、蓝、绿”的比重。
Xiaogang Wang
York University
–三目视觉
XiaogangΒιβλιοθήκη BaiduWang
York University
背景
• 立体视觉
–立体视觉通过设计和模仿人类视觉来获得物体 的深度信息； –它在逆向工程、测试测量、文化产业、公共安 全、视觉导航、地图生成、航空勘测等领域都 有很好的应用价值； –二维信息与三维信息的结合，也为一些具体的 工程问题提供了方法，如目标识别的图像分割。
Xiaogang Wang
York University
Stereo Vision and Image Processing
物体的深度信息可以通过 双眼观察得到
Xiaogang Wang
York University
Stereo Vision and Image Processing
Two camera system
York University
Mobile Robot System
Software Configuration
Xiaogang Wang
York University
Stereo Vision and Image Processing
For the single camera • Both P and Q project into the same image point • This occur for each point along the same line of sight
Vision-based Navigation
Xiaogang Wang
Xiaogang Wang
York University
背景
• 计算机视觉
–单目视觉 –双目视觉
• 又称为立体视觉，是机器视觉的一个重要分支，立 体视觉的研究目的是使机器具有通过二维图像认知 三维环境信息的能力。 • 这种能力不仅使机器能感知 三维环境中物体的几何信息， 而且还能对它们进行描述、存储 识别和理解，以满足特定的需求。
Xiaogang Wang
York University
Mobile Robot System
Hardware configuration • Mobile robot – ERA-BASE • Stereo vision camera – Bumblebee2 • Smart computer
– STEALTH.Com Inc
同一个深度下，视差相同
Xiaogang Wang
York University
Flow Chart of Stereo Vision Image Processing
Xiaogang Wang
York University
镜头的畸变
切向畸变 镜像畸变
Xiaogang Wang
York University
• Inertial measurement unit – ADIS16405 • Dead-reckoning • Viper board
Xiaogang Wang – SPI
York University
Mobile Robot System
Communication interface
Xiaogang Wang
• Remove the lens distortion • Turns the stereo pair in the standard form
Rectified Image
Xiaogang Wang
York University
Stereo Vision and Image Processing (Stereo)
We can infer the depth, by means of triangulation, if we Can find the correspondence points.
Xiaogang Wang
York University
Stereo Vision and Image Processing