增强现实技术第五章优秀课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
➢ 在用户看来，无论从任何角度观察，都应该使虚拟物体与 真实场景保持三维欧氏空间的几何一ቤተ መጻሕፍቲ ባይዱ性。这就是AR中的 三维注册(Registration)所要完成的任务。
5.1 虚实融合原理
➢ 实现虚实融合的关键技术，是相机标定与三维注册技术， 通过精准的相机标定与三维注册，使虚拟物体可以与真实 世界进行无缝融合。
➢ （2）将三维的虚拟动画贴图渲染到真实世界的标识物上， 实现增强现实的效果。
如：“别克汽车十城市巡展潘多拉项目.MOV”
第五章 三维注册与虚实融合
5.1 虚实融合原理 5.2 相机标定技术 5.3 图像的标识识别 5.4 虚实融合
5.2 相机标定技术
➢ 通过相机标定技术实时计算出摄像机的焦距、成像屏幕大 小等内部参数、在世界坐标系中的位置和方向角等外部参 数。
➢ 根据模式匹配算法，使系统从摄像机的视频图像中正确 的识别出预先设计好的标识，同时给出标识的ID号码， 作为系统中图形显示子模块输入参数的一部分，以使得 图形显示子模块将预先设计好的三维模型正确的显示在 特定的标记上，实现对真实环境的增强。
➢ 标识分为两类，一类是人工设定好的标识，一类是场景 中自然具备的。
➢ 三角形OO1P1和OO2P相似： f/z=O1P1/O2P2=x1/x=y1/y
➢ 上式用齐次方程表示：
成像平面坐标系与图像显示坐标系的关系
➢ O1为成像平面坐标原点，是 摄像机光轴与图像平面的交点
➢ dx和dy表示一个像素在x1轴 与y1轴方向上的大小。
➢ u= v=
➢ 上式用齐次方程表示：
➢ 在真实世界中人为地设定世界坐标系的原点、X坐标、y坐 标、Z坐标，并测量出多个标志点的三维坐标值。
➢ 对摄像机摄取的图像进行视觉识别，找到各标志点在图像 显示坐标系中的二维坐标值。
➢ 通过各个标志点在世界坐标系中的三维坐标值和在显示坐 标系中的二维坐标值，实时计算出摄像机的焦距、成像屏 幕大小等内部参数、在世界坐标系中的位置和方向角等外 部参数。
➢ 相机坐标系： o点是摄像机(camera)的光心，x轴和y轴与 成像坐标系x 1 、y 1轴平行，z轴为摄像机的光轴，与成像平 面垂直。由o点、x、y、z轴组成的直角坐标系称为摄像机 坐标系。
➢ 图像显示坐标系： 显示在计算机屏幕上的图像坐标u、v ，左上角为坐标原点。 u、v分别与x 1 、y 1轴平行。
➢ D称为旋转平移矩阵，六个未知数，反映相机的外部参数： R含有的三个旋转角 t含有的世界坐标系原点在相机坐标系中的坐标值
相机参数的求取
➢ 当相机选定后，内部参数不变。 ➢ 当相机的位置和角度固定后，外部参数不变。 ➢ 根据若干已知二维点与其对应三维点的坐标值，求解P矩阵
和D矩阵中含有的11个未知数，从而确定摄像机的内部参 数和外部参数。
➢ 相机标定技术与四个坐标系统有关，分别是世界坐标系， 成像平面坐标系，相机坐标系和图像显示坐标系。
四个坐标系的关系
➢ 世界坐标系： 选择一个基准坐标系来描述摄像机安放在现 实世界的位置，并用它描述世界环境中任何物体的位置， 由基准观测原点和X轴、Y轴、Z轴组成。
➢ 成像平面坐标系：相机的焦点为坐标系的原点o 1，成像平 面的中轴为x 1 、y 1轴。
综合以上三个关系式，得
sx=1/dx
s 为水平方向上的图像尺度因子 x
sy=1/dy
s 为垂直方向上的图像尺度因子 y
四个坐标系的关系
➢ P称为投影矩阵，含有五个未知数，反映相机的内部参数： f，即相机的焦距，单位是毫米， Sx即水平方向上的图像尺度因子，单位是像素/毫米 Sy即垂直方向上的图像尺度因子，单位是像素/毫米 (u。，v。)表示图像屏幕中心点像素所处的行数和列数。
➢ 对每个求得的系数算均值，再用各系数误差的平方和最小 的一组解作为最佳的一组解。
第五章 三维注册与虚实融合
5.1 虚实融合原理 5.2 相机标定技术 5.3 图像的标识识别 5.4 虚实融合
5.3 图像的标识识别
➢ 在增强现实系统中，经过图像分割、边缘检测和轮廓提 取之后，我们就可以把以上步骤的结果用于标识识别子 模块
相机参数的求取
➢ 上述含有P、D的矩阵关系可以改写为：
➢ 写成方程式：
相机参数的求取
➢ 将第3式代入1、2式：
➢ 由一个已知的二维点的坐标与其对应的三维点的坐标， 我们可以获得两个方程，由于方程中有12个未知数，我 们至少要知道 6 组这样的点。
相机参数的求取
➢ 当选择多于6个特征点时，就会有多组解。这些解有一定误 差，但应该误差不大
➢ 人工设定好的标识一般由具有一定宽度的黑色封闭的矩 形框和内部的各种图形或文字两部分构成。
5.3 图像的标识识别
对于人工设定好的标识
➢ 通过对视频中的每一帧图像运用图像分割、边缘提取、 连通区域检测、轮廓提取等过程判断视频图像中是否含 有封闭的黑色矩形框。
➢ 匹配连通区域中的四边形结构，记录视频图像中所有标 识所在区域和坐标。
增强显示案例：中联重科增强现实.mp4 （1’28’’)
5.1 虚实融合原理
5.1 虚实融合原理
➢ 增强现实系统必须能够实时地检测出观测者(或摄像机)相对 于真实场景的位置和方向角，以及成像系统(摄像机)的内部 参数(焦距和成像屏幕大小等)。
➢ 根据这些信息实时确定所要添加的虚拟信息在投影系统中 的大小、方向和映射位置。
四个坐标系的关系
世界坐标系与摄像机坐标系的关系
x=r11X+r12Y+r13Z+t1
y=r21X+r22Y+r23Z+t2
R=
t=
z=r31X+r32Y+r33Z+t1
➢ R为旋转矩阵，表示两个坐标系各坐标轴之间旋转向量 ，t是平移向量，也是世界坐标系原点在相机坐标系中 的坐标值
成像平面坐标系与摄像机坐标系的关系
5.1 虚实融合原理
➢ 根据实时计算出摄像机的焦距、成像屏幕大小等内部参数、 在世界坐标系中的位置和方向角等外部参数设定虚拟相机。
➢ 通过虚拟相机对三维虚拟场景进行变换。
➢ （1）将变换后的虚拟场景的影像叠加到实际场景的影像中 ，实现虚实融合。将虚实融合后的图像通过头盔或投影机显 示出来，观察者看到的是虚实融合后的场景。
5.1 虚实融合原理
➢ 实现虚实融合的关键技术，是相机标定与三维注册技术， 通过精准的相机标定与三维注册，使虚拟物体可以与真实 世界进行无缝融合。
➢ （2）将三维的虚拟动画贴图渲染到真实世界的标识物上， 实现增强现实的效果。
如：“别克汽车十城市巡展潘多拉项目.MOV”
第五章 三维注册与虚实融合
5.1 虚实融合原理 5.2 相机标定技术 5.3 图像的标识识别 5.4 虚实融合
5.2 相机标定技术
➢ 通过相机标定技术实时计算出摄像机的焦距、成像屏幕大 小等内部参数、在世界坐标系中的位置和方向角等外部参 数。
➢ 根据模式匹配算法，使系统从摄像机的视频图像中正确 的识别出预先设计好的标识，同时给出标识的ID号码， 作为系统中图形显示子模块输入参数的一部分，以使得 图形显示子模块将预先设计好的三维模型正确的显示在 特定的标记上，实现对真实环境的增强。
➢ 标识分为两类，一类是人工设定好的标识，一类是场景 中自然具备的。
➢ 三角形OO1P1和OO2P相似： f/z=O1P1/O2P2=x1/x=y1/y
➢ 上式用齐次方程表示：
成像平面坐标系与图像显示坐标系的关系
➢ O1为成像平面坐标原点，是 摄像机光轴与图像平面的交点
➢ dx和dy表示一个像素在x1轴 与y1轴方向上的大小。
➢ u= v=
➢ 上式用齐次方程表示：
➢ 在真实世界中人为地设定世界坐标系的原点、X坐标、y坐 标、Z坐标，并测量出多个标志点的三维坐标值。
➢ 对摄像机摄取的图像进行视觉识别，找到各标志点在图像 显示坐标系中的二维坐标值。
➢ 通过各个标志点在世界坐标系中的三维坐标值和在显示坐 标系中的二维坐标值，实时计算出摄像机的焦距、成像屏 幕大小等内部参数、在世界坐标系中的位置和方向角等外 部参数。
➢ 相机坐标系： o点是摄像机(camera)的光心，x轴和y轴与 成像坐标系x 1 、y 1轴平行，z轴为摄像机的光轴，与成像平 面垂直。由o点、x、y、z轴组成的直角坐标系称为摄像机 坐标系。
➢ 图像显示坐标系： 显示在计算机屏幕上的图像坐标u、v ，左上角为坐标原点。 u、v分别与x 1 、y 1轴平行。
➢ D称为旋转平移矩阵，六个未知数，反映相机的外部参数： R含有的三个旋转角 t含有的世界坐标系原点在相机坐标系中的坐标值
相机参数的求取
➢ 当相机选定后，内部参数不变。 ➢ 当相机的位置和角度固定后，外部参数不变。 ➢ 根据若干已知二维点与其对应三维点的坐标值，求解P矩阵
和D矩阵中含有的11个未知数，从而确定摄像机的内部参 数和外部参数。
➢ 相机标定技术与四个坐标系统有关，分别是世界坐标系， 成像平面坐标系，相机坐标系和图像显示坐标系。
四个坐标系的关系
➢ 世界坐标系： 选择一个基准坐标系来描述摄像机安放在现 实世界的位置，并用它描述世界环境中任何物体的位置， 由基准观测原点和X轴、Y轴、Z轴组成。
➢ 成像平面坐标系：相机的焦点为坐标系的原点o 1，成像平 面的中轴为x 1 、y 1轴。
综合以上三个关系式，得
sx=1/dx
s 为水平方向上的图像尺度因子 x
sy=1/dy
s 为垂直方向上的图像尺度因子 y
四个坐标系的关系
➢ P称为投影矩阵，含有五个未知数，反映相机的内部参数： f，即相机的焦距，单位是毫米， Sx即水平方向上的图像尺度因子，单位是像素/毫米 Sy即垂直方向上的图像尺度因子，单位是像素/毫米 (u。，v。)表示图像屏幕中心点像素所处的行数和列数。
➢ 对每个求得的系数算均值，再用各系数误差的平方和最小 的一组解作为最佳的一组解。
第五章 三维注册与虚实融合
5.1 虚实融合原理 5.2 相机标定技术 5.3 图像的标识识别 5.4 虚实融合
5.3 图像的标识识别
➢ 在增强现实系统中，经过图像分割、边缘检测和轮廓提 取之后，我们就可以把以上步骤的结果用于标识识别子 模块
相机参数的求取
➢ 上述含有P、D的矩阵关系可以改写为：
➢ 写成方程式：
相机参数的求取
➢ 将第3式代入1、2式：
➢ 由一个已知的二维点的坐标与其对应的三维点的坐标， 我们可以获得两个方程，由于方程中有12个未知数，我 们至少要知道 6 组这样的点。
相机参数的求取
➢ 当选择多于6个特征点时，就会有多组解。这些解有一定误 差，但应该误差不大
➢ 人工设定好的标识一般由具有一定宽度的黑色封闭的矩 形框和内部的各种图形或文字两部分构成。
5.3 图像的标识识别
对于人工设定好的标识
➢ 通过对视频中的每一帧图像运用图像分割、边缘提取、 连通区域检测、轮廓提取等过程判断视频图像中是否含 有封闭的黑色矩形框。
➢ 匹配连通区域中的四边形结构，记录视频图像中所有标 识所在区域和坐标。
增强显示案例：中联重科增强现实.mp4 （1’28’’)
5.1 虚实融合原理
5.1 虚实融合原理
➢ 增强现实系统必须能够实时地检测出观测者(或摄像机)相对 于真实场景的位置和方向角，以及成像系统(摄像机)的内部 参数(焦距和成像屏幕大小等)。
➢ 根据这些信息实时确定所要添加的虚拟信息在投影系统中 的大小、方向和映射位置。
四个坐标系的关系
世界坐标系与摄像机坐标系的关系
x=r11X+r12Y+r13Z+t1
y=r21X+r22Y+r23Z+t2
R=
t=
z=r31X+r32Y+r33Z+t1
➢ R为旋转矩阵，表示两个坐标系各坐标轴之间旋转向量 ，t是平移向量，也是世界坐标系原点在相机坐标系中 的坐标值
成像平面坐标系与摄像机坐标系的关系
5.1 虚实融合原理
➢ 根据实时计算出摄像机的焦距、成像屏幕大小等内部参数、 在世界坐标系中的位置和方向角等外部参数设定虚拟相机。
➢ 通过虚拟相机对三维虚拟场景进行变换。
➢ （1）将变换后的虚拟场景的影像叠加到实际场景的影像中 ，实现虚实融合。将虚实融合后的图像通过头盔或投影机显 示出来，观察者看到的是虚实融合后的场景。