三维视觉基础介绍

X w , Yw , Z w
Xw Ow
Zw Yw
2、摄像机坐标系： X c , Yc , Z c 3、图像坐标系: 说明： 为了校正成像畸变 用理想图像坐标系
u, v x, y
Xc
世界坐标系
Zc
x u
X u , Yu
X d , Yd
O
v
O1
图像坐标系
y
和真实图像坐标系
Yc
分别描述畸变前后的坐标关系
• 摄像机运动参数的确定
yw
y
Yc
zw
xw
M
O
摄像机坐标系 摄像机
O’
l I o
m e I’
e'
l'
m’
o
因此，有必要研究图像之 间约束，图像之间的几何 图像几何学
R,T
3. 射影几何学简介
为什么要学习射影几何？

照相机的成像过程是一个射影变换(透视 或中心射影)的过程：
物体与其影像不同，但是又有着一些共同的几何性质。
马尔视觉理论：三维重建是人类视觉的主要目的，也是
计算机视觉的核心研究任务之一。
物体三维 形状
二维图像
？
从二维图像出发，将物体回推到三维空间中 这是个什么过程？这个过程如何表述？是否可计 算？如何计算？
1. 景物的成像过程
针孔摄像机
X
摄 像 机 坐 标 系
成像平面
M
m
O Y
Z
带镜头的摄像机：薄透镜；鱼眼镜头；反射镜面
文明的发展 并不是一帆 风顺的
古罗马文明，数学并不受到信奉基督教的罗马统治 者的欢迎，数学家：“占星术士”，占星术被严禁。
Pappus(约公元3世纪)，提出交比、对合等概念，射影几何萌芽
之后到公元1100年，欧洲数学的发展停滞。 文艺复兴，作画，作图需要产生透视法。 艺术家企图用表象艺术的手法描绘世界：
摄像机坐标系
摄像机光学成像过程的四个步骤
1、刚体变换公式
世界坐标系 刚体变换 摄像机坐标系 透视投影
xc xw y R y t c w zc zw
齐次坐标形式
理想图像坐标系
xw t y w 1 xw 1
这是忽略畸变的线性成像模型
2. 三维重建的目的、任务
三维重建是人类视觉的主要目的，也是计算机视觉的最 主要的研究方向. (Marr 1982)
所谓三维重建就是指从单幅图像加景物约束、二幅、二 幅以上图像恢复空间点三维坐标的过程。
成像平面
O
照相机的成像模型：
xi mi K (R, t )Μi
被称作无穷远点的齐次坐标.
例如: 在欧氏直线上的普通点的坐标为 x , x1 / x0 x 则适合 的两个数 x1 , x0 组成的坐标
( x1 , x0 )
为这个点的齐次坐标, x 为这个点的非齐 次坐标. 对任意的 x1 0 , 则
( x1 , 0) 为无穷远点的齐次坐标.
引入齐次坐标后,
布局，光源，深度感，存在数学基础
达芬奇，30岁研究数学， 视觉图像在空间中是沿 直线传播的，眼睛只能以 光椎体的形式看到东西 越远的物体看起来越小 不保持距离，不保持角 度。
Desargues(1591-1661), 引入无穷远元素，透视定理，交比、 调和不变，极点、极线，创立射影几何。 射影几何独一无二，来自艺术
三维视觉基础介绍
吴 毅 红 中国科学院自动化研究所 模式识别国家重点实验室 http://www.nlpr.ia.ac.cn/English/rv/download.htm
主要内容
1. 2. 3. 4.
绪言 景物的成像过程 三维重建的目的、过程 射影几何学简介
绪言
计算机视觉是研究用计算机来模拟人和生物的视觉 系统功能的技术学科. 目标: 让计算机能够感知周围视觉世界,了解它的 空间组成和变化规律. 传感、抽象、判断、 识别、理解
建于４５００年前，是古埃及法 老（即国王）和王后的陵墓。陵 墓是用巨大石块修砌成的方锥形 建筑，因形似汉字“金”字，故 译作“金字塔”。
大金字塔是埃及现存规模最大的金字塔，被喻为“世界古代七大奇 观之一”。它建于埃及第四王朝第二位法老胡夫统治时期（约公元 前２６７０年），原高１４６．５９米，因顶端剥落，现高１３ ６．５米，塔的４个斜面正对东南西北四个方向，塔基呈正方形， 每边长约２３０多米，占地面积５．２９万平方米。塔身由２３０ 万块巨石组成，它们大小不一，分别重达１．５吨至１６０吨，平 均重约２．５吨。据考证，为建成大金字塔，一共动用了１０万人 花了２０年时间。
齐次坐标
在欧氏空间中建立坐标系后, 便有了点与 坐标间的一一对应, 但当引入无穷点以后, 无穷远点无坐标, 为了刻化无穷远点的坐 标, 我们引入齐次坐标.
在 n 维空间中, 建立欧氏坐标后, 每一个 有限的点的坐标为 (m1 ,..., mn ) , 对任意 n+1 个数 x1 ,..., xn , x0 , 如果满足:

在二维平面上, 如果直线的方程为:
a x1 b x2 c 0
则直线的齐次方程为:
a x1 b x2 c x0 0
无穷远直线的方程则为:
x0 0

在三维空间中, 如果平面的方程为:
a x1 b x2 c x3 d 0
则平面的齐次方程为:
图像像素坐标系
世界坐标系
xw u ffu ffu cot u0 y z c v 0 ffv / sin v0 R t w zw 1 0 0 1 1 K
其中
线性摄像机成像模型
图像像素坐标系 图像物理坐标系 摄像机坐标系
0 f 0 xc 0 0 yc 0 0 z c 1 0 1
世界坐标系
xc y c R T zc 0 3 1 xw t y w 1 xw 1
三维重建主要目的：从图像出发，求出所有的Mi 摄像机标定：从图像出发，求出内参数K 摄像机标定位或运动参数求解：从图像出发，求出运动参数R，t
应用标定的参数对图像校正
鱼眼模型下
三维重建的三个关键步骤 • 图像对应点的确定 • 摄像机标定
Xc
空间物体
Xw
Ow
Zw Yw
x
u
v
O1
图像坐标系
Zc
世界坐标系
射影空间
对 n 维欧氏空间加入无穷远元素, 并对有 限元素和无穷远元素不加区分, 则它们共 同构成了 n 维射影空间.
1维射影空间是一条射影直线, 它由我们所看到 的欧氏直线和它的无穷点组成; 2维射影空间是一个射影平面, 它由我们所看到 的欧氏平面和它的无穷远直线组成; 3维射影空间由我们所在的空间与无穷远平面 组成.
Position with distortion
Xu
dr :radial distortion dt :tangential distortion
畸变校正——其它畸变类型
Xu
Axis of max Tangential distortion
Yu
a b
a :barrel distortion b :pincushion distortion
f=OB 为透镜的焦距 m=OC 为像距 n=AO 为物距
透视投影——小孔成像模型
xc xu f zc
yu f yc zc
xc mxu , yu 0 0 yc 0 0 zc 1 0 1
Yc
Zc
Yu
o
M xc , yc , zc
f u cot f v / sin 0
v0
C

u0
fu 1 1 , fv dx dy
xd
O1

Xd
U
齐次坐标形式:
u f u v 0 1 0 u 0 xd y v0 d 1 1
反射折射镜
鱼眼镜头
针孔相机
蝇眼图像
prettyshing.pixnet.n et/blog/cate...
picasaweb.google.com/lh/photo/O7...
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
几种全向摄像机
鱼眼镜头
Oc O X
M
m
m0
球面成像过程
坐标系
1、世界坐标系：
Axis of min tangential distortion
桶形畸变a和枕形畸变b
薄棱镜畸变
图像数字化
O1在 u , v 中的坐标为 u 0 , v0 像素在轴上的物理尺寸为 dx, dy
Affine Transformation :
V
Yd
yd
xd yd cot u u0 dx dx yd v v0 dy sin
u f u v 0 1 0
f u cot f v / sin 0
u0 x y v0 1 1
x f 1 y 0 z c 1 0
最终得到：
几何是：研究某个空间里的图形在变换之后保持 不变的性质的 学科。 几何学: 希腊文 geometrein，土地测量
简单交易、土地面积计算、
在陶器上绘制几何图案等等
经过生产实践，
总结出一些计算法则和公式
圆周率=3 圆周长的平方 12 圆面积
圆周率的计算：张衡、祖冲之、刘徽等 勾股定理

埃及金字塔
射影几何是一个基础几何：欧氏几何和双曲几何、黎曼 几何等许多非欧几何都是射影几何的子几何。
Riemann弯曲空间的工 作成果 Grossman Einstein：伟大的广义相对论 Einstein
著名公式E=mc2
照相机的成像过程不保持欧氏性质
例如:平行线不再平行
无穷远元素
平行线交于一个无穷远点; 平行平面交于一条无穷远直线;
xn x1 x0 0, m1 ,..., mn . x0 x0
则 ( x1 ,..., xn , x0 ) 被叫作这个点的齐次 坐标.
相对于齐次坐标 , (m1 ,..., mn ) 被称作非 齐次坐标. 不全为0的数 x1 ,..., xn 组成的坐标
( x1 ,..., xn ,0)
xc y c R T zc 0 3 1
畸变校正 真实图像坐标系
数字化图像
数字化图像坐标系
透视投影——透镜成像原理图
物体
1 1 1 f m n
B A B
O
C 图像
一般地由于 n f 于是 m f 这时可 以将透镜成像模型近 似地用小孔模型代替
Xc Yc Yu
p xu , yu
M xc , yc , zc
f
O1
Zc
Xu
畸变校正——径向和切向畸变
径向畸变
离心畸变 薄透镜畸变 径向失真 切向失真
Yu
dr
Ideal Position
dt
xd xu xu xu , yu
yd yu yu xu , yu

在一条直线上只有唯一一个无穷远点. 所有的一组平行线共有一个无穷远点.
无穷远 无穷远
无穷远点
Baidu Nhomakorabea
在一个平面上, 所有的无穷远点组成一条 直线, 称为这个平面的无穷远直线.
平行线
无穷远直线

3维空间中所有的无穷远点组成一个平面, 称为这个空间的无穷远平面.
平行线
平 行 平 面 和 直 线
无穷远平面
写成齐次坐标形式为
xu f 0 zc y u 0 1 0 f 0
Xc
Xu
中心透视投影模型
xc xu f zc yc yu f zc
o 写成齐次坐标形式为
xu f 0 zc y u 0 1 0 f 0 xc 0 0 yc 0 0 zc 1 0 1
古人测量金字塔？
利用金字塔的影子，采用三角形相似原理，进行测量。
发现了有关三角形的一些重要定理
Euclid（约公元前330-275）
整理、归纳、升华
《原本》，欧氏几何学
常见的旋转和平移是欧氏变换，研究在欧氏变换下 保持不变的性质（欧氏性质）的几何，是欧氏几何。 比如长度、角度、平行性等都是欧氏性质。