三维视觉基础介绍

(e)
(f)
(g)
(h)
几种全向摄像机
鱼眼镜头
Oc O
X
M
m
m0
球面成像过程
坐标系
1、世界坐标系： X w ,Yw , Z w
2、摄像机坐标系：X c ,Yc , Zc
3、图像坐标系: u, v x, y
Xw
Zw
Ow
Yw
世界坐标系
说明：
为了校正成像畸变
用理想图像坐标系 X u ,Yu
为了校正成像畸变为了校正成像畸变用理想图像坐标系用理想图像坐标系和真实图像坐标系和真实图像坐标系分别描述畸变前后的坐标关系分别描述畸变前后的坐标关系坐标系坐标系摄像机光学成像过程的四个步骤摄像机光学成像过程的四个步骤刚体变换刚体变换透视投影透视投影畸变校正畸变校正数字化图像数字化图像世界坐标系世界坐标系摄像机坐标系摄像机坐标系真实图像坐标系真实图像坐标系数字化图像坐标系数字化图像坐标系理想图像坐标系理想图像坐标系1刚体变换公式刚体变换公式齐次坐标形式齐次坐标形式物体物体图像图像fobfob为透镜的焦距为透镜的焦距mocmoc为像距为像距naonao一般地由于一般地由于于是于是这时可这时可以将透镜成像模型近以将透镜成像模型近似地用小孔模型代替似地用小孔模型代替透视投影透视投影透镜成像原理图透镜成像原理图写成齐次坐标形式为写成齐次坐标形式为透视投影透视投影小孔成像模型小孔成像模型写成齐次坐标形式为写成齐次坐标形式为中心透视投影模型中心透视投影模型dtpositionpositiondistortiondistortionidealidealpositionpositiondrdrdr
为什么要学习射影几何？
照相机的成像过程是一个射影变换(透视 或中心射影)的过程：
物体与其影像不同，但是又有着一些共同的几何性质。
几何是：研究某个空间里的图形在变换之后保持 不变的性质的 学科。 几何学: 希腊文 geometrein，土地测量
简单交易、土地面积计算、 在陶器上绘制几何图案等等
在 n 维空间中, 建立欧氏坐标后, 每一个
有限的点的坐标为 (m1,..., mn ) , 对任意 n+1 个数 x1,..., xn , x0 , 如果满足:
x0
0,
x1 x0

m1,...,
xn x0
mn .
则 (x1,..., xn , x0 ) 被叫作这个点的齐次 坐标.
相对于齐次坐标 , (m1,..., mn ) 被称作非 齐次坐标.
线性摄像机成像模型
图像像素坐标系
图像物理坐标系
摄像机坐标系
世界坐标系
u fu
v



0
1 0
fu cot fv / sin
0
u0 x
v0


y

1 1
x f

y

1

1 zc

0
0
0 f 0
针孔摄像机
X
摄 像 机
坐O
标 系
Y
成像平面
M
m
Z
带镜头的摄像机：薄透镜；鱼眼镜头；反射镜面
反射折射镜
鱼眼镜头 针孔相机
蝇眼图像 prettyshing.pixnet.n et/blog/cate...
/lh/photo/O7...
(a)
(b)
(c)
(d)
古人测量金字塔？
利用金字塔的影子，采用三角形相似原理，进行测量。
发现了有关三角形的一些重要定理
Euclid（约公元前330-275）
整理、归纳、升华
《原本》，欧氏几何学
常见的旋转和平移是欧氏变换，研究在欧氏变换下 保持不变的性质（欧氏性质）的几何，是欧氏几何。 比如长度、角度、平行性等都是欧氏性质。
三维重建的三个关键步骤
空间物体
Xw
Zw
• 图像对应点的确定
• 摄像机标定
Xc
x
Zc
u
• 摄像机运动参数的确定
v O1
y
图像坐标系
Ow
Yw
世界坐标系
yw zw
M
O
摄像机坐标系
Yc
xw
l m
I
e o
l' m’
I’ e'
o
摄像机 O’
因此，有必要研究图像之 间约束，图像之间的几何
R,T
图像几何学
3. 射影几何学简介
以将透镜成像模型近 似地用小孔模型代替
物体
B
A
BO
C
图像
f=OB 为透镜的焦距 m=OC 为像距 n=AO 为物距
透视投影——小孔成像模型
xu
f
xc zc
yu f
yc zc
Yu
写成齐次坐标形式为
xu f
zc

yu



0
1 0
0 f 0
0 0 1
u0

xd dx

yd
cot
dx
v

v0

dy
yd sin

齐次坐标形式:
v0
C
yd
xd
O1
Xd
u0
U
u fu
v



0
1 0
fu cot fv / sin
0
u0 xd
v0


yd

1 1
其中
1
1
fu dx , fv dy
文明的发展 并不是一帆
风顺的
古罗马文明，数学并不受到信奉基督教的罗马统治 者的欢迎，数学家：“占星术士”，占星术被严禁。 Pappus(约公元3世纪)，提出交比、对合等概念，射影几何萌芽
之后到公元1100年，欧洲数学的发展停滞。 文艺复兴，作画，作图需要产生透视法。
艺术家企图用表象艺术的手法描绘世界： 布局，光源，深度感，存在数学基础
比例
c1 c2
被叫作
P
关于
P1பைடு நூலகம் P2
在这条直
线上的射影参数.
如果 c2 0 , 则射影参数为 .
交比
对于共线的4个点 P1, P2 , P3, P4 , 比例：
(1 3 )( 2 4 ) ( 2 3 )(1 4 )
0 0 0
xc

yc

zc
1

mxu , yu
Yc
o
Xu
Zc
M xc, yc, zc
Xc
中心透视投影模型
xu

f
xc zc
Yc
yu

f
yc zc
o
写成齐次坐标形式为
xu f
zc

yu



0
1 0
0 f 0
不全为0的数 x1,..., xn 组成的坐标
(x1,..., xn ,0)
被称作无穷远点的齐次坐标.
例如: 在欧氏直线上的普通点的坐标为 x ,
则适合
x1 / x0 x
的两个数 x1, x0 组成的坐标
(x1, x0 )
为这个点的齐次坐标, x 为这个点的非齐 次坐标. 对任意的 x1 0 , 则
目标: 让计算机能够感知周围视觉世界,了解它的
空间组成和变化规律.
传感、抽象、判断、
识别、理解
马尔视觉理论：三维重建是人类视觉的主要目的，也是
计算机视觉的核心研究任务之一。
二维图像
物体三维 形状
？
从二维图像出发，将物体回推到三维空间中
这是个什么过程？这个过程如何表述？是否可计 算？如何计算？
1. 景物的成像过程
则平面的齐次方程为:
a x1 b x2 c x3 d x0 0
无穷远平面的方程则为:
x0 0
射影参数
对于 n 维空间中的任意一条直线, 如果 P1, P2是它上的任意两个取定的点, 则它 上的任意一个点 P 可以由 P1, P2 线性生 成:
X c1X1 c2 X 2
其中 X , X1, X 2 分别是 P, P1, P2 的齐次坐 标, c1, c2 是两个不全为零的常数.
和真实图像坐标系 X d ,Yd
分别描述畸变前后的坐标关系
Xc
x
u
v O1
图像坐标系
O
摄像机坐标系
Zc
y
Yc
摄像机光学成像过程的四个步骤
1、刚体变换公式
xc xw

yc


R
yw


t
zc zw
齐次坐标形式
xc

yc

zc

0 0 1
0 0 0
xc

yc

zc
1

f
Xc
Yu
pxu , yu O1
Xu
M xc, yc, zc
Zc
畸变校正——径向和切向畸变
径向畸变
径向失真
离心畸变 薄透镜畸变
切向失真
Yu
dr
xd xu xu xu , yu yd yu yu xu , yu
Ideal Position
dt
Position with distortion
Xu
dr :radial distortion dt :tangential distortion
畸变校正——其它畸变类型
a
b
a :barrel distortion b :pincushion distortion
桶形畸变a和枕形畸变b
无穷远
无穷远
无穷远点
在一个平面上, 所有的无穷远点组成一条 直线, 称为这个平面的无穷远直线.
平行线
无穷远直线
3维空间中所有的无穷远点组成一个平面, 称为这个空间的无穷远平面.
平行线
平 行 平 面 和 直 线
无穷远平面
射影空间
对 n 维欧氏空间加入无穷远元素, 并对有 限元素和无穷远元素不加区分, 则它们共 同构成了 n 维射影空间.
经过生产实践， 总结出一些计算法则和公式
圆周长的平方 12
圆周率=3 圆面积
圆周率的计算：张衡、祖冲之、刘徽等 勾股定理
埃及金字塔
建于４５００年前，是古埃及法 老（即国王）和王后的陵墓。陵 墓是用巨大石块修砌成的方锥形 建筑，因形似汉字“金”字，故 译作“金字塔”。
大金字塔是埃及现存规模最大的金字塔，被喻为“世界古代七大奇 观之一”。它建于埃及第四王朝第二位法老胡夫统治时期（约公元 前２６７０年），原高１４６．５９米，因顶端剥落，现高１３ ６．５米，塔的４个斜面正对东南西北四个方向，塔基呈正方形， 每边长约２３０多米，占地面积５．２９万平方米。塔身由２３０ 万块巨石组成，它们大小不一，分别重达１．５吨至１６０吨，平 均重约２．５吨。据考证，为建成大金字塔，一共动用了１０万人 花了２０年时间。
所谓三维重建就是指从单幅图像加景物约束、二幅、二 幅以上图像恢复空间点三维坐标的过程。
成像平面
O
照相机的成像模型：
ximi K(R, t)Μi
三维重建主要目的：从图像出发，求出所有的Mi 摄像机标定：从图像出发，求出内参数K 摄像机标定位或运动参数求解：从图像出发，求出运动参数R，t
应用标定的参数对图像校正 鱼眼模型下
Grossman
Riemann弯曲空间的工 作成果
Einstein
Einstein：伟大的广义相对论 著名公式E=mc2
照相机的成像过程不保持欧氏性质
例如:平行线不再平行
无穷远元素
平行线交于一个无穷远点; 平行平面交于一条无穷远直线;
在一条直线上只有唯一一个无穷远点. 所有的一组平行线共有一个无穷远点.
达芬奇，30岁研究数学， 视觉图像在空间中是沿 直线传播的，眼睛只能以 光椎体的形式看到东西 越远的物体看起来越小 不保持距离，不保持角 度。
Desargues(1591-1661), 引入无穷远元素，透视定理，交比、 调和不变，极点、极线，创立射影几何。
射影几何独一无二，来自艺术
射影几何是一个基础几何：欧氏几何和双曲几何、黎曼 几何等许多非欧几何都是射影几何的子几何。
(x1, 0) 为无穷远点的齐次坐标.
引入齐次坐标后,
在二维平面上, 如果直线的方程为:
a x1 b x2 c 0
则直线的齐次方程为:
a x1 b x2 c x0 0
无穷远直线的方程则为:
x0 0
在三维空间中, 如果平面的方程为:
a x1 b x2 c x3 d 0
三维视觉基础介绍
吴毅红 中国科学院自动化研究所 模式识别国家重点实验室 /English/rv/download.htm
主要内容
1. 绪言 2. 景物的成像过程 3. 三维重建的目的、过程 4. 射影几何学简介
绪言
计算机视觉是研究用计算机来模拟人和生物的视觉 系统功能的技术学科.
0 0 1
0 0 0
xc

yc

zc
1

最终得到： 图像像素坐标系
世界坐标系
xc

yc

zc


R 0T3
1
xw
t 1

yw xw

1
u ffu ffu cot u0
zc
v



0
ffv / sin v0 R
1 001
K
xw
t



yw zw

1
这是忽略畸变的线性成像模型
2. 三维重建的目的、任务
三维重建是人类视觉的主要目的，也是计算机视觉的最 主要的研究方向. (Marr 1982)
Xu Axis of max Tangential distortion
Yu
Axis of min tangential distortion
薄棱镜畸变
图像数字化
O1在 u, v 中的坐标为u0 ,v0
V
像素在轴上的物理尺寸为dx, dy
Yd
Affine Transformation :
u

1维射影空间是一条射影直线, 它由我们所看到 的欧氏直线和它的无穷点组成;
2维射影空间是一个射影平面, 它由我们所看到 的欧氏平面和它的无穷远直线组成;
3维射影空间由我们所在的空间与无穷远平面 组成.
齐次坐标
在欧氏空间中建立坐标系后, 便有了点与 坐标间的一一对应, 但当引入无穷点以后, 无穷远点无坐标, 为了刻化无穷远点的坐 标, 我们引入齐次坐标.

R 0T3
1
xw
t 1

yw xw

1
世界坐标系 刚体变换
摄像机坐标系 透视投影
理想图像坐标系 畸变校正
真实图像坐标系 数字化图像
数字化图像坐标系
透视投影——透镜成像原理图
1 1 1 f mn
一般地由于 n f 于是 m f 这时可