计算机视觉中的多视图几何第五章 摄像机几何和单视图几何解剖
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
考察包含C和3维空间中任何一点A的直线。该直线上的点可以表示为
X () A (1 )C
在映射x=PX下,此直线上的点被投影到
x PX () PA (1 )PC PA
之所以到最后一步是因为PC=0。上式表明直线上的所有点都被映射到同一个图像 点PA,因而该直线必是过摄像机中心的一条直线。由此推出,C是摄像机中心的齐 次表示。
含在K中的参数称为摄像机内部参数或摄像机的内部校准。在R和C中的参数与摄像机在
世界坐标的方位和位置有关称为外部参数。
为了方便,通常不把摄像机中心明显标出,此时摄像机矩阵可以写成
其中,t
~ RC
P KR/t
(5.8)
CCD摄像机
之前的针孔摄模型假定图像坐标在两个轴上有等尺度的欧氏坐标。但CCD摄像机 的像素可能不是正方形。所以,我们引入在x和y方向上图像坐标单位距离的像 素分别是mx和my。
x K I/0 X (5.5) cam
矩阵K称为摄像机标定矩阵。在(5.5)中记(X, Y,Z,1 )T 为X 是为了强调摄像机被设定 cam
在一个欧氏坐标系的原点且主轴沿着Z轴的指向,而点 X按此坐标系表示。这样的坐 cam
标系可以称为摄像机坐标系。
摄像机旋转与位移
世界坐标系:空间点采 用不同的欧氏坐标系表 示
X
X
Y
Z
1
fX fY
Zp x
Zp y
Z
f
f
p x
p y
1
000YZ1
(5.3)
y
cam
y 0
px
cam
y x
x 0
图5.2 图像坐标系(x, y)T 和摄像机坐标系 (x , y )T cam cam
若记
f
p
K
f
p
x y
1
矩阵K陈为摄像机标定矩阵。
(5.4)
则(5.3)式有个简洁的形式
标下可以写成:
X R
cam
0T
X
RC~ 1
Y Z
R
0T
1
RC~X 1
(5.6)
Y cam
X cam z
Z cam
R ,t
o
Y
X 图5.3世界和摄像机坐标架之间的欧氏变换
把5.5和5.6结合起来形成公式
~
x KR I/ C X
(5.7)
我们看到一个摄像机P
KR
I/
~ C
有9个自由度:3个来自K,3个来自R,3个来自C。包
在针孔摄像机模型下,令投影中心位于一个欧氏坐标的原点,空间点X (x ,y ,z)T 被映射到图像平面上点(fx /z,fy /z,f) T可写成下式:
(x ,y ,z)T
(fx /z,fy /z)T
(5.1)
可见5.1式是从3维空间到2维空间的一个映射。
用齐次坐标表示中心投影 如果用齐次坐标表示世界点和图像点,则中心投影可以 简单的表示成齐次坐标间的线性映射,即5.1式可表示为:
CCD的摄像机标定矩阵的一般形式是
α
x
K
x
α y
y
0 o
1
(5.9)
其中 α fm 和 α fm同理,我们用像素量表示主点,它的坐标为 x m p和
x
x
y
y
0
xx
y m p
0
yy
有限摄像机
为了增加一般性,我们可以考虑形如
α s x
K
x
α y
y
0 o
1
(5.10)
增加的参数,s称为扭曲参数。对大多数标准的摄像机来说,其扭曲参数为零。
一个摄像机
~
P KR I/ C
(5.11)
的标定矩阵K取(5.10)的形式时称为有限射影摄像机。一个有限射影摄像机有11个 自由度。
我们也可以把P
KR
I/
~ C
,写成P
M
I / M 1 p
4
其中M是P的左边3x3子矩阵,p 是P的第四列。 4
5.2 射影摄像机
一般射影摄像机P按公式x=PX吧世界点X映射到图像点x。 摄像机中心 摄像机中心C是P的一维右零空间,即PC=0.
X
X
Y Z 1
fX
fY
Z
f
f
1
0 0 0
Y Z 1
(5.2)
主点偏置:前面的(5.1)式我们假定图像平面的坐标原点在主点上。实际情况可能不是 这样,因此一般情形的映射为
(X, Y,Z)T (fX/Z p ,fY/Z p )T
x
y
其中 (p x , p y )T是主点的坐标.我们可以齐次的表示为:
摄像机几何和单视图几何
摄像机的定义:在这里我们说摄像机是3D世界和2D图像之间的一种映射。 摄像机模型的分类:主要分成有限中心的模型和“无穷远”中心的模型。
5.1有限摄像机
我们从最具体和最简单的摄像机模型即针孔摄像机开始。
基本针孔模型
光心:投影中心称为摄像机中心。 主轴(主射线):摄像机中心到图像平面的垂线 主点:主轴与图像平面的交点。 主平面:过摄像机中心平行于图像平面的平面。 图像平面(聚焦平面):空间点到中心投影到平面Z=f,f为焦距。
x=0和y=0的点。
主点 图像点 x M m3是摄像机的主点,其中 m 3是T M的第三行。 0
主射线 摄像机的主射线是过中心C而方向矢量为m 3T的射线。主轴矢量 v det(M )m3 指向摄像机的前方。
5.2.1 摄像机构造
摄像机中心
矩阵P有一个1维右零空间,因为它有4列而秩是3.假定C是零空间,即PC=0。下面我们 证明C是用齐次4维矢量表示的摄像机中心。
列矢量
射影摄像机的列是3维矢量,他们的几何涵义是特殊的图像点。记P得列为Pi, i=1,2,3,4,那么p1,p2,p3分别表示世界坐标X,Y,Z轴的消影点,因为这些点是轴方向 的图像。例如X—轴的方向D=(1,0,0,0)T, 被映像到P1=PD。列P4是世界原点的图像。
行矢量
射影摄像机的行是4维矢量,在几何上解释成特殊的世界平面。我们引入P的行记
旋转与平移
摄像机坐标系:摄像机中 心在原点切主轴方向沿Z 轴的指向。
如果X~ 是一个3维非齐次矢量,表示世界坐标系中的
一点的坐标,而X~ 是以摄像机坐标表示的同一点,
cam
那么我们可以记X~
R(
~ X
C~ )
,其中C~ 表示摄像
cam
机中心在世界坐标系的坐标,R是一个3 * 3的旋转矩
阵,表示摄像机坐标系的方位,这个方程在齐次坐
(1) 有限摄像机(M非奇异)
M p 1
C
1
4
(2) 无穷远摄像机(M奇异)
C d0其 中 , d是 M的 3维 中矢 量 , 即 Md 0.
列点 对与i=1,2,3,列矢量pi分别对应于X,Y,Z轴的在图像上的消影点.列P4是坐标原点的图像。
主平面 摄像机的主平面是P的最后一行 P3。
轴平面 平面 P1 和 P2表示空间中过摄像机中心的平面,分别对应于映射到图像上直线
X () A (1 )C
在映射x=PX下,此直线上的点被投影到
x PX () PA (1 )PC PA
之所以到最后一步是因为PC=0。上式表明直线上的所有点都被映射到同一个图像 点PA,因而该直线必是过摄像机中心的一条直线。由此推出,C是摄像机中心的齐 次表示。
含在K中的参数称为摄像机内部参数或摄像机的内部校准。在R和C中的参数与摄像机在
世界坐标的方位和位置有关称为外部参数。
为了方便,通常不把摄像机中心明显标出,此时摄像机矩阵可以写成
其中,t
~ RC
P KR/t
(5.8)
CCD摄像机
之前的针孔摄模型假定图像坐标在两个轴上有等尺度的欧氏坐标。但CCD摄像机 的像素可能不是正方形。所以,我们引入在x和y方向上图像坐标单位距离的像 素分别是mx和my。
x K I/0 X (5.5) cam
矩阵K称为摄像机标定矩阵。在(5.5)中记(X, Y,Z,1 )T 为X 是为了强调摄像机被设定 cam
在一个欧氏坐标系的原点且主轴沿着Z轴的指向,而点 X按此坐标系表示。这样的坐 cam
标系可以称为摄像机坐标系。
摄像机旋转与位移
世界坐标系:空间点采 用不同的欧氏坐标系表 示
X
X
Y
Z
1
fX fY
Zp x
Zp y
Z
f
f
p x
p y
1
000YZ1
(5.3)
y
cam
y 0
px
cam
y x
x 0
图5.2 图像坐标系(x, y)T 和摄像机坐标系 (x , y )T cam cam
若记
f
p
K
f
p
x y
1
矩阵K陈为摄像机标定矩阵。
(5.4)
则(5.3)式有个简洁的形式
标下可以写成:
X R
cam
0T
X
RC~ 1
Y Z
R
0T
1
RC~X 1
(5.6)
Y cam
X cam z
Z cam
R ,t
o
Y
X 图5.3世界和摄像机坐标架之间的欧氏变换
把5.5和5.6结合起来形成公式
~
x KR I/ C X
(5.7)
我们看到一个摄像机P
KR
I/
~ C
有9个自由度:3个来自K,3个来自R,3个来自C。包
在针孔摄像机模型下,令投影中心位于一个欧氏坐标的原点,空间点X (x ,y ,z)T 被映射到图像平面上点(fx /z,fy /z,f) T可写成下式:
(x ,y ,z)T
(fx /z,fy /z)T
(5.1)
可见5.1式是从3维空间到2维空间的一个映射。
用齐次坐标表示中心投影 如果用齐次坐标表示世界点和图像点,则中心投影可以 简单的表示成齐次坐标间的线性映射,即5.1式可表示为:
CCD的摄像机标定矩阵的一般形式是
α
x
K
x
α y
y
0 o
1
(5.9)
其中 α fm 和 α fm同理,我们用像素量表示主点,它的坐标为 x m p和
x
x
y
y
0
xx
y m p
0
yy
有限摄像机
为了增加一般性,我们可以考虑形如
α s x
K
x
α y
y
0 o
1
(5.10)
增加的参数,s称为扭曲参数。对大多数标准的摄像机来说,其扭曲参数为零。
一个摄像机
~
P KR I/ C
(5.11)
的标定矩阵K取(5.10)的形式时称为有限射影摄像机。一个有限射影摄像机有11个 自由度。
我们也可以把P
KR
I/
~ C
,写成P
M
I / M 1 p
4
其中M是P的左边3x3子矩阵,p 是P的第四列。 4
5.2 射影摄像机
一般射影摄像机P按公式x=PX吧世界点X映射到图像点x。 摄像机中心 摄像机中心C是P的一维右零空间,即PC=0.
X
X
Y Z 1
fX
fY
Z
f
f
1
0 0 0
Y Z 1
(5.2)
主点偏置:前面的(5.1)式我们假定图像平面的坐标原点在主点上。实际情况可能不是 这样,因此一般情形的映射为
(X, Y,Z)T (fX/Z p ,fY/Z p )T
x
y
其中 (p x , p y )T是主点的坐标.我们可以齐次的表示为:
摄像机几何和单视图几何
摄像机的定义:在这里我们说摄像机是3D世界和2D图像之间的一种映射。 摄像机模型的分类:主要分成有限中心的模型和“无穷远”中心的模型。
5.1有限摄像机
我们从最具体和最简单的摄像机模型即针孔摄像机开始。
基本针孔模型
光心:投影中心称为摄像机中心。 主轴(主射线):摄像机中心到图像平面的垂线 主点:主轴与图像平面的交点。 主平面:过摄像机中心平行于图像平面的平面。 图像平面(聚焦平面):空间点到中心投影到平面Z=f,f为焦距。
x=0和y=0的点。
主点 图像点 x M m3是摄像机的主点,其中 m 3是T M的第三行。 0
主射线 摄像机的主射线是过中心C而方向矢量为m 3T的射线。主轴矢量 v det(M )m3 指向摄像机的前方。
5.2.1 摄像机构造
摄像机中心
矩阵P有一个1维右零空间,因为它有4列而秩是3.假定C是零空间,即PC=0。下面我们 证明C是用齐次4维矢量表示的摄像机中心。
列矢量
射影摄像机的列是3维矢量,他们的几何涵义是特殊的图像点。记P得列为Pi, i=1,2,3,4,那么p1,p2,p3分别表示世界坐标X,Y,Z轴的消影点,因为这些点是轴方向 的图像。例如X—轴的方向D=(1,0,0,0)T, 被映像到P1=PD。列P4是世界原点的图像。
行矢量
射影摄像机的行是4维矢量,在几何上解释成特殊的世界平面。我们引入P的行记
旋转与平移
摄像机坐标系:摄像机中 心在原点切主轴方向沿Z 轴的指向。
如果X~ 是一个3维非齐次矢量,表示世界坐标系中的
一点的坐标,而X~ 是以摄像机坐标表示的同一点,
cam
那么我们可以记X~
R(
~ X
C~ )
,其中C~ 表示摄像
cam
机中心在世界坐标系的坐标,R是一个3 * 3的旋转矩
阵,表示摄像机坐标系的方位,这个方程在齐次坐
(1) 有限摄像机(M非奇异)
M p 1
C
1
4
(2) 无穷远摄像机(M奇异)
C d0其 中 , d是 M的 3维 中矢 量 , 即 Md 0.
列点 对与i=1,2,3,列矢量pi分别对应于X,Y,Z轴的在图像上的消影点.列P4是坐标原点的图像。
主平面 摄像机的主平面是P的最后一行 P3。
轴平面 平面 P1 和 P2表示空间中过摄像机中心的平面,分别对应于映射到图像上直线