一种基于正交消失点的相机自标定方法[发明专利]

(10)申请公布号
(43)申请公布日 (21)申请号 201510372406.7
(22)申请日 2015.06.26
G06T 7/00(2006.01)
(71)申请人浙江大学
地址310027 浙江省杭州市西湖区浙大路
38号
(72)发明人吕松 刁常宇 邢卫 鲁东明
(74)专利代理机构杭州天勤知识产权代理有限
公司 33224
代理人胡红娟
(54)发明名称
一种基于正交消失点的相机自标定方法
(57)摘要
本发明公开了一种基于正交消失点的相机自
标定方法，包括如下步骤：对标定场景图像进行
直线检测得到若干平行的线段；针对任意n 条线
段，n ≥4，进行如下操作：计算该n 条线段的正交
消失点和相机焦距；根据所述的相机焦距和正交
消失点计算得到相应的内参数矩阵；根据所有内
参数矩阵基于随机抽样一致性的方法获取最终的
内参数矩阵。

本发明的相机自标定方法对所有直
线检测得到的线段进行分组，通过多组检测能够
有效排除直线检测时误检测结果的影响，提高自
标定结果的精度，且通过分组便于实现并行计算，
有利于提高自标定速率。

(51)Int.Cl.
(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书1页 说明书4页CN 105046691 A 2015.11.11
C N 105046691
A
1.一种基于正交消失点的相机自标定方法，其特征在于，包括如下步骤：
(1)对标定场景图像进行直线检测得到若干平行的线段；
(2)针对任意n条线段，n≥4，进行如下操作：
(2-1)计算该n条线段的正交消失点和相机焦距；
(2-2)根据所述的相机焦距和正交消失点计算得到相应的内参数矩阵；
(3)根据所有内参数矩阵基于随机抽样一致性的方法获取最终的内参数矩阵。

2.如权利要求1所述的基于正交消失点的相机自标定方法，其特征在于，所述n的取值为4～10。

3.如权利要求1所述的基于正交消失点的相机自标定方法，其特征在于，所述步骤(2-1)包括如下步骤：
(2-11)建立各个线段的有效鲁棒的混合模型，所述混合模型包括服从柯西分布的估计噪声；
(2-12)基于各个线段的混合模型，进行如下操作：
(a)迭代对相应的混合模型进行消失点估计，得到正交消失点，直至满足终止条件后停止，并以最后一次迭代得到的正交消失点作为最终结果；
(b)根据最终结果计算得到相应的相机焦距。

4.如权利要求3所述的基于正交消失点的相机自标定方法，其特征在于，所有线段的估计噪声为服从独立同分布的零均值高斯分布。

5.如权利要求3所述的基于正交消失点的相机自标定方法，其特征在于，所述步骤(a)中基于极大似然估计法进行消失点估计。

6.如权利要求3所述的基于正交消失点的相机自标定方法，其特征在于，所述步骤(a)中的终止条件如下：
相邻两次得到的正交消失点的欧式距离的均方差小于预设的阈值；
或达到最大迭代次数。

7.如权利要求3所述的基于正交消失点的相机自标定方法，其特征在于，所述的阈值为0.1～1个像素。

8.如权利要求3所述的基于正交消失点的相机自标定方法，其特征在于，所述最大迭代次数为20～50。

一种基于正交消失点的相机自标定方法
技术领域
[0001] 本发明涉及高分辨率三维重建技术领域，具体涉及一种基于正交消失点的相机自标定方法，应用于基于光度立体技术高分辨率三维重建中的相机标定过程。

背景技术
[0002] 在基于图像的三维重建中，相机自身的系数直接影响到了三维重建结果的精确性，因此，获取精确的相机标定结果对于三维重建算法的结果，具有决定性的影响。

[0003] 目前常用的相机标定技术主要分为三类：传统相机标定技术，相机自标定技术，基于主动视觉的相机标定技术。

[0004] 传统相机标定技术采用图像处理过程中的数学转化，在某种相机模型下进行计算，得到相机标定结果。

这种方法可以借用已知的物体形状和大小等信息，从而获取尽可能多的参数来进行相机标定，所得到的结果精度最高，但受到标定物体信息的约束，如果标定过程中物体存在误差或者人为交互过程存在误差，将极大化的影响标定结果。

在实际的工程中由于条件的约束，很难精确控制环境，人为影响，容易影响标定结果。

[0005] 基于主动视觉的相机标定技术，通过精确控制相机的移动来拍摄图像，由相机的精确位移信息来减化计算难度。

采用这种方法，在标定过程中计算复杂度大幅度减少，使得结果很容易得到。

然而，精确控制相机的移动需要特殊的设备来实现，设备精度要求很高，花费很大，这样的设备不容易得到，因此，这种方法不适用于一般情况。

且不能实现野外作业，通常只能用于精密的室内扫描。

[0006] 相机自标定技术不受所拍摄的物体的影响，仅考虑环境变量随相机改变的改变，只受相机内部参数的影响。

相机自标定的实际上是获取相机的内参数矩阵，一般结果包括旋转矩阵、平移向量和畸变参数(衡量形变大小的参数)。

[0007] 目前采用的相机自标定技术具有方便灵活，普遍适用，不受外界环境影响的优点，但同时也存在很多缺陷，其中最大的缺陷是鲁棒性很低，计算过程复杂，不稳定，难以保证结果的准确性。

发明内容
[0008] 针对现有技术的不足，本发明提供了一种基于正交消失点的相机自标定方法，能够应对普遍情况下的三维扫描过程，克服目前的相机自标定技术难以准确得到相机系数的缺点，且有利于提高相机自标定技术的鲁棒性，具有广泛适用，求解简便，鲁棒性高等优点。

[0009] 一种基于正交消失点的相机自标定方法，包括如下步骤：
[0010] (1)对标定场景图像进行直线检测得到若干平行的线段，
[0011] (2)针对任意n条线段，n≥4，进行如下操作：
[0012] (2-1)计算该n条线段的正交消失点和相机焦距；
[0013] (2-2)根据所述的相机焦距和正交消失点计算得到相应的内参数矩阵；[0014] (3)根据所有内参数矩阵基于随机抽样一致性的方法获取最终的内参数矩阵。

[0015] 本发明中利用特征点提取方法对标定场景图像进行直线检测。

标定场景图像(即标定物的图像)应具有足够多的直线段(至少能够得到四条平行的线段)，标定物应以人造物体为主，或带有明显直线边缘的天然景物。

[0016] 通常标定物图像中包括的线段的条数越多，结果越精确，但是计算量大。

[0017] 所述步骤(2)中实际上先按照排列组合原理将步骤(1)中检测得到的线段进行按n个一组进行排列组合，针对每个组合结果分别计算得到相应的内参矩阵。

[0018] 为提高计算速度，在实际应用时可以对每个组合(包括n条线段)进行并行处理。

[0019] 每一组并行处理，速度相对必然会快，且通过多组检测能够有效排除直线检测时误检测结果的影响，提高自标定结果的精度，并基于随机抽样一致性获取最终的内参数矩阵(实际上从步骤(2)中得到的所有内参数矩阵中选择一个作为最终的内参数矩阵)，大大提高了相机自标定方法的鲁棒性。

[0020] 此外，本发明的基于正交消失点的相机自标定方法可以大大减少人机交互过程，减少人为操作带来的误差，避免标定过程中的不确定性，方便标定操作，且能够减少相机标定对于设备场景的要求，减少自标定过程的时间、经费花费，可以快速得到标定结果；不需要借助如标定版一类的标准设备来进行标定设备，灵活方便，适用于各种环境，同时避免了设备误差对于标定结果的影响。

[0021] 作为优选，所述n的取值为4～10。

n越大，结果越精确，但是计算量大。

进一步优选，所述n＝4。

四条线段为最小化解决方案，能够进一步提高计算速度，此时引起的精度下降可通过基于随机抽样一致性的方法获取最终的内参数矩阵进行平衡。

[0022] 由于进行直线检测存在误差，通常检测到的线段包括真实值和检测误差(即噪声)。

为消除噪声影响，所述步骤(2-1)包括如下步骤：
[0023] (2-11)建立各个线段的有效鲁棒的混合模型，所述混合模型包括服从柯西分布的估计噪声；
[0024] (2-12)基于各个线段的混合模型，进行如下操作：
[0025] (a)迭代对相应的混合模型进行消失点估计，得到正交消失点，直至满足终止条件后停止，并以最后一次迭代得到的正交消失点作为最终结果；
[0026] (b)根据最终结果计算得到相应的相机焦距。

[0027] 通过构建包括噪声(估计噪声)混合模型，然后基于混合模型的迭代进行消失点估计，通过反复迭代逐渐降低噪声影响，保证了得到的正交消失点的准确性，之后再对采用鲁棒的基于混合模型的极大似然估计来精炼，从而大大提高标定结果的精度。

[0028] 为便于计算，本发明中设定所有线段的估计噪声为服从独立同分布的零均值高斯分布。

[0029] 常用基于极大似然法进行消失点估计，此外还可以采取最大期望估计，但是极大似然估计适用范围更广。

因此，作为优选，所述步骤(a)中基于极大似然估计法进行消失点估计。

[0030] 所述步骤(a)中的终止条件如下：
[0031] 相邻两次迭代得到的正交消失点的欧式距离的均方差小于预设的阈值；或达到最大迭代次数。

所述的阈值为0.1～1个像素，通常小于0.5个像素；所述最大迭代次数为20～50，(通常在30次之前会达到收敛，即相邻两次迭代得到的正交消失点的欧式距离的
均方差小于预设的阈值)。

[0032] 与现有技术相比，本发明具有如下优点：
[0033] 对所有直线检测得到的线段进行分组，通过多组检测能够有效排除直线检测时误检测结果的影响，提高自标定结果的精度，且通过分组便于实现并行计算，有利于提高自标定速率；
[0034] 基于正交消失点的相机自标定方法可以大大减少人机交互过程，减少人为操作带来的误差，避免标定过程中的不确定性，方便标定操作；且能够减少相机标定对于设备场景的要求，减少标定过程的时间、经费花费，可以快速得到标定结果；
[0035] 不需要借助如标定版一类的标准设备来进行标定设备，灵活方便，适用于各种环境，同时避免了设备误差对于标定结果的影响。

具体实施方式
[0036] 下面将结合具体实施例对本发明进行详细说明。

[0037] 一种基于正交消失点的相机自标定方法，包括如下步骤：
[0038] (1)对标定场景图像进行直线检测得到若干平行的线段，
[0039] 本实施例中利用特征点提取方法对标定场景图像进行直线检测。

标定场景图像(即标定物的图像)应具有足够多的直线段(至少能够得到四条平行的线段)，标定物应以人造物体为主，或带有明显直线边缘的天然景物。

[0040] (2)针对任意四条线段，进行如下操作：
[0041] (2-1)计算该四条线段的正交消失点和相机焦距；
[0042] 由于进行直线检测存在误差，通常检测到的线段包括真实值和检测误差(即噪声)。

为消除噪声影响，本实施例中步骤(2-1)通过如下步骤实现：
[0043] (2-11)建立各个线段的有效鲁棒的混合模型，混合模型包括服从柯西分布的估计噪声；
[0044] 建立直线的混合模型实际上是采用一种真实值与噪声之和的方式表示直线检测得到的各个线段，该步骤可以在确定正交消失点之前进行，也可以在进行直线检测后直接进行。

为便于计算，本实施例中设定所有线段的估计噪声为服从独立同分布的零均值高斯分布。

[0045] (2-12)基于各个线段的混合模型，进行如下操作：
[0046] (a)基于极大似然估计法迭代对相应的混合模型进行消失点估计，得到正交消失点，直至相邻两次迭代得到的正交消失点的欧式距离的均方差小于预设的阈值(本实施例中为0.5个像素)；或达到最大迭代次数(50次)时停止，并以最后一次迭代得到的正交消失点作为最终结果；
[0047] (b)根据最终结果计算得到相应的相机焦距。

[0048] (2-2)根据相机焦距和正交消失点计算得到相应的内参数矩阵；
[0049] 实际上先计算得到含未知量的方程组，未知量为相机焦距，然后求解该方程即可得到消失点和相机焦距，
[0050] 以四条线段l1、l2、l3和l4为例进行说明确定相应的正交消失点和相机焦距即相机内参数矩阵的方法。

首先在满足如下约束条件下：
[0051]
[0052] 根据如下公式求得三个正交消失点v i,i＝1,2,3，：
[0053] v1＝l1×l2
[0054] v2＝l3×l4
[0055] v3＝K((K-1v1)×(K-1v2))
[0056] 其中，K为相机内参矩阵，ω＝K-T K-1表示图像的绝对二次曲线，K表示相机的内T表示矩阵K的转置的逆。

参矩阵，K
-
[0057] 本实施例得到的内参矩阵(即内参数矩阵)中默认的中心点的坐标为0，拍摄时根据应用需求设定坐标系的中心点的坐标就得到内参数矩阵。

[0058] (3)根据所有内参数矩阵基于随机抽样一致性的方法获取最终的内参数矩阵。

[0059] 为提高计算速度，在实际应用时可以对每个组合(包括四条线段)进行并行处理。

[0060] 每一组并行处理速度必然会快，并使分组进行计算可实施，进而通过多组检测能够有效排除直线检测时误检测结果的影响，提高自标定结果的精度。

[0061] 以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。