综述：双目立体视觉与BP神经网络

1 引言 22 传统的立体视觉算法及视觉系统标定 22.1传统的立体视觉算法 22.2 传统的摄像机标定 33 基于BP 神经网络的摄像机标定 43.1 BP神经网络 43.2 改进的BP算法 53.3 基于BP网络的摄像机标定过程 64 仿真实验设计 75 实验结果与分析 71 引言随着现代计算机技术的快速发展，计算机在工程领域得到了广泛的应用。

计算机视觉作为其中的一个分支，在车身检测、机器人视觉导航、三维重建等领域得到广泛的应用。

计算机视觉的中心任务就是利用人工视觉系统对三维场景进行描述和识别。

所谓的描述是指丢弃深度信息，将三维场景生成二维图像；而所谓的识别则是指由若干幅二维图像恢复深度轮廓等三维信息。

在此之前，所要解决的关键问题就是确定真实场景中的三维点与所描述对应的二维点之间的对应关系。

这种关系是由摄像机成像几何模型决定的，而确定这种对应关系的过程就是所谓的摄像机标定。

传统的摄像机标定方法主要是通过预先建立或假设一定的摄像机模型，然后标定出摄像机的内外参数。

从计算的角度考虑，传统的摄像机标定可分为线性法、非线性优化法、两步法以及自标定法。

这些方法大都建立在一定的几何模型之上，一种方法只针对某一种CCD 模型，因而缺乏一定通用性。

并且大都需要建立复杂的数学模型，增加了系统的复杂性。

而且在许多场合，求解摄像机的内外参数并不是标定的最终目的，而是用这些参数来描述二维图像点和三维空间点之间的非线性的关系。

针对这些问题，提出了一种基于BP 神经网络的视觉系统标定方法，利用人工神经网络潜在的非线性映射能力来隐性的标定摄像机内外参数。

通过学习二维图像点和三维空间点之间的非线性的关系，使系统不通过建立复杂的摄像机数学模型，即可完成摄像机标定，为视觉系统的后续任务奠定基础。

2 传统的立体视觉算法及视觉系统标定2.1传统的立体视觉算法设在立体视觉中，左右两个相机的C矩阵分别为：Cl , Cr,空间一点Pi在世界坐标系中的坐标为（xi ,yi ,zi）,在左右图像上的坐标分别为：（uil ,vil）和(uir ,vir),则有：（1）（2）（3）式子中：在（1）和（2）中，可，得到以分别消去tl和tr，得到4个关于（uil ,vil ,uir ,vir）和Cl , Cr,时，即可通过（3）式求的Pi点的空间坐标（xi ,yi ,zi），这就是立体视觉求解三维坐标的传统方法。

2.2 传统的摄像机标定摄像机标定过程就是确定摄像机的内部几何与光学参数和摄像机坐标系与世界坐标系之间的相对位置和方向的过程。

在双目立体视觉中，还要确定两个摄像机之间的相对位置和方向。

以典型摄像机针孔模型为例，参考系F中的点P（x,y,z）与对应图像点(u,v)间坐标关系为。

其展开式为：（4）根据式（1），给定足够的点P和对应的图像点P’,就可以唯一确定关系矩阵C。

当两个摄像机与同一指定坐标系F之间建立了这种关系，则任何一可观测点P在F下的三维坐标可根据其在两个图像上的投影坐标（u,v），通过对C矩阵的数学处理计算出来。

但是摄像机并不是一个理想的针孔透视模型，在很多情况下这种线性模型并不能准确描述摄像机成像的几何关系。

基于几何模型的传统的双目视觉标定方法，因存在光电响应、电子噪声与镜头畸变等非线性干扰因素，难以建立精确的标定模型。

只有考虑非线性畸变补偿后的非线性模型才能较为准确的描述透视模型。

在具体应用中，需根据使用场合和要求达到的精度，建立不同的摄像机模型。

而且所建模型越接近摄像机的实际，模型就越复杂，求解的难度也越大。

摄像机非线性模型的求解方法可以分为非线性搜索法、线性与非线性相结合的方法。

这些模型的计算量都非常大，速度较慢，并且很可能造成算法不收敛。

因此，有必要寻找一种新的途径来表达透视模型的复杂非线性映射关系，即人工神经元网络的方法来解决这一问题。

由于网络有相连的非线性单元组成，因此具有学习非线性成像过程的潜在能力。

3 基于BP 神经网络的摄像机标定神经网络是利用神经元等效模型对人脑神经系统进行数学模拟，其目的是学习和模仿人脑的信息处理能力。

其相关研究可以追溯到20 世纪中期。

到20 世纪80 年代初，D.Werbos,D.Rumelhart,和D.Parker三人各自独立发明了反向传播算法（Back-Propagation,BP）使得多层前馈神经网络的实现成为可能，并导致80 年代末90 年代初人们对神经网络的深入研究和广泛应用。

目前，人们在应用神经网络来解决实际问题时，90%左右均采用BP 网络及其变化形式，这体现了BP 网络是前向网络的核心部分，代表着人工神经网络的精华。

3.1 BP神经网络一个典型的三层BP神经网络结构，如图1所示。

自左至右分别为输入层、隐含层和输出层。

网络中相邻层采用全互联方式连接，同层神经元之间没有任何连接，输出和输入层之间也没有任何连接。

此处假设输入层、隐含层，输出层的神经元个数分别为L、M、N。

令从第层神经元到层神经元的连接权值为，P 为当前学习样本，为P 样本下第层第个神经元的输出，则对样本P，网络的输入误差为：（5）其中为输入第P个样本时第个神经元的期望输出，为它的实际输出。

为了不使误差降低，常根据梯度算法进行调整，即：（6）其中，假设层有个神经元，层有个神经元。

为学习速率，也称为步幅。

一般开始时值相对较大，随着学习的深入，逐步减小。

当时，为输出层误差系数，此时：（7）当时，为隐含层的输出误差系数，此时：（8）在求解过程中，是先求出，在通过求出，所以该过程称为误差反向传播过程。

在权值修改公式（6）中，引入惯性量，进一步提高网络的非线性逼近能力，即：（9）BP算法的学习过程是不断的改变连接权值，使误差趋于全局最小在实际操作过程中只要出现局部最优即可，一般按下式判定：（10）式子：为权值收敛因子，且，为误差收敛因子，一般取一个小数。

3.2 改进的BP算法BP算法具有理论依据可靠、推导过程严谨、精度较高、通用性较好等优点，但是BP模型存在以下缺点：（1）收敛速度缓慢；（2）容易陷入局部极小值；（3）难以确定隐层节点的数目.针对所存在的缺点出现了许多改进算法。

如动量一自适应学习率BP算法就是一种。

动量—自适应学习率BP算法采用了动量和学习率自适应调整的策略，从而提高了学习速度并增加了算法的可靠性。

动量法降低了网络对于误差曲面局部细节的敏感性，有效地抑制网络陷入局部极小。

动量法的权值调整算法为：（11）（12）（13）自适应调整学习率的权值调整算法为：（15）结合两种方案得到动量—自适应学习率BP神经网络的权值修正算法：（16）3.3 基于BP网络的摄像机标定过程双目立体视觉中网络的输入样本为三维空间物点在两个图像坐标系上的坐标，输出样本为该物点在世界坐标系中的坐标。

BP神经网络不需预先建立精确的成像和标定模型，也不需要预估初始值，而是将与三维空间物点对应的两个图像坐标作为神经网络的输入，物点的世界坐标作为BP神经网络的输出。

利用BP网络多次学习、训练，直到得到满意的输入与输出的映射关系。

其具体的标定过程如下：（1）用左右两只摄像头采集标定图像。

（2）用边缘检测等算子提取特征点。

并将其分为两组，一组用于训练，另一组用于检验。

并将数据归一化后作为网络的输入向量。

（3）将特征点的实际坐标作为输出，建立网络结构，并用输入和输出训练网络，直至网络达到要求。

（4）将用于检验的数据代入网络，检验网络的实用性。

其网络训练过程，如下图所示。

可以证明：在隐含层神经元可以根据需要自由设置的情况下，用三层神经网络可以任意精度逼近连续函数4 仿真实验设计实验采用双目视觉系统用黑白相间的方格图案作为标定板，将标定板置于一垂直于地面的平板（或墙壁）上，以标定板的两条互相垂直的边作为世界坐标系的X 轴，Y轴，Z轴垂直标定板。

该实验中，以标定板所在的平面作为xy面（z=0 ）。

即，所有标定点的Z坐标为0。

用两只摄像头同时采集一幅图像，将特征点在左右两幅图像的图像坐标作为输入，在世界空间坐标系的坐标作为输出。

实验过程：（1）系统标定：在W中移动目标P，采集36组样本数据对（目标点在两像机中的投影u，v在世界坐标系W中的三维坐标），对网络进行权值训练。

并把结果存入计算机（2）定位计算：在图像数据中加入:0均值标准差的白噪声，得到两个摄像机的投影作为网络的输入，利用上述标定好的立体视觉系统采用本文所介绍的位姿计算方法利用公式对目标点空间位置进行计算。

对训练好的网络性能进行测试。

结果如下图所示，可以看出神经网络模型具有比较强的抗噪声能力。

5 实验结果与分析由实验可知，神经网络标定可以得到较好的标定精度。

通过改进学习算法，选择适当的参数，可以使网络更快的收敛，提高网络的在线标定能力结论神经网络具有很强的非线性逼近能力和学习能力，可以不通过建立复杂的数学模型，通过直接学习系统的输入输出数据，即可建立三维空间中的物点与其对应的二维图像点之间的复杂的非线性映射关系，且具有较好的精度。

这为视觉系统的建模提供了一种可选的有效方法。