试验二机器人视觉引导系统仿真认知试验

环节。
光圈是一个用来控制光线透过镜头，进入机身内感光面的光量的装置。为了
使图像变亮，光线充足，需要调大光圈。
二、单目视觉标定
张正友标定算法
1、基本问题描述：空间平面的三维点与相机平面二维点的映射
~
假设空间平面中三维点： M
X ,Y , Z,1T （齐次坐标，世界坐标系）
相机平面二维点：
~
m

为了使采集的图像清晰不畸变不失真，我们需要对相机的一些常用参数进行 调整。这里的参数包括：曝光时间，白平衡，焦距，光圈
曝光时间是为了将光投射到照相感光材料的感光面上，快门所要打开的时 间。曝光时间主要是指底片的感光时间，曝光时间越长底片上生成的相片越亮， 相反越暗。在外界光线比较暗的情况下一般要求延长曝光时间。但是在拍摄运动 物体时，曝光时间长会导致运动的物体产生拖影。所以要选择恰当的曝光时间才 能采集到合适的图像。
其原因就在于“白平衡”的设置上。所以，为了得到一个适合人眼视觉的图像，
白平衡的调整也很重要。
焦距，是光学系统中衡量光的聚集或发散的度量方式，指平行光入射时从透
镜光心到光聚集之焦点的距离。亦是相机中，从镜片中心到 CCD 等成像平面的
距离。是否聚焦影响到图像是否清晰，所以，调焦是采到清晰图像很重要的一个
张图像的 R，t 也就根据等式（1）迎刃而解。
三、找圆心的图像处理算法
1、首先对原图进行二值化处理，通过选取合适的阈值得到一个二值化处理结果
图。
2、再对二值化处理后的图进行连通域标记，可以选择 4 连通或八连通（一般选
择八连通），通过测连通区域中图的离心率和面积大小，筛选出符合条件的圆心
（圆的离心率接近 1）。
注:lamda 是个放缩因子标量，也是 s 的倒数。
（3）
那么现在我们要用一个关键性的条件：r1 和 r2 标准正交。
正交：
单位向量（模相等）：
（4）
3、相机内参的求解 我们令：
（5）
（6） 我们可知 B 矩阵是个对称矩阵，所以可以写成一个 6 维向量形式：
我们把 H 矩阵的列向量形式为：
（7）
（8） 那么根据等式（8）我们把等式（4）改写成：
参数，并记录下来。 （2）对二值化图像进行连通区域标记，由学生选择 4 连通还是 8 连通，记录于 表格中，通过测离心率接近于 1 的点筛选出符合要求的圆。 （3）通过对筛选出来的圆的 x,y 方向像素值分别求取平均值得到圆心点的像素 坐标，记录该坐标。 （4）输入圆心的坐标值，机器人将目标物体抓起放到指定位置，计算物体实际 放置位置与精确位置之间的误差，记录于表格中。
实验二 机器人视觉引导系统仿真认知实验
[实验目的]
1、熟悉对 Epson 机器人的操作
2、熟悉对相机参数的调整
3、掌握单目相机标定方法
4、掌握简单的图像处理方法
5、计算物体运动位置精度
[实验器材]
大恒相机和镜头一个，机器人运动控制器一个，机器人一个，pc 一台
[实验原理]
机器视觉引导系统是由相机，镜头、pc 机和机器人控制器以及机械臂这几 部分硬件组成，相机负责图像采集，PC 作为服务器向控制器发送一些命令以及 数据，而控制器作为客户端接受服务器发来的信息指导机械臂实现轨迹化运动并 返回一些结果数据到服务器，从而实现机器人与 pc 机的友好交互。 一、相机参数的调整
3、求取所筛选出来的圆中 x,y 方向所有像素的平均值，即为该圆的中心像素坐
标。
[实验步骤]
1．在软件的调试界熟练操作机器人 （1）打开控制器，锁定机械臂的所有臂 （2）控制机器人可以沿 x,y,z,u 方向移动或旋转 （3）把 x,y,z,u 方向的可以运动的范围值填入表格中 2、调节相机参数 对相机的曝光时间，白平衡，焦距和光圈进行调节并把调节好的参数记录在表格 中。 3、对机器人做单目视觉标定 （1）相机拍摄标定图片，标定图片是一张白纸上面随意点 6 个黑点 （2）用读图软件 XnView 读取图片中各个点的像素坐标，并记录在表内。 （3）控制机器人运动到这些电上，读取这些点的机器人坐标，并记录在表内 （4）将标定点的像素坐标和机器人坐标分别输入软件中，计算出像素坐标跟机 器人坐标之间的转换关系。 4、对目标物体的识别做图像处理 （1）对采集到的目标物体的图片做二值化处理，选择软件中二值化的合适阈值
【实验数据记录与分析】
1、机器人坐标范围记录表
坐标轴
X
Y
Z
U
正方向（+）
反方向（-）
2、相机参数记录表
参数 值
曝光时间
白平衡
3、标定坐标记录表
坐标点
像素坐标
坐标值
X
Y
1
2
Байду номын сангаас
3
4
5
6
焦距
光圈
机器人坐标
（9）
最后根据内参数限制条件(等式（4）(5)):
（10）
（11）
即,
(12)
V 矩阵是 2*6 矩阵，也就是说每张照片可建立起两个方程组，6 个未知数。根据
线性代数知识可知，解 6 个未知数需至少 6 个方程组，所以也就是说我们至少需
要三张照片就求解未知数。b 矩阵的解出，相机内参矩阵 A 也就求解出，从而每
白平衡是一个很抽象的概念，最通俗的理解就是让白色所成的像依然为白 色，如果白是白，那其他景物的影像就会接近人眼的色彩视觉习惯。白平衡是实 现摄像机图像能精确反映被摄物的色彩状况。许多人在使用摄像机拍摄的时候都 会遇到这样的问题：光在日灯的房间里拍摄的影像会显得发绿，在室内钨丝灯光 下拍摄出来的景物就会偏黄，而在日光阴影处拍摄到的照片则莫名其妙地偏蓝，
u,
v,1T
（齐次坐标，相机坐标系）那么空间中的点是如
何映射到相机平面上去呢？我们用一个等式来表示两者之间关系：
（1） 注：A 为相机内参矩阵，R，t 分别为旋转和平移矩阵，s 为一个放缩因子标量。 我们把等式再简化下：
（2） 因为张正友算法选取的是平面标定，所以令 z=0,所以平移向量只有 r1,r2 即可。 H 就是我们常说的单应性矩阵，在这里描述的是空间中平面三维点和相机平面二 维点之间的关系。因为相机平面中点的坐标可以通过图像处理的方式（哈里斯角 点，再基于梯度搜索的方式精确控制点位置）获取，而空间平面中三维点可以通 过事先做好的棋盘获取。所以也就是说每张图片都可以计算出一个 H 矩阵。 2、内参限制 我们把 H 矩阵(3*3)写成 3 个列向量形式，那么我们把 H 矩阵又可写成：