机器视觉与应用

RIR.SJTU

4

从操作、自动到自主

Varied Robots(3)十、服务机器人

清洗巨人汽车加油机器人

检测机器人导游机器人

音乐指挥机器人雕刻机器人脑外科机器人康复机器人口腔修复机器人爬缆索机器人导游机器人

中国科技馆中的机器人

十一、水下机器人

海洋的诱惑参观“泰坦尼克号”器人

十二、农林业机器人

机器人为农民而造

采摘水果机器人

Varied Robots(5)

Varied Robots(6)

Honda’s ASIMO

Proportion of sense organ’s contribution to the

••• 能力。机器视觉需要图象信号，纹理和颜色建模，几何1.1 1.1 机器视觉概念处理和推理，以及物体建模 1.2 1.2 视觉计算理论 1.2.1 1.2.1 三个研究层次 1.2.2 1.2.2 视觉表示的框架

面临的困难

1.3

1.3 机器视觉的应用

•自动控制

•电子工业

•电力生产

•机械制造

•医药行业

•玻璃

•包装行业

•印刷行业

•交通

•

•

•

•

•

•

•

自动控制: 焊接检测Part Inspection

自动控制: 相机引导的焊接机器人自动控制: 相机引导的装配

自动控制: 相机引导的装配纺织工业

•织布方向的检测

•

•

•

•

焊球表面缺陷检测

自然光

结构光

良好焊球缺陷焊球

•

–缺少产品

温度计的校准•检测医学器件

温度计的校准

特殊的要求

•

•

例如

•

•

•

•

•

相机引导装配

Pictor Robot Eye

•Pictor Robot Eye

Vision & Control,

Suhl

部件检测刀具的检测

焊球面积，重心检测焊球面积，重心检测

原始图片灰度变换二值化处理去噪

Karlsruhe

零件分类•AIT Göhner GmbH, Stuttgart

添加高度的控制

相机引导的搬运

大马哈鱼重量的测量•IBN Ingenieurbüro Neumann GmbH, Mühlheim

木板的测量

•••••

Nintendo Wii Nintendo Wii

•用红外摄像头跟踪红外LED条，计算手

柄相对位姿

红外摄像头

红外LED

Microsoft Natal

•比Wii更进一步，不再需要手柄，直接做人体跟踪

点此播放视频

人脸识别•检测笑脸指数

肖像绘制

•头发、眉毛、眼睛、鼻子、嘴巴识别与

定位

车辆检测

1.4

1.4 机器视觉的研究内容

1.5

1.5 研究面临的困难

1.6

1.6 与其他领域的关系计算机图形学

人工智能•机器视觉技术是计算机学科的一个重要分支，它综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。

•自起步发展至今，已经有

范围随着工业自动化的发展逐渐完善和推广，其中特别是目前的数字图像传感器、

FPGA 、

快速发展，大大地推动了机器视觉的发展。

•机器视觉就是利用机器代替人眼来作各种测量和判断。在生产线上，人来做此类测量和判断会因疲劳、个人之间的差异等产生误差和错误，但是机器却会不知疲倦地、稳定地进行下去。

•机器视觉系统包括了照明系统、镜头、摄像系统和图像处理系统。对于每一个应用，我们都需要考虑系统的运行速度和图像的处理速度、使用彩色还是黑白摄像机、检测目标的尺寸还是检测目标有无缺陷、视场需要多大、分辨率需要多高、对比度需要多大等。

•从功能上来看，典型的机器视觉系统可以分为：图像采集部分、图像处理部分和运动控制部分。

•工件定位检测器探测到物体已经运动至接近摄像系统的视野中心，向图像采集部分发送触发脉冲。

•图像采集部分按照事先设定的程序和延时，分别向摄像机和照明系统发出启动脉冲。

•摄像机停止目前的扫描，重新开始新的一帧扫描，或者摄像机在启动脉冲来到之前处于等待状态，启动脉冲到来后启动一帧扫描。

•摄像机开始新的一帧扫描之前打开曝光机构，曝光时间可以事先设定。•另一个启动脉冲打开灯光照明，灯光的开启时间应该与摄像机的曝光时间匹配。

•摄像机曝光后，正式开始一帧图像的扫描和输出。

摄像机曝光后

•图像采集部分接收模拟视频信号通过

收摄像机数字化后的数字视频数据。

•图像采集部分将数字图像存放在处理器或计算机的内存中。

•处理器对图像进行处理、分析、识别，获得测量结果或逻辑控制值。•处理结果控制流水线的动作、进行定位、纠正运动的误差等。

•从上述的工作流程可以看出，机器视觉是一种比较复杂的系统。因为大多数系统监控对象都是运动物体，系统与运动物体的匹配和协调动作尤为重要，所以给系统各部分的动作时间和处理速度带来了严格的要求。

在某些应用领域，例如机器人、飞行物体导制等，对整个系统或者系统的一部分的重量、体积和功耗都会有严格的要求。机器视觉系统的优点有：•

•

•