机器视觉技术及其产业应用

客观、无疲劳、环境限制等。
二、视觉系统的必要性
经济危机对美国及全球生产自动化的极大冲击

2009年的经济危机极大地冲击了美国至全球的各个领域 ,特别是工业生产业. 美国汽车制造业的” Big Three” 频临破产, 进一步 自动化是唯一出路 美国总统Obama认为”工业生产流失海外” 是使美国经 济不堪一击的根本. 美国政府未来十年强烈推行 “Made in US” 计划. 实现这一目标,高度自动化 是降低成本,增加竞争力的唯一及最佳办法. 为此, 美国联邦政府出台多个政策刺激鼓励企业技术 发明创新,提高生产自动化.



二、视觉系统的必要性
视觉技术的发展进化使其在工业自动化上的 需求更加迫切

机器视觉的成本极大的降低, 增加了其普及性.

视觉技术的发展, 更多的可选性 (数字GigE, 多相 机系统)
视觉系统变得更加简单易用, 界面更加逻辑化,人性 化, １５分钟便可开发一技术方案。提高了效率, 降低了维护成本.
一、机器视觉系统简介
计算机视觉的困难与问题

计算机视觉是一个逆问题
输入：二维灰度图像 输出：三维物体的几何特征、位置

视觉信息多种多样，视觉知识的表达很困难 图像数据量巨大，信息存储与检索困难 对生理学、神经生物学等的研究有待深入

一、机器视觉系统简介
机器视觉的应用领域
自主车导航 目标跟踪 工业应用 产品检验、柔性装配、海洋石油开采、海底 勘察 医疗和军事应用：医疗外科手术 ……



二、视觉系统的必要性
生产自动化及视觉在中国的发展必要性



中国的劳动力不再廉价 • 新劳工法出台, 工资成本大幅提高 • 工人福利亟需改观 (富士康１６跳, 本田罢工 „..) • 很多生产企业迁移到人力资源更低廉的国家和区 域 食品,医药质量事件接二连三,令人深思 中国产品质量“Ｍａｄｅ in China”在世界声誉亟 需提高 为保持竞争力,提高产品质量, 各个领域的视觉检测 及高度自动化势在必行!
一个很大的缺点，那就是远心镜头的口径至少要与需 要观察的物体尺寸相等或更大。这也是为什么远心镜 头非常贵的原因之一。
三、机器视觉系统构成---镜头选择四原则
原则一:相机芯片尺寸
镜头尺寸≧相机芯片尺寸
三、机器视觉系统构成---镜头选择四原则
原则二:相机接口类型
相机接口的种类
三、机器视觉系统构成---镜头选择四原则
三、机器视觉系统构成---CCD感光芯片
彩色CCD的组成结构分图

CCD 的三层结构：上：增光镜片、中：色块网格 下：感应线路

由微型镜头、马赛克分色网格，及垫于最底层的 电子线路矩阵所组成
三、机器视觉系统构成---CCD感光芯片
电荷的生成

电极的吸收和硅-二氧 化硅界面上的多次反 射而引起某些波长的 光产生干涉，出现明 暗条纹
三、机器视觉系统构成---相机
选型时主要考虑因素：
分辨率
速度
灵敏度
体积/重量
接口 …
三、机器视觉系统构成---镜头
接口形式：C-Mount/CS-Mount/FMount/Others
镜头类型：标准、远心、广角、近摄、远摄等
选择依据：相机接口/物距/拍摄范围/CCD尺寸/畸
变的允许范围/放大率/焦距/光圈等
三、机器视觉系统构成
机器视觉系统基本构成
三、机器视觉系统构成
本节主要内容
1. 感光芯片---CCD
2. 相机
3. 镜头
4. 光源
5. 采集卡 6. 软件
三、机器视觉系统构成
相机及感光芯片
三、机器视觉系统构成--- CCD感光芯片
CCD简介：


CCD，英文全称：Charge-coupled Device，中文全称：电荷耦合元件。可 以称为CCD图像传感器。 CCD是一种半导体器件，能够把光学影 像转化为数字信号。 CCD上植入的微小 光敏物质称作像素（Pixel）。一块CCD 上包含的像素数越多，其提供的画面分 辨率也就越高。CCD的作用就像胶片一 样，但它是把图像像素转换成数字信号。 CCD上有许多排列整齐的电容(MIS 结 构)，能感应光线，并将影像转变成数字 信号。经由外部电路的控制，每个小电 容能将其所带的电荷转给它相邻的电容。
补色原理

补色CCD由多了一个 Y 黄色滤色器，在色彩 的分辨上比较仔细，但却牺牲了部分影像分 辨率，而在ISO值上，补色CCD可以容忍较高 的感度，一般都可设定在 800以上。
三、机器视觉系统构成---CCD感光芯片
CCD系统信噪比
信噪比（ Signal to Noise Ratio ）
-衡量信号及噪音的关系


图像处理，人是最终的解释者 计算机视觉，计算机是图像的 解释者
图像处理系统 处理过的图像
机器视觉、图 像处理与模式 识别
图像处理
图像

模式识别(Pattern Recognition)

计算机 视觉 人工 智能
模式 识别
根据从图像中抽取的统计特性 或结构信息，把图像分成设定 的类别
模式识别系统 分类结果

二、视觉系统的必要性
自动化技术与机器视觉

自动化技术的发展史是机器逐步取代人工的历史；

传感与控制是自动化的主要分支；
人类大脑、四肢、感官和神经分别可以对应CPU、运 动控制、传感器和网络。

人类视觉是最后几个被取代的器官之一 在很多情况下人类视觉越发不能满足要求

高速、高精、超视、微距，


高度集成化 (I/O, 各种工业通讯协议已镶嵌其中)
二、视觉系统的必要性
工业自动化需求对视觉技术的推动
高度集成化


移植性强, 通讯集成化, 兼容性高 机器视觉方案必须提供与辅助设备的无缝式交互通讯 PLCs 运动控制器 机器人 显示设备 I/O输入输出 (触发和外部直接控制 ) 不同程度的集成可能要求更多的I/O 扩展 在一些工业应用里, 嵌入的数据记录和历史追溯功能极为 必要, 可协助汇总所有数据到数据中心库里.
彩色CCD混色（RGB色）原理

目前CCD有两种分色方式：一是 RGB 原色分色法， 另一个则是 CMYG补色分色法，这两种方法各有利弊， 过去原色和补色CCD的产量比例约在 2：1左右， 2003年后由于影像处理引擎的技术和效率进步，目 前超过 80％都是原色 CCD 的天下。
三、机器视觉系统构成

曝光过度也会使景物较为明亮区域的CCD 带有过量电子。一般来说 CCD 会忠实的反 应其结果，就是曝光过度的白光！。不过， 在极端情况下，CCD的电子会渗进邻近的 电极当中，导致数字影像拖出长白光迹或 变色光影。
三、机器视觉系统构成---CCD感光芯片
CCD-控温方式
Cool CCD-消除热或暗电流产生的噪音 -噪音底，图像质量高 -灵敏度高，感光效果佳 -几何失真度小 -解析度稳定，补偿效果佳 -耐震动，不易受点磁场干扰
原则三:镜头工作距离
系统设计与镜头工作距离的选择
1. 先选择镜头，后设计系统 2. 尽可能选择成熟已有的产品 3. 镜头的工作距离包含了一个区间的概念
三、机器视觉系统构成---镜头选择四原则
原则四:镜头视场角
三、机器视觉系统构成---镜头
镜头选择方法： 像元分辨率 是系统设计的一项关键指标 确定放大率 具体应用的约束条件 测量，检测（颜色）→确定畸变率、色差 物距与安装尺寸→确定焦距与变焦范围 光强及其一致性→确定光圈及调整范围 相机→确定接口方式与靶面 检测目标和要求的一致性→确定是否需要变焦、变倍、 变光圈 辅助手段 接圈 转接环 定做
三、机器视觉系统构成---CCD感光芯片
组成结构
CCD和传统底片相比，CCD 更接近于人眼 对视觉的工作方式。只不过，人眼的视网 膜是由负责光强度感应的杆细胞和色彩感 应的锥细胞，分工合作组成视觉感应。 CCD经过长达35年的发展，大致的形状和 运作方式都已经定型。CCD 的组成主要是 由一个类似马赛克的网格、聚光镜片以及 垫于最底下的电子线路矩阵所组成。
d)物体边缘测量误差大
有一种镜头可以很大程度上降低以上误差， 甚至消除这些误差，这种镜头就是远心镜头。
三、机器视觉系统构成---远心镜头
远心镜头
三、机器视觉系统构成---远心镜头
远心镜头
三、机器视觉系统构成---远心镜头
远心镜头
远心镜头的优点： ������ 没有视差畸变 ������ 是尺寸测量的理想镜头 ������ 可以在工作距离变化的条件下精密测量
-表征检测的限度（灵敏度）
噪音常常表现在电子元件 传输或接收信号的时候
三、机器视觉系统构成---CCD感光芯片
CCD ISO 感光能力—电极暗电流定义

暗电流是指在没有入射光的情况下CCD所 仍具有之电荷量，理想的CCD其暗电流应 该是零，但部分游离电荷会残存在电极之 间，导致没有光线下CCD还是『感应』到 些许的『电荷』存在，形成了『看到了』 的杂像！

Why Vision？

视觉是人类最重要的感觉，人类认识外界信息 80%来自视觉

机器视觉的概念

利用各种成像系统代替人类的视觉器官作为输入 手段，由计算机来代替大脑完成处理和解释 使计算机像人那样，通过视觉观察和理解世界， 具有自主适应环境的能力

机器视觉的最终目标

一、机器视觉系统简介
机器视觉的研究目标
三、机器视觉系统构成---CCD感光芯片
CCD ISO 感光能力—电极暗电流影响因素一

S/N的强度还会随温度增高而增加（每增加 10℃，S/N可能增加 1倍）。因此，在连 续施加电源过久的情况下，机体温度过热 会导致画面的噪声增加。
三、机器视觉系统构成---CCD感光芯片
CCD ISO 感光能力—电极暗电流影响因素二
二、视觉系统的必要性
视觉检测对工业自动化的重要性与日俱增

wk.baidu.com
机器视觉检测在工业自动化生产上,高速,重复性强, 检测精度高的应用上是人工检测无法替代的。
机器视觉检测降低人工费用, 提高生产成品率, 减少 昂贵的生产安装过程中产生的错误及次品。 目前从一般的饮料到复杂的电子产品, 几乎每一领 域的产品从生产到包装,都需要不同程度的机器视觉 检测。 先进的视觉检测很快成为工业领域的必需品, 以确 保产品的性能及质量可靠,保持成本竞争力.
附：普通CCD暴光超过10秒，发热；-20度摄像头可拍 摄5分钟图像；-40度摄像头拍摄时间可超过1小时
三、机器视觉系统构成---相机
类型
三、机器视觉系统构成---相机
三、机器视觉系统构成---相机
三、机器视觉系统构成---相机
三、机器视觉系统构成---相机
三、机器视觉系统构成---相机
自动化前沿之二
机器视觉技术及其产业应用
姜 伟
智 能 系 统 与 控 制 研 究 所
主要内容
机器视觉系统简介 机器视觉系统的必要性
系统构成 硬件、软件、环境等
机器视觉技术 标定、特征提取、图像复原、图像分割等 应用案例
娃哈哈瓶装水检测系统 视觉系统设计要点
一、机器视觉系统简介
计算机视觉的概念
模式
一、机器视觉系统简介
机器视觉与相关学科的关系

计算机图形学（Computer Graphics）


计算机图形学是一种使用数学算法将二维或三维图形转 化为计算机显示器的栅格形式的科学 计算机图形学：从三维描述到二维图像显示 计算机视觉：从二维图像数据到三维描述
三维模型 计算机图形学 二维显示
三、机器视觉系统构成---CCD感光芯片
混色（RGB色）原理
CCD的第二层是『分色滤色片』，这个部份的作用主要是帮助 CCD 具 备色彩辨识的能力。回到源头，CCD 本身仅是光与电感应器，透过分色 滤片，CCD 可以分开感应不同光线的『成分』，从而在最后影响处理器 还原回原始色彩。
三、机器视觉系统构成---CCD感光芯片

机器视觉当前的研究目标

使机器具有通过二维图像认知三维环境的能力：


感知三维环境中物体的几何信息，包括形状、位置、 姿态、运动等 对它们进行描述、存储、识别与理解
视觉信息 （物体的形状、位置、 姿态、运动等）
图像
视觉系统
一、机器视觉系统简介
机器视觉与相关学科的关系

图像处理(Image Processing)
三、机器视觉系统构成---镜头
三、机器视觉系统构成---镜头
三、机器视觉系统构成---镜头
镜头相关参数：
•放大率
•焦距 •对焦范围 •失真 •视场 •景深 •分辨率
三、机器视觉系统构成---远心镜头
远心镜头
在用于测量的机器视觉中，有一些因素影响
测量精度或重复性。 a) 物体位置变化引起比例尺改变； b) 畸变 c) 投影误差