基于计算机视觉的宝钢热轧钢卷端面质量检测技术

基于计算机视觉的宝钢热轧钢卷端面质量检测技术
中国科学院微电子研究所
中国物联网研究发展中心
江苏中科贯微自动化科技有限公司
宝钢集团有限公司热轧厂
功能概述与应用领域
利用工业相机对被检测的钢卷两侧端面进行图像采集，将采集的图像传输至图像处理卡中进行算法处理，将处理后的结果同步到控制端，由控制端控制相应的机械装置将合格品及不合格品分别输送到不同的地方，由此实现钢卷端面质量检测的自动化控制。

应用领域包括：直径1.0—1.6米的钢卷端面的质量检测。

总体设计方案及关键模块
基于计算机视觉的钢卷端面质量检测系统，是典型的光机电一体化系统，涉及机械设计与制造、计算机视觉、精密测量、自动控制等多学科交叉。

整个系统在包括如下四个部分：
（1）机械与电气系统：包括相机移动系统、动力输送系统及分类系统等;
（2）图像采集与智能处理系统：包括高分辨率视觉图像采集系统、基于高速多核DSP的图像处理处理系统。

由于钢卷直径较大，我们分别采用两台相机采集每侧端面的图像；
（3）上位机管理系统：包括参数配置、系统标定、状态显示以及数据库管理等功能。

解决的关键核心技术
基于多核DSP TMS320C6678的图像采集与处理硬件系统
视觉系统由德国BASLER ACE系列高速高分辨率CCD相机、中国物联网中心/中国科学院微电子研究所信息识别与系统控制研究中心研制的多核DSP TMS320C6678处理板卡FMC6678组成，用于对视觉图像进行采集与实时处理。

相机通过千兆网接口（Gige）将采集的图像数据传输至多核DSP处理板卡，
处理板卡对图像数据进行处理分析，处理分析结果通过工业以太网传输至分选模块。

FMC6678板卡上的DSP芯片采用的是美国德州仪器（Texas Instruments，简称TI）公司的TMS320C6678多核定点/浮点处理器，该处理器采用KeyStone架构，由8个C66X的DSP核组成，每个核工作频率高达1.25 GHz，具有32 KB的L1P，32KB的L1D和512 KB的L2 Cache。

片内集成了一个4 MB L2或L3的共享SRAM，供核与核之间数据交互使用。

C6678还提供一个64bit的DDR3控制器EMIF接口，可以外接DDR3-1600，支持ECC 校验，其性能、功耗和体积适合用于高分辨率高速图像的实时处理，板卡的主要技术特性为：
·512 MB DDR3-1333存储器。

·64MB EMIF NAND Flash存储器。

·16MB SPI NOR FLASH存储器。

·128KB I2C EEPROM for booting。

·2个千兆网络接口，每路带宽≥60MB/s。

·一路RS485接口，可配置成RS232接口。

·4位用户拨码开关。

·6个LED指示灯。

·3个复位按键。

·3输入、3输出带光耦隔离的IO口。

·HyperLink - 50Gbaud Operation，全双工。

·调试接口：60pin EMU和20pin JTAG，支持XDS560v2、XDS560、
XDS510等仿真器。

·LPC-FMC扩展接口。

基于计算机视觉的钢卷端面质量检测分析技术
在工业现场环境中，视觉检测系统釆集获取的图像会参杂大量的噪声,影响图像质量,破坏图像的真实性,对后续处理带来很大影响。

所以首先我们分析图像中噪声的来源，以有效去除图片中的噪声，然后将同一相机采集的两幅图像拼接为一幅含有完整的钢卷端面的图像，再进行钢卷端面的各种缺陷检测、度量。

视觉检测流程如下图所示：
(1)图像去噪
经分析，在钢卷生产线上噪声源主要来源于外界环境(机械振动、光照条件、电磁干扰、高温大气扰动等)、CCD内部(电噪声、热噪声)、图像线缆传输过程。

噪声类型复杂。

由于钢卷端面图像是一种含有较多细节信息的纹理图像,如果不对噪声信息进行滤除处理,在图像拼接处理过程中将严重影响图像拼接特征点的寻找，可能导致部分特征点误匹配，从而造成图像误拼接。

此外，噪声的存在也不利于钢卷端面表面缺陷的识别、定位,势必造成缺陷误判或漏判,因此,需寻找一种既能有效去除混合噪声又能保留钢卷端面表面纹理细节信息的有效去噪方法，并且去噪后的图像清晰，去噪过程处理时间要短、效率高。

为达到上述目的，本系统利用中值滤波和小波去噪去除混合噪声。

(2)图像拼接
钢卷端面图像经过去噪之后，需要将同一相机拍摄的两张图像拼接起来，得到含有完整的钢卷端面的图像。

图像拼接的质量直接影响后续检测的准确度。

因此，对于钢卷端面图像的拼接需达到如下要求：
·无缝拼接,拼接的图像精度需要达到亚像素级。

影响图像拼接算法精度的因素有很多,必须重点考虑加以分别对待,如纹理图像的特性、图像的变形模型、图像的采集条件、图像配准的方法、随机因素等都会影响到最终的图像拼接质量和效果；
钢卷端面序列图像能够实现无缝自动拼接,即要求自动确定相邻图像重叠区域、配准位置、图像融合等功能；
·计算的复杂度低。

在工业现场作业中,实时性要求高,作为图像拼接算法,只有计算的复杂度低,计算量较少才能降低拼接的时间消耗,达到实时高效的目的。

在保证图像拼接质量和其它方面的要求前提下,必须选择合适的算法和简化方法以大大降低计算的复杂度；
·算法的鲁棒性强。

该算法必须适应于在输入的图像数据包含了噪声的情况
下也能得到正确的输出结果。

因为图像去噪算法不可能完全的消除噪声。

判断图像拼接算法的鲁棒性好坏,可从重叠区域确定算法、图像配准定位算法和图像融合算法三方面进行考核。

由于钢卷端面具有规则的纹理，并且纹理信息不易受外界光照条件的影响而产生剧烈的变化,因此纹理信息相比灰度信息具有抗灰度和几何畸变能力强的特点,利用纹理信息作为特征应用于图像拼接中可获得更加可靠的稳定性。

此外，由于相机相对于钢卷运输方向固定，拼接算法不需要考虑图像旋转、尺度问题，且事先可知图像中大致的拼接位置。

因此，本系统采用了基于区域匹配的图像拼接算法，然后将两幅图像的匹配区域线性叠加在一起实现图像融合。

(3)扁卷检测和内径长度测量
扁卷体现在拼接后的图像上，即是钢卷内径成椭圆状。

所以检测钢卷扁卷，可通过检测钢卷端面内轮廓是否为圆形来判定。

而钢卷端面的内径长度也可以通过内轮廓线来给出。

为实现这一功能，首先需要提取钢卷端面的内轮廓曲线。

由于钢卷端面为具有规律的纹理，所以我们利用这个信息将图像分割为钢卷端面区域和背景区域。

这里面的技术涉及图像分割、连通区域分析、轮廓线精确定位等技术。

(4)表面缺陷检测
正常钢卷端面纹理灰度分布规律，具有良好的频率特性和方向特性。

而在缺陷部位，如下图所示：
边裂边损毛刺
松卷折叠锯齿裂
由上图可知，钢卷端面的频率规律被破坏。

比如，相对于正常区域的纹理频率，有“边裂”、“毛刺”、“锯齿列”的区域的纹理频率增大；有“边损”、“松卷”的区域的纹理频率降低；有“折叠”的区域频率信息虽更为复杂，但是频率信息与正常区域也有很大不同。

根据这些特性，我们通过建立正常和不正常区域的样本库，通过机器学习算法训练分类器，来检测缺陷区域。

达到的技术性能指标
本系统是我国第一台实现钢卷端面质量检测的系统，突破了多项关键性技术，形成了稳定可靠的产品。

具体来说，本产品具有如下特点和优势：功能齐全：具有数据库管理功能，用户可以通过自定义查询方式对历史数据进行查询、统计和打印；具有历史数据分析功能，提供一段时期内钢卷的合格率、
各种缺陷类型的统计数据等，以提醒用户是否存在生产工艺上的异常；
超高的识别正确率：精准高效的识别算法，识别准确率接近95%。

嵌入式处理系统：核心处理模块全部采用嵌入式DSP 处理器，脱离使用windows操作系统，避免产权纠纷，并提高了系统可靠性。

维护升级便捷：采用分布式、模块化设计，方便故障排查与修复，同时也便于系统软硬件的功能升级。

人机交互友善：上位机界面操作简单，通俗易懂，短期培训即可上岗。

项目实施效果与应用情况
钢卷生产线处于高温辐射环境下，质检人员无法近距离观察。

而且肉眼观察存在一定主观性，并且容易产生视觉疲惫，很难实现长时间的在线精确检测钢卷端面质量。

通过本系统的实施，可大大提高工作效率，减少差错。

由于钢卷的质量直接影响下游，若不及时实现钢卷端面在线质量检测，对下游的轧机设备及产品质量都会有很坏的影响，造成巨大的损失。

本系统的实施可避免对轧机设备的损坏，保证下游产品的质量。