一种疵点实时检测系统的数据通信技术

合集下载

疵点检测系统

中值滤波法是由 Tukey 发明的一种非线性图像处理方法，它的基本思想是利用一个奇数点的窗口按照一定的方向在图像上各点处移动，用窗口内各像素点灰度值的中间值代替窗口中心点处图像的灰度值。中值滤波的基本流程如左图所示。
从中值滤波法的过程中可以看出，每次移动窗口时仅仅去掉了最左边一列的像素值，同时增加了最右边一列的像素值，其他两列的像素值没有发生改变。因此，在求当前窗口的中值时，可以只考虑移入移出的像素值对当前窗口中值的影响即可，避免了每次都需要比较没有变动的数据值，减少了算法所需时间，加快了计算的速度。中值滤波快速算法的基本过程如下：
拉普拉丝算子图像分割
拉普拉丝算子图像分割
五、图像特征提取与判决图像分割后的图像首先和模板图像进行对比，如果有差异则将图像存储后进行疵点判断
与分析，否则直接删除图像。基于纺织品图像分割后的结果，根据纺织品疵点主要目标（破洞、结头、双纬、粗纱）的二值图像和边缘图像，提取出用来描述疵点的特征参数。粗纱这种疵点需要检测织线之间的空隙，在灯光的照射下该类疵点形成了较大的空隙，通过阈值分割的方法可以方便地将空隙提取出来。二值化后的图像在粗纱疵点间的空隙比正常织线间的空隙明显大很多，采用大小合适的模板，从图像的每个像素间滑过，检测该模板区域内的白色像素数量，超过给定数值的取悦可以判定为粗纱。破洞是经纬纱在同一处被破外所形成的疵点，此类疵点和粗纱有一点类似，针对灰度化的图像进行阈值分割便可以检测出破洞来，双纬即两根完整或不完整纬纱并合在一起，织物的交叉规律形成的疵点。对图像首先进行低通滤波平滑图像和均值滤波去除噪声，然后进行阈值分割提取疵点。对疵点进行频域分析可知在中部区域有一条倾斜的响应带，可以判断疵点类型为双纬。织物疵点类型判断后将会将相关信息进行存储，方便产品质量分析。

纬编针织物疵点的实时检测

（ｏｌｅｏｅｔｅ，Ｄｏｇｕｉｅｓｙｈｎｈｉ２２ＣｌｇｆＴｘｉｓｅｌｎｈａＵｎｖｒｉ，Ｓａｇａ００，Ｃｉａ）ｔ１６ｈｎ
Ａｂｓｒｃｔａｔ
Ｉｏｄｒｏｅｅｔｈｅｎｒｅｔｄｔｃｔｗｅｔｎｉｅｆｂｉｄｆｃｓｕｔｍａｉａｌｆｋｔｄａｒｃｅｅｔａｏｔｃｌｔｙ，ａｅｌｔｍｅｙｔｍａｄｒａ —ｉｓｓｅｎ
ａｇｒｔｍｏｈｅｅｔｏｒｅｅｏｅｎｗｈｃｈａｄｒａｔｉｃｕｅｍａｅａｑｉｉｏｌｏｉｈｆｒｔｅｄｔｃｉｎｗｅｅｄｖｌｐｄｉｉｈｔｅｈｒｗａｅｐｒｎｌｄｄｉｇｃｕｓｔｎ，ｓｇａｉｉｎｌｐｏｅｓｎｎｌｕｎｔｏｅｉｅ，ｗｈｌｒｏｒｍｉｇｗａｒｏｍｅｙＨａｃｎｓｆｗａｅ．ＴｈｉｄｆｒｃｓｉｇａｄｉｌｍｉａｉｎｄｖｃｉｅｐｏｇａｎｓｐｅｆｒｄｂｌｏｏｔｒｅｋｎｓｏｗｅｎｔｅａｒｃｄｆｅｓｗｅｅｄｆｎｄａｒｅｕａｈｐｎｉｅｒｓａｃｏｄｎｏｔｅｃａａｔｒｓｉｓｔｆｋｉｔｄｆｂｉｅｅｔｒｅｅｓｉｒｇｌｒｓａｅａｄｌｎａｈｐｅａｃｒｉｇｔｈｈｒｃｅｉｔｉｃｏｈｅｄｆｃｓＴｈｅｌｌｒｎｕａｅｗｏｋｗａｐｌｅｏｅｅｔｎｈｅｅｔｔｂｉｕｒｙｌｖｌｆｔｅｅｔ．ｅｃｌｕａｅｒｌｎｔｒｓａｐｉｄｆｒｄｔｃｉｇｔｅｄｆｃｓｗｉｈｏｖｏｓｇａｅｅｄｓｒｂｔｏｎｄｒｅｕａｓａｅ．ＴｌｄｔｃｉｎａｅｏＲａｏｔａｆｒｉｔｉｕｉｎａｉｒｇｌｒｈｐｈｅｉｎｅｅｅｔｏｂｓｄｎｄｎｒｎｓｏｍｗａｆｒｔｒｐｓｄｏｓｉｓｐｏｏｅｔ

无纺布疵点实时检测技术与系统设计

无纺布疵点实时检测技术与系统设计邓泽林 1刘行 2董云龙 1袁烨1, 3摘要无纺布生产过程中产生的疵点会严重影响产品质量并限制生产效率. 提高疵点检测的自动化程度对于无纺布的生产效率和质量管控至关重要. 传统疵点检测方法难以应对纹理、疵点类型以及环境变化等问题, 限制了其应用范围. 近年来基于卷积神经网络的方法在疵点检测领域得到了广泛应用, 具有泛化性强、准确度高的特点. 但是在无纺布生产过程中,布匹宽度大、速度快的特点会产生大量图像数据, 基于卷积神经网络的方法难以实现实时检测. 针对上述难题, 本文提出了一种基于最大稳定极值区域分析与卷积神经网络协同的疵点实时检测方法, 并设计了分布式计算处理架构应对数据流过大的问题. 在实际生产部署应用中, 本文所设计的系统与算法无需使用专用计算硬件(GPU 、FPGA 等), 通过8台工控机与16路工业摄像头对复卷机上布宽2.8 m 、速度30 m/min 的无纺布进行分布式实时在线检测, 大幅度提高无纺布生产中疵点检测的自动化程度与效率. 本文所提出的系统能够实现对0.3 mm 以上疵点召回率100%, 对0.1 mm 丝状疵点召回率98.8%.关键词疵点检测, 卷积神经网络, 实时处理, 分布式架构引用格式邓泽林, 刘行, 董云龙, 袁烨. 无纺布疵点实时检测技术与系统设计. 自动化学报, 2021, 47(3): 583−593DOI 10.16383/j.aas.c200446Non-woven Fabric Real-time Defects Detection Method and Framework DesignDENG Ze-Lin 1 LIU Xing 2 DONG Yun-Long 1 YUAN Ye 1, 3Abstract The defects generated during the production process of non-woven fabric will seriously affect the quality and limit the efficiency. How to improve the automatic degree of non-woven fabric defects detection plays a signific-ant role. The traditional defects detection methods cannot deal with the changing of texture, defects type and envir-onments, which limits the application scope. In recent years, the methods based on convolutional neural networks (CNNs) have been widely used in the field of defects detection, which are shown to have the characteristics of strong generalization ability and high accuracy. However, in the non-woven fabric production process, the large width and high speed of cloth will introduce huge amount of image data, which makes it difficult for CNN based methods to achieve real-time detection. In this paper, a real-time defects detection method based on stable ex-tremal region analysis and CNN is proposed, and a distributed computing architecture is designed to handle the problem of large image data stream. In the actual deployment application, the system designed in this paper does not need specific computing hardware (GPU, FPGA, etc.). 8 industrial computers and 16 industrial cameras are coupled together in a distribution scheme to finish real-time defects detection of non-woven fabric rewinder with cloth width 2.8 m and speed 30 m/min, which greatly improves the automation and production efficiency. The sys-tem proposed in this paper can achieve 100% recall rate of punctiform defects above 0.3 mm and 98.8% recall rate of 0.1 mm filiform defects.Key words Defects detection, convolutional neural network (CNN), real-time processing, distributed architecture Citation Deng Ze-Lin, Liu Xing, Dong Yun-Long, Yuan Ye. Non-woven fabric real-time defects detection method and framework design. Acta Automatica Sinica , 2021, 47(3): 583−593无纺布具有强度高、透气性好、质地柔软等优点, 是生产口罩、干湿擦布等医用纺织品的重要原材料[1]. 在无纺布实际生产制造过程中, 质量检测至关重要. 现阶段国内主流的无纺布质量检测环节大量依赖人工来完成, 用工成本高且自动化程度低下,导致效率难以提升. 无纺布的产量大, 实际铺网生产速度可高达几十米/min. 而无纺布的瑕疵尺度通常小于0.5 mm (如图1所示), 导致人工检测的难度大、检出率低. 根据李比希最低定律[2], 如果质量检测员的检测效率远低于生产效率, 则上游的无纺收稿日期 2020-06-22 录用日期 2020-08-14Manuscript received June 22, 2020; accepted August 14, 2020国家自然科学基金(91748112)资助Supported by National Natural Science Foundation of China (91748112)本文责任编委杨涛Recommended by Associate Editor YANG Tao1. 华中科技大学人工智能与自动化学院武汉 4300742. 华东理工大学信息科学与工程学院上海 2002373. 华中科技大学数字制造装备与技术国家重点实验室武汉 4300741. School of Artificial Intelligence and Automation, Huazhong University of Science and Technology, Wuhan 4300742. School of Information Science and Engineering, East China University of Science and Technology, Shanghai 2002373. State Key Labor-atory of Digital Manufacturing Equipment and Technology,Huazhong University of Science and Technology, Wuhan 430074第 47 卷第 3 期自动化学报Vol. 47, No. 32021 年 3 月ACTA AUTOMATICA SINICAMarch, 2021布生产设备难以发挥全部性能. 人工检测方式不仅制约了无纺布产能, 而且在长时间检测中质检员也易发生视觉疲劳, 给产品质量上引入了严重隐患.因此开展对无纺布瑕疵自动检测的研究, 对提高无纺布的生产效率和质量管控具有深远意义.目前对布匹缺陷检测方法主要可分为4类[3]:基于频谱、基于统计、基于模型和基于学习等方法.基于频谱主要是通过傅里叶变换[4]、小波变换[5−6]和Gabor [7−8]变换等. 通过傅里叶变换的方法无法在空间上定位瑕疵位置. 而小波变换和Gabor 变换的计算开销大, 难以用于生产过程中的实时检测. 基于统计学是通过直方图统计[9−10]、灰度共生矩阵和形态学方法对疵点进行特征描述, 这类方法[11]计算开销小, 但是对光照等噪声敏感, 其错检、漏检率较高.基于模型的方法是通过自回归模型和马尔科夫随机场模型[12], 判断织物的纹理是否符合此模型. 但是基于模型的方法实用性不强, 近几年对其研究较少.近年来随着深度学习技术的发展, 基于深度学习的方法在布匹疵点[13−14]以及其他各类缺陷[15−16]的检测中都取得了很好的效果. 同时也有大量的公开数据集[17−19], 为织物疵点检测技术的发展提供了数据上的支持. 基于学习的检测方法可分为候选区域的两阶段式和端到端的单阶段式, 其中候选区域的两阶段式检测方法有着很高的召回率, 广泛应用于包括布匹瑕疵在内的各类缺陷检测任务中. 基于区域卷积神经网络 (Region convolutional neural net-work, R-CNN)[20]的布匹瑕疵检测方法通过滑窗将高分辨的布匹图像裁剪成2 000余个48×48像素的图像块, 并将图像块作为输入, 以神经网络作为一个二元分类器判断输入的图像块是否存在瑕疵. 但是这种方法的计算开销大, 难以用于实时检测中.基于Fast R-CNN [21−22]的布匹瑕疵检测算法, 通过在高层的特征图中选取候选区域以提高效率. 但是无纺布的缺陷尺寸通常小于0.5 mm, 在经过卷积后的高层特征图中存在细节纹理信息丢失, 因此这种方法选取的候选区域容易遗漏缺陷区域.目前对于无纺布疵点检测的研究较少, 主要使用边缘检测与动态阈值相结合的经典机器视觉方法[23]. 这种方法有较高的检测效率, 但是精度和召回率都较低. 研究人员对于织物的疵点检测展开了大量研究, 基于深度神经网络的方法有效地提升了检测的召回率和精度, 但检测效率依然低下. 对于256×256像素的织物图像平均检测耗时达198 ms [24],无法满足无纺布的实时检测要求. 无纺布生产过程中, 布匹宽度大、传送速度快的特点会产生大量图像数据, 基于卷积神经网络的织物疵点检测方法难以满足无纺布检测的实时性. 因此, 目前已有的基于深度学习的织物检测方法无法直接应用于无纺布的实时检测中.综上所述, 基于传统机器视觉的检测方法计算开销大或难以适应噪声的干扰. 对于无纺布中尺寸微小的疵点, 目前基于神经网络的布匹检测方法难以平衡检测的召回率和效率. 本文提出了一种基于最大稳定极值区域分析和深度学习协同的无纺布瑕疵检测方法, 能够同时兼顾检测的精度与效率. 本文主要贡献如下:1) 提出了一种基于最大稳定极值区域和深度学习协同的无纺布瑕疵检测方法, 可用于无纺布生产过程的瑕疵实时检测.2) 通过最大稳定极值区域 (Maximally stable extremal regions, MSER)[25]算法提取候选区域的锚点中心. 在不降低分辨率和检测精度的情况下,有效地提高检测的效率.3) 设计了一种分布式无纺布疵点实时检测系统, 降低对计算能力与通信带宽的需求, 提高了系统运行的可靠性.1 瑕疵检测算法本文提出了一种基于最大稳定极值区域分析和深度学习协同的无纺布瑕疵检测方法, 并通过预检测和精确检测两级检测的方式保证精度与效率.图 1 无纺布生产过程中产生的瑕疵, 第1行为点状疵点,第2行为丝状瑕疵Fig. 1 Defects generated in the production process of non-woven fabrics. The dotted defects and filamentarydefects are shown in the first and second row584自动化学报47 卷1.1 候选区域生成本文使用的是两阶段的区域候选检测方案, 区域候选检测方案有着较高的召回率[26], 广泛用于各类缺陷检测中. 但是简单使用滑窗式的区域候选方法产生候选区域过多, 难以满足实时的检测要求.而在特征图中选取候选区域的方法, 会遗漏微小的无纺布疵点.τ如图1所示, 可以看到无纺布中的疵点通常与邻域的灰度值存在差异, 因此本文使用最大稳定极值区域(MSER)来选取候选区域. MSER 作为一种图像中斑点区域检测的方法, 常用于图像中文本区域检测的任务. 而无纺布通常为浅色, 疵点为深色,和文本与背景的关系相似. MSER 无需平滑处理即可快速地对多尺度目标进行检测, 提取无纺布中不同尺寸的疵点. MSER 的思路为: 通过一系列的阈值对灰度化的图像进行二值化操作, 并获取不同阈值条件下二值图像的联通区域. 分析各个联通区域的面积随阈值增长时的变化率, 如果联通区域能够在很宽的阈值范围内保持较小的面积变化率, 则为稳定区域. 其实施细节如算法1所示. MSER 可以有效地生成合格的疵点候选区域, 并且可以通过调整阈值以满足对不同等级缺陷的定制检测要求.算法 1. 最大稳定极值区域算法I g ,τ∈R +. 输入. 灰度图像阈值 P.输出. 候选点坐标 t max =max (I g )t min =min (I g ),I s =O,t =t min +1.步骤 1. 求解灰度图像的最大值与最小值最大稳定区域初始化为初始化阈值 t −1,t,t +1.t ∈{t min ,t min +1,t min +2,···,t max },I g B t −1=(I g <t −1)B t =(I g <t )B t +1=(I g <t +1) 步骤 2. 取阈值其中对灰度图像进行阈值操作得到二值图像 , , .B t −1,B t ,B t +1{Q i t −1,Q i t ,Q i t +1|i =1,2,···,M }.步骤 3. 对求联通域 Q i t −1,Q i t ,Q i t +1A i t −1,A i t ,A i t +1 步骤 4. 计算联通域的面积 .|A i t +1−A i t −1|/|A i t |≤τ,I s =I s ∪Q i t .步骤 5. 如果联通区域随阈值的变化率则此区域为稳定区域, 使 t <t max t 步骤 6. 如果 , 则自增1, 重复步骤2 ~ 5.I s ,P.步骤 7. 得到最大稳定区域对其求四邻域联通域,其联通域的质心坐标即为候选点坐标 MSER 可以产生有效且可控的候选点, 如图2所示. 通过MSER 算法提取了候选点后, 以候选点为中心提取48×48像素大小的矩形区域作为预检测模型和精确检测模型的输入.1.2 预检测模型当复卷机工作在高速模式时, 首先由预检测摄像头组获得图像数据, 经过MSER 算法提取候选区域, 预检测模型作为二元分类器判断候选区域中是否存在瑕疵. 为了防止池化操作丢失细节纹理信息而造成疵点的漏检, 模型中没有使用池化层来减少模型的参数, 以保证预检测过程的召回率.48×481×1,3×3,5×5预检测的模型结构如图3所示, 输入的像素的图像经过的卷积层得到3个特征图, 3种不同尺度的卷积核可以实现不同大小的感受野, 提高特征感知与整合能力. 将3个特征图拼接后作为稠密连接模块[27]的输入, 稠密连(a) 原图(b) τ = 20(c) τ = 30(d) τ = 40τ图 2 在不同阈值时MSER 算法产生的候选区域, 图中点代表候选区域的中心τ,Fig. 2 In the candidate regions generated by the MSER algorithm at different thresholds the dots represent the center position of the candidate region3 期邓泽林等: 无纺布疵点实时检测技术与系统设计585[0,1]接模块中的每一层的输入来自之前所有层的输出,能够充分保留细节信息, 提高网络的特征感知能力.稠密连接模块能够加强特征图中特征的传递, 如在稠密连接模块的最后一层仍然保留输入图像的高分辨率信息. 这种连接方式可防止在多层卷积计算的过程中, 丢失无纺布图像细微的疵点语义信息. 稠密连接模块的输出与全连接层相连, 预测结果最后通过softmax 函数将输出映射至 .48×48预检测模型的输入为经过M S E R 提取的像素大小的候选区域, 输出为此区域存在疵点的概率. 训练时使用二值交叉熵损失函数作为损失函数:x i ,y i f 1(·)其中, 表示训练数据的输入和标注, 表示预检测二元分类器.1.3 精确检测模型当预检测模型检测到当前无纺布存在缺陷时,主机控制机将复卷机的工作模式切换为低速. 在低速工作模式下, 精确检测摄像头组开始采集图像,并通过精确检测模型预测疵点的外接矩形框. 精确检测模型的结构示意图如图4所示.精确检测模型采用RetinaNet [28]目标检测模型相似的结构, 由特征金字塔部分和全连接部分组成.特征金字塔部分采用了特征金字塔结构[29], 特征金字塔由下采样和上采样两部分组成. 下采样通过一系列卷积和最大池化操作, 不断地提高特征图的语义信息维度并降低特征图分辨率. 上采样再通过卷积提高特征图的分辨率并降低语义信息维度. 连续的上采样和下采样操作, 生成了各个尺度的特征图.由于疵点属于微小的纹理特征, 为了防止在下采样和上采样恢复的过程中细节纹理信息的丢失, 通过侧枝结构将高分辨率的特征图与上采样的特征图进行合并. 合并后的特征图包含了更加丰富的语义信息, 并作为特征金字塔部分的输出. 特征金字塔部分输出的各个尺度的特征图与全连接层相连, 并在全连接层中进行多尺度语义特征信息融合, 精确定位疵点外接矩形.t x ,t y ,t w ,t h C B =[b x ,b y ,b w ,b h ]外接矩形预处理方式借鉴YOLOv3[30], 精确检测网络预测四个系数和矩形中包含瑕疵的置信度 , 四个系数与外接矩形之间的转换式如式(1)所示.p w ,p h (c x ,c y )t x ,t y σ(x )=11+e −xb x ,b y ,b w ,b h 其中, 为初始矩形的宽和高, 表示初始矩形的中心坐标. 为横纵坐标上的偏移量,并经过了sigmoid 函数进行非线性压缩. 分别表示预测的外接矩形的中心的横纵坐标和矩形的宽高.为了初始化矩形框能够包含相应的疵点, 初始化矩形通常包含真实的矩形框. 在初始化矩形与真实矩形为包含关系时, IoU (Intersection over uni-on)损失函数[31]的输出为零. 故精确检测模型使用CIoU (Complete-IoU)[32]作为损失函数, 如式(2)所示. 与IoU 损失函数相比, CIoU 还考虑了两个矩形之间的中心点距离、长宽比. 因此CIoU 损失函数输入1×1卷积3×3卷积48×485×5卷积全连接层全连接层Softmax展平特征图融合稠密连接模块图 3 本文采用的预检测模型结构图. 输入疵点图像经过三个不同尺度的卷积后得到三个特征图, 特征图拼接后作为稠密连接模块的输入. 稠密连接模块输出与全连接层和softmax 层相连. 其中虚线矩形框出部分为展开稠密连接模块的具体形式Fig. 3 The structure diagram of the pre-detection mod-el used in this paper. The input defect image is convolved at three different scales to obtain three feature maps, and the feature maps are concatenated as the input of the de-nse block. The output of the dense block is connected to the fully connected layer and the softmax layer. Among them. The dashed rectangle outlines the specific form ofthe dense blockt x , t y , t w , t h , C全连接输出输入t x ,t y ,t w ,t h C 图 4 本文采用的精确检测模型. 其中分别表示检测矩形框的横坐标、纵坐标、宽度与高度, 表示疵点检测置信度t x ,t y ,t w ,t h C Fig. 4 The precise detection model used in this paper. are the abscissa, ordinate, width and height of the detection rectangle, and is the confidence of de-fect detection586自动化学报47 卷在两个矩形框为包含关系时模型依然能够很好地收敛.其中,b,ˆb w,h,ˆw,ˆhB,ˆB B =(x,y,w,h ),ˆB =(ˆx ,ˆy ,ˆw,ˆh).ρ(·)c v a 其中, 表示预测的矩形和标注的矩形的中心,为预测矩形和标注矩形的宽高. 为预测的矩形区域和标注的矩形区域, 其中表示欧氏距离公式,是覆盖两个框的最小封闭框的对角线长度.是用于衡量长宽比的一致性的参数, 是一个正的权衡参数, 其具体定义为T,精确检测模型预测的外接矩形框之间存在着较大的重合, 还需通过非极大值抑制(Non-maxim-um suppression, NMS)算法进行后处理才可得到最终的预测结果, 如图5所示. 不断计算置信度缺陷最大的矩形与其余矩形的IoU, 如果IoU 值大于设定的阈值则认为是非极大值并去除. 非极大值抑制算法细节如算法2所示.(c) NMS 算法处理效果图(b) 网络预测效果图(a) 原图图 5 NMS 算法处理效果图Fig. 5 NMS algorithm processing effect diagram. (a) is the original image; (b) is the network prediction effect diagram, the network prediction rectangle is drawn with a red rectangle; and (c) is the effect diagram processed bythe NMS algorithm.算法 2. 非极大值抑制算法n B ={B i |i =0,1,···,n }C ={C i |i =0,1,···,n }IoU T ∈(0,1) 输入. 模型预测输出个外接矩形集 , 及其属于疵点的置信度集合 , 的阈值 .M . 输出. 极大外接矩形集合 M =∅.步骤 1. 极大外接矩形框集合 C C m , 步骤 2. 求解疵点置信度集合中的最大值及其B m .对应的外接矩形 B m M ←M ∪B m ,B m C m B ←B −B m ,C ←C −C m .步骤 3. 将存入极大外接矩形集合中并将和从集合中剔除 B i ∈M B m IoU,IoU i .步骤 4. 计算矩形框集合中元素与之间的记为 IoU i >T,B m ,C m B ←B −B m ,C ←C −C m .步骤 5. 如果则将从集合中剔除B =∅C =∅, 步骤 6. 如果且则重复步骤2 ~ 5.M .步骤 7. 返回极大外接矩形集合本文所提出算法的整体思路与具体流程如图6所示.2 实时检测系统设计2.1 整体设计无纺布的疵点实时检测系统主要由复卷机、高速工业摄像头、工业控制机集群以及系统控制软件组成. 本文设计的系统整体结构如图7所示, 生产过程中的无纺布比较松软, 需要通过复卷机进行切边、分切以及接头等操作, 达到一定规格、张力要求才能出厂. 系统通过在复卷机上加装工业摄像头来实时采集无纺布图像. 生产的无纺布在传动滚轴带动下, 无纺布依次通过摄像头的视野范围. 布匹在复卷机上进行疵点检测过程中, 当检测到疵点时复卷机停止运转, 由于惯性会在停止后向前继续滚动滑出清除面板. 为了解决这个问题, 本系统将复卷机的工作分为高速和低速两种模式, 并通过主机控制机切换复卷机的工作模式. 高速工作模式的无纺布传送速度为30 m/min, 低速时为3 m/min, 在低速模式下布匹缓冲距离较小.由于视频流数据量巨大, 单个千兆网口只能负担两路视频流. 系统通过工业控制机集群分布式处理工业摄像头采集的无纺布视频流数据, 每台工控机负责采集两路视频流并通过交换机获取当前运行状态与上传检测结果.本文采用两个摄像头组的两级检测方式, 两级检测使用两个结构不同的模型, 能够在保证检测效率的情况下精确地检测无纺布中的疵点. 通过预检测摄像头组和精确检测摄像头组协同工作, 两个摄像头之间安装两个存在一定间距. 当预检测摄像头组检测到缺陷时, 主机控制机将复卷机调为低速模式. 在低速工作模式下, 精确检测摄像头组开始获取图像, 并检测无纺布图像中的缺陷. 预检测模型使用较简单的结构提高检测的速率, 并且要求预检测模型有着较高的召回率. 精确检测由于工作在低速传送的模式下, 对检测的效率要求较低. 故模型设计上可使用较为复杂的模型结构, 以提高检测精3 期邓泽林等: 无纺布疵点实时检测技术与系统设计587度. 同时在模型的功能设计上, 由于预检测模型为二元分类器来判断是否存在瑕疵. 而精确检测模型除了要对缺陷进行分类外, 还需要预测出瑕疵的外接矩形框.2.2 分布式设计无纺布宽较大, 通常接近3 m, 单一摄像头视野难以覆盖. 本系统通过16个工业高速摄像头呈两排布局来获取完整的无纺布图像. 本系统使用的工业高速摄像头的分辨率为500万像素, 采集帧率为10赫兹. 由于视频流数据量巨大, 单个千兆网口只能负担两路视频流. 本系统通过工业控制机集群分布式处理工业摄像头采集的无纺布视频流数据,每台工控机负责采集两路视频流并通过交换机获取当前运行状态与上传检测结果, 具体如图8所示.水刺无纺布图像MSER 获取区域候选Softmax稠密连接模块48×481×1卷积3×3卷积5×5卷积×7高速摄像头组预检测模型×7低速摄像头组精确检测模型Y复卷机切换至高速工作输入t x 1, t y 1, t w 1, t h 1, 1全连接全连接层展平特征图融合输入全连接层输出高速工作模式低速工作模式复卷机切换至低速工作存在瑕疵无瑕症缺陷检测长时间未检测到缺陷N图 6 无纺布疵点检测算法流程图Fig. 6 Flow chart of non-woven fabric defect detection algorithm(I)(II)(a) 设计示意图(a) The design schematic diagram (b) 现场实物图(b) The real machine图 7 无纺布疵点检测系统总体组成. (I) 代表工业控制机集群, (II) 代表高速工业摄像头, 摄像头发出的光线代表摄像头的视野. 下方的摄像头组用于预检测, 上方的摄像头组用于精确检测Fig. 7 The overall composition of the non-woven defect detection system. In the design diagram (I) represents theindustrial control machine cluster, (II) represents the high-peed industrial camera, and the light from thecamera represents the camera's field of view. The lower camera group is used for pre-detection,and the upper camera group is used for precise detection588自动化学报47 卷系统将16个摄像头分为预检测和精确检测两组, 每组8个摄像头. 每组摄像头的视频流数据由4个从机处理器负责, 每个从机处理器处理两个相邻摄像头产生的视频流数据. 两个摄像头与一个从机工业控制机组成一个子网, 从机控制机的计算能力能够实时地处理两个摄像头采集的视频流数据.同时, 系统采用的千兆以太网也能在子网中流畅地传输两个摄像头视频流数据. 在从机处理器中使用本文的疵点检测算法进行处理, 并将检测的疵点结果和降分辨率的视频流数据通过以太网发送给主机控制机. 主机控制机根据各个从机的检测结果, 给复卷机发送相应的控制指令从而控制整个瑕疵检测流程. 系统采用控制功能分散、显示操作集中、兼顾分而自治和综合协调的设计原则[33], 有效地提高了系统运行的可靠性.2.3 软件设计为了实现更好的数据采集与人工交互方式, 本系统还配套开发了疵点实时检测系统的终端软件,如图9所示. 软件主要用于控制复卷机的启动、停止等上层逻辑操作、数据集的手工标注, 以及从机控制机识别结果的实时显示. 软件的具体功描述如下:1) 无纺布数据采集的标注功能. 软件可控制复卷机进入低速模式, 同时从机控制机不执行检测功能, 直接将采集到的视频流数据转发至主机控制机.软件从视频流数据中提取图像帧, 存储为未标注的数据集. 通过软件对无纺布数据集进行交互式标注,支持不同类型的疵点使用不同的标注进行区分.2) 控制复卷机的工作. 软件设计了相应的人机交互接口, 通过软件可以显示目前复卷机的工作状态. 同时, 也可控制复卷机的停止、工作, 以及高速和低速工作模式之间的切换.3) 各个从机控制机疵点检测的集中显示功能.从机控制机对其负责的两个摄像头的视频流数据进行疵点检测, 将检测结果和降低分辨率的视频流传输给主机控制机. 主机控制机可将检测结果进行集中显示, 将检测到的疵点通过矩形框出, 并统计瑕疵的数目、面积作为无纺布生产质量的定量指标.3 实验1×10−41×10−6本文的所有程序均在Intel Xeon E3 1 230-v3@3.4 GHz, Nvidia GTX 1 080, 32 GB RAM,Ubuntu 16.04中进行. 使用Pytorch 框架进行训练, 开始的50个epoch 的学习率是 , 在接下来的50个epoch 学习率线性下降到 .3.1 实施细节在复卷机上加装的高速工业摄像头组获取无纺布图像数据, 通过NMS 算法选取候选区域后, 手工标注疵点并构成对应的数据集. 数据集共包含无纺布图像2 000幅, 其中的80%用于训练, 20%用于测试. 通过添加高斯噪声、随机裁剪和马赛克等方式进行数据增强. 训练时的相关超参数配置如表1所示.系统中所使用工业摄像头、工业控制器和交换机的硬件相关参数如表2所示.本文采用精度和召回率来评估无纺布疵点检测结果. 精度P 和召回率R 的计算式为其中, TP , FP , FN 分别表示真正例、假正例和真反例.高速摄像头组×8复卷机交换机低速摄像头组×8从机1从机2从机4从机5从机6从机8控制主控制器图 8 系统分布式设计结构Fig. 8 System distributed design structure停止停止启动低速高速23020200000000图 9 疵点检测系统终端软件Fig. 9 Defect detection system terminal software3 期邓泽林等: 无纺布疵点实时检测技术与系统设计589。

织物表面疵点自动检测方法研究

织物表面疵点自动检测方法研究织物表面疵点是制造中不可避免的问题，在纺织品生产过程中，织物表面经常会出现疵点、结、线头等问题，这些问题会影响织物的外观质量，进而影响产品的价值。

因此，自动检测织物表面疵点的方法对于维护产品质量具有重要意义。

本文将介绍一种基于图像处理技术的织物表面疵点自动检测方法。

首先，需要获取织物表面的图像。

一般可以使用数码相机或者线扫描仪等设备来获取高质量的织物表面图像，对于不同的设备和工艺条件，需要选择不同的图像获取方法。

对于线扫描仪这种设备，可以通过多次扫描来获取一定长度的图像，提高图像的分辨率，并且可以利用扫描仪的高速度优势，提高生产效率。

接下来，需要对织物表面图像进行预处理。

由于织物表面的光线和颜色变化较大，会影响后续的图像处理，因此需要对原始图像进行预处理。

预处理的主要步骤包括调整图像的亮度和对比度，去噪，平滑和锐化等。

预处理后的图像能够更好地反映织物表面的特征，便于后续的图像分析和处理。

接着，需要对预处理后的图像进行分割，将织物表面中的纤维和疵点等区域分开。

采用的图像分割算法主要包括基于阈值的分割算法、边缘检测算法、区域生长算法和聚类算法等。

对于纤维区域和疵点区域的分割，可以采用不同的分割算法，权衡算法的复杂度和分割效果，使得分割结果能够更好地反映织物表面的纹理和结构。

在分割后，需要对纤维和疵点等区域进行特征提取，根据不同的特征及其组合，将其与真实图像进行分类，完成织物表面疵点的自动检测。

常用的特征包括颜色、纹理、形状等信息，特征提取的方法包括Gabor滤波器、小波变换、灰度共生矩阵等多种方法。

可以利用机器学习、人工神经网络等方法构建分类器，训练样本和测试样本的数量和质量越高，检测的准确性就越高。

本文介绍了一种基于图像处理的织物表面疵点自动检测方法，该方法能够准确、高效地检测织物表面中的疵点，便于对生产过程进行监控和质量管理。

未来，可以进一步将图像处理技术与传感器技术、人工智能技术等相结合，开发更加智能、高效的织物表面疵点自动检测系统，为纺织品行业的发展提供更好的技术支持。

毛织造疵点自动检测技术考核试卷

毛织造疵点自动检测技术考核试卷
考生姓名：__________答题日期：__________得分：__________判卷人：__________
一、单项选择题（本题共20小题，每小题1分，共20分，在每小题给出的四个选项中，只有一项是符合题目要求的）
1.毛织造疵点自动检测技术中，以下哪种方法通常用于图像预处理？（）
4. ×
5. ×
6. √
7. ×
8. ×
9. √
10. ×
五、主观题（参考）
1.毛织造疵点自动检测技术能够提高纺织品质量，减少人工成本，提升生产效率。在纺织行业中，该技术可用于生产线上的实时检测，以及成品的质量控制。
2.基于深度学习的疵点检测方法如卷积神经网络（CNN），通过学习图像特征进行疵点识别。它利用多层卷积层提取特征，全连接层进行分类。
17. ABCD
18. ABCD
19. ABCD
20. ABCD
三、填空题
1.去除噪声、提高对比度
2.纹理特征、形状特征、颜色特征
3.卷积层
4.召回率
5.算法优化、硬件加速
6.直方图均衡化
7.断线、破洞、污渍
8.多尺度检测
9.旋转、翻转、缩放
10.支持向量机或深度神经网络
四、判断题
1. ×
2. √
3. ×
（答案：纹理特征、形状特征、颜色特征）
3.在深度学习应用于毛织造疵点检测时，_______层通常用于提取特征。
（答案：卷积层）
4.评估毛织造疵点检测算法性能的指标中，_______反映了检测出的疵点占所有疵点的比例。
（答案：召回率）
5.为了提高毛织造疵点检测的实时性，可以通过_______和_______来进行优化。

一种使用无线通信技术在线自动分析工件缺陷的方法[发明专利]

专利名称：一种使用无线通信技术在线自动分析工件缺陷的方法
专利类型：发明专利
发明人：朱林清
申请号：CN201710654270.8
申请日：20170803
公开号：CN107525809A
公开日：
20171229
专利内容由知识产权出版社提供
摘要：本发明涉及一种使用无线通信技术在线自动分析工件缺陷的方法，该方法包括：1)提供一种被罩缺陷在线分析装置；以及2)运行所述分析装置以进行在线分析。

分析装置包括被罩识别设备、缺陷检测设备和无线收发设备，所述被罩识别设备用于识别检验台上的对象是否为被罩，所述缺陷检测设备与所述被罩识别设备连接，用于在检验台上的对象为被罩时，检测检验台上的被罩是否存在缺陷；其中，所述无线收发设备分别与所述被罩识别设备和所述缺陷检测设备连接，用于无线发送所述被罩识别设备的识别结果，还用于无线发送所述缺陷检测设备的检测结果，所述缺陷检测设备在检验台上的对象为被罩，从省电模式切换到工作模式。

申请人：朱林清
地址：066004 河北省秦皇岛市经济技术开发区泰山路145号
国籍：CN
更多信息请下载全文后查看。

织物瑕疵的实时光电检测系统

织物瑕疵的实时光电检测系统
张秋坤;钟舜聪
【期刊名称】《机电工程》
【年(卷),期】2011(028)011
【摘要】针对织物人工视觉检测效率低下的问题,研究了基于单片机的光学检测系统,实现了织物实时高效的自动瑕疵检测.采用光透射的单点扫描方法来实现稀疏经纬线的织物的检测具有高信噪比的优点,因为在这种情况下透射光远远大于发射光.由光电传感器的输出信号可以提取织物的瑕疵信息,此信号经过放大滤波并采样至单片机,最后经单片机定量分析和评估并发出瑕疵报警.研究结果表明,基于单片机的光电检测系统有较好的实时性、鲁棒性,并具有较高的检测精度,该系统可以推广至纺织企业,具有较好的应用前景.
【总页数】3页(P1324-1326)
【作者】张秋坤;钟舜聪
【作者单位】福州大学机械工程及自动化学院,福建福州 30108;福州大学机械工程及自动化学院,福建福州 30108;华东理工大学承压系统安全科学教育部重点实验室,上海 200237
【正文语种】中文
【中图分类】TH741;TP216+.1;0439
【相关文献】
1.实时布匹瑕疵检测系统瑕疵检测算法研究 [J], 张轶;张帅;韩其睿;陈松
2.BioLumix微生物实时荧光光电检测系统快速检测食品中致病菌的应用研究 [J], 雷庆;江林;毛腾霄
3.连续焊接P-GTAW熔池振荡频率激光光电转换实时检测系统 [J], 李春凯;石玗;杜雷明;顾玉芬;朱明
4.BioLumix微生物实时荧光光电检测系统快速检测食品中致病菌的应用研究 [J], 雷庆;江林;毛腾霄;;;;
5.BiolumiX微生物实时荧光光电检测系统 [J],
因版权原因，仅展示原文概要，查看原文内容请购买。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

总第２９２程
Ｃｏｍｐｕｔｅｒ＆ＤｉｇｉｔａｌＥｎｇｉｎｅｅｒｉｎｇ
Ｖｏ１．４２Ｎｏ．２
２５１
一
种疵点实时检测系统的数据通信技术
肖潇孙志刚
ＫｅｙＷｏｒｄｓＬａｂｖｉｅｗ，ｍｕｌｔｉ — ｐｒｏｃｅｓｓ，ＴＣＰ，ｓｈａｒｅｄｖａｒｉａｂｌｅｓ，】ａｂＳＱＩ
ＣｌａｓｓＮｕｍｂｅｒＴＰ３９３
１引言
对产品进行疵点检测是生产过程中必不可少的步骤。传统的人工检测方法不仅存在大量偏差且效率低下成本高的问题，而基于机器视觉的疵点检测技术不仅准确率高速度快，且可以在高速生产
ｓｈａｒｅｄｖａｒｉａｂｌｅｓ，ＬａｂＳＱＩｋｉｔｓａｎｄｏｔｈｅｒｍｅｔｈｏｄｓ，ｍａｋｉｎｇｔｈｅｔｗｏｃｏｍｐｕｔｅｒｓｃａｎａｕｔｏｍａｔｉｃａｌｌｙｓｅｎｄａｎｄｒｅｃｅｉｖｅｄｅｔｅｃｔｅｄｄｅ —
ＸＩＡＯＸｉａｏＳＵＮＺｈｉｇａｎｇ
（ＳｃｈｏｏｌｏｆＡｕｔｏｍａｔｉｏｎ，ＨｕａｚｈｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ４３００７４）
ＴＰ３９３ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ１６７２ — ９７２２．２０１４．０２．０２０
中图分类号
ＡＤａｔａＣｏｍｍｕｎｉｃａｔｉｏｎＴｅｃｈｎｏｌｏｇｙＳｕｂｍｉｔｔｅｄｉｎＲｅａｌ－ｔｉｍｅＤｅｆｅｃｔＤｅｔｅｃｔｉｏｎＳｙｓｔｅｍ
ＡｂｓｔｒａｃｔＩｎｏｒｄｅｒｔｏｂｕｉｌｄａｃｏｍｐｌｅｔｅｄｅｆｅｃｔｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍ，ｓａｖｉｎｇａｎｄｍａｎａｇｉｎｇｔｈｅｄｅｔｅｃｔｅｄｄｅｆｅｃｔｉｍａｇｅｌｆｉｅｓａｎｄｐｒｏｄｕｃｔｉｏｎｉｎｆｏｒｍａｔｉｏｎｉｓａｓｉｍｐｏｒｔａｎｔａｓｔｈｅｍｅｔｈｏｄｏｆｄｅｔｅｃｔｉｎｇ．Ａｄａｔａｃｏｍｍｕｎｉｃａｔｉｏｎｏｆｄｅｆｅｃｔｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍｉｓｐｒｏ — ｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ．ＴｈｅｐｒｏｇｒａｍｄｒａｗｓｏｎＶＣ＋＋ａｎｄＬａｂｖｉｅｗｍｕｌｔｉ－ｐｒｏｃｅｓｓｃｏｍｍｕｎｉｃａｔｉｏｎａｎｄＴＣＰｃｏｍｍｕｎｉｃａｔｉｏｎｓ，
ｆｅｃｔｓａｎｄｒｅｌａｔｅｄｉｎｆｏｒｍａｔｉｏｎａｎｄｓｔｏｒｅｄｍｅｓｓａｇｅｓｉｎｔｈｅｄａｔａｂａｓｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｍａｋｅｓｔｈｅｒｅｍｏｔｅｄａｔａａｃｃｅｓｓａｎｄｍａｎａｇｅ — ｍｅｎｔｆｏｒｄｅｆｅｃｔｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍｃｏｍｅｔｒｕｅ．
武汉４３００７４）（华中科技大学自动化学院
摘
要
为了搭建完整的疵点检测系统，除了疵点检测算法模块外，对检测到的疵点图片文件及生产信息的保存和管
理也十分重要，论文给出了一种疵点实时检测系统图片文件和相关字符信息的通信技术方案。该方案利用ＶＣ＋＋和Ｉａｂ — ｖｉｅｗ的多进程通信以及Ｌａｂｖｉｅｗ的ＴＣＰ通信、共享变量、ＬａｂＳＱＬ工具包等方法，使得两台计算机可以自动发送和接收检测到的疵点图片文件及相关信息并存人数据库，实现了疵点检测系统数据的远程访问和管理。关键词Ｌａｂｖｉｅｗ；多进程通信；ＴＣＰ通信；共享变量；ＬａｂＳＱＬ
过程中进行实时检测，因此越来越受到重视。本文
２系统硬件结构