基于CUDA的手机玻璃屏幕缺陷实时检测系统精品PPT课件

合集下载

玻璃常见缺陷ppt课件

7
玻璃体内存在的异类玻璃夹杂物称为玻璃态夹杂物，属于一种较普遍的玻璃不均匀性方面的缺陷，在化学组成和物理性质上与玻璃体不同。
形成原因主要是硅质料、长石料的大颗粒或超细粉团，在配合料的熔化过程中已熔化但由于扩散不均而停留在玻璃表面拉引成型后形成的。主要措施是加强原料的外观检查。
9
是玻璃表面上的微小凹坑，其形状呈平滑的圆形，直径0.06-0.1mm，深0.05mm.这种斑点损害了玻璃光学质量，使观察的的物像发生畸变，称“光畸变点”。
2
平板玻璃缺陷种类和它产生的原因是多种多样的。根据缺陷存在于玻璃的内部和外部，分为内在缺陷和外观缺陷。不同种类的的缺陷，其研究方法也不同，当玻璃中出现某种缺陷时往往需要通过很多方法研究解决，才能做出判断。
实际上，玻璃的缺陷如同数学误差一样，是不可能彻底消除和避免的，我们能做的只是尽量减少操作失误出现的缺陷，以及尽最大努力将各种缺陷降到最低。
解决办法就是及时检修辊道和清除槽内杂质。
11
THANK YOU
12
3缺陷分类11 气气 Nhomakorabea泡(气体夹杂物） 22 析析晶晶与与结结石（石固（体固夹杂体物夹）杂物） 33 条条纹纹和和节节瘤（瘤玻（璃玻态夹璃杂态物夹）杂物） 44 光光学学变变形形（析（斑锡）斑） 55 划划伤伤（（磨磨伤）伤）
4
玻璃中的气泡是可见的气体夹杂物，不仅影响玻璃制品的外观质量，更影响玻璃的透明性和机械强度。
玻璃深加工技术
——玻璃的缺陷
制作人：
1
从原料加工、配合料的制备、熔化、玻
璃液的澄清、玻璃液的均化、玻璃液的冷却、成型及切裁等各生产过程中，工艺制度的破坏或制作过程的差错，都会在平板玻璃原料上表现为各种不同的缺陷。平板玻璃的缺陷使玻璃质量大大降低，甚至严重影响玻璃的进一步成型和加工，或者造成大量的废品。

《怎样检测坏点》课件

阅读用户评价
通过电商网站、社交媒体等渠道查看用户评价，了解显示器的实际使用效果。
检测坏点
购买后及时进行坏点检测，如有坏点及时联系售后处理。
05
新技术对坏点检测的影响
OLED显示器与坏点检测
OLED显示器由于其自发光的特性，对于坏点的检测存在一定难度。自发光的像素点如果发生故障，会导致该像素点无法正常发光，形成坏点。
显示器质量较高的品牌，通常采用更优质的材料和工艺，从而降低了坏点的出现概率。
显示器质量较差的品牌，可能因为材料和工艺的缺陷，导致坏点率较高。
如何选择低坏点率的显示器
了解品牌口碑
选择口碑良好、质量稳定的品牌，降低坏点风险。
查看产品参数
关注显示器的分辨率、色域覆盖率、对比度等参数，这些参数的优劣也能反映显示器的质量。
老化。
定期清洁屏幕
定期使用柔软的布料轻轻擦拭屏幕表面，以防灰尘或其他杂质影
响液晶的正常排列。
04
显示器品牌与质量的关联
不同品牌显示器的坏点率比较
品牌A
坏点率为2%，性能稳定，用户口碑良好。
品牌B
坏点率为5%，性能一般，用户反馈不一。
品牌C
坏点率为8%，性能较差，用户抱怨较多。
显示器质量与坏点的关系
坏点分为“常亮”和“常暗”两种类型，常亮坏点始终显示同一颜色，而常暗坏点始终为黑色或白色。
坏点产生的原因
生产过程中出现的问题
显示器在生产过程中，由于制造工艺或材料问题，可能导致部分像素点无法正常工作。
使用过程中出现的问题
长时间使用显示器，由于老化或过热等原因，部分像素点可能损坏或性能下降。
OLED显示器通常采用全屏纯白色测试画面来检测坏点，通过观察是否存在不发光或者异常发光的像素点来判断是否存在坏点。

《玻璃缺陷》PPT课件

25
2.7 发霉（玻璃表面风化）
玻璃表面出现雾状薄膜或点状、细线状风化物，有时出现不规则虹彩。严重时，玻璃表面形成白霜因而失去透明性，甚至出现玻璃之间互相粘片的现象。在我国高温潮湿的南方，玻璃发霉现象较为严重。
26
玻璃发霉原因：玻璃吸附大气中水分，玻璃表面的碱和吸附水分中的H+或H3O+进行离子交换，表面脱碱，形成水化层；由离子交换反应产生的OH－对玻璃侵蚀，使桥氧断裂。
17
1、形状：条纹状、线状，滴状、疙瘩状又叫节瘤。
2、颜色：无色、绿色或棕色 3、成分：大多富含二氧化硅和氧化铝，
一般粘度比玻璃粘度高
18
4、条纹产生原因：熔制不均匀窑碹玻璃滴耐火材料侵蚀结石熔化
19
2.5 光学变形（锡斑）
是玻璃表面的微小凹坑, 其形状呈平滑的圆形，直径0.06mm～0.1mm，深0.05mm。危害：损害玻璃的光学性质，使观察到的物象发生畸变，故也称其为 “光畸变点”。
11
耐火材料结石
碹或胸墙耐火材料高温下被碱气体和废料熔蚀形成液滴进入玻璃、池壁池底耐火材料被玻璃液侵蚀剥落或与玻璃液发生交代作用；按组成可分为硅质耐火材料结石、铝硅质耐火材料结石、锆质耐火材料结石等。
（原因：耐火材料质量低劣、熔化温度过高等）
12
• 玻璃液的析晶结石：玻璃化学组成不均、破坏了熔化成型制度而使玻璃液长期停留在有利于晶体形成和生长的温度条件下造成的。
在锡槽出口端头摩擦 ③退火窑前半段玻璃带下有碎玻璃 ④辊子表面被污染或出现缺陷；
24
预防措施：经常清理玻璃上表面玻璃渣等杂物，清理辊子、检修辊道。还有一种表面划伤缺陷叫轴花，表现为原板表面斑斑点点的压痕，产生原因是原板还未完全硬化时与石棉辊子接触产生的，解决办法是加强原板冷却，降低成型作业温度。

基于深度卷积神经网络的手机屏幕缺陷检测

基于深度卷积神经网络的手机屏幕缺陷检测发布时间：2021-06-16T16:37:46.450Z 来源：《科学与技术》2021年2月6期作者：李耀权[导读] 手机屏幕的缺陷检测操作期间，深度卷积的神经网络往往起着关键作用，对实测效果影响极大，要求技术员能够充分掌握此方法李耀权广东省东莞市质量监督检测中心广东东莞 523000摘要:手机屏幕的缺陷检测操作期间，深度卷积的神经网络往往起着关键作用，对实测效果影响极大，要求技术员能够充分掌握此方法。

鉴于此，本文主要围绕着深度卷积的神经网络基础下手机屏幕的缺陷检测开展深入的研究和探讨，仅供参考。

关键词:缺陷检测；手机屏幕；神经网络；深度卷积；引言：手机屏幕的缺陷检测，属于极具复杂性工作内容，对测定过程及方法有着特定要求，深度卷积的神经网络可对手机屏幕的缺陷检测起到良好辅助作用，应用效果突出。

因而，综合分析深度卷积的神经网络基础下手机屏幕的缺陷检测，有着一定的现实意义和价值。

1、屏幕缺陷概述训练模型层面，少样本数量的样本内含较少总体信息，多样本数量的样本内含较多总体信息。

计算方法则偏向选定多信息量一类，此训练的模型显然不可用，故需对此图像数据实施图像均衡处理，针对手机缺陷较多数目种类图片，实施降采样有效处理；而针对于手机缺陷较少数目种类图片，实施重采样有效处理，以确保所有种类手机屏幕的缺陷图片实际数目处于均衡状态。

但虽各类型手机的缺陷图片达均衡状态，相对Faster R-CNN计算方法，其总数量仍较少，针对模型深度学习，仍需实施超参数的持续调整处理，确保可最小化模型损失。

但因获取到数据集相对有限，数据仍需增强，需积极引入高斯噪声、平移、裁剪、缩放、旋转、翻转等各项数据有效增强科学技术，便于更好地落实深度卷积的神经网络基础下手机屏幕的缺陷检测实践工作。

翻转，即垂直或水平翻转图像。

图片目标极易有竖直或水平翻转点产生，故需借助翻转操作，有效扩充数据；旋转，即旋转操作图像，改变图像尺寸大小[1]。

TFT-LCD表面缺陷检测方法PPT课件

产生原因：电气和非电气。
引起缺陷的几种电气故障
2020/3/24
2
TFT-LCD表面缺陷检测方法
检测方法： 1）人工视觉检测法
人工视觉检测是最原始的表面缺陷检测手段，即采用肉眼检测产品缺陷的方法。
缺点：一是检测速度慢，效率低，无法满足高速自动化生产线；二是检测精度低，无法识别微米级尺寸的缺陷，误检漏检
2020/3/24
自动光学检测原理
5
TFT-LCD表面缺陷检测方法
根据对获取的图像的处理方式，自动光学检测法又可以分为图像处理法和图像识别法。图像处理法又可分为边界模糊缺陷分割、差影法和滤波法。
2020/3/24
6
TFT-LCD表面缺陷检测方法
图像识别法：
图像识别法是根据获取的图像数据进行特征提取或维数降低，再将提取的特征或降低维数后的数据输入到分类器中进行面板图像分类，从而判定有无缺陷、缺陷的种类以及缺陷的等级等。
的概率高；三是工人劳动强度大，工作环境差，容易受周围环境的影
响而导致误判；四是监测数据不便于管理和保存。
2020/3/24
3
TFT-LCD表面缺陷检测方法
2）电学参数检测法
电学参数检测是通过测定产品的电学性能来判定其是否合格。由于电学检测法只能检测出由于电学因素导致的缺陷，仅能用于TFT-LCD面板制造完成后的检测，对面板制造过程中出现的各种缺陷无法检测，有很大的局限性，主要用于检测面板的功能性缺陷。如TFT面板中数据线和栅极线之间的短路、数据线和栅极线自身的断路等电气原因造成的缺陷，需要通过电学法进行检测。常用的电学检测方法有：全屏点亮法、探针扫描法、电荷读出法、电压图像法、导纳电路检测法和电子束扫描像素电极法等。

基于U-P-Net的手机玻璃屏幕缺陷分割

计算机测量与控制!"#"$!$%!&"!!"#$%&'()'*+%('#',&-!",&(".!!#"$%!#收稿日期 "#"$#$#"$!修回日期 "#"$#$%,%基金项目国家重点研发计划项目!"#"#:::#%#&$#,"$国家自然科学基金项目!'"#*$#&&&D%)%%,#%"%作者简介李!墨!%)))"&女&湖南岳阳人&硕士研究生&主要从事深度学习目标检测*图像处理方向的研究%引用格式李!墨&陈志豪&张!勰!基于D U c U@G6的手机玻璃屏幕缺陷分割'+(!计算机测量与控制&"#"$&$%!&")"$%"$*!文章编号 %'*%,()& "#"$ #&#"$%#*!!-./ %#!%'("' 0!1234!%%5,*'" 67!"#"$!#&!#$(!!中图分类号 8c%&!!文献标识码 :基于L Q F Q X'&的手机玻璃屏幕缺陷分割李!墨% 陈志豪" 张!勰$!%;广东工业大学计算机学院&广州!(%###'$";广东工业大学自动化学院&广州!(%###'$$;华南理工大学电力学院&广州!(%#',%"摘要随着科技的发展及电子设备的普及&玻璃屏幕质量成为电子设备和其他产品的重要考虑因素$而玻璃外观缺陷检测是玻璃质量检测中最重要的环节&这也是保证产出高品质*高性能的玻璃产品的关键环节$目前玻璃表面缺陷检测方法存在无目标训练图像资源消耗*检测精度较低*复杂特征信息难以提取等问题$因此&为了解决上述问题&提出了一种基于D U7T H?M4S7I I U O42A M I S>O G U@G6!D U c U@G6"的手机玻璃屏幕缺陷分割模型$采用超像素预处理&有效地降低了原始图像的复杂度$采用^G Q U @G6(#作为分类网络&减少无目标训练图像造成的资源浪费&提高训练效率$D U c U@G6被提出&有效地聚合了不同区域的上下文信息&提高了获取全局信息的能力$实验结果表明&所设计的基于D U c U@G6玻璃缺陷分割算法分割精度明显优于其它传统卷积神经网络分割方法&证明了该框架在移动屏幕数据集上的有效性%关键词缺陷检测$超像素预处理$^G Q@G6(#$D U c U@G6$金字塔池化$手机玻璃屏幕/'5'4&6'7#',&*&3","5)"83.'F D",'64('',G*+'1",L Q F Q X'&B/R I%&<C K@E F4F?I"&E C:@9e4G$!%;[1F I I O I J6G H[14G21G&9>?2A S I2A D24N G H Q46T I J8G1F2I O I A T&9>?2A\F I>!(%###'&<F42?$";[1F I I O I J6G H:>6I M?64I2&9>?2A S I2A D24N G H Q46T I J8G1F2I O I A T&9>?2A\F I>!(%###'&<F42?$ $;[1F I I O I JK O G16H41c I V G HK2A42G G H42A&[I>6F<F42?D24N G H Q46T I J8G1F2I O I A T&9>?2A\F I>!(%#',%&<F42?"28+&(*4&)Y46F6F G S G N G O I7M G26I J Q14G21G?2S6G1F2I O I A T?2S6F G7I7>O?H46T I J G O G16H I241G L>47M G26&A O?Q Q Q1H G G2L>?O46T F?Q W G U 1I M G?24M7I H6?261I2Q4S G H?64I2J I H G O G16H I241G L>47M G26?2S I6F G H7H I S>16Q$8F G S G6G164I2I J A O?Q Q?77G?H?21G S G J G16Q4Q6F GM I Q64M U 7I H6?26O42342A O?Q Q L>?O46T S G6G164I2&V F41F4Q?O Q I6F G3G T O4236I G2Q>H G6F G7H I S>164I2I J F4A F L>?O46T?2SF4A F U7G H J I H M?21G A O?Q Q 7H I S>16Q$:67H G Q G26&6F G H G?H G Q I M G7H I W O G M Q426F G S G6G164I2M G6F I S Q I J A O?Q Q Q>H J?1G S G J G16Q&Q>1F?Q H G Q I>H1G1I2Q>M764I2I J6?H UA G6U J H G G6H?4242A4M?A G&O I VS G6G164I2?11>H?1T?2SS4J J41>O6G Z6H?164I2I J1I M7O G Z J G?6>H G42J I H M?64I2!8F G H G J I H G&6I Q I O N G6F G?W I N G7H I W O G M Q&?S G J G16Q G A M G26?64I2M I S G OI JM I W4O G7F I2G A O?Q QQ1H G G2QW?Q G SI2D U7T H?M4S7I I O42A M I S>O G U@G6!D U c U@G6"4Q7H I U 7I Q G S![>7G H74Z G O7H G7H I1G Q Q42A4Q>Q G S6I H G S>1G6F G1I M7O G Z46T I J6F G I H4A42?O4M?A G G J J G164N G O T!^G Q@G6(#V?Q>Q G S?Q?1O?Q Q4J41?U 64I22G6V I H36I H G S>1G6F GV?Q6G I J H G Q I>H1G Q1?>Q G SW T6H?4242A4M?A G QV46F I>66?H A G6Q?2S4M7H I N G6H?4242A G J J414G21T!D U c U@G64Q 7H I7I Q G S&V F41F?A A H G A?6G Q6F G1I26G Z642J I H M?64I2I J S4J J G H G26H G A4I2Q G J J G164N G O T?2S4M7H I N G Q6F G?W4O46T6II W6?42A O I W?O42J I H M?U 64I2!K Z7G H4M G26?O H G Q>O6Q Q F I V6F?66F G7H I7I Q G SD U c U@G6A O?Q Q S G J G16Q G A M G26?64I2?O A I H46F M4Q Q4A24J41?26O T Q>7G H4I H6I I6F G H6H?S4U 64I2?O1I2N I O>64I2?O2G>H?O2G6V I H3Q G A M G26?64I2M G6F I S Q&V F41F7H I N G Q6F GG J J G164N G2G Q QI J6F G J H?M G V I H3I2M I W4O GQ1H G G2S?6?Q G6Q!9':;"(1+)S G J G16S G6G164I2$Q>7G H74Z G O7H G U7H I1G Q Q42A$^G Q@G6(#$7T H?M4S7I I O42A$M I W4O G7F I2G A O?Q Q Q1H G G2<!引言随着科技的不断进步及工业的快速发展&玻璃制品已经成为众多行业中不可或缺的重要组成部分%玻璃作为一种需求量日益增加的特殊材料&细微缺陷就会影响其机械特性和光学性质&从而降低甚至破坏玻璃产品的使用价值%因此&玻璃外观质量检测是玻璃质量检测中最重要的环节&这也是保证产出高品质*高性能的玻璃产品的关键环节%传统的玻璃面板缺陷检测方法主要依赖于高级技工的人工检验%随着玻璃生产制造需求逐渐增大&传统的人工检验方法无法满足高速生产带来的庞大的质量检测需求&因此发展高质量的自动化玻璃缺陷检测系统变得尤为重要%随着人工智能技术的发展&许多大型企业在玻璃面板缺陷检测中引入机器视觉方法代替人工检测&以提高企业的产品质量和生产效率%但机器视觉的应用也存在一些弊端&它不仅需要针对特定的应用场景定制&无法适应一系列复杂动态的工业制造场景&而且缺乏自主学习和技能迁移能力'%)(%近年来&在深度学习算法中&基于卷积神经网络的语义分割方法在缺陷检测方面得到了广泛的应用'%#%*(%该类方法可以准确提取复杂背景中的特征&快速分割人体肉眼!投稿网址 V V V!0Q01O T3\!1I MCopyright©博看网. All Rights Reserved.!!计算机测量与控制!第$%""""""""""""""""""""""""""""""""""""""""""""""""""""卷#"$"!#难以识别的不明显缺陷&从而实现玻璃面板的有效缺陷检测%"#%(年&^I 22G W G H AG H 等'%&(提出了一种名为D U @G 6的网络&该网络基于语义分割技术&可以实现对生物医学图像进行像素级别的分类%然而此网络模型的学习参数较多&训练难度较大&且需要进行大量的图像标注工作$参考文献%)利用了卷积神经网络中的b 99@G 6模型对手机屏幕缺陷进行了检测&然而该研究发现&在,种主要缺陷的检测中&漏检率达到了'd ")d &最高的检测率仅有),d &这种检测精度无法满足相关领域的高要求'%)($针对现有的语义分割方法在面对不规则数据时存在的计算复杂度高*语义特征信息提取不充分问题%提出了一种结合超像素技术与残差分类网络的预处理方法&同时&将金字塔池化模块c c R 嵌入到D U @G 6模型中&构成了一种全流程的新的语义分割方法%=!关键技术目前的语义分割模型主要存在以下几个问题)%"缺陷样本图像的高度复杂性和可变性使得提取特征信息具有挑战&导致分割性能差%""由于缺陷样本图像的特殊性非目标训练图像占用了训练资源&导致训练速度变慢&损失函数收敛速度变慢%$"多变场景时获取全局信息不充分&造成语义分割时出现不匹配关系*混淆类别和不显著类别的缺陷误判&未判和错判等问题%本文模型基于经典D U @G 6模型&对输入图像进行数据预处理&并使用c c R 对D U @G 6网络特征处理层进行融合&有效降低了模型对数据集的依赖&降低模型的训练复杂度*提高了分割精度和速率%其总体模型框架如图%所示%图%!总体模型框架图本文主要关键技术如下)%"由于图像特征信息的复杂性和可变性使得特征信息的提取具有挑战性&导致分割性能较差%因此&本文提出采用对输入图像进行超像素预处理%超像素'"#""(是一个(维特征向量&它将彩色图像转换为</K B :P 颜色空间和e =坐标%此外&对(维特征向量构建距离测量准则&对图像像素进行局部聚类%且[B /<'"#(是基于纹理*颜色*亮度等相似的相邻像素快速生成紧凑干净的超像素块&通过构造一个简单的线性迭代聚类图像预处理模块&解决了图像特征信息复杂多变的问题&使邻域特征的表示更加容易%它不仅可以降低图像的维数&还可以捕获冗余信息&消除像素异常点%""由于输入图像的特殊性&在语义分割前对缺陷图像进行分类&能在一定程度上降低后续图像语义分割的复杂度&提升网络模型的训练速度及分割准确率%该方法使用带有残差结构^G Q @G 6(#'"$"'(网络对缺陷图像进行初步分类%其独特的残差结构创建了不同网络层之间的快速连接!Q F I H 61>61I 22G 164I 2"%它解决了深层网络中梯度弥散和精度下降!训练集"的问题&使网络能够越来越深&既保证了精度&又控制了速度%$"全卷积网络!X <@"的缺点是需要一种合适的策略来利用全局场景分类信息的特征%为了解决上述问题&提出了D U 7T H ?M 4S 7I I O 42A MI S >O G U @G 6!D U c U @G 6"%该方法引入金字塔池化模块c c R '"*"&(&在,个不同的粗细尺度上进行特征融合&利用多样化的卷积尺寸&提取到的特征更具多样性&且能够聚合不同区域的上下文信息&进一步提高获取全局信息的能力&避免关系错误匹配*类别混淆以及细小对象的类别被忽略问题%!模型介绍该框架由$个模块组成)[B /<超像素预处理模块'""(*分类网络模块和D U c U @G 6模块%每个模块将在以下部分中详细描述%>=!超像素预处理模块手机玻璃屏幕数据集中样本图像的高复杂性和高分辨率使得提取特征信息具有挑战性&导致分割性能较差%考虑到图像中目标特征的复杂性&采用超像素算法进行图像预处理%[B /<'""(通过构造一个简单的线性迭代聚类图像预处理模块&解决了图像特征信息复杂多变的问题%[B /<'""(基于纹理*颜色*亮度等相似的相邻像素快速生成紧凑干净的超像素块&使邻域特征的表示更加容易%[B /<'"#(预处理效果如图"所示%图"![B /<预处理效果图[B /<具体步骤如下)%"初始化!撒种子")根据图像大小及其他参数确定超像素数目&在图像内均匀分配种子%""聚类中心选择)在聚类中心内计算所有像素点的梯度值&并选择梯度最小的像素点作为新的聚类中心%$"分配像素到超像素)每个像素必须与之位置重叠的最近聚类中心之间相关联&将其分配到间距最近的超像素%!投稿网址 V V V!0Q 01O T3\!1I M Copyright ©博看网. All Rights Reserved.第&期李!墨&等)基于D U c U @G 6""""""""""""""""""""""""""""""""""""""""""""""""""""的手机玻璃屏幕缺陷分割#"$$!#,"距离的度量)包括像素之间的颜色距离和空间距离&其度量方法如下)$S 6!1>714""M !0>704""M !?>7?4"槡"!%"$)56!)>7)4""M !5>75"槡"!""*h 6$F 0?;!"S"M$)5;!"2槡"!$"式中&$F 0?为颜色距离&$)5为空间距离&;2g ;+槡U 每个集群均适用&是类内最大空间距离%;S 是最大的颜色距离&随着图像和集群的不同而不同&可使用固定常数(来调节$F 0?与$)5的影响权重&取值范围为'%",#(&默认取值为%#%*为最终的距离度量&计算方法如下所示)*6$F 0?!"("M$)5;!"2槡"!,"!!("迭代过程)重复执行$"和,"&直到超像素中心位置不再发生变化或达到最大迭代次数%'"聚类优化)解决经过迭代后存在的与聚类中心不属于同一连通域的孤立像素点%具体步骤为)利用连通算法将相邻的超像素合并成一个超像素&如果合并后的超像素与某个邻居超像素的距离小于一定阈值&则将其合并%>?!分类网络模块手机玻璃屏幕数据集中存在一些非目标训练图像&这些图像会占用训练资源&导致训练速度变慢&并且损失函数的收敛速度也变慢%这种情况会严重影响训练效率和准确性&因此需要采取相应措施来解决非目标训练图像对训练过程的影响&提高训练效率和准确性%本文选用了一种名为^G Q @G 6(#'"$(的残差网络作为手机玻璃屏幕图像的分类网络%^G Q @G 6(#是一种深度残差网络&具有易优化*计算负担小等优点&在计算机视觉领域得到了广泛的应用%与传统的卷积神经网络相比&残差块!H G Q 4S >?O W O I 13"的引入是^G Q @G 6(#解决梯度消失和退化问题的重要方法之一&它有效地提高了网络的性能%具体来说&残差块通过引入跳跃连接来绕过了某些卷积层和激活函数层&线性层拟合残差映射&使得神经网络的信息流能够更加顺畅地传递%这种结构的引入使得^G Q U @G 6(#网络可以更加深层次地学习特征&达到充分训练底层网络的效果&同时减轻了梯度消失和过拟合的问题%^G Q U @G 6(#网络结构如图,所示&由,)个卷积层和%个全连接层组成%其中&第二至第五个阶段中的/-P B .<fZ "是指包含两个不改变维度的残差块&而<.@b P B .<f 则是指包含添加维度的残差块%每个残差块均由$个卷积层组成&因此整个网络包含,)个卷积层%>@!L Q $:(*#31$"".3,7QX '&模块手机玻璃屏幕在生产过程中容易受到环境的影响&导致产生气泡*划痕*锡灰等各种形状和大小的缺陷%这些缺陷的语义分割存在关系不匹配*混淆和对象类别小等问题&给模型的准确分割造成了挑战%为了解决上述问题&提出了D U c U @G 6模块%该模块可以有效地处理这些异形的缺陷&提高语义分割的准确性和可靠性%D U c U @G 6的结构如图(所示%通过在D U @G 6网络的主干特征提取部分和增强特征提取部分之间引入了金字塔池化模块&以进一步提高网络的性能%该模块可以将不同大小的特征图进行池化&从而捕获更多的上下文信息&提高网络的感受野和特征表达能力&避免语义分割问题中的误分类*错分类*未分类等问题%c c R '"*(的结构如图$所示&是一种多尺度特征融合的方法&其基本原理是在原始特征图上进行,个不同粗细尺度的池化操作&然后将不同尺度的特征融合在一起&其中最粗尺度产生单格输出$加细尺度产生多格输出%金字塔池化会对输入图像进行多次下采样&从而得到不同尺度的特征图&然后低维特征图通过双线性插值进行上采样&以获得相同大小的特征图%最后&将这些特征图!包括原始特征图"在通道维度上进行拼接&生成一个综合了多种尺度信息的复合特征图&从而达到兼顾全局语义信息与局部细节信息的目的%图$!c c R 金字塔池化模块结构图D U c U @G 6具体步骤如下)%"输入图像进入主干特征提取网络&由两个$a$的卷积层!^K B D "再加上一个"a "的M ?Z 7I I O 42A 层组成一个下采样的模块&一共经过,次这样的操作&得到初步有效特征层J G ?6>H GM ?7$""对骨干提取的J G ?6>H GM ?7!1F ?22G Og ;"做池化得到特征金字塔$$"然后通过%$%深度卷积降通道分别得到%$%&"$"&,$,&'$'的1F ?22G Og %+;的特征图$,"对特征图进行双线性插值填充上采样到原X G ?6>H G M ?7尺寸$("与X G ?6>H G M ?7进行通道拼接!也叫级联"得到1F ?22G O 数增加%倍的特征图$'"再利用%$%卷积核将上述拼接后的特征图深度卷积降通道得到与输入特征图X G ?6>H G 通道数一致的结果得到最终的金字塔池化全局特征$进入加强特征提取部分&由一层反卷积i 特征拼接1I 21?6i 两个$a $的卷积层!^G B D "反复构成&一共经过,次这样的操作&对得到的金字塔池化全局特征进行上采样&并且进行特征融合&最后接一层%$%卷积&降维处理即将通道数降低至特定的数量&获得一个最终的&融合了所有特征的有效特征层的目标图%!投稿网址 V V V!0Q 01O T3\!1I M Copyright ©博看网. All Rights Reserved.!!计算机测量与控制!第$%""""""""""""""""""""""""""""""""""""""""""""""""""""卷#"$,!#图,!^G Q @G 6(#网络结构图图(!D U c U @G 6模型结构图>A !损失函数损失函数是对框架的预测值与实际值不一致的计算%它是非负的实值函数%损失函数越小&框架的训练性能越好&鲁棒性越好%损失函数是训练结果连续接近实际值时必须使用的函数%其中&损失函数是神经网络通过梯度下降等方法调整权重参数%本文框架中使用的损失函数为加权交叉熵损失函数)@61)000!)"O I A !91!)""!("!!其中)?%1%&Q Q Q &U 3为像素点的标签值&81!)"为Q I J 6M ?Z 损失函数%0为0K 为像素点的权值&为图像中靠近边界点的像素赋予更高的权值%81!)"6G Z 7!01!)""+!1%1I )6%GZ 7!01I )!)"""!'"!!其中)81!)"为Q I J 6M ?Z 函数%01!)"是第%个特征通道!类别的数量等于特征通道的数量&总共%个"%0!)"60S !)"M 0##G Z 7!7!$%!)"M $"!)"""""""!*"!!其中)0S 为0K 是平衡类别比的权值&$%为0K 是像素点到其最近像素点的距离&$%为0K 是像素点到距离其第二近像素点的距离%0#和"为常数值&实验中0#T%#&"T (%@!实验@>=!实验数据本实验中使用的手机玻璃屏幕数据集是在实验室液晶显示器!B <-"屏幕缺陷检测设备上采集的手机玻璃屏幕图像%数据集包含$种类型的缺陷)划痕!Q 1H ?61F "*气泡!W >W W O G "和锡灰!6420?Q F "%图'显示了$种手机玻璃屏幕的表面缺陷样例%图'!手机玻璃屏幕缺陷划痕*气泡和锡灰样例图由于原始手机玻璃屏幕数据集的图像分辨率为',##a ',##&分辨率过高&难以分割缺陷且分割效果较差%因此&对原始图像进行图像分割和数据增强&得到分辨率为',#a',#的图像%并对其进行数据增强和数据扩充&其中包括增加噪声*亮度调整*图像模糊和图片旋转等方法&以解决样本分辨率过高以及样本不均衡所导致的分割效果较差和模型泛化能力低的问题%本实验设置手机玻璃屏幕数据集来验证本文框架的性能%手机玻璃屏幕数据集的训练集*验证集和测试集的数量分布如表%所示%该数据集是一个用于手机玻璃屏幕缺陷语义分割的图像数据集&其中包含了各种常见的屏幕缺陷&如气泡*划痕*锡灰%数据集的训练集共有'##张图像&用于训练模型的参数%验证集共%##张图像&用于选择最佳的模型超参数%测试集共有"##张图像&用于测试模型的性能表现%在训练集中&各种缺陷的数量分布如表二所示%气泡缺陷的数据图像共"#'张&划痕缺陷的数据图像共%'*张&锡灰缺陷的数据图像共""*张%表%!手机玻璃屏幕数据集的数据分布8H ?4242A QG 6b ?O 4S ?64I 2Q G 68G Q 642A QG 6-?6?Q G 6'##%##"##)##表"!手机玻璃屏幕训练集缺陷分布P >W W O G [1H ?61F 842U ?Q F "#'%'*""*!投稿网址 V V V!0Q 01O T3\!1I M Copyright ©博看网. All Rights Reserved.第&期李!墨&等)基于D U c U @G 6""""""""""""""""""""""""""""""""""""""""""""""""""""的手机玻璃屏幕缺陷分割#"$(!#@>?!评估指标在实际的语义分割任务中&语义分割框架的预测性能评价指标为交集除以并集!/I D "*像素精度!c :"*平均交集过并!M /I D "和平均像素精度!M c :"%在性能评估计算公式中&真正8c !6H >G 7I Q 464N G"是指对某一类缺陷&语义分割框架正确分割出的缺陷数量%假阳性!X c "是指语义分割框架对这种缺陷错误所分割出的缺陷数量%假阴性!X @"是没有被语义分割框架分割的缺陷的数量&对于这类缺陷是正确的%真负!8@"是没有被语义分割框架分割且不属于这种类型的缺陷的数量&通常为#%%"B G T 是像素点的真值与预测值的交集除以像素点的真值与预测值的拼接%计算公式如下)B G T 61%46#84>1%46#!1%46#844M 1%>6#8>47844"61%46#<91%46#D ;M D 9M <9!&"!!""9A 用于计算正确分类的像素数与像素总数的比值%计算公式如下)9A 61%46#9441%46#1%>6#94>!)"!!$"(B G T 是数据集中各类相交比的平均值%计算公式如下)(1G T 6%%M %1%46#84>1%>6#844M 1%>6#8>478446%%M %1%46#<9D ;M D 9M <9!%#"!!,"(9A 分别是计算每一类正确分类像素的比例%计算公式如下)(9A 6%%M %1%46#8441%>6#84>!%%"!!其中)4为真实值%>表示预测值%84>表示4作为>的预测&%是类别的数量%@>@!训练细节该液晶屏缺陷检测设备由运动控制模块*图像采集模块*光源控制模块*信号产生模块组成%运动控制模块采用三菱c B <和伺服驱动进行运动控制%图像采集模块采用海康威视<C%#9W K 工业面阵相机%光源控制模块采用双面低角度B K -光源作为检测环节的除尘灯%信号产生模块采用信号发生器模拟手机主板给予手机玻璃面板的电信号&实现面板的不同颜色变换%其中信号产生模块只选择了一个场景%为了加快网络的训练速度&本文采用单个9c D !@b /-/:9G X I H 1G^8e$#&#"来提高计算效率%使用c TU 6F I 2实现改进D U @G 6'%&(%提出的框架是用7T 6F I 2进行训练和测试的%整个实验采用开源深度学习框架c T 8I H 1F 实现%初始获取的每张图像大小为',#a ',#%优化算法采用:S U?M 算法&发生器和鉴别器学习率均设置为#;###%&W G 6?%为#;($超参数设置为#;($训练步数设置为$###步%在获得足够的数据后&使用自适应矩估计!:S ?M "优化算法进行训练&动量为#;)&权值衰减为#;###%&W G 6?%为#;)&W G 6?"为#;)))%学习率为%a%#5$%训练批数设置为%'&以避免局部极小值%@>A !对比实验在本节中&我们验证了本文提出的框架在手机玻璃屏幕数据集上的有效性&并将其性能与其他流行的语义分割框架进行了比较%实验涉及的主流框架为D U @G 6'%&(*c [c U@G 6'")(和-G G 7B ?Wb $'$#(%图*显示了文本提出的框架在标准手机玻璃屏幕数据集下的收敛曲线%由图*可知&曲线在大约&##K 7I 1F 收敛%图*!模型训练中框架的收敛曲线本文提出的框架是针对手机玻璃屏幕缺陷检测任务设计的&经过在标准数据集上的训练和测试&取得了较为优秀的性能表现%各缺陷的B G T 和总(B G T 指标如图&所示&9A 和总(9A 指标如图)所示%其中&对于气泡缺陷&B G T 指标为(*;&&d &9A 指标为();)#d $对于划痕缺陷&B G T 指标为(";*(d &9A 指标为(,;#%d $对于锡灰缺陷&B G T 指标为&";"(d &9A 指标为&*;()d %此外&本文提出的框架在背景区域的分割上也取得了较高的B G T 和9A 指标&分别为)(;'*d 和)&;%"d%图&!本框架在标准手机玻璃屏幕数据集中的:B G T指标图)!本框架在标准手机玻璃屏幕数据集中的(9A 指标!投稿网址 V V V!0Q 01O T3\!1I M Copyright ©博看网. All Rights Reserved.!!计算机测量与控制!第$%""""""""""""""""""""""""""""""""""""""""""""""""""""卷#"$'!#综合各个缺陷类型的性能表现&本文提出的框架在总(B G T 和总(9A 指标上分别达到了*%;%,d 和*,;)%d &相比于传统方法和现有的深度学习方法&具有更高的检测准确率和更强的鲁棒性%表$展示了本文提出的框架与其他主流框架在标准手机玻璃屏幕数据集上各种缺陷语义分割的性能对比%与经典D U @G 6'%&(网络相比&该框架的(9A 和(B G T 性能指标分别提高了,;&)d 和(;,)d %与c [c @G 6'")(网络相比&该框架的(9A 和(B G T 性能指标分别提高了,';)'d 和,,;"(d %与-G G 7B ?W N $'$#(网络相比&该框架的(9A 和(B G T 性能指标分别提高了$&;&*d 和$,;)"d %该框架提出的超像素预处理表$!本文采用D U @G 6*c [c @G 6和-G G 7B ?W N $作为本文提出的框架的比较框架@>M W G HI J S ?6?Q G 6R G 6F I S P ?13AH I >2S +d [1H ?61F +d P >W W O G +d 842U ?Q F+d (9A +d (B G T+d%###D U @G 6),;&%'";(%',;&(,";(**%;%$'';%)%###c [c @G 6)%;%"#;##%&;()#;##");#'"*;,$%###-G G 7B ?W N $)";#%#;"$"&;('"';"($*;%($';*'%###c H I 7I Q G S J H ?M G V I H 3)(;$),);)%'";%%*);)$*';#"*%;'&模块利用超像素预处理和^G Q @G 6(#'"$(残差网络分类&简化了输入图像的复杂性和冗余度%提高了后续图像缺陷语义分割框架的准确性和鲁棒性%另一方面&在该框架下提出的D U c U @G 6可以利用多样化的卷积大小提高框架的特征提取能力&并可以聚合不同区域的上下文信息&进一步增强获取全局信息的能力&有效提高分割效率&优化分割效果%@>B !消融实验为了验证本文框架中各个模块的有效性&整个实验采用了$种不同的烧蚀方案%比较了D U @G 6*超像素预处理模块*分类网络模块和D U c U @G 6模块%$种方案在标准移动屏幕数据集上的性能指标如表,所示&其中,i -表示该模块的添加%方案%选用经典的D U @G 6'%&(作为整个框架$方案"在D U @G 6语义分割前对图像进行超像素预处理和分类%方案$是本文提出的框架%表,!使用不同方案在标准手机表面数据集上的性能!!d D U @G 6[B /2S [1H?61FP >WW O G842U?Q F(9A :B G Ti 55)';*)'$;"&'';(&,&;*%*,;$"'&;&,i i 5)*;")((;&"'#;"$&(;",*';#"*";&)5ii)*;")(';"%'(;#%&(;",&#;"(*,;)'从表中可以看出&方案"在增加图像数据预处理模块![B /<'""(i^G Q @G 6(#'"$("后&(B G T 和(9A 的性能较方案%分别提高了,;#(d 和%;*d %且在加入图像数据预处理模块后模型对锡灰这一类缺陷的分割效果&大幅度提升%相比D U @G 6网络对锡灰缺陷的分割&[B /<和^G Q @G 6(#的加入解决了锡灰缺陷存在的特征信息复杂多变的问题&使其邻域特征的表示更加容易&降低了锡灰缺陷的图像复杂度&提升模型的分割效果%与方案"相比&方案$在此基础上引入了D U c U @G 6模块%D U c U @G 6模块融合了缺陷图像的深层和浅层特征&提高了网络获取全局信息的能力&避免了关系不匹配*类别混淆和小对象类别被忽略等问题%(B G T 和(9A 性能较方案%分别提高,;"$d 和";#*d &较方案"分别提高,;"$d 和";#*d %综上所述&在分别引入D U c U @G 6模块和图像数据预处理模![B /<i^G Q @G 6(#"后&各项指标均有不同程度的提升&而方案的三项性能明显优于方案一和方案二%A !结束语鉴于现有缺陷检测的语义分割算法存在分割不准确*语义信息提取不足*面对不规则数据收敛时间长等问题%提出了一种实用的手机玻璃屏幕缺陷分割框架%在数据预处理方面&结合超像素技术和残差分类网络的数据预分类方法可以有效降低模型对数据集的依赖&降低后续图像处理的计算复杂度%D U c U @G 6的合理提出&使所提出的模型能够有效地聚合不同区域的上下文信息&提高模型获取全局信息的能力&避免了语义分割中的误分类和漏分类问题%框架在缺乏足够数据集的情况下显示出良好的性能%它在分割效率和精度方面优于许多主流模型&可以应用于手机玻璃屏幕表面生产%接下来的步骤是如何在分割中更好地结合超像素&如何在单张图像中分割多个缺陷&以及如何将其应用于不同材料的图像%参考文献'%(P .-@:^.b ::&P K @@:R.D @R &B :8C :R [;.764M ?O AW I H J 4O 6G H QJ I H6G Z 64O GJ O ?V S G 6G 164I 2'+(;c ?66G H 2^G 1I A 24U 64I 2&"##"&$(!%"")")*$"))%;'"(Y /B -K [^c ;:M ?1F 42G U N 4Q 4I 2Q T Q 6G MJ I H 4H 4Q H G 1I A2464I 2'+(!R ?1F 42Gb 4Q 4I 2?2S:77O 41?64I 2Q &%))'&)!%")%&;'$(-:b /K [K ^;R ?1F 42GN 4Q 4I 2)Q 6>S 4G Q J H I M :22?>24N G H Q 46T 426F G?H G ?I JM ?1F 42GN 4Q 4I 2H G 7I H 6G S !M ?1F 42GN 4Q 4I 242Q 7G 164I 2Q TQ 6G MJ I H S G 6G 164I 2I J O G ?6F G H Q >H J ?1G S G J G 16Q "'+(!+I >H 2?O I J K 2A 42G G H 42A &"#%)&F 667Q )++32Q ;1234;2G 6+31M Q +S G 6?4O +S G 6?4O !Q 7Z /X 4O G @?M G g[c ]-("%'*'%-%"<(%-<:%H G?2?O T Q 4Q '+(;/K K K8H ?2Q ?164I 2Q I 2J ?16>H U 42A 8G 1F 2I O I A T&"#%)&)!)")%%,;'((-:b /K [K ^;R ?1F 42GN 4Q 4I 2)6F G I H T &?O A I H 46F M Q &7H ?1641?O 4U 64G Q '+(;<b 9/c )/M ?A GD 2S G H Q 6?2S 42A &%))%&(,!%")%;''(郭!慧;基于机器视觉的刨花板表面缺陷在线检测系统研究'-(;北京)中国林业科学研究院&"#%);'*(王昌书&黄沿江&张宪民&等;一种基于机器视觉的曲面玻璃划痕缺陷检测方法'+(;自动化技术与应用&"#"#&$)!%")!投稿网址 V V V!0Q 01O T3\!1I M Copyright ©博看网. All Rights Reserved.。

基于机器视觉的手机屏幕缺陷检测方法研究36

基于机器视觉的手机屏幕缺陷检测方法研究摘要：在近些年来，随着手机行业飞速发展，手机屏幕缺陷的检测方式有许多，但是采用最多的还是人工检测的方式。

人工检测的方式效率低误差较大很难满足现在手机行业的发展形势。

本文针对目前手机行业的发展形势，提出了一种基于机器视觉手机屏幕缺陷自动检测系统。

此系统的工作流程依次是采集图像、对采集的图像进行裁剪、除去灰尘、滤波去噪、分割图像、初次识别缺陷区域、结合缺陷区域与其他部分对比分析、识别筛选出不合格的产品。

只有当此系统的检测的合格率达到97.5%时，才会具有实用性，值得推广到实际的工业生产中去。

关键词：机器视觉；缺陷检测；手机屏幕引言随着全球经济的发展，各国的通信产业也都发展到一定的高度，高质高效的智能手机虽然价格不断增高，但是仍然备受人们的喜欢。

手机屏幕作为手机的重要组成部分，是人与信息打交道的桥梁，手机屏幕的质量的优劣将会直接影响到用户的体验。

在现在的手机发展现状看来，手机屏幕缺陷检测主要依靠人工。

人工检测工作难度大，工作量大，导致工作者对工作产生厌倦和身体疲劳。

这种方式可能会使大量劣质产品流入消费者手中，不适用于如今的实际工业生产中。

针对目前手机行业的发展形势，提出了一种基于机器视觉手机屏幕缺陷自动检测系统。

1.机器视觉检测技术目前，因为机器视觉检测技术实用性强、效率高、具有高精确度，所有受到了人们的一致好评，并且备受工业生产的欢迎。

全球有许多机器检测技术被应用于实际的手机屏幕缺陷检测流程中。

Kim团队提出了一种降低灰度不均匀等级的阈值方式，这种方式可以通过识别出多种线缺陷完成缺陷的排除；Lee and Yoo等首先会绘制二维曲线，再使用背景差异法检测mura缺陷以及不同形状和方向的缺陷，但是对窗口的大小有局限性。

You-Ching Lee和Cheng-EnShie等提出一种能识别各种缺陷的累计差异和多分辨率背景的检测方法，但是对移动的装置要求较高;Tsai和Tseng等利用傅立叶变换和阈值方式消除背景干扰，但时效性差；易松松使用了级联检测方式；高如新采用了快速匹配差分法检测方式；徐祖鑫提出了一种数学形态学的检测方法，他们所采用的和提出的手机屏幕检测方式对点、线等明显的缺陷有着较高和精准的识别率，但是对于一些特殊的缺陷还是有待完善。

基于CCD的手机液晶屏缺陷检测方法及技巧分析

基于CCD的手机液晶屏缺陷检测方法及技巧分析作者：胡庆云来源：《中国新技术新产品》2018年第02期摘要：随着我国科学技术的不断发展，手机逐渐成为人们出行的必需品，而手机液晶屏的质量也逐渐成为人们关注的重要问题。

因此，如何做好手机液晶屏缺陷检测工作成为生产厂家所面临的主要问题。

本文将结合实际情况对CCD下手机液晶屏缺陷的检测方式及技巧进行分析，旨在促进我国手机液晶屏缺陷的检测方法不断完善。

关键词：CCD；手机液晶屏；缺陷检测中图分类号：TP391 文献标志码：A0 引言随着我国社会经济的快速增长使得电子科技得到较好的发展，手机作为重要的通信工具已成为人们生活的必需品。

在这样的时代背景下，做好手机液晶屏缺陷检测工作、保证手机液晶屏质量成为手机制造商需要考虑的重要问题。

本文将结合实际情况对CCD下手机液晶屏缺陷的检测方式及技巧进行分析，以期为今后的相关工作提供宝贵经验。

1 系统结构设计手机液晶屏缺陷监测系统是一种用于检测手机液晶屏缺陷的检测系统，在检测过程中这一系统主要是应用图像处理方式对屏幕进行有效监测，主要是由光学系统、CCD、图像采集部分、图像处理部分、显示识别部分构成。

手机液晶屏缺陷监测系统的运行原理为在确定CCD 相机未知的基础上通过光源位置同步采集被检测物体的数据，同时将采集到的数据信息以图像信号的方式传送至计算机，再有计算机对收集的手机液晶屏数据进行图像处理、边缘检测、分析识别等处理后，根据判别标准来判断手机液晶屏是可以完成检测手机液晶屏缺陷的任务。

2 图像处理2.1 图像预处理在获取图像的过程中，通过CCD获得的图像在经过一系列处理后会产生一定的噪声污染，使得检测目标可能会受到声音的影响不会反映在背景中，从而降低了图像的质量，为后期的检测工作带来一定困难。

通过图像预处理对原图像进行一些简单处理，从而有效地将图像中存在的噪声干扰去除，使得手机液晶屏缺陷工作可以顺利进行。

在这一过程中，应根据实际情况选择滤波，使得滤波既可以保留图像的轮廓细节，又可以有效去除图像中的噪声干扰。

基于深度卷积神经网络的手机玻璃盖板表面缺陷分类检测研究

基于深度卷积神经网络的手机玻璃盖板表面缺陷分类检测研究作者：吴闯于大泳来源：《软件工程》2021年第12期摘要：為了实现手机玻璃盖板表面点缺陷、线缺陷和块状缺陷的分类检测，主要研究可以自动提取特征的深度卷积神经网络模型。

首先针对数据缺乏问题，提出子图像划分和随机缺陷合成算法，构建了MPGC-DET数据集。

为了提高模型的泛化性，以现代成熟的深度卷积神经网络模型为基础，并结合迁移学习和SE模块，搭建手机玻璃盖板表面缺陷分类检测模型。

实验表明，最终分类准确率达96.40%，并且使用了Grad-CAM技术进行可视化分析，结果显示模型是根据缺陷所在区域特征进行预测的，说明没有出现过拟合现象。

关键词：玻璃盖板;深度卷积神经网络;迁移学习;SE模块;分类检测中图分类号：TP391 文献标识码：AAbstract： In order to realize the classified detection of point defects， line defects and block defects on the glass cover surface of mobile phone， this paper proposes to study deep convolutional neural network （DCNN） model that can automatically extract features. First， to address the problem of data lack， this paper proposes to use sub-image division and random defect synthesisalgorithms， and construct the MPGC-DET （Mobile Phone Glass Cover-Detection） data set. In order to improve the generalization of the model， this research takes modern and mature deep convolutional neural network model as the basis and combines transfer learning and SE modules， to build a classified detection model of mobile phone glass cover surface. Experiments show that final classification accuracy rate is 96.40%. Grad-CAM （Gradient-weighted Class Activation Mapping）technology is used for visual analysis. Results show that the proposed model performs prediction based on the characteristics of the area where the defect is located， which indicates that there is no sign of over-fitting.Keywords： glass cover; deep convolutional neural network; transfer learning; SE module; classified detection1 引言（Introduction）手机屏作为用户与智能手机直接交互的部件，其外观质量直接影响用户对产品的体验。

玻璃缺陷检测

玻璃片缺陷视觉检测1.玻璃缺陷特征玻璃片生产过程中，常见的缺陷有：气泡、划痕、结石、夹杂物，翘曲等。

各类缺陷的主要特点分：(1)气泡，该类缺陷是由于玻璃生产材料含有气体、外界环境气泡、金属铁丝等引起，主要特点为整体轮廓近似于圆形、线形、中空、具有光透射性等。

(2)结石，由于其热胀系数和外界环境热胀系数的差异，该类缺陷严重影响玻璃质量。

主要分为：原材料结石、耐火材料结石以及玻璃析晶结石等。

(3)夹锡，夹锡主要分为粘锡和锡结石，其特点是呈暗黑色、具有光吸收性。

(4)划伤，该缺陷主要是玻璃原板与硬质介质间的相互摩擦产生，外表呈线性。

(5)表面裂纹及线道，其特点表面呈线性。

具体的缺陷图如图1-1所示：（a）无缺陷玻璃图像（b）含气泡玻璃图像（c）含结石玻璃图像（d）含裂纹玻璃图像（e）含夹杂物的玻璃图像（f）划痕的玻璃图像图 1-1 玻璃典型缺陷图像2玻璃缺陷视觉监测系统工作原理2.1 玻璃缺陷视觉检测原理玻璃生产过程大体可分为：原料加工、备制配合料、熔化和澄清、冷却和成型及切裁等。

在各生产过程中，由于制造工艺、人为等因素，在玻璃原板的生产任一过程中都有可能产生缺陷，根据玻璃现行标准中的规定，玻璃常见的缺陷主要包括：气泡、粘锡、划伤、夹杂等。

无缺陷的玻璃其特点是质地均匀、表面光洁且透明。

玻璃质量缺陷检测是采用先进的CCD 成像技术和智能光源。

系统照明采用背光式照明，其原理如图2-1所示，即在玻璃的背面放置光源,光线经待检玻璃，透射进入摄像头[1]。

图 2-1 检测原理图示意图光线垂直入射玻璃后，当玻璃中没有杂质时如图2-2(a)所示，出射的方向不会发生改变，CCD 摄像机的靶面探测到的光也是均匀的；当玻璃中含有杂质时，出射的光线会发生变化，CCD 摄像机的靶面探测到的光也要随之改变。

玻璃中含有的缺陷主要分为两种：一是光吸收型（如沙粒，夹锡等夹杂物）如图2-2(b)所示，光透射玻璃时，该缺陷位置的光会变弱，CCD 摄像机的靶面上探测到的光比周围的光要弱;二是光透射型（如裂纹，气泡等）如图2-2(c)所示，光线在该缺陷位置发生了折射，光的强度比周围的要大，因而CCD 摄像机的靶面上探测到的光也相应增强。

手机液晶屏点灯不良图示学习ppt课件

1. POL原材料划伤. 2. Module process操作不良
引起
备注
用目镜观察
用目镜观察
3.POL压痕:POL的外部表面被压而凹进去
的状态,是一种大小分明的点状不良
1. POL原资材性不良
2. POL & OLB设备引起的压痕
L0可见，正视看，呈蝴蝶状
4.POL污渍:POL的外表面因斑点成污状不良，MURA形态的不良
上视角25°更清晰即要立屏观察
2.Cell黑点:在L63、L127画面清晰，比底色还要黑的斑点，分为有光晕和没光晕及带核几种形式
L63/L127画面
3.Cell白点:在L63画面可见的比底色颜色还要白的斑点
L63/L127画面
4.黑白Gap:在L63、L127画面均可见，有光晕, 轻按会移动
3.横竖交叉 DGS
19
功能性相关不良
不良名称
不良图片
检查画面
备注
1.残像:指由一个画面切换到另一个画面或关闭电源时仍然残留上个画面影像的残影不良
无固定检查画面
不良只存在于切换画面或关闭电源时（CO F)
2.FLICKER:指画面闪烁，调节时以画面中心（5区）不闪烁为基准
3.全白&全黑:现象为无论怎样切换画面，只出现 L255/L0一个画面，更换点灯机重新测试，仍是此种现象
精选编3辑ppt
立视角看比底色白呈线状
侧视看亮度不均一
4
B/L相关不良（L255画面判定）
不良名称
不良现象
主要发生原因
备注
5.B/L漏光：B/L画面立起Panel四周
出现泛白的亮带
/

基于改进YOLOv4网络的手机曲面玻璃缺陷检测

现代电子技术Modern Electronics Technique2023年12月1日第46卷第23期Dec. 2023Vol. 46 No. 230 引言手机曲面玻璃在生产加工过程中需要经过开孔、磨边、热弯、抛光、CNC 加工等工艺，然而，由于加工技术的不成熟和生产环境的影响，在各个生产环节中均可能出现缺陷，常见的手机曲面玻璃缺陷有划痕、擦伤、崩边、烧伤、污点、气泡等。

缺陷会严重影响曲面玻璃的外观和性能，影响曲面手机的使用体验，因此，在生产过程中要实时对曲面玻璃进行缺陷检测。

机器视觉检测方法是一种无接触、无损伤的自动化检测方法，具有工作效基于改进YOLOv4网络的手机曲面玻璃缺陷检测张跃1，2，陈宁2，孔明1，郭钢祥2，郭斌2，吴晓康1（1.中国计量大学计量测试工程学院，浙江杭州 310018；2.浙江省计量科学研究院，浙江杭州 310018）摘要：针对手机曲面玻璃缺陷难以识别、检测效率低、识别精度低的问题，提出改进的YOLOv4网络模型。

模型的主干网络由CSPDarknet53网络替换为MobileNetv3网络，该网络可以减少参量的计算，减轻设备的负担，提高算法的效率，加强对缺陷细节的识别。

采用K⁃means++聚类自动生成锚框，提高算法的识别精度。

该算法改进空间金字塔池化层，使用SPPF 模块，该模块既能实现SPP 模块相同的功能，又提高了算法效率。

损失函数使用CIoU 代替IoU ，丰富网络感受视野的同时增加了远距离目标间的交互，提升了对微小目标的检测精度，更好地识别手机曲面玻璃中的细微缺陷。

对比实验结果表明，改进的YOLOv4检测4种缺陷的AP 值均得到提升，mAP 值达到了97.57%，相较于传统的YOLOv4算法精度提升了1.23%，检测时间提高了10 ms ，能有效地识别手机曲面玻璃的各种缺陷。

关键词：曲面玻璃；缺陷分类； YOLOv4； MobileNetv3； SPPF ；损失函数中图分类号： TN98⁃34； TP391 文献标识码： A 文章编号： 1004⁃373X （2023）23⁃0103⁃06Mobile phone curved glass defect detection based on improved YOLOv4 networkZHANG Yue 1, 2, CHEN Ning 2, KONG Ming 1, GUO Gangxiang 2, GUO Bin 2, WU Xiaokang 1(1. College of Metrology and Measurement Engineering, China Jiliang University, Hangzhou 310018, China;2. Zhejiang Institute of Metrology, Hangzhou 310018, China)Abstract ： In view of the difficult identification, low detection efficiency and low identification accuracy of curved glass defects of mobile phones, an improved YOLOv4 network model is proposed. As for the backbone network of the model, CSPDarknet53 is replaced by MobileNetv3, which can reduce the calculation of parameters, reduce the burden of equipment, improve the efficiency of the algorithm and strengthen the identification of defect details. The anchor frame is automatically generated by K ⁃means++ clustering to improve the recognition accuracy of the algorithm. In the algorithm, the space pyramid pooling layer is improved, and the SPPF module is used. This module can realize the same function as SPP module and improve the efficiency of the algorithm. CIoU is used as the loss function instead of IoU, which enriches the network perception field and increases the interaction between distant objects, improves the detection accuracy of tiny objects, and better identifies the subtle defects of the curved glass of the mobile phones. The results of comparative experiments show that the AP values of the fourdefects of the improved YOLOv4 are all improved. The value of mAP reaches 97.57%. In comparison with the traditional YOLOv4 algorithm, its accuracy increases by 1.23%, and its detection time increases by 10 ms, so the improved model caneffectively identify various curved glass defects of mobile phones.Keywords ： curved glass; defect classification; YOLOv4; MobileNetv3; SPPF; loss functionDOI ：10.16652/j.issn.1004⁃373x.2023.23.019引用格式：张跃，陈宁，孔明，等.基于改进YOLOv4网络的手机曲面玻璃缺陷检测[J].现代电子技术，2023，46（23）：103⁃108.收稿日期：2023⁃06⁃15 修回日期：2023⁃07⁃03基金项目：国家市场监督管理总局科技计划项目资助（2020MK042、2020MK043）；浙江省市场监督管理局重大科研项目资助（20210107）；浙江省市场监督管理局雏鹰计划项目资助（CY2022337）103现代电子技术2023年第46卷率高的优点，常见的工业机器视觉应用系统的组成为相机、光源、镜头、图像采集卡、图像处理单元、通信单元、图像处理软件[1]。

基于机器视觉的手机屏幕缺陷检测系统研究

基于机器视觉的手机屏幕缺陷检测系统研究彭赶,张平,潘奕创(广东工业大学机电工程学院,广东广州 510006)摘要:目前,手机屏幕缺陷多采用人工检测的方式,针对人工检测低效,高误测的现状,本文提出一种基于机器视觉的手机屏幕缺陷自动检测系统。

系统由C C D相机采集图像,然后对图像剪切,除尘,滤波去噪,接着利用局部阈值分割图像,初步提取缺陷区域,最后结合局部区域对比度分析,筛选出缺陷产品。

随机抽取200例样品,检测准确率能达到97.5%,其中误测1%,虚测1.5%,能满足实际工业需求,具备一定的实用价值和推广价值。

关键词:机器视觉;缺陷检测;手机屏幕中图分类号:TP391.41 文献标识码:A 文章编号:1003-7241(2018)09-0104-05Research on Mobile Phone Screen Defect Detection SystemBased On Machine VisionPENG Gan, ZHANG Ping, PAN Yi-chuang( School of Electromechanical Engineering, Guangdong University of Technology, Guangzhou 510006 China ) Abstract: At present, The majority of screen defects in mobile phones are in manual detection. Artificial detection is inefficient and higher false-positive rate. This paper puts forward a kind of mobile phone screen defects detection system based on machine vision. System grabs image by CCD camera, then shears image, removes dust, filters and de-noising, preliminary extract defects area by using the local threshold segmentation image, finally, it extract defects features through combining with local regional contrast analysis. Random samples of 200 cases, accuracy of detection can reach 97.5%, measurement errors of 1%, virtual test of 1.5%, which can meet the actual industrial demand and has certain practical value and popularization value.Key words: machine vision; defect detection; mobile phone screen1 引言随着手机市场的日益繁荣,竞争的日趋激烈,高质量,高效率的手机生产方式备受市场青睐。

基于数学形态学的手机屏缺陷检测算法设计

基于数学形态学的手机屏缺陷检测算法设计许祖鑫;毕明德;孙志刚【摘要】针对手机屏颜色单一、缺陷形状特征明显等特点,提出了一种基于数学形态学的表面缺陷自动检测方法.采用CCD工业相机获取单帧图像进行滤波预处理,然后运用灰度形态学方法进行缺陷分割；并通过提取缺陷的形态特征进行缺陷分类.实验结果表明:算法可靠,能有效地识别缺陷,同时准确地判别缺陷类型.【期刊名称】《电气自动化》【年(卷),期】2013(035)003【总页数】4页(P99-101,105)【关键词】灰度形态学;手机屏;中值滤波;特征提取;缺陷分类【作者】许祖鑫;毕明德;孙志刚【作者单位】华中科技大学控制科学与工程系信息所,湖北武汉430074;华中科技大学控制科学与工程系信息所,湖北武汉430074;华中科技大学控制科学与工程系信息所,湖北武汉430074【正文语种】中文【中图分类】TP391.410 引言当前手机产业中，对手机屏表面缺陷检测的手段依旧停留在依靠人工肉眼观察。

然而人工检测受检测主体的主观因素的限制且人眼无法实现产品高速生产时的在线缺陷检测。

机器视觉的发展使其能够替代人眼，利用数字图像处理技术完成手机屏表面缺陷检测具有一定的实际意义。

数学形态学是由一组形态学的代数运算子组成［1］。

最基本的形态学运算子有腐蚀、膨胀、开、闭。

运用这些算子及其组合，进行图像形态和结构的分析及处理，包括图像分割，边缘检测，图像滤波，图像增强和复原等方面的工作［2－3］。

本文针对手机屏表面灰度图像背景单一，缺陷有明显形状特征的特点，提出一种基于数学形态学的缺陷检测方法。

1 手机屏表面缺陷图像特征分析在生产过程中，手机屏可能出现的缺陷可分为两类，一类是划痕（见图1a），这类缺陷主要是人为因素造成的;另一类是晶点（见图1b），这类缺陷主要是由产品本身内部结构发生微小畸变所导致的。

对大量缺陷图像进行统计分析，表明缺陷在整个图像中占的像素比重比背景小，轮廓比较清晰，但是背景与缺陷的灰度分布集中，二者对比度不明显。

基于手机屏幕缺陷检测系统设计

DOI:10.16525/ki.14-1362/n.2020.02.21总第188期2020年第2期Total of 188No.2，2020工业设计收稿日期：2019-12-18第一作者简介：应冬梅（1993—），女，硕士研究生，北京信息科技大学，主要从事视觉图像处理等工作。

基于手机屏幕缺陷检测系统设计应冬梅，郭阳宽，张晓青（北京信息科技大学，北京100192）摘要：鉴于目前手机屏幕缺陷检测存在的检测精度低、主观性强等突出问题，介绍一种手机屏幕缺陷定量检测方法。

实验表明，该系统对线状缺陷长度的检测精确度高达99%以上，研究成果可应用于液晶屏类产品的线状缺陷定量检测。

关键词：LabVIEW ；图像采集；图像处理；OpenCV ；动态链接库中图分类号：TP39文献标识码：A文章编号：2095-0748（2020）02-0051-02现代工业经济和信息化Modern Industrial Economy and Informationization 引言随着计算机视觉和图像处理算法的快速发展，数字图像处理技术广泛应用于机器视觉、军事、航空航天、工业检测和生物医学等领域并取得突破性发展[1-3]。

本文使用VS2012+OpenCV2.4.9和LabVIEW2012实现对手机屏幕缺陷的精确定量检测。

1手机屏幕划痕缺陷检测系统结构本文设计的检测系统主要包括工业相机、环形蓝光和计算机，如图1所示。

根据缺陷的检测标准，采用彩色面阵相机，视野范围为160mm ×120mm ，分辨率为5496（H ）×3672（V ），像素点尺寸为0.029mm ×0.029mm 。

2图像采集与处理手机外观图像采集过程中用到的LabVIEW 子VI [4]包括“IMAQdx Open Camera ”、“IMAQdx Config-ure Grab ”、“IMAQdx Snap2”、“IMAQ Create ”、“IMAQ Dispose ”。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

研究内容
拟解决问题
1 | 深入了解常用计算机视觉算法的原理、使用方法。
2 | 深入了解OpenCV平台的开发步骤。
| 深入了解CUDA平台编码方式、程序间调用方法。
技术平台
OpenCV平台
OpenCV的全称是：Open Source Computer Vision Library。OpenCV 是一个基于（开源）发行的跨平台计算机视觉库，可以运行在Linux、 Windows和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。 OpenCV用C++语言编写，它的主要接口也是C++语言，但是依然保留了大量的C语言接口。该库也有大量的Python, Java 、 MATLAB的接口。这些语言的API接口函数可以通过在线文档获得。如今也提供对于C#,Ch, Ruby 的支持。所有新的开发和算法都是用C++接口。一个使用CUDA的GPU接口也于 2010年9月开始实现。
技术方案
时间
2015年11月——12月 2016年1月——2月 2016年3月——4月中旬 2016年5月初
时间安排
拟完成任务
相关资料的收集整理和阅读阶段；搭建实验平台，搜集论文所需数据；论文撰写与修改论文定稿，申请毕业论文答辩；
写在最后
经常不断地学习,你就什么都知道。你知道得越多,你就越有力量 Study Constantly, And You Will Know Everything. The More
CGT-D系统
CGT-D的优势在能够放大细小的玻璃缺陷，平滑掉放大不足的玻璃表面附着物，过滤背景噪声信息的干扰，检测精度为0.2mm，检测时无需对玻璃清洗和烘干，成本为国外同等产品的四分之一。
研究现状
国内研究
武汉理工大学机电工程学院
基于AMR与DPS玻璃缺陷在线检测系统
华中科技大学机电工程学院
浮法玻璃在线检测系统
小结：
以上国内外的玻璃质量检测系统虽然已经具备各自的优点，然而仍然不能同时满足企业对低成本、高精度、算法简单、实时性的需求。
研究内容
研究目标
RESEARCH TARGET
研究内容
METHOD
研究方法
通过查找学习OpenCV的技术手册、研究屏幕图像的特征确定基本架构。
利用OpenCV平台搭建程序平台并将部分耗时算法改写为CUDA程序。通过实验评估程序的健壮性、处理图像的精确度、完成处理的迅速程度等。
◎、设备出现任何故障，都将束手无策，因而必须要从国外聘请专业的技术人员
选题背景
课题来源
本课题来源于种衍文副教授的横向项目——《手机玻璃屏幕缺陷实时检测系统》
研究目标：研发出一套实时性、稳定性、精确度、适用性、可靠性都很好，而且成本低廉的玻璃缺陷在线检测系统
研究现状
国外研究
德国Alsor公司
研究生学位论文开题报告
基于CUDA的手机玻璃屏幕缺陷实时检测系统
答辩人指导老师——
目录
CONTENTS
选题意义 1 研究现状 2
3 研究内容 4 技术方案
选题背景
市场份额变化
选题背景
技术份额
手机屏幕检测技术份额
70% 30% 国外国内
tips： ◎、国内70% 的玻璃生产厂家都是从国外进口的玻璃缺陷在线检测设备
CUDA 类别：运算平台
退出公司：NVIDIA
技术方案
可行性分析
FEASIBILITY
（1）以前有做过计算机视觉的相关项目，对OpenCV有一定的了解，不存在技术障碍；（2）由于最终目的是研发出一款可以满足低配置、高速度的处理软件，因此只要有一部装有NVIDA图形芯片的计算机即可，硬件需求可以满足；（3）CUDA平台自2007年正式发布以来，经过几个版本的迭代，目前已经拥有了极高的稳定性，而且市面上的学习资料足够满足日常所需。（4）指导老师在计算机视觉领域有很深造诣，对数字图像的处理，分析有深入研究，能够明确指出研究过程中的问题，并及时修正。
激光检测设备
Lasor公司
德国的Innomess公司
ZPI新型的检测装置
FCO玻璃质量在线检测系统
英国的ImageAutomation公司
斑马法检测玻璃缺陷
美国的Strainoptictechnologies公司
根据莫尔条纹中光的干涉放大性特性完成的质量在线检测系统
研究现状
国内研究
长沙科创集成公司
OpenCV 中文名：开源计算机视觉库结构：C函数和C++类
技术平台
CUDA平台
CUDA(Compute Unified Device Architecture)，是显卡厂商 NVIDIA推出的运算平台。 CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。开发人员现在可以使用C语言来为CUDA™架构编写程序，C语言是应用最广泛的一种高级编程语言。所编写出的程序于是就可以在支持CUDA™的处理器上以超高性能运行。CUDA3.0已经开始支持C++和FORTRAN。
You Know, The More Powerful You Will Be
结束语
感聆听
不足之处请大家批评指导
Please Criticize And Guide The Shortcomings
讲师：XXXXXX XX年XX月XX日