【CN109859171A】一种基于计算机视觉和深度学习的楼面缺陷自动检测方法【专利】

(4)然后通过形态学操作处理修整I_B； (5)设I_B有K个连通域，计算各连通域Pk的面积，设定阈值T，保留面积超过T的连通域， 舍弃面积未超过阈值的连通域，面积阈值T＝300，得到楼面图像的墙体区域的掩膜I_Mask。 4 .根据权利要求1所述的方法，其特征在于楼面图像墙体区域分块具体步骤如下： 采 用重叠式滑窗分割原始大图 ；以 原图的 左上 角为起始点 ，用固定尺寸、固定滑动步长 的窗口 进行图 像的 分块 ；窗口的 尺寸 (WW ，WH) 为SSD模型的 输入尺寸 ，其中WW为窗口 宽度 ，WH 为窗口高度；水平和竖直方向的滑动步长分别为StepW和StepH皆设为窗口对应尺寸的一半； 是否对滑窗内的图像进行保存则需要根据第三步得到的楼体照片的墙体掩膜进行判断 ；如 果一个窗口 完全处于非楼体区域 ，则不 用保存 ；否则 ，将每次 滑窗内的图 像保存下来 ，并记 录其左上角点在原图中的坐标信息，即(Xsub，Ysub)。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910010889 .4
(22)申请日 2019 .01 .07
(71)申请人 北京工业大学 地址 100124 北京市朝阳区平乐园100号
(72)发明人 孙光民 陈佳阳 白云鹍 关世奎 李煜
(74)专利代理机构 北京思海天达知识产权代理 有限公司 11203
代理人 刘萍
(51)Int .Cl . G06T 7/00(2017 .01) G06T 7/11(2017 .01) G06T 7/155(2017 .01) G06T 7/187(2017 .01)
(10)申请公布号 CN 109859171 A (43)申请公布日 2019.06.07
( 54 )发明 名称 一种基于计算机视觉和深度学习的楼面缺
权利要求书2页 说明书7页 附图9页
CN 109859171 A
CN 109859171 A
权 利 要 求 书
ห้องสมุดไป่ตู้
1/2 页
1 .一种基于计算机视觉和深度学习的楼面缺陷自动检测方法，其特征在于步骤如下： 一 .模型预训练 对SSD模型进行预训练，得到模型初始化参数； 二 .制作标注样本 首先对楼面图像进行缺陷位置及种类的标注；然后依据SSD模型的输入尺寸，以缺陷为 中 心将原图 裁剪成小图 像块 ，同时应 用数据扩 增技术 增加其数量 ，将其作为该模型的 训练 和验证样本集； 三 .模型迁移学习 使预训练好的SSD模型在上述样本集上进行迁移学习，得到用于墙面缺陷检测的模型； 四 .楼面图像的墙体区域提取 对新拍摄的楼面图像I进行墙体与非墙体的区域分割，得到墙体掩膜I_Mask； 五 .楼面图像墙体区域分块 对楼面图 像I进行重叠式 分块 ，依 据掩膜对分块进行筛选 ，舍弃处 于非 墙体区 域的 分 块，得到待检测分块集I_Sub 六 .对分块进行缺陷检测 应 用训练 好的 SSD对I_ Su b中的 各分 块 进行 检 测 ，得 到每个分 块中 缺陷的 种类以 及位 置； 七 .分块检测结果整合 将上述分块检测结果进行拼接整合，直接将缺陷的种类与位置对应到原始大图I上； 八 .修正检测结果并制作新样本进一步优化模型 去掉不包含缺陷的检测框，修正包含缺陷的检测框，修正方式为重新调整检测框大小， 使其为缺陷的最小外接矩形。 2 .根据权利要求1所述的方法，其特征在于制作标注样本具体步骤如下： 初始样本集的制作是需要对楼面图像进行缺陷位置及种类的标注，要求标注框为缺陷 的最小外接矩形，得到初始标注框(xi，yi，wi，hi) ，其中xi、yi分别为初始标注框的左上角点 的横轴和纵轴坐标，wi、hi分别为初始标注框的宽度和高度； 修正初始标注框，为缺陷主动保留背景；设修正后的标注框为(xc，yc，wc，hc)修正依据如 下公式，其中a∈(0 .2，0 .5)为扩展参数： wc＝wi*(1+a) hc＝hi*(1+a) xc＝xi-0 .5*wc*a yc＝yi-0 .5*hc*a 然后以 缺陷标注框为中心剪切宽为wssd ，高为hssd的 小图 像块作为 训练 和测试样本 ，并 应 用数据扩增技术 增加样本的 数量 ，最终得到 用于 训练 和验证的 样本集 ；其中wssd 和hssd分 别为SSD模型输入图像尺寸的宽和高 ，而数据扩增采用的是随机剪裁；设剪裁框为(xcrop， ycrop，wcrop，hccrop) ，缺陷标注框均小于剪裁框，其生成方式如下： (1)首先确定剪裁框的中心点坐标为(CXcrop，CYcrop) ： CXcrop＝random(xc+wc-0 .5*wcrop，xc+0 .5*wcrop) CYcrop＝random(yc+hc-0 .5*hcrop，yc+0 .5*hcrop)
2
CN 109859171 A
权 利 要 求 书
2/2 页
wcrop＝wssd hcrop＝hssd (2)然后根据剪裁框中心坐标计算剪裁框的4个参数： wcrop＝wssd hcrop＝hssd xcrop＝CXcrop-0 .5*wcrop ycrop＝CYcrop-0 .5*hcrop。 3 .根据权利要求1所述的方法，其特征在于楼面图像的墙体区域提取具体步骤如下： 当新拍摄的一组楼体照片需要进行缺陷检测时 ，需要先应 用传统图 像处理方法将待检 测的楼面区域与非墙体区域进行分割，非墙体的分割要采用基于HSV颜色空间的阈值分割 算法，算法具体执行如下： (1)首先将原始图像I从RGB空间转换为HSV空间； (2)设定非墙体每一点(x，y)在H通道上的分量H(x，y)∈(Tl，Th) ，其中Tl和Th分别为设定 的上下限 ；其中设定Tl＝100 ，Th＝124 ， (3)以此二者为阈值进行分割，得到相应的二值图像I_B；
陷自动检测方法 ( 57 )摘要
本发明公开了一种基于计算机视觉和深度 学习的楼面缺陷自动检测方法，包括：在检测前， 先利用已有楼面缺陷图像制作样本，并依据迁移 学习理论进行楼面缺陷检测模型的 训练 ；检测流 程是首先依据传统图像处理对楼面图像墙体区 域进行分割提取 ；然后对楼面图像的墙体区域分 块 ，应 用模型对每一子块进行检 测 ，可以 采 用并 行处理的方式加速；接着对子块检测结果进行整 合与转换 ，标注出缺陷 在原始图 像上的 位置 ；最 后对检测结果进行修正，并制作新样本用于模型 的再次训练，以提升模型的检测性能 ；本发明解 决了现有技术中楼面图像缺陷检测的速度与精 度难以 兼得 ，且检 测算法适应能 力不强 ，检 测效 果易受照片拍摄环境影响的难题。