视觉注意机制在带钢表面缺陷检测中的应用

Ｇ（ ｘ， ｘ， Ｉ（ ｘ， ＋ｊ ｙ）＝ Ｒ（ ｙ） ｙ） Ｒ（ ｘ， ｙ）＝
１ ２ ２ ２ ［ ／ （ ］ · ｅ ｘ ｘ ２ －（ ＋ｙ ） σ） ｐ ２ π σ σ ｘ ｙ （ ） ６ １ ２ ２ ２ ［ ／ （ ］ · ｅ ｘ ｘ ２ －（ ＋ｙ ） σ） ｐ ２ π σ σ ｘ ｙ （ ） ７ （ ） ５
［］ 用 。 该模型是 Ｉ 利用生 ｔ ｔ ｉ等 ６ 于 １ ９ ９ ８ 年提出 的 ，
ｘ ｃ ｏ ｓ ｓ ｉ ｎ ＝ｘ θ θ ｋ ＋ｙ ｋ θ ｋ
ｓ ｉ ｎ ｃ ｏ ｓ ＝－ｘ θ θ ｋ ＋ｙ ｋ ｙ θ ｋ
（ ） ２ （ ） ３
其中 ， λ 和θ λ、 σ σ ｋ 分别是正弦波的波长和方向 。 ｘ、 ｙ 反映 了 Ｇ ａ ｂ ｏ ｒ 滤 波 器 的 多 尺 度 特 性。 θ ｋ 的定义 ： 如下
— — 丛家源自文库 颜云辉 视觉注意机制在带钢表面缺陷检测中的应用 —
视觉注意机制在带钢表面缺陷检测中的应用
丛家慧 颜云辉
东北大学 ， 沈阳 ， １ １ ０ ０ ０ ４
摘要 ： 针对图像中存在的低对比度及微小缺陷 ， 提出一种基于人类视觉注意机制的带钢表面缺陷检 测方法 。 该方法以人类视觉系统的生 理 结 构 和 功 能 为 基 础 ， 结合 Ｇ 多分辨率的特 ａ ｂ ｏ ｒ滤 波 器 多 尺 度 、 点和人类视觉系统所具有的多通道和多分辨率特征 ， 建立了带钢表面缺陷检测模型 。 实验结果表明 ， 该 方法不 但 可 准 确 检 测 出 缺 陷 区 域 ， 得 到 区 域 焦 点 位 置 坐 标， 而 且 检 测 速 度 快， 可以满足在线实时检测 要求 。 关键词 ： 人类视觉系统 ； 注意机制 ； 表面缺陷检测 ； Ｇ ａ ｂ ｏ ｒ滤波器 ） 中图分类号 ： Ｔ Ｐ ３ ９ １． ４ １ 文章编号 ： １ ０ ０ ４—１ ３ ２ Ｘ（ ２ ０ １ １ １ ０—１ １ ８ ９—０ ４ Ａ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｏ ｆ Ｈ ｕ ｍ ａ ｎ Ｖ ｉ ｓ ｕ ａ ｌ Ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ Ｍ ｅ ｃ ｈ ａ ｎ ｉ ｓ ｍ ｉ ｎ Ｓ ｕ ｒ ｆ ａ ｃ ｅ Ｄ ｅ ｆ ｅ ｃ ｔ Ｉ ｎ ｓ ｅ ｃ ｔ ｉ ｏ ｎ ｏ ｆ Ｓ ｔ ｅ ｅ ｌ Ｓ ｔ ｒ ｉ ｐ ｐ ｐ ｐ Ｃ ｏ ｎ Ｊ ｉ ａ ｈ ｕ ｉ Ｙ ａ ｎ Ｙ ｕ ｎ ｈ ｕ ｉ ｇ ， ， Ｎ ｏ ｒ ｔ ｈ ｅ ａ ｓ ｔ ｅ ｒ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ Ｓ ｈ ｅ ｎ ａ ｎ １ １ ０ ０ ０ ４ ｙ ｙ ｇ ： Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ Ｉ ｔ ｉ ｓ ｄ ｉ ｆ ｆ ｉ ｃ ｕ ｌ ｔ ｔ ｏ ｔ ｈ ｅ ｄ ｅ ｆ ｅ ｃ ｔ ｓ ｉ ｆ ｏ ｎ ｌ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ． Ｉ ｎ ｒ ｅ ｓ ｏ ｎ ｓ ｅ ｔ ｏ ｔ ｈ ｅ ｕ ｄ ｅ ｒ ａ ｙ ｐ ｊ ｇ ｇ ｙ ， ｌ ｏ ｗ ｃ ｏ ｎ ｔ ｒ ａ ｓ ｔ ａ ｎ ｄ ｓ ｍ ａ ｌ ｌ ｄ ｅ ｆ ｅ ｃ ｔ ｓ ａ ｎ ｏ ｖ ｅ ｌ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｈ ｕ ｍ ａ ｎ ｖ ｉ ｓ ｕ ａ ｌ ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ ｍ ｅ ｃ ｈ ａ ｎ ｉ ｓ ｍ ｗ ａ ｓ ｇ ， ｒ ｏ ｏ ｓ ｅ ｄ ．Ａ ｃ ｃ ｏ ｒ ｄ ｉ ｎ ｔ ｏ ｂ ｉ ｏ ｌ ｏ ｉ ｃ ａ ｌ ｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ ａ ｎ ｄ ｆ ｕ ｎ ｃ ｔ ｉ ｏ ｎ ｏ ｆ ｈ ｕ ｍ ａ ｎ ｖ ｉ ｓ ｕ ａ ｌ ｓ ｓ ｔ ｅ ｍ ａ ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ ｍ ｏ ｄ ｅ ｌ ｐ ｐ ｇ ｇ ｙ ｂ ｕ ｉ ｌ ｔ ｃ ｏ ｍ ｂ ｉ ｎ ｉ ｎ ｍ ｕ ｌ ｔ ｉ ｌ ｅ ｓ ｃ ａ ｌ ｅ ｓ ａ ｎ ｄ ｆ ｒ ｅ ｕ ｅ ｎ ｃ ｉ ｅ ｓ ｏ ｆ Ｇ ａ ｂ ｏ ｒ ｆ ｉ ｌ ｔ ｅ ｒ ｗ ｉ ｔ ｈ ｍ ｕ ｌ ｔ ｉ ｃ ｈ ａ ｎ ｎ ｅ ｌ ａ ｎ ｄ ｍ ｕ ｌ ｔ ｉ ｆ ｒ ｅ ｅ ｎ ｗ ａ ｓ － ｇ ｐ ｑ ｑ ｃ ｏ ｆ ｈ ｕ ｍ ａ ｎ ｖ ｉ ｓ ｕ ａ ｌ ｓ ｓ ｔ ｅ ｍ． Ｔ ｈ ｅ ｅ ｘ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｓ ｈ ｏ ｗ ｔ ｈ ａ ｔ ｔ ｈ ｉ ｓ ｍ ｅ ｔ ｈ ｏ ｄ ｉ ｓ ｅ ｆ ｆ ｅ ｃ ｔ ｉ ｖ ｅ ｔ ｏ ｄ ｅ ｔ ｅ ｃ ｔ ｔ ｈ ｅ ｙ ｙ ｐ ， ｓ ｕ ｒ ｆ ａ ｃ ｅ ｄ ｅ ｆ ｅ ｃ ｔ ｓ ａ ｎ ｄ ｅ ｓ ｔ ａ ｂ ｌ ｉ ｓ ｈ ｔ ｈ ｅ ｃ ｏ ｏ ｒ ｄ ｉ ｎ ａ ｔ ｅ ｏ ｓ ｉ ｔ ｉ ｏ ｎ ｏ ｆ ｄ ｅ ｆ ｅ ｃ ｔ ｒ ｅ ｉ ｏ ｎ．Ｔ ｈ ｅ ｉ ｎ ｓ ｅ ｃ ｔ ｉ ｏ ｎ ｓ ｅ ｅ ｄ ｉ ｓ ｆ ａ ｓ ｔ ｐ ｇ ｐ ｐ ’ ｗ ｈ ｉ ｃ ｈ ｃ ａ ｎ ｓ ａ ｔ ｉ ｓ ｆ ｔ ｈ ｅ ｒ ｅ ａ ｌ － ｔ ｉ ｍ ｅ ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ ｓ ｓ ｔ ｅ ｍｓ ｄ ｅ ｍ ａ ｎ ｄ ｓ ． ｙ ｙ ： ； Ｋ ｅ ｗ ｏ ｒ ｄ ｓ ｈ ｕ ｍ ａ ｎ ｖ ｉ ｓ ｕ ａ ｌ ｓ ｓ ｔ ｅ ｍ； ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ ｍ ｅ ｃ ｈ ａ ｎ ｉ ｓ ｍ； ｓ ｕ ｒ ｆ ａ ｃ ｅ ｄ ｅ ｆ ｅ ｃ ｔ ｉ ｎ ｓ ｅ ｃ ｔ ｉ ｏ ｎ Ｇ ａ ｂ ｏ ｒ ｆ ｉ ｌ ｔ ｅ ｒ ｙ ｐ ｙ
注意机制主要包括两个子过程 ： ｏ ｔ ｔ ｏ ｍ－ ①采用 ｂ 该机制是基于输入 图 ｕ ｐ 控制策略的预注意机制 ， 属于低级的认知过程 ； 像的显著性计算的 ， ② 采用 它通过调整选 Ｔ ｏ ｏ ｗ ｎ 控制策略的注意机制 ， ｐ－ｄ 从而达到将注意 择准则以适应外 界 命 令 的 要 求 ， 力集中于特定目标的目的 ， 属于高级的认知过程 。 本文 的 研 究 是 基 于 ｂ ｏ ｔ ｔ ｏ ｍ－ｕ ｐ控制策略的应
１ － ５］ 。 如果在 机 器 视 觉 中 引 入 并 研 究 这 种 选 觉等 ［
择性注意机制 ， 对于更好地解决数据筛选问题 ， 提 高机器视觉系统的目标检测与信息处理效率将具 有重大意义 。 视觉心理学研 究 表 明 ， 人类视觉系统选择性 ·１ １ ８ ９·
中国机械工程第 ２ ２ 卷第 １ ０期２ ０ １ １ 年 ５ 月下半月
收稿日期 ： ２ ０ １ ０—０ ７—１ ９ 基金项 目 ： 国家高技术研究发展计划（ 资助项目 ８ ６ ３ 计 划） （ ） ； ） 国家自然科学基金资助项目 （ ２ ０ ０ ８ ＡＡ ０ ４ Ｚ １ ３ ５ ５ ０ ５ ７ ４ ０ １ ９
人工智能的提出 和 发 展 ， 机器视觉已广泛应用到 产品检验和质量 控 制 等 环 节 中 ， 采用机器视觉检 测方法可以大大提高生产效率和生产的自动化程 度 。 基于机器视觉的带钢表面缺陷检测系统集成 了微 电 子 、 计 算 机、 工 程 光 学、 数字图像处理和识 别等先进技术 ， 是机器视觉检测技术在钢铁生产 制造领域的一个研究方向 。
［］ 合 。Ｂ 如 ｒ ｏ ａ ｄ ｂ ｅ ｎ ｔ７ 在 １ ９ ５ ８ 年 提 出 滤 波 器 模 型，
可以看出 Ｇ ｋ 决定了滤波器方向的个数 ， ａ ｂ ｏ ｒ 滤波器具有很好的方向选择性 。 和 分别为高 σ σ ｘ ｙ 斯包络在ｘ 和ｙ 方向 上 的 标 准 差 ， 它们决定了高 除了具有 时 间 － 频 率 域 的 最 斯包络的空间扩展 。 佳局部化以及与哺乳动物的视觉接收场模型吻合 的性质外 ， 该种滤 波 器 对 图 像 的 亮 度 和 对 比 度 变 化具有一定的鲁棒性 。
θ ｋ ＝
π（ ） …， ｋ－１ ｋ ＝ １， ２， ｎ ｎ （ ） ４
在若干个空间尺度上 物的中央周边滤 波 器 结 构 ， 提取低级特征 ， 通过组合得到的特征图生成３个 分 别 对 应 于 颜 色、 灰 度 和 方 位， 特征 显 著 性 描 述 ， 而显著性图 为 这 ３ 个 特 征 显 著 性 描 述 的 线 性 组
０ 引言
带钢表面缺陷检测技术作为先进的带钢生产 受到钢铁企业和科研院所越来越 质量监测手段 ， 多的重视 。 传统的人工目视抽检早已不能满足现 代带钢生产的需 求 ， 研制和应用基于机器视觉的 带钢表面质量检测系统以实现带钢表面缺陷的连 续、 实时自动检测 ， 已越来越重要 。 为了满足在线 ／ ， 检测速度要求能够达到 ３ 这需要 检测要求 ， ０ ｍ ｓ 采集和传输大量的图像数据 ， 但值得注意的是 ， 一 方面 ， 图像数据的 增 加 速 度 远 比 计 算 机 处 理 能 力 的提高速度要快 ， 另一方面 ， 人们所关心的内容通 如何尽快 常只是整个数据 集 合 中 很 小 的 一 部 分 ， 地从众多数据中找到并提取与任务相关的那部分 “ 、 “ 重要的 ” 有用的 ” 和“ 值得关注的 ” 信息 ， 成为研 究中需要解决的重要问题 。 带钢表面缺陷 具 有 类 别 多 样 、 缺陷形态复杂 等特点 ， 同一条生 产 线 产 生 的 缺 陷 数 量 和 类 别 差 因 此 对 于 缺 陷 的 总 结 比 较 困 难。图 别可能很大 ， 像中存在着低对比度缺陷 、 微小缺陷 ， 如果只根据 缺陷灰度图像是很难判别出缺陷的存在的 。 随着
图 １ 视觉注意机制滤波器模型
人类视 觉 系 统 处 理 视 觉 信 息 采 用 多 通 道 机 制， 视觉信息按其 特 征 在 不 同 的 通 道 范 围 中 进 行 这些通 道 调 谐 于 特 定 频 率 和 方 向 。 用 于 人 处理 ， 类视觉系统多通 道 结 构 建 模 的 是 Ｇ 本 ａ ｂ ｏ ｒ变 换 ， 原视觉皮层中简单细胞的感受野调谐于特定的频 率和方向 ， 仅对特定的空间频率进行响应 ， 并且这 一响应的带宽限 制 在 倍 频 程 内 ， 其轮廓类似于二 维Ｇ 因此使 得 Ｇ ａ ｂ ｏ ｒ函数 ， ａ ｂ ｏ ｒ变 换 成 为 自 然 的 选择 。 利用 Ｇ 即其逼近 ａ ｂ ｏ ｒ变换良 好 的 仿 生 特 性 ， 神经元感受野的 分 布 功 能 ， 保证了对视觉信息的 感知能达到信息 论 标 准 的 最 佳 效 果 ， 恰当地选择 参数 ， Ｇ ａ ｂ ｏ ｒ变 换 可 以 出 色 地 提 供 理 解 信 息 的 有 效途径 ， 这对 研 究 图 像 目 标 检 测 非 常 有 用 。 利 用 有利于获得具有空间 Ｇ ａ ｂ ｏ ｒ变 换 进 行 图 像 处 理 ， 、 频率 空间位置和 方 向 取 向 选 择 性 的 图 像 局 部 特 征 。Ｇ ａ ｂ ｏ ｒ函数可以很方便地进行尺度伸缩和方 向旋转 ， 建立多通道模型 ， 实现带钢缺陷图像具有 尺 度 选 择 性 和 方 向 选 择 性 的 多 分 辨 特 征 提 取。 ２ ＤＧ ａ ｂ ｏ ｒ滤 波 器 是 一 加 ２ Ｄ 高斯窗的傅里叶变
图 １ 所示 ， 图中视觉信息输入通道的数量较多 ， 而 经过滤波器进入 高 级 分 析 阶 段 的 通 道 只 有 一 条 ， 这种滤波器模型体现出了视觉注意的选择作用 。
２ 基于人类视觉注意机制的缺陷检测
视觉注意机制 模 型 的 基 本 思 想 是 ， 在单一分 辨率图像上通过构 建 Ｇ ａ ｂ ｏ ｒ滤 波 器 建 立 多 尺 度 、 多方位的多通道 图 像 ， 通过全波整流和各通道间 得到多尺度 、 多方位的方位特 的对比度增益控制 ， 征图 ， 这些特 征 图 的 线 性 组 合 则 为 显 著 性 图 。 待 检测目标在显著 性 图 中 得 到 明 显 增 强 ， 有利于检 测的实现 。 ２． １ Ｇ ａ ｂ ｏ ｒ滤波器 Ｇ ａ ｂ ｏ ｒ滤波器 Ｇ（ ｘ， ｙ）为复函数 ：
１ 人类视觉系统生物学基础
人类具有异常突出的数据筛选能力 。 面对每 时每刻都在变化 的 各 种 信 息 ， 人们总能迅速察觉 到那些与其息息 相 关 的 重 要 信 息 ， 并及时作出反 应， 这种具有选择 性 和 主 动 性 的 心 理 活 动 被 称 为 注意机制 。 近年 来 ， 人类视觉注意机制逐渐引起 了图像信息领域 研 究 者 的 广 泛 关 注 ， 并有了一些 如基于注意机制的图像压缩与编码 、 基于注 应用 ， 意机制的场景渲染 、 基于注意机制的目标检测 、 基 于注意机制的目标识别和基于注意机制的主动视