图像序列中点目标实时检测算法

Biblioteka Baidu 第1期
宋绍京: 图像序列中点目标实时检测算法
51
能满足实时性要求, 因此采用协处理器的方式来加 快图像处理的速度, 满足系统的实时性要求, 系统结 构示意图如图 1 所示。系统由摄像头采集安瓿瓶液 体图像序列, 摄像头和工控机采用千兆网口来进行 连接, 工控机的主板上通过 PCIe 接口连接一块用现 场可编程逻辑门阵列 (FPGA) 开发的图像并行处理 协处理器, 以满足图像处理的实时性要求。
时域处理和空域处理。时域处理使用连续帧进行背 景抑制, 具体的方法是使用图像相减和累加平均。 空域处理利用了目标和背景之间的不相关性, 典型 的算法是使用中值滤波、高通滤波器或者使用基于 已知模型的背景抑制。基于模型的背景抑制对于背
52
上海第二工业大学学报
2014 年 第 31 卷
景的变化具有很好的适应性, 该方法描述如下: 如 果一个像素是背景, 它的灰度值可以通过周围的像 素进行预测; 如果一个像素是目标, 那么它和背景具 有比较差的相关性。如果使用周围的像素值来预测 当前像素的灰度值, 总的来说预测值和实际值还是 不一样的, 因此使用这个特征可以对背景进行抑制。 背景的抑制模型可以描述为 g (x, y ) =
式中: x = 0, 1, · · · , m − 1; y = 0, 1, · · · , n − 1; f 为 输入图像 (m × n); g 为预测图像; Wk = [wk (j, i)] 为 预测模型的权重矩阵; Sk 为当前背景的范围。 输入图像和预测图像的差值图像 e(x, y ) = f (x, y ) − g (x, y ) (2)
i = 1 , 2, · · · , q − 1
t1 ti+1 N −1 (3)
wk (j, i)f (x − j, y − i)
(1) 出于自适应的目的, 采用根据图像统计特性来 确定各分割阈值的方法, 即 ti = m + ki σ k1 < k2 < · · · < kq i = 1, 2, · · · , q (4)
x t y k+L+1 k+L−1 k+L−3 k+2 k+1 k Sk
式中: m 为当前帧图像的均值; σ 为标准差; ki 为加 g (x, y ) 可以看成是当前背景像素的灰度值, 如果 像 素 (x, y ) 和 Sk 中 的 像 素 属 于 同 一 背 景, 那 么 e(x, y ) ≈ 0, 这样背景就得到抑制。 1.2.3 目标提取 经过背景抑制后, 大部分像素集中在低灰度值 区域, 仅有目标和小部分噪声分布在高灰度值区域。 为了能把目标从图像中提取出来, 最常使用的方法 是根据图像的信噪比, 使用阈值对图像进行二值化 处理, 高于阈值的像素被认为是潜在疑似目标。阈 值的选择对于处理的速度和目标的判别具有很强的 影响力, 如果阈值选择比较低, 过多的疑似目标就会 影响图像中目标提取的速度, 虚警率就会急剧增加; 如果阈值选择比较高, 检测性能就会降低, 甚至是丢 失真实目标。因此, 为了改善在图像中提取目标的 性能, 设计了一种新型的多阈值自适应分类器。 图像像素的灰度值的范围假设为 G = {0, 1, · · · , N − 1}, 分 割 阈 值 为 {t1 , t2 , · · · , tq ; (0 < t1 < t2 < · · · < tq < Q − 1)}。因 此 图 像 被 分 割 成 (Q + 1) 个 部 分, B = {b0 , b1 , · · · , bq ; (b0 < b1 < b2 < · · · < bq )} 代表了对应于阈值 q 的 权系数。 经 过 上 述 分 割 后, 图 像 中 的 像 素 点 被 分 为 (n + 1) 个类, f0 (x, y ) = b0 的这一类像素点将被认 为是单纯的噪声点从图像中滤除, 此时 {f1 (x, y ) = b1 , · · · , fi (x, y ) = bi , · · · , fq (x, y ) = bq } 的像素点构 成 n 类疑似目标集 (其中 f 和 b 对应该疑似目标点 所属的类), 疑似目标 fi (x, y ) 的下标越大表明该像 素点隶属目标点的程度越大, 因此所赋予的能量权 值 bi 也就越高。 1.3 时间管道和前向验证 基于上述多阈值分类方法, 前向验证将充分利 用图像序列中小目标的灰度值和位置的相关性。当 疑似目标在当前帧图像中不能完全确定时, 以当前 目标为基础, 在接下来的图像帧中以位置为基础对 所有的疑似目标在时间管道中一帧一帧地继续寻找 确认, 所有疑似目标的能量通过当前帧的加权求和, 然后再根据给定阈值来判定疑似目标是否是真实目 标。 假设当前帧疑似目标 fik (x, y ) 是待确认目标, 目 标检测可以通过下述步骤来完成。 (1) 根据目标属性、 移动速度、 平台抖动和帧频 来估算最大可能位移量 Dmax 。
0 引言
随着工业化进程的快速发展, 在工业检测与测 量中越来越多地采用了智能化方法。利用机器视觉 来进行工业检测与测量, 是智能检测中常用的一种 方式, 尤其是依赖序列图像进行信号测量与检测, 在 很多领域中得到了应用。在药液杂质检测中, 当杂 质比较小时, 用肉眼进行杂质检测的可靠性和准确 性都不尽如人意, 因此, 进行点目标检测是液体杂质 检测系统的关键。通常解决这类问题有两种思路: 一是在图像序列的点目标检测中, 先进行跟踪再进 行检测 (TBD); 二是先检测再跟踪 (DBT)。TBD 法 根据多帧检测的思想 [1-3] , 将空间和时间信息整合 到多帧处理过程中, 对原始序列图像中的多个可能 轨迹进行跟踪, 再进行门限判决, 最终达到目标检测 的目的; DBT 算法则采用 “单帧检测和多帧确认” 的 策略, 先进行背景抑制, 然后对图像进行分割, 获取 疑似目标点, 再根据目标运动信息的帧间高相关性, 进行多帧图像的能量累积, 对单帧检测的结果迸行 跟踪判决。这样极大地减小了跟踪判决的难度, 因
此, 在算法复杂度和实现难易度两方面占有优势。 许多学者对红外弱小目标检测进行了研究 [4-8] , 但这些算法仅仅局限于红外图像, 因为红外图像具 有大面积、低频率和运动簇明显等特征。当将上述 算法用于对由明显目标组成的大量杂乱目标群进行 检测时, 其性能则不能令人满意, 尤其是当目标处在 具有低信噪比的图像中, 或者处在边缘具有弱对比 度的情况下, 而这些正是液体杂质检测中的典型特 征。单阈值分割对阈值是敏感的, 如果选择阈值过 小, 会导致虚警率过高; 如果选择阈值过大, 就会丢 失弱小目标。因此, 单阈值选择并不能给人以满意 的效果。为解决这个问题, 本文给出了一种新型的 多阈值分割并行处理算法, 经过安瓿瓶液体图像序 列测试, 证明该算法可以获得令人满意的效果。
图 1 液体杂质检测图像处理系统结构示意图 Fig. 1 Schematic of impurity detection system of liquid
1.2 液体杂质检测算法 液体杂质检测算法可以分成 4 个阶段, 如图 2 所示。图像预处理是运动目标区域只占图像的一小 部分时所必须的, 这样能够大大减小图像处理的运 算量, 因此区别图像的有效区域是该算法的第一步, 这样可以大大降低目标群和虚警率; 接下来是进行 背景抑制, 消除图像中临时静态的像素, 这样可以有 效提高图像的信噪比; 采用多阈值自动分隔算法来
第 31 卷 第 1 期 2014 年 3 月
上海第二工业大学学报 JOURNAL OF SHANGHAI SECOND POLYTECHNIC UNIVERSITY
Vol. 31 No. 1 Mar. 2014
文章编号: 1001-4543(2014)01-0050-05
图像序列中点目标实时检测算法
进行目标提取, 得到潜在疑似目标; 通过时间管道进 行能量积累, 根据权重来判断疑似目标是否是真正 需要提取的目标。各个阶段将在后续部分进行详细 描述。
㵝㼒 䊅⪇㏎ ⡔㈑ 䄷䐧 㚠⢋ 㳂㦂 㬒ヅ⹽⭡ 巛㣑㼓䂊䐅
图 2 算法结构示意图 Fig. 2 The structure of the algorithm
㪄㼒㵘
⹅㋹〛
㾎⪇㏎㡘
文中所进行的内容分析基于这样的假设: 有 L 帧的分离图像序列; 二维平面尺寸为 m像素 × n像素; 用 (xk , yk ) 来代表第 k 帧图像中的像素坐标, 如果 (xk , yk ) 没有下标, 则表示当前帧的像素坐标。 1.2.1 图像预处理 通过调整照明, 液体在图像成像中对应着相应 的灰度值, 因此在杂质检测系统中的图像预处理部 分采用通过灰度分析来进行图像分割, 图 3 描述了 一种峰值灰度分析方法。事实上, 并不是所有的情 况下都要采用上述 4 个步骤来完成点状目标的检 测, 可以根据系统的实际情况来采用这 4 个步骤中 的某些步骤来完成。
1 液体杂质检测系统
1.1 液体杂质检测系统结构 液体杂质检测系统对实时性要求非常高, 每分 钟需要检测 150 瓶, 单纯地依靠工业控制计算机不
收稿日期: 2013-07-15; 修订日期: 2014-03-10 通讯作者: 宋绍京 (1974–), 男, 山东泰安人, 助理研究员, 博士, 主要研究方向为图像处理、 智能控制, 电子邮箱 sjsong@sspu.edu.cn。
宋绍京
(上海第二工业大学电子与电气工程学院, 上海 201209)
摘 要: 点目标检测在液体杂质检测中非常关键, 在分析现有图像点状目标检测算法的基础上, 研究了一种适用于
图像序列的运动点目标多阈值检测算法, 在背景抑制的基础上, 首先采用自适应多阈值分类的方法提取多类疑似目 标, 强化了各点状目标疑似的检测能力。在当前帧疑似目标的真伪无法判定时, 根据目标在相邻帧间的位置变化信 息构造相应的时空管道, 沿时空管道正向寻找可能出现的各类疑似目标, 并将其能量与当前帧疑似目标点的能量进 行加权求和后再进行门限判决。使用硬件并行预处理图像, 较好地解决了实时性问题, 满足系统实时性要求。对安 瓿瓶液体图像序列进行测试的结果表明, 该算法的效果令人满意。 关键词: 杂质检测; 液体图像序列; 点目标; 多阈值分类; 后向验证 中图分类号: TN911.7 文献标志码: A
䁑䍳⟝㕈凵 㭞⭥䔏⫔䐖 㧈⺜㑞⷗ⴆ䐖 㼁㑻, 䁂䋒㡅䄜 ⿳Ⱙェ㰄 䁑䍳㈷⤠ 䔏⫔䐖 㸿㾈㤙 䈓䐤㒄 䍳⨗䔏 ⭮⹩䐖
㧈⺜㑞⷗ⴆ䐖䐏 ヅ⭥⹩䐖⤜㘘㻵, 䁂䋒㡅䄜ⴆ䐖
䄧⨞㾂⭥ⴆ䐖
图 3 峰值搜索算法示意图 Fig. 3 Peak searching algorithm
1.2.2 背景抑制 在液体图像序列中, 因为小目标在图像中呈点 状, 信噪比非常低, 想直接进行目标识别是有难度 的, 所以在目标检测之前, 为提高信噪比, 非常有必 要进行背景抑制。当前图像背景抑制可以分成两类:
第1期
宋绍京: 图像序列中点目标实时检测算法
53
(2) 基于移动目标中心及半径 r(r > Dmax ) 使 用前向 L 帧图像构造时空管道, 如图 4 所示。首 先设置当前帧图像区域中的 Sk 为时间管道的起 点, 以疑似目标的中心为中心, 以 r 为半径, 延伸至 (k + 1) 帧。如果疑似目标 fik+1 (x, y ) 出现在 k + 1 帧中, fik+1 (x, y ) 与 fik (x, y ) 的距离小于 r, 就把时间 管道的中心设为 fik+1 (x, y ); 如果疑似目标没有出现 在 (k + 1) 帧中, 时间管道就直接延伸至 (k + 2) 帧 寻找疑似目标。依照这样的模式, 时间管道可以延 伸至 (k + l) 帧。
j ∈Sk i∈Sk
(q + 1) 个权重, 在这些条件下, 图像 f (x, y ) 的分类 结果可以由下式来进行描述:
b0 , 0 f (x, y ) fi (x, y ) = bi , ti < f (x, y ) bq , tq < f (x, y )