基于图像处理的自动目标识别和跟踪算法初探_蒋晓瑜
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
摘 要: 复杂战场背景下对目标 进行有效的识别和及 时的跟踪是一个具 有挑战性的课题。 结合 一个实际案例 ,在实践中 对目标自动识别和跟踪的基本理论进行 阐述和探讨 ,并提出了具体的实现算法。 最后对基于图像处理的目标自动识别和跟踪 算法进一步的研究进行了展望。
关键词: 自动目标识别 ,目标跟踪 ,特征提取 ,断点容忍 中图分类号: T P242 文献标识码: A
特征如果不能用计算机语言表述的话 ,所提取的特征也
就无效了。 本例的特征提取算法从直线的检测开始。
( 1)图像的预处理。对二值图像进行 处理最方便 ;第一步
就是把图像 预处理成 二值图像 ,既要二 值化 ,又要保 持其轮
廓特征 ,这里采用边缘检测方法。检测算子为 Prew itt算子如
图 4所示 (包括水平和垂 直两个方向 ) ;而后就 是选择合理的
3 工程案例
3. 1 识别对象 ,如图 3所示
该 图取 坦 克瞄 准镜 的 场
景 ,是一个按比例缩小后的图 ,
原始图像大小为 720× 576。 该
图中部的白色方形靶子是需要
实时识 别的对 象 ,实际长 为
4. 6m, 高 为 2. 3m,白 色 ,距 观
察者 约 2 000m; 目 标 背 景为: 靶子上方有圆圈分划、天空 ,靶
特征形成。 根据被识别的对象产生一组 原始特征 ,它们 可以是传感器的直接测量值 ,也可以是将传感器的测量 值作 某些计算后得到的值。
特征选择。特征选择就是从众多特征中选 出最具有代表 性的 ,易于用计算机语言描述的特征。
特征提取。 特征提取是另一种减少特征维数 的方法。 在现有 的图像处理 的 A T R 系统中 ,常用 的特征量有 如 下几类: ( 1)长宽比 ,指目标最小外接矩形的长度与宽度的比值 。 ( 2)连通性和闭合性 ,主要指图像中区域 是否连通 ,轮廓 曲线是否闭合。 ( 3)角点 ,即图 像轮 廓中 突变 的部 位 ,这是 很明 显的 特 征 ,而且在目标被局部遮挡或图片污损的情况下该特征 也还 会明显如初。 ( 4)矩 ,二维矩具有平移不变性、伸缩不变性和旋转 不变 性 ,从而具有良好的识别性能。 ( 5)纹理特征 ,这是对图像灰度分布的空 间描述 ,是 图像 局部性质的统计 ,重要方法有共生矩阵法和分形法。
以 G点为 基点 ,如 I 为白 点则以 I 为基点 ;此 后各点 依此 类 推。 这里有另一个问题: 如果目标的轮廓有微小的中断 该如
何处理呢? 本算法采用一种叫“断点容忍”的 方法来解决 ,依
旧用图 5来说明: 如果点 O、 A、 E、 F 均 已检测出是 在一条 直
线上 ,但点 F 的正 右方有连 续两个 (或其他数 目 )断 点 (即 黑
的长是高的 2倍 )。
( 4)目标有 4个直角 (近似 )。
( 5)目标轮廓是闭合的 (近似 )。
由几何知 识知道 ,该目标的 基本特征 是直线 ,因 为无论
长宽、平行、长 宽比还是 直角、轮 廓闭合等 特征 ,无一 不是用
直线来表述的。所以其特征提取的关键就落在直线的检测上
了。
3. 3 特征提取算法的实现
收稿日期: 2006-01-25 作者简介: 蒋晓瑜 ( 1967- ) ,男 ,湖南人 ,博士生导 师。
性 ,以 及目标本身 可能发生的 姿态变 换、缺 损、模 糊和遮 挡 , 使得 A T R技术是一个复杂的过程。 总的说来 ,一个 A T R系 统应该具有 在复杂背 景以及各种 天气情况 下检测、分类、识 别目标 的能 力 ,这样才 能有 针对性 地对 目标 进行 持续 的跟 踪。
( 2) 句法 (或结构 )图像识别方法。句法图像识别方法是 基于形式语言理论的概念为基础的。 它分析图像的结 构 ,把
蒋晓瑜 ,等: 基于图像处理的自动目标识别和跟踪算法初探 · 1 3·
复杂结构的图像看成由简单的子图像所 组成 ,又把最简 单的 子图像作为基元 ,从基元的集合出发 ,按照一定 的文法 (构图 规则 )去描述比较复杂的图像。给定一个输入模式基元串 ,判 别其是否被文法识别器接受的过程就是 图像识别。由于提取 图 像基元 特征 的困难 ,句 法图 像识别 的方 法应 用得 并不 广 泛。
的第一 个白点为 O 点 ,这
一点 有可能 就是角 点 ,故 可 能 存 在过 这 点 的 两条
图 5 二值化结 果
垂直的直线: 一条是水平方向的 ,一条是垂直方向的。以 O 点
为基点先向右逐点搜索 ,如果 A 点为白点 (灰度为 255) ,则认
为 OA 是条直线 ,之后以 A 点为基点继续搜索 ;如果 A 点是黑 点 (灰度为 0)则看 G点和 I 点 (先 G点后 I 点 ) ,如 G为白点 ,则
2 基于图像处理的 A T R 技术的关键 — — 特征提取
在 基于图像 处理的 A T R系 统中 ,如何使目标 特征化 是 实现实时、准确目标识别的关键。作为关键步骤 ,特征提取的 目的是获取一组“少而精”的分类特征 ,即获取特征数目 少且 分类错误概率小的特征向量。 特征提取常常分三 步进行:
( 4)长宽比约束。因为直线检测就水平和垂直两个方向 , 故长宽比用来做约束条件 ,过同一点的两条直线要满足 长宽 比条件 ,才可认为该点是可能的角点。
( 5)闭合性 检测。 如图 7所 示 ,O 1、 O2是两个 可能的 角 点 , O1C、 O1D是过 角点 O1的两条互 相垂 直 的直线 , O2A、O 2B 是 过角点 O2的两条 互相 垂直的直 线 ,如果直 线 O1D、 O2A 在 图中所示的圆圈范围之内 ,直线 O1C、O2B 在也在图 中所示的另一圆圈 范围内 ,则可 认 为直线 O1D、 O2A 相交 (即连 通 ) ,直 线 O1C、 O2B 相交 (即 连通 ) ,则 认为该轮廓是闭合的。即这里有
Automatic Target Recognition and Tracking Algorithm on the Method of Image Processing
JIAN G Xi ao-yu, HE Dong-liang , W AN G Xi
( Academy of Armored Force Engineering ,Beijing 100072,China)
图 3 识别对象
子后边是一片树林 ,前方是一片水泥平地。
3. 2 目标特征分析
识别对象最明显的特征是其形状和灰度值。但是其亮度
特征实际上是分类错误概率很高的特征 ,直 接的观察并不可
靠 ,因 为这里存在 一个“同时对 比度”问题 ,就图 3中 目标下
方的白色地面区域和上方的天空区域 ,其灰 度值和目标区域
( 3) 模糊图像识别方法。模糊图像识别方 法是模糊集理 论在图像识别中的应用。它是用模糊集合的概 念代替确定子 集 ,从而得到模糊的识别结果 ,或者说使识别结果 模糊化。目 前模 糊图像识别 的主要方 法有: 最 大隶属原 则识别 方法、接 近原则识别法和模糊聚类分析法。
( 4) 神经网络图像识别方法。人工神经网 络具有信息分 布式存储、大规模自适应并行处理、高度的容 错性等优点 ,是 应用于图像识别的基础 ,特别是学习能力和容错性对不 确定 的图像识别具有独到之处。神经网络的并行结 构决定了它对 输入模式信息的不完备或特征的缺损不 敏感。这是一种智能 化的模式识别系统 ,具有很强的发展应用前景。 神经网 络应 用于图像识别的一般模型如图 2所示:
Key words: auto matic targ et recog nitio n, ta rg et t racki ng , f eat ure ex t raction, t olerance of break
1 基于图像处理的 A T R技术的发展 状况
信息战已 经成为 高技术 战争的 一种重 要作战 模式 ,对 战争的结局起着关键性的作用。目前世界许多 国家都在积极 发展军用高技术及其武器装备 ,红外热成像、微光夜视、电视 摄像、微波和 激光雷达 等高新技术 得到迅猛 发展 ,大大促 进 了 信息获 取的 实时性 及其 深度和 广度 ,使 现代 军队 具有 昼 夜、全天候、大范围 监视和捕获 目标的能 力 ,因此 ,对目标 进 行准确、有效的识别和跟踪便成为一项重要的任务。 自 动目 标识别 ( Auto matic Ta rg et Reco g nitio n, A T R) 技 术和 稳 定 的跟踪方法是取得战场控制信息权的关 键因素之一。该技术 在民用领域也得到大量的应用 ,例如用于身份确认的指 纹识 别、人脸识别、虹膜 识别以及在 智能交通 管理、机动 车检测、 停车场管理等场合的车牌识别等。由于目标所 处场景的复杂
阈值将 边缘 检测后 的图 像
二 值化 ,目 标 的 轮 廓 呈 白
色 ( 255的灰度值 )。图像的
预 处理 工 作 宣 告 完 成 ; 处
理结果如图 5所示 ,目 标轮
廓很明显 ,角点、边、角、闭合特征均很突出。
( 2)直线检测。 检 测直线可 用霍克变 换 ,但那计 算量太
大 ,难以保证实时性。 故采用了一种近似的直线检测 方法。
点 ) ,在此情况下 ,我们认为从 K 点开始向正右方有连续 3或
4个点 (或其它数目 )均为白点的话 ,那么可认 为点 F 和点 K
之间是连 续的 ,即点 O到点 K 之 间有条直线 ,垂直方向的 直 线检测也同理。
( 3)角点检测。 以直 线检测为基础 ,如果从同一点 出发 的互相垂直的两条直线满足最小长度要 求 ,则认为该点 可能 是一个角点 ,要想确定该角点是不是目标的角点就还得 检测 其对 角方向上是 否还存在 对应的另一 个且满足长 宽比要 求 和闭合性要求的角点 ,如存在则可认为该点是目标上的 一个 角点。
Abstract: It i s a challeng e t o reco gni ze the targ et ef fectiv ely a nd t rack i t beti mes o n the backg ro und of com plica ted ba tt lefield. Thi s paper ex plains the theory of automa tic targ et recog niti on a nd t arget t racki ng o n the base of an act ual ca se, and present s t he detai led algo ri thm. At last , so me i ssues that should be solved in the f uture are put fo rwa rd.
由于 A T R技 术的重要性 ,它已 成为国内 外信息 处理技 术发展的重点。 该类系统分为三个主要部分 ,如图 1所示:
目前基 于图像 处理的 A T R技术 的理论 和方法 主要有 以下 4种:
( 1) 经典的统计图像识别方法。该方法以概率统计理论 为基础 ,图像模式 用特征向量 描述 ,找出决策 函数进 行模式 决策分类。 目前主要使用的统计图像识别方法有两类: 基于 似然函数的模式分类方法 ,主要有 Bayes判决准则、 Fisher 判 决准则等。 另一类是基于距离函数的模式分类方法 ,是一种 集群分析技术。 该方法应用并不广泛。
V
ol.
31, Suppl em June, 2006
ent
Fi re
火力 Con trol
与指挥控制 and Command
Cont rol
文章编号: 1002-0640-( 2006)增刊 -0012-03
第增 31刊卷
基于图像处理的自动目标识别和跟踪算法初探
蒋晓瑜 ,何东亮 ,汪 熙
(装甲兵工程 学院 ,北京 100072)
· 1 4· 火 力 与 指 挥 控 制 2006年 增 刊
Hale Waihona Puke Baidu
如图 6所 示 ,图中每 个小
方格 代表一 个象素 点 ,其
灰 度 值 只 有 0 和 255两
种。假设检测的起始点为
左下 角的第 一点 ,按从左
至右 的方向 进行 ,检测到
里的灰度值相当 ,甚至还高一些。 所以实际可 用的特征是目
标的形状特征 ,语言描述出来有以下几点:
( 1)目标的四条边 ,图上目标长宽虽与目标远近有 关 ,但
长度均在一定范围之内。
( 2)目标的四边两两平行 ,要么水平 ,要么垂直 (近似 )。
( 3)长宽比基本为定值 ,与目标远近无关 ,这里是 2(目标
关键词: 自动目标识别 ,目标跟踪 ,特征提取 ,断点容忍 中图分类号: T P242 文献标识码: A
特征如果不能用计算机语言表述的话 ,所提取的特征也
就无效了。 本例的特征提取算法从直线的检测开始。
( 1)图像的预处理。对二值图像进行 处理最方便 ;第一步
就是把图像 预处理成 二值图像 ,既要二 值化 ,又要保 持其轮
廓特征 ,这里采用边缘检测方法。检测算子为 Prew itt算子如
图 4所示 (包括水平和垂 直两个方向 ) ;而后就 是选择合理的
3 工程案例
3. 1 识别对象 ,如图 3所示
该 图取 坦 克瞄 准镜 的 场
景 ,是一个按比例缩小后的图 ,
原始图像大小为 720× 576。 该
图中部的白色方形靶子是需要
实时识 别的对 象 ,实际长 为
4. 6m, 高 为 2. 3m,白 色 ,距 观
察者 约 2 000m; 目 标 背 景为: 靶子上方有圆圈分划、天空 ,靶
特征形成。 根据被识别的对象产生一组 原始特征 ,它们 可以是传感器的直接测量值 ,也可以是将传感器的测量 值作 某些计算后得到的值。
特征选择。特征选择就是从众多特征中选 出最具有代表 性的 ,易于用计算机语言描述的特征。
特征提取。 特征提取是另一种减少特征维数 的方法。 在现有 的图像处理 的 A T R 系统中 ,常用 的特征量有 如 下几类: ( 1)长宽比 ,指目标最小外接矩形的长度与宽度的比值 。 ( 2)连通性和闭合性 ,主要指图像中区域 是否连通 ,轮廓 曲线是否闭合。 ( 3)角点 ,即图 像轮 廓中 突变 的部 位 ,这是 很明 显的 特 征 ,而且在目标被局部遮挡或图片污损的情况下该特征 也还 会明显如初。 ( 4)矩 ,二维矩具有平移不变性、伸缩不变性和旋转 不变 性 ,从而具有良好的识别性能。 ( 5)纹理特征 ,这是对图像灰度分布的空 间描述 ,是 图像 局部性质的统计 ,重要方法有共生矩阵法和分形法。
以 G点为 基点 ,如 I 为白 点则以 I 为基点 ;此 后各点 依此 类 推。 这里有另一个问题: 如果目标的轮廓有微小的中断 该如
何处理呢? 本算法采用一种叫“断点容忍”的 方法来解决 ,依
旧用图 5来说明: 如果点 O、 A、 E、 F 均 已检测出是 在一条 直
线上 ,但点 F 的正 右方有连 续两个 (或其他数 目 )断 点 (即 黑
的长是高的 2倍 )。
( 4)目标有 4个直角 (近似 )。
( 5)目标轮廓是闭合的 (近似 )。
由几何知 识知道 ,该目标的 基本特征 是直线 ,因 为无论
长宽、平行、长 宽比还是 直角、轮 廓闭合等 特征 ,无一 不是用
直线来表述的。所以其特征提取的关键就落在直线的检测上
了。
3. 3 特征提取算法的实现
收稿日期: 2006-01-25 作者简介: 蒋晓瑜 ( 1967- ) ,男 ,湖南人 ,博士生导 师。
性 ,以 及目标本身 可能发生的 姿态变 换、缺 损、模 糊和遮 挡 , 使得 A T R技术是一个复杂的过程。 总的说来 ,一个 A T R系 统应该具有 在复杂背 景以及各种 天气情况 下检测、分类、识 别目标 的能 力 ,这样才 能有 针对性 地对 目标 进行 持续 的跟 踪。
( 2) 句法 (或结构 )图像识别方法。句法图像识别方法是 基于形式语言理论的概念为基础的。 它分析图像的结 构 ,把
蒋晓瑜 ,等: 基于图像处理的自动目标识别和跟踪算法初探 · 1 3·
复杂结构的图像看成由简单的子图像所 组成 ,又把最简 单的 子图像作为基元 ,从基元的集合出发 ,按照一定 的文法 (构图 规则 )去描述比较复杂的图像。给定一个输入模式基元串 ,判 别其是否被文法识别器接受的过程就是 图像识别。由于提取 图 像基元 特征 的困难 ,句 法图 像识别 的方 法应 用得 并不 广 泛。
的第一 个白点为 O 点 ,这
一点 有可能 就是角 点 ,故 可 能 存 在过 这 点 的 两条
图 5 二值化结 果
垂直的直线: 一条是水平方向的 ,一条是垂直方向的。以 O 点
为基点先向右逐点搜索 ,如果 A 点为白点 (灰度为 255) ,则认
为 OA 是条直线 ,之后以 A 点为基点继续搜索 ;如果 A 点是黑 点 (灰度为 0)则看 G点和 I 点 (先 G点后 I 点 ) ,如 G为白点 ,则
2 基于图像处理的 A T R 技术的关键 — — 特征提取
在 基于图像 处理的 A T R系 统中 ,如何使目标 特征化 是 实现实时、准确目标识别的关键。作为关键步骤 ,特征提取的 目的是获取一组“少而精”的分类特征 ,即获取特征数目 少且 分类错误概率小的特征向量。 特征提取常常分三 步进行:
( 4)长宽比约束。因为直线检测就水平和垂直两个方向 , 故长宽比用来做约束条件 ,过同一点的两条直线要满足 长宽 比条件 ,才可认为该点是可能的角点。
( 5)闭合性 检测。 如图 7所 示 ,O 1、 O2是两个 可能的 角 点 , O1C、 O1D是过 角点 O1的两条互 相垂 直 的直线 , O2A、O 2B 是 过角点 O2的两条 互相 垂直的直 线 ,如果直 线 O1D、 O2A 在 图中所示的圆圈范围之内 ,直线 O1C、O2B 在也在图 中所示的另一圆圈 范围内 ,则可 认 为直线 O1D、 O2A 相交 (即连 通 ) ,直 线 O1C、 O2B 相交 (即 连通 ) ,则 认为该轮廓是闭合的。即这里有
Automatic Target Recognition and Tracking Algorithm on the Method of Image Processing
JIAN G Xi ao-yu, HE Dong-liang , W AN G Xi
( Academy of Armored Force Engineering ,Beijing 100072,China)
图 3 识别对象
子后边是一片树林 ,前方是一片水泥平地。
3. 2 目标特征分析
识别对象最明显的特征是其形状和灰度值。但是其亮度
特征实际上是分类错误概率很高的特征 ,直 接的观察并不可
靠 ,因 为这里存在 一个“同时对 比度”问题 ,就图 3中 目标下
方的白色地面区域和上方的天空区域 ,其灰 度值和目标区域
( 3) 模糊图像识别方法。模糊图像识别方 法是模糊集理 论在图像识别中的应用。它是用模糊集合的概 念代替确定子 集 ,从而得到模糊的识别结果 ,或者说使识别结果 模糊化。目 前模 糊图像识别 的主要方 法有: 最 大隶属原 则识别 方法、接 近原则识别法和模糊聚类分析法。
( 4) 神经网络图像识别方法。人工神经网 络具有信息分 布式存储、大规模自适应并行处理、高度的容 错性等优点 ,是 应用于图像识别的基础 ,特别是学习能力和容错性对不 确定 的图像识别具有独到之处。神经网络的并行结 构决定了它对 输入模式信息的不完备或特征的缺损不 敏感。这是一种智能 化的模式识别系统 ,具有很强的发展应用前景。 神经网 络应 用于图像识别的一般模型如图 2所示:
Key words: auto matic targ et recog nitio n, ta rg et t racki ng , f eat ure ex t raction, t olerance of break
1 基于图像处理的 A T R技术的发展 状况
信息战已 经成为 高技术 战争的 一种重 要作战 模式 ,对 战争的结局起着关键性的作用。目前世界许多 国家都在积极 发展军用高技术及其武器装备 ,红外热成像、微光夜视、电视 摄像、微波和 激光雷达 等高新技术 得到迅猛 发展 ,大大促 进 了 信息获 取的 实时性 及其 深度和 广度 ,使 现代 军队 具有 昼 夜、全天候、大范围 监视和捕获 目标的能 力 ,因此 ,对目标 进 行准确、有效的识别和跟踪便成为一项重要的任务。 自 动目 标识别 ( Auto matic Ta rg et Reco g nitio n, A T R) 技 术和 稳 定 的跟踪方法是取得战场控制信息权的关 键因素之一。该技术 在民用领域也得到大量的应用 ,例如用于身份确认的指 纹识 别、人脸识别、虹膜 识别以及在 智能交通 管理、机动 车检测、 停车场管理等场合的车牌识别等。由于目标所 处场景的复杂
阈值将 边缘 检测后 的图 像
二 值化 ,目 标 的 轮 廓 呈 白
色 ( 255的灰度值 )。图像的
预 处理 工 作 宣 告 完 成 ; 处
理结果如图 5所示 ,目 标轮
廓很明显 ,角点、边、角、闭合特征均很突出。
( 2)直线检测。 检 测直线可 用霍克变 换 ,但那计 算量太
大 ,难以保证实时性。 故采用了一种近似的直线检测 方法。
点 ) ,在此情况下 ,我们认为从 K 点开始向正右方有连续 3或
4个点 (或其它数目 )均为白点的话 ,那么可认 为点 F 和点 K
之间是连 续的 ,即点 O到点 K 之 间有条直线 ,垂直方向的 直 线检测也同理。
( 3)角点检测。 以直 线检测为基础 ,如果从同一点 出发 的互相垂直的两条直线满足最小长度要 求 ,则认为该点 可能 是一个角点 ,要想确定该角点是不是目标的角点就还得 检测 其对 角方向上是 否还存在 对应的另一 个且满足长 宽比要 求 和闭合性要求的角点 ,如存在则可认为该点是目标上的 一个 角点。
Abstract: It i s a challeng e t o reco gni ze the targ et ef fectiv ely a nd t rack i t beti mes o n the backg ro und of com plica ted ba tt lefield. Thi s paper ex plains the theory of automa tic targ et recog niti on a nd t arget t racki ng o n the base of an act ual ca se, and present s t he detai led algo ri thm. At last , so me i ssues that should be solved in the f uture are put fo rwa rd.
由于 A T R技 术的重要性 ,它已 成为国内 外信息 处理技 术发展的重点。 该类系统分为三个主要部分 ,如图 1所示:
目前基 于图像 处理的 A T R技术 的理论 和方法 主要有 以下 4种:
( 1) 经典的统计图像识别方法。该方法以概率统计理论 为基础 ,图像模式 用特征向量 描述 ,找出决策 函数进 行模式 决策分类。 目前主要使用的统计图像识别方法有两类: 基于 似然函数的模式分类方法 ,主要有 Bayes判决准则、 Fisher 判 决准则等。 另一类是基于距离函数的模式分类方法 ,是一种 集群分析技术。 该方法应用并不广泛。
V
ol.
31, Suppl em June, 2006
ent
Fi re
火力 Con trol
与指挥控制 and Command
Cont rol
文章编号: 1002-0640-( 2006)增刊 -0012-03
第增 31刊卷
基于图像处理的自动目标识别和跟踪算法初探
蒋晓瑜 ,何东亮 ,汪 熙
(装甲兵工程 学院 ,北京 100072)
· 1 4· 火 力 与 指 挥 控 制 2006年 增 刊
Hale Waihona Puke Baidu
如图 6所 示 ,图中每 个小
方格 代表一 个象素 点 ,其
灰 度 值 只 有 0 和 255两
种。假设检测的起始点为
左下 角的第 一点 ,按从左
至右 的方向 进行 ,检测到
里的灰度值相当 ,甚至还高一些。 所以实际可 用的特征是目
标的形状特征 ,语言描述出来有以下几点:
( 1)目标的四条边 ,图上目标长宽虽与目标远近有 关 ,但
长度均在一定范围之内。
( 2)目标的四边两两平行 ,要么水平 ,要么垂直 (近似 )。
( 3)长宽比基本为定值 ,与目标远近无关 ,这里是 2(目标