基于ARM11的视频图像中运动物体检测跟踪系统

基于ARM11的视频图像中运动物体检测跟踪系统
王宝珠，刘伟
（河北工业大学信息工程学院，天津300401）
摘要：通过深入研究国内外视频图像运动目标的跟踪技术现状，基于目前对视频图像中运动物体进行检测与跟踪设备的便携性差、耗电量高等缺点，本系统利用ARM11平台搭载Linux 系统实现相关应用的方法，完成了一套较完整的小型化检测系统的设计。

本系统通过对实验室中走动的人进行视频检测跟踪试验，最终得出本系统可以对通过
USBCAM 采集的视频信号进行实时的数据处理，视频分辨率为240×320。

包括检测出运动物体，标记出运动物体的图
形中点，并对其进行轨迹的标注等。

关键词：ARM ；opencv ；视频检测；运动目标跟踪中图分类号：TN911.73
文献标识码：A
文章编号：1674－6236（2012）24-0168-03
Design of moving objects tracking system based on ARM
WANG Bao -zhu ，LIU Wei
（Institute of Information Technology ，Hebei University of Technology ，Tianjin 300401，China ）
Abstract:According to the domestic and foreign for the video image of moving object detection and tracking system application.Base on the disadvantages of these system ，for example:poor portability ，high power consumption and so on.We achieves the smaller detection system with the RM11platform and Linux.We use walking people to test this video detection and tracking system in lab ，finally we infer this system can deal with data processing of USBCAM video （240×320）signal in real time ，including the detection of a moving object ，marking out the moving object graphics midpoint ，interested point track mark.
Key words:ARM ；opencv ；moving object detection ；motion analysis
收稿日期：2012-08-29
稿件编号：201208161
作者简介：王宝珠（1960—），女，北京人，硕士，教授。

研究方向：信息检测、图像处理、多媒体通信等。

近些年，随着DSP 技术的快速发展，传统的模拟视频信号渐渐被日渐强势的数字视频信号所取代。

伴随着这一过程，视频信号的智能化数字处理过程显得十分重要。

传统的模拟视频图像处理往往只是对视频图像的颜色、对比度、锐度、明暗等进行整体调节，而今天当数字视频图像信号被广泛普及后，人们对视频图像的处理能力也得到了质的飞跃。

处理的焦点从整体走向了局部，从图像边缘的调整迈入了像素点的处理。

对于视频图像中运动物体的检测与运动轨迹的处理在实际工作生活中应用的范围非常之广，从航空航天、视频监控，到军事侦测，智能捕捉视频图像中的运动物体，并对其作出相应处理都是数字处理中至关重要的一部分。

文中介绍了一种基于ARM11的视频图像中运动物体的检测及跟踪系统，此系统利用OpenCV 函数库对数字图像处理的支持来完成对视频图像中运动物体的检测及跟踪，并通过相应的算法对其运动轨迹进行相应的确定与标注。

本系统摒弃了传统PC 系统单一的处理方式和有限的扩展能力，创新的利用了ARM11系统强大的运算能力对运动物体在某个时间段内的运动轨迹作出分析记录处理。

与此同时本系统也保留了利用嵌入式系统体积小，功耗低，稳定性强等优点。

1系统总体框架设计
本系统主要由视频采集设备、嵌入式硬件开发平台、操
作系统，应用程序4部分组成。

视频采集设备主要负责待观察影像流的输入工作，它和嵌入式硬件开发平台共同组成整个系统的硬件部分。

操作系统作为连接应用程序和硬件平台的纽带，利用相关的驱动程序为所要开发的软件提供必要的支持。

应用程序作为实现算法和数据后期处理的工具，和操作系统共同构成了整个系统的软件部分，如图1所示。

电子设计工程
Electronic Design Engineering
第20卷Vol.20第24期No.242012年12月Dec.2012
图
1系统结构
Fig.1System structure
2系统硬件设计
本系统的整个硬件部分是由ARM11内核扩展而成的，
如图2所示。

内部电路分别由：NAND 存储器、晶振、JTAG 接口、复位模块、I/O 总线接口、SDROM 等组成；外围电路分别由：晶振、USB 接口、键盘、SD 存储、电源、LCD 显示等组成；采集设备为USB 摄像头，利用USB 接口良好的兼容性来完成整个视频流的采集。

目前基于ARM11
构架的处理器有很多，本系统所选用的是三星公司推出的S3C6410处理器，它体积小（13×13mm ）、功耗低、性能好、性价比高，被广泛应用于便携设备中。

此外，本系统选择的是256MB 容量的NAND 存储器。

它主要是存储引导程序，操作系统、驱动程序、应用软件等数据，它比传统的硬盘效率高、体积低，但是容量有限，所以硬件部分还要借助SD 卡作为外部存储来完成系统的工作。

JTAG 接口在系统中的作用为单步调试，无论是常见的JLINK 还是ULINK ，或者是其他的仿真调试器，最后都是需
要通过JTAG 接口连接的[1]。

一般情况下，标准的JTAG 接口是4线CON ，即：TMS （模式选择）、TCK （时钟）、TDI （数据输入）、TDO （数据输出），再加上电源线和地线，共6根。

有时为了方便调试，仿真器还输出一个复位信号，但是本系统没有引出此线。

对于复位模块以及I/O 接口，因为厂家已经为我们设计完成，所以我们只需要在设计外部电路的时候直接调用连接即可。

外部电路中晶振为重要的节拍器，负责这个系统的有序工作。

但是ARM11内部模块可以为大部分外部设备提供频率支持，只有一些对频率要求不同的设备需要自我添加，比如网络模块，因为本系统不要求网络的支持，所以晶振源直接引自ARM11的内部模块（533MHz ）。

SD 卡为系统的数据记录设备，系统处理后的数据全部
保存在以SD 卡为介质的半导体设备里面。

所以SD 卡接口也就成为不可缺少的外部设备，它的电原理图如图3所示，其中SD0_XXX 为6410内部模块标准输出接口。

电源部分采用的是5V 直流供电，利用市面上常见的
USB 插口充电器即可取得此直流电压。

LCD 显示部分，系统采用的是分辨率为320×240的4.3
英寸液晶显示器。

3系统软件设计
本系统的软件部分由操作系统和应用程序两部分组成，
其中操作系统为应用程序提供基础条件，它附带了许多硬件设备的驱动程序，也为图像数据的采集提供了软件接口。

在操作系统上本系统利用Linux 系统。

Linux 因其极强的兼容与开放性已经被广泛用于便携电子设备与大型服务器的构建当中。

本系统利用Linux 系统中的Video4Linux （Video for
Linux ）接口为软件提供视频媒体流[2]。

同时由于所使用的Linux 内核中所附带的驱动支持市面上的大部分免驱USB 摄
像头，所以这样的选择也给本系统的开发调试提供了一些便利条件。

关于应用程序的开发，利用的是C++作为程序语言，借助OpenCV 函数库和GCC 编译器来进行应用软件的开发[6]。

3.1相关算法的选取
对视频图像中运动物体的检测与跟踪，传统的方法主要
有帧间差分法、背景差分法和光流法。

就每种算法而言，它们都有其自身的优缺点：
帧间差分法具有强大的自适应性，但对差分帧的选择要求比较苛刻[5]；光流法检测效果比较好，而且对视频场景的要求比较低，但光流法的实现对于处理器的要求比较高，鉴于本系统处理器及摄像头性能有限，所以未选择这两种方法。

背景差分法也叫背景减除法，它是目前运动分割技术中比较成熟的算法，一般能提供全部的目标特征数据，具有操作简单、检测速度快、运算量小等优点，但它对动态场景中局部明暗变化敏感，故对视频场景的要求较高。

考虑到本系统的应用场景相对固定，所以选择背景差分法作为程序的算法结构。

3．2程序流程
本系统的图像处理包括：采集原始图像帧序列，计算出
背景模型，使用相关算法得到目标轮廓，计算出轮廓中心点坐标，绘制轨迹等。

图3
SD 卡设备原理图
Fig.3SD card equipment 图2硬件结构
Fig.2Hardware structure
其完整的流程图如图
4所示。

3.3相关算法
捕捉到的原始图像序列为f k （i ，j ），其中k 为图像帧序列。

在建立初始背景时，本系统利用均值法背景建模，将某
一阶段视频采集的连续帧计算出像素平均值，从而检测出各图像中属于背景的像素点，再将这些像素点重组得出视频检测背景。

B init （i ，j ）=median f k （i ，j ）k =1，2，3，…n
其中，B init 是初始背景图像，median 为取平均化，n 为均值法所选取的总帧数。

更新背景算法中，系统利用前一帧计算得到的背景数据来参与当前帧的计算。

然后得出当前帧的背景数据，作为计算下一帧的参数。

B k +1（i ，j ）=B k （i ，j ）+a [f k （i ，j ）-B k （i ，j ）]
其中，a ∈（0，1）为更新率，由此公式可以看出，每一帧背景的建立都与之前帧有着紧密联系，所以系统背景的数据模型可以在一定条件下保持相对的稳定。

这样的算法结构对瞬间背景丢失或噪声干扰有背景补偿作用。

得到背景模型B k （i ，j ）后，用原始图像序列f k （i ，j ）与其做差即可初步得出前景图（包含移动物体与噪点）。

T k （i ，j ）=
|f k （i ，j ）-B k （i ，j ）|，|f k （i ，j ）-B k （i ，j ）|＞P j
0，
其他
∈
其中P j 为检测阈值，在不同的环境下的取值直接影响前景的提取。

之后要对前景图像进行二值化：
E k （i ，j ）=
1，T k （i ，j ）＞P e 0，
其他
∈
其中P e 为二值化阈值。

对二值化后的图像利用OpenCV 中cvdilate 与cverode 工具进行腐蚀与膨胀处理得出目标轮廓[5]，然后计算出目标质心进行标记记录。

4实验结果分析
实验场所为学校的实验室，视频序列为走动中的人像，
摄像镜头为固定方式，视频分辨率为320×240，每秒采集5帧，共采集50帧，图5（A ）显示为第21帧，图5（B ）显示为视频检测背景。

图5（C ）和图5（D ）为原始图像在选择不同检测阈值P j
的情况下所得出的前景图像。

由图5（C ）可以看出当P j 设置过低的时候整个前景图像对比度较差，非运动物体轮廓较明显，严重影响对运动目标的检测。

由图5（D ）可以看出当P j 选择恰当的时候运动目标轮廓清晰，大部分非运动点都被深色像素覆盖，虽然还是有一定噪点，但符合系统接下来要处理的要求。

接下来系统对图5（D ）进行二值化操作，选取不同的二
值化阈值P e ，图5（E ）选择P e 值过低，虽人像轮廓清晰，但噪点较多。

图5（F ）选择适当的P e 值，噪点较少且分散，人形较清晰，有助于下一步的图像处理。

图5（G ）显示的是系统对图12处理后的结果，本实验中二值化的前景图通过利用5×5正方形结构元素腐蚀和膨胀可去除无关噪点，得到最终移动物体轮廓。

最终利用
cvMinAreaRect2函数计算出轮廓质心坐标，在原序列图上标
记其运动轨迹，如图5（H ）所示。

5结束语
相关程序通过在ARM11平台上运行分析，对视频图像
中运动物体检测的效果可以满足预期的要求。

利用技术上比较成熟的背景差分算法作为检测的主要手段，解决了其他算
图5
图像处理过程
Fig.5Image processing
图4
视频处理流程图
Fig.4Video processing
（下转第174页）
－170－
4结论
由上述分析可以看出，平台的垂荡运动对目标成像位置的影响最小；横摇对成像位置的相应与目标在靶面的最初成像位置有关；纵摇和艏摇对成像位置的影响最大，与传感器尺寸、焦距有关，目标出不出视场由摇摆角与视场角确定。

根据分实际情况，在恶劣海况下目标是比较容易出视场的，所以必须加装稳定装置。

参考文献：
[1]温昌礼.平台角振动对图像测量系统的影响[D].长沙:国
防科技大学，2006.
[2]李伟.船舶液压稳定平台的设计与分析[D].大连:大连海
事大学，2010.
[3]孙辉，郎小龙，李志强，等.动载体光电平台视轴稳定精度
的检测[J].光学精密工程，2011，19（9）:2131-2138.
SUN Hui，LANG Xiao-long，LI Zhi-qiang，et al.Measurement for LOS stabilization accuracy of electro-optical imaging system on moving carrier[J].Optics and Precision Engineering，2011，19（9）:2131-2138.
[4]毛峡，刘言，梁晓庚.极坐标框架两轴平台光轴稳定算法[J].
兵工学报，2011，32（10）:1260-1265.
MAO Xia，LIU Yan，LIANG Xiao-gen.Algorithm of optical axis stabilization based on two-axis polar coordinate frame platform[J].Acta Armamentarii，2011，32（10）:1260-1265.
[5]王晨，马彩文，梁雁冰，等.基于机动平台的光电经纬仪自
稳定跟踪技术[J].红外与激光工程，2010，39（4）:644-670.
WANG Chen，MA Cai-wen，LIANG Yan-bin，et al.Self-stabilization target tracking technology based on mobile platform[J].Infrared and Laser Engineering，2010，39（4）: 644-670.
[6]夏静萍，王道波.四框架稳定跟踪平台原理样机设计与实
现[J].兵工自动化，2012，31（1）:86-90.
XIA Jing-ping，WANG Dao-bo.Design and realization of four-gimbal stabilization and tracking platform prototype[J].
Ordnance Industry Automation，2012，31（1）:86-90.
[7]周小刚，汪立新，余嫱，等.光纤陀螺平台稳定回路设计与
实验研究[J].宇航学报，2008，29（2）:567-575.
ZHOU Xiao-gang，WANG Li-xin，SHE Qiang，et al.Designs of the servo loop of optic fiber gyroscope platform and experiment research[J].Journal of Astronautics，2008，29（2）: 567-575.
法要求处理器性能过高的问题。

同时，针对本系统应用领域视频背景相对稳定的特点，优化了相关算法，使得系统处理速度有所提高。

和传统的视频检测与跟踪系统相比，本系统具有功耗低、稳定性强、可移植性强等优点。

此系统在动物行为学、天文观察、道路检测、军事领域中用途较广，对目标运动轨迹有比较直观的记录。

同时本系统具有很强的扩展性能，根据使用环境的不同可以对后期的数据进行进一步的处理，这也是基于ARM11框架与Linux系统进行整个系统构建的优势之一。

参考文献：
[1]魏洪兴.嵌入式系统设计师教程[M].北京：清华大学出版
社，2006.
[2]于明.ARM9嵌入式系统设计与开发教程[M].北京：电子
工业出版社，2006.
[3]吴明晖.基于ARM的嵌入式系统开发与应用[M].北京：人
民邮电出版社，2004.
[4]许海雁.嵌入式系统技术与应用[M].北京：机械工业出版
社，2002.
[5]冈萨雷斯.数字图像处理[M].北京：电子工业出版社，2003.
[6]布拉德斯基（著）.学习OpenCV（中文版）[M].于仕琪，刘瑞
祯，译.北京：清华大学出版社，2009.
（上接第170页）
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
Vishay发布具有ESD功能和低外形SlimSMA TM封装的新款600V标准整流器Vishay Intertechnology,Inc.宣布，推出新款通过AEC-Q101认证并具有ESD保护的600V标准整流器——
—SE20AFJ和SE30AFJ。

对于空间有限的应用，新器件可提供2A和3A的正向电流和高电流密度，采用高度仅有0.95mm的表面贴装SlimSMA TM DO-221AC封装。

SE20AFJ和SE30AFJ在2A电流下的典型正向压降达到极低的0.86V，在消费和汽车应用中可减少通用电源线极性保护功耗，并提高效率。

器件在AEC-Q101-001人体模型（接触模式）条件下的ESD保护级别达到class H3B（>8kV）。

新整流器具有一个氧化物平面芯片结，最高工作结温达到+175℃，潮湿敏感度等级达到J-STD-020的1级，LF最高峰值为260℃。

器件适合自动拾放，符合RoHS指令2011/65/EU和JEDEC JS709A标准的无卤素规定。

咨询编号：2012241006 """""""""""""""""""""""""""""""""""""""""""""－174－。