基于ARM11的视频图像中运动物体检测跟踪系统
基于ARM11的视频图像中运动物体检测跟踪系统
王宝珠，刘伟
（河北工业大学信息工程学院，天津300401）
摘要：通过深入研究国内外视频图像运动目标的跟踪技术现状，基于目前对视频图像中运动物体进行检测与跟踪设备的便携性差、耗电量高等缺点，本系统利用ARM11平台搭载Linux 系统实现相关应用的方法，完成了一套较完整的小型化检测系统的设计。本系统通过对实验室中走动的人进行视频检测跟踪试验，最终得出本系统可以对通过
USBCAM 采集的视频信号进行实时的数据处理，视频分辨率为240×320。包括检测出运动物体，标记出运动物体的图
形中点，并对其进行轨迹的标注等。
关键词：ARM ；opencv ；视频检测；运动目标跟踪中图分类号：TN911.73
文献标识码：A
文章编号：1674－6236（2012）24-0168-03
Design of moving objects tracking system based on ARM
WANG Bao -zhu ，LIU Wei
（Institute of Information Technology ，Hebei University of Technology ，Tianjin 300401，China ）
Abstract:According to the domestic and foreign for the video image of moving object detection and tracking system application.Base on the disadvantages of these system ，for example:poor portability ，high power consumption and so on.We achieves the smaller detection system with the RM11platform and Linux.We use walking people to test this video detection and tracking system in lab ，finally we infer this system can deal with data processing of USBCAM video （240×320）signal in real time ，including the detection of a moving object ，marking out the moving object graphics midpoint ，interested point track mark.
Key words:ARM ；opencv ；moving object detection ；motion analysis
收稿日期：2012-08-29
稿件编号：201208161
作者简介：王宝珠（1960—），女，北京人，硕士，教授。研究方向：信息检测、图像处理、多媒体通信等。
近些年，随着DSP 技术的快速发展，传统的模拟视频信号渐渐被日渐强势的数字视频信号所取代。伴随着这一过程，视频信号的智能化数字处理过程显得十分重要。传统的模拟视频图像处理往往只是对视频图像的颜色、对比度、锐度、明暗等进行整体调节，而今天当数字视频图像信号被广泛普及后，人们对视频图像的处理能力也得到了质的飞跃。处理的焦点从整体走向了局部，从图像边缘的调整迈入了像素点的处理。
对于视频图像中运动物体的检测与运动轨迹的处理在实际工作生活中应用的范围非常之广，从航空航天、视频监控，到军事侦测，智能捕捉视频图像中的运动物体，并对其作出相应处理都是数字处理中至关重要的一部分。
文中介绍了一种基于ARM11的视频图像中运动物体的检测及跟踪系统，此系统利用OpenCV 函数库对数字图像处理的支持来完成对视频图像中运动物体的检测及跟踪，并通过相应的算法对其运动轨迹进行相应的确定与标注。本系统摒弃了传统PC 系统单一的处理方式和有限的扩展能力，创新的利用了ARM11系统强大的运算能力对运动物体在某个时间段内的运动轨迹作出分析记录处理。与此同时本系统也保留了利用嵌入式系统体积小，功耗低，稳定性强等优点。
1系统总体框架设计
本系统主要由视频采集设备、嵌入式硬件开发平台、操
作系统，应用程序4部分组成。视频采集设备主要负责待观察影像流的输入工作，它和嵌入式硬件开发平台共同组成整个系统的硬件部分。操作系统作为连接应用程序和硬件平台的纽带，利用相关的驱动程序为所要开发的软件提供必要的支持。应用程序作为实现算法和数据后期处理的工具，和操作系统共同构成了整个系统的软件部分，如图1所示。
电子设计工程
Electronic Design Engineering
第20卷Vol.20第24期No.242012年12月Dec.2012
图
1系统结构
Fig.1System structure
基于嵌入式Linux的视频图像采集与传输
基于嵌入式Linux的视频图像采集与传输 摘要:视频图像采集及处理技术在远程视频监控和可视电话中有着广泛的应用前景，驱动视频采集设备和获取视频数据并进行相应的处理，是实现这些应用的基础。针对这些应用，构建了一个基于嵌入式Linux和PXA270微处理器的视频采集与传输系统，利用Video4Linux实现USB摄像头视频数据采集，采集的视频数据经JPEG压缩后，在PXA270为核心的系统控制下通过以太网进行传输，并通过重新编译移植Webcam_server应用程序实现了实时视频采集。实验结果表明，该系统动态刷新良好，具有一定的实用性。关键词: PXA270；嵌入式Linux；USB摄像头；图像采集与传输Abstract:Video image acquisition and processing technology had a broad application prospect in the long distance supervisory control with video and video telephone. Driving video acquisition equipments and gaining video data to process accordingly are the basis of realization the applications. Aiming at the applications, designed a video acquisition and transmission system based on PXA270 with embedded Linux. The system used USB camera combined with Video4Linux to implement video data acquisition, then were encoded in JPEG, and sent by Ethernet under the control of the PXA270. In the
视频监控跟踪系统的研究
视频监控跟踪系统的研究 视频监控跟踪系统的研究 【摘要】视频监控跟踪系统是对图像信号目标进行实时自动识别，进而对目标位置的相关信息进行有效的提取，并且自动跟踪目标运动的伺服系统。在对精度与动力进行分析与研究的情况下，研发了跟踪伺服机械系统，并且开展了具备分布、集中的特点，同时对微机测控系统与网络通信系统的电路软件与硬件进行了相关的设计，探索了自适应跟踪算法的应用。 【关键词】视频监控系统；自适应跟踪算法；跟踪伺服系统 随着科学技术的不断发展与进步，视频监控跟踪系统方面的研究也取得了一定的进步。成像跟踪指的就是利用景物图像的特点对运动中的目标展开跟踪的技术，跟踪装置一般是由伺服机构与操作系统共同构成的，可以在图像信号中对跟踪目标进行实时自动识别，进而提取位置信息的一种复合技术系统。 一视频监控跟踪系统实现自动跟踪所面临的问题 ㈠运动目标的检测 在图像序列中，对于运动目标的检测是一项非常关键并且困难的研究课题，在完成运动补偿、视频理解以及视频压缩编码的过程中，均需要利用相应的运动目标检测技术，在视频理解中，开展运动目标的检测是为后续的识别、跟踪以及活动分析奠定了坚实的基础。运动目标的检测指的就是对图像序列展开相关的检测，指出与运动物体三维有关的一些点，滤除一些与运动目标无关的信息。正确检测运动目标可以极大的提高后续识别、活动分析以及跟踪的正确率。通常情况下，均需要视频监控系统展开长时间的运行，也就需要系统达到以下几点要求：一是，可以与背景的变化相适应，比如可以适应一天时间内所有时间的光照变化；二是，能够与背景物体的变化相适应，比如场景物体的移入与移出等场景的变化；三是，可以有效的对背景中一些比较大的变化进行分辨，比如显示器屏幕的闪烁等情况；四是，可以检测出光照的变化情况，并且可以在尽可能短的时间里适应这样的
公安视频图像信息综合应用平台建设v1.0
公安视频图像信息综合应用平台建设v1.0 1.6。平台物理架构 6 1.7。平台基础网络1.7.1。网络传输协议要求 共享平台网络系统网络层支持IP协议，传输层支持TCP和UDP协议 1.7.2。网络传输带宽要求 视频专网网络带宽估算要求: 共享平台互联所需的有效带宽≥同时加入的视频通道数×单通道视频码流。考虑到容差，网络至少应满足各级共享平台间并发视频图像呼叫的数量要求: 1，15个省市共享平台间的并发通道；2.20条城市和区县间的并行路线共享平台各级 共享平台应根据视频图像编码速率的设置和跨级平台间并发路径的要求，合理估算平台互联的网络带宽需求使用H.264编码标准的视频带宽可以估计如下:单界标清晰视频图像，4CIF/D1格式，每秒25帧，传输码率一般为1536kbps；单通道高清视频图像，720P格式，每秒25帧，传输速率一般为4000kbps 1.8。平台许可计划1.8.1。权限策略 各级视频图像信息综合应用平台采用全球统一的授权策略。用户和相机资源根据警察类型、部门、行政区域、级别、类型等进行分类。
根据分区授权，不同的用户被授予对相应资源的访问控制权限。 原则上，资源的直接管理者拥有对资源的最高控制权，较低平台应该向较高平台开放对所有资源的访问权限同时，平台提供了权限优先级管理功能，即当不同级别的用户执行相同的操作时，高优先级用户可以抢占或锁定低优先级用户的视频点播，并将 7 作为控制权限进行操作 1.8.2。权限分配 省级平台负责省级平台用户的权限、省外用户的访问权限以及下级市级平台的相互访问权限 权限控制应遵循各级网络平台的视频直接从同一级共享平台获取的原则，而不是基于网络平台直接分步上传的原则。请参考下表: 权限位置级别:省、市、县共享平台41-50 21-30 1-10联网平台51-60 31-40 11-20数量越大，权限越高，共享平台不能调用所有联网平台资源，数量之间的范围可以由单个节点任意分配，如管理员权限、领导权限、警务权限等。 1.8.3。实施方式 图像信息网络平台访问控制的具体实施方式基于GB/T28181-2011
基于arm的视频图像采集系统
基于arm的视频图像采集系统 摘要：本系统采用了Samsung公司生产的S3C2440芯片作为嵌入式处理器，再结合系统所需的外围硬件构成基本硬件电路。主要包括二大部分：处理器和存储器部分；电源时钟复位电路部分；外围接口电路部分。在对各部分硬件进行详细设计后，接下来详细介绍了嵌入式软件平台的构建，包括如何移植Linux操作系统：基于嵌入式Linux下USB接口摄像头视频设备采集；移植H.264视频压缩库和视频传输程序的编写。 1 抓拍系统开发环境的构建 本文所设计的采集系统按功能可划分为嵌入式主控模块、视频采集模块、网络传输模块、等三大部分。图1-1为本系统的系统框架图: 1. USB数字摄像头采集图像数据: 2.采集传输应用程序通过摄像头驱动从摄像头获取到采集的图像数据: 3.采集传输应用程序调用H.264编码库对图像数据进行压缩: 4.采集传输应用程序将压缩后的图像数据通过网络传输给windows PC上 的显示程序: 5. Windows上的显示程序对图像数据进行解码并显示: 图1-1软件架构图 本系统的嵌入式主控模块是基于Samsung公司生产的S3C2440这款处理器，主要作用是实现对各模块数据的响应、处理以及控制。在硬件上，主控模块包括电源、时钟、复位电路、存储模块、以太网接口电路等。在软件上，主控模块上运行Linux操作系统，管理各应用程序模块进程并调度各进程。
1.1采集系统的硬件平台设计 本系统的核心处理器为二星公司的S3C2440，外扩64M的SDRAM存储器以及64M 的FLASH存储器，外围接口电路模块:包括USB接口电路，以太网网卡DM9000接口电路以及网眼3000的数字摄像头等。本系统的硬件结构如图1-2所示。 图1-2系统硬件架构图 1.1.1电源、时钟模块设计 系统各部分硬件要求提供1.8V和3V的电压。其中S3C2440处理器内核需要提供1.8V 电源，NandFlash, SDRAM及DM9000等芯片需要提供3V电源，所以本系统采用了LM1117-3.3和LM1117-1.8电压转换芯片设计稳压电源，得到1.8V和3.3V的所需电压。USB 控制器需要提供5V的电源。本文采用了5V直流电压供电。LM1117是一个低压差电压调节器系列。其压差在1.2V输出，负载电流为800mA时为1.2V 。LM1117有5个固定电压输出(1.8V, 2.5V, 2.85V, 3.3V和5V)的型号。根据本系统的需要，这里选用了电压输出为1.8V 和3.3V两型号。 时钟电路为CPU和其它外围电路提供精准的工作时钟，按照电路中设计使用的器件特性分为有源和无源晶振，在本系统的设计电路中采用的是无源晶振。ARM芯片均提供时钟发生电路，结合一定的辅助电路的配合就可以得到所需要的时钟信号。基十ARMS的这款S3C2440芯片的时钟控制逻辑可以产生为CPU核供给时钟信号的FCLK、为AHB总线供给时钟信号的HCLK、为APB总线供给时钟信号的PCLK。 1.1.2外部存储器的扩展 S3C2440微处理器存储空间仅有32M，应用于本系统，需要外扩存储器。本设计采用两片二星公司的HY57V561620来扩展64M的SDRAM。它们均4M* 16bit*4bank的SDRAM 芯片，这样，两片SDRAM实现了位扩展，数据总线达到了32bit，构成64M寻址空间。图1-3为S3C2440与NandFlash的接口图。
视频采集系统
数字图象处理技术在电子通信与信息处理领域得到了广泛的应用，设计一种功能灵活、使用方便、便于嵌入到监控系统中的视频信号采集电路具有重要的实用意义。 在研究基于DSP的视频监控系统时，考虑到高速实时处理及实用化两方面的具体要求，需要开发一种具有高速、高集成度等特点的视频图象信号采集监控系统，为此监控系统采用专用视频解码芯片和复杂可编程逻辑器件(CPLD)构成前端图象采集部分。设计上采用专用视频解码芯片，以CPLD器件作为控制单元和外围接口，以FIFO为缓存结构，能够有效地实现视频信号的采集与读取的高速并行，具有整体电路简单、可靠性高、集成度高、接口方便等优点，无需更改硬件电路，就可以应用于各种视频信号处理监控系统中。使得原来非常复杂的电路设计得到了极大的简化，并且使原来纯硬件的设计，变成软件和硬件的混合设计，使整个监控系统的设计增加柔韧性。 1 监控系统硬件平台结构 监控系统平台硬件结构如图1所示。整个监控系统分为两部分，分别是图象采集监控系统和基于DSP主监控系统。前者是一个基于SAA7110A/SAA7110视频解码芯片，由复杂可编程逻辑芯片CPLD实现精确采样的高速视频采集监控系统；后者是通用数字信号处理监控系统，它主要包括：64K WORD程序存储器、64K WORD数据存储器、DSP、时钟产生电路、串行接口及相应的电平转换电路等。 监控系统的工作流程是，首先由图象采集监控系统按QCIF格式精确采集指定区域的视频图象数据，暂存于帧存储器FIFO中；由DSP将暂存于FIFO中的数据读入DSP的数据存储器中，与原先的几帧图象数据一起进行基于H.263的视频数据压缩；然后由DSP将压缩后的视频数据平滑地从串行接口输出，由普通MODEM或ADSL MODEM传送到远端的监控中心，监控中心的PC机收到数据后进行相应的解码，并将还原后的视频图象进行显示或进行基于WEB的广播。 2 视频信号采集监控系统 2.1 视频信号采集监控系统的基本特性 一般的视频信号采集监控系统一般由视频信号经箝位放大、同步信号分离、亮度/色度信号分离和A/D变换等部分组成，采样数据按照一定的时序和总线要求，输出到数据总线上，从而完成视频信号的解码，图中的存储器作为帧采样缓冲存储器，可以适应不同总线、输出格式和时序要求的总线接口。 视频信号采集监控系统是高速数据采集监控系统的一个特例。过去的视频信号采集监控系统采用小规模数字和模拟器件，来实现高速运算放大、同步信号分离、亮度/色度信号分离、高速A/D变换、锁相环、时序逻辑控制等电路的功能。但由于监控系统的采样频率和工作时钟高达数十兆赫兹，且器件集成度低，布线复杂，级间和器件间耦合干扰大，因此开发和调试都十分困难；另一方面，为达到精确采样的目的，采样时钟需要和输人的视频信号构成同步关系，因而，利用分离出来的同步信号和监控系统采样时钟进行锁相，产生精确同步的采样时钟，成为设计和调试过程中的另一个难点。同时，通过实现亮度、色度、对比度、视频前级放大增益的可编程控制，达到视频信号采集的智能化，又是以往监控系统难以完成的。关于这一点，在监控系统初期开发过程中已有深切体会[1]。 基于以上考虑，本监控系统采用了SAA7110A作为视频监控系统的输入前端视频采样处理器。 2.2 视频图象采集监控系统设计 SAA7110/SAA7110A是高集成度、功能完善的大规模视频解码集成电路[2]。它采用PLCC68封装，内部集成了视频信号采样所需的2个8bit模/数转换器，时钟产生电路和亮度、对比度、饱和度控制等外围电路，用它来替代原来的分立电路，极大地减小监控系统设计的工作量，并通过内置的大量功能电路和控制寄存器来实现功能的灵活配置。
图像视频跟踪系统
图像视频跟踪系统 摘要：通过对图像进行阈值处理（图像分割），再对分割后的图像求取形心，以对目标图像进行定位，并最后找到各幅帧图像的目标位置的方法，从而实现对200帧视频图像的实时跟踪。 关键词：阈值处理；视频序列目标跟踪；形心估计 1 引言 视频序列目标跟踪是指对传感器摄取到的图像序列进行处理与分析，充分利用传感器采集得到信息来对目标进行稳定跟踪的过程。一旦目标被确定，就可获得目标的位置、速度、加速度等运动参数，进而获得目标的特征参数。在军事上，视频序列目标跟踪技术广泛应用于精确制导、战场机器人自主导航、无人机着降，靶场光电跟踪等领域。在民用上，该技术在智能视频监控、智能交通管制、医疗影像诊断等方面也有很重要的应用。 视频跟踪目前在国内外都有较广泛的研究和应用，比如2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。 2 基于MATLAB的图像跟踪算法 2.1 200帧视频图像的读取 由于视频是由200帧图像通过连续播放从而达到视频的效果的，所以要达到视频放映的效果，应首先对200帧图像序列进行顺序读取。200帧图像存储在MATLAB的默认路径中，文件名为00000xxx.bmp。要达到读取它们的目的，需要使用循环算法。算法由一个名为read_seqim(i)的函数实现，以下是函数的源程序： function I=read_seqim(i) if nargin==0 i=1;min=00000001; end
name=num2str(i); if i<=9 min=strcat('0000000',name,'.bmp'); elseif i<=99 min=strcat('000000',name,'.bmp'); else min=strcat('00000',name,'.bmp'); end I=imread(min); 其中i为读取图像的序号，通过以上的函数可以很方便的实现对200帧图像中任意一帧的读取，从而为后面的处理提供方便。 2.2 图像的阈值处理（图像分割） 阈值(Threshold)，也叫门限。阈值化(Thresholding),即按给定阈值进行图像的二值化处理。阈值分割法可分为以下几种： ?简单阈值分割法; ?多阈值分割法; ?最大类间方差法; ?最佳阈值法。 许多情况，图像是由具有不同灰度级的几类区域组成。如文字与纸张、地物与云层（航空照片）等，阈值分割是利用同一区域的具有某种共同灰度特性进行分割。而用阈值分割法分割图像就是选取一个适当的灰度阈值，然后将图像中的每个像素和它进行比较，将灰度值超过阈值的点和低于阈值的点分别指定一个灰度值，就可以得到分割后的二值图像，此时目标和背景已经得到了分割。阈值分割法简单，快速，特别适用于灰度和背景占据不同灰度级范围的图像。这里我们使用多阈值分割法。 多阈值分割法就是假设一幅图像包含两个以上的不同类型的区域，可以使用几个 门限来分割图象。分割函数如下：2.2.1阈值的确定 01 112 22 ,(,) (,),(,) ,(,) f f x y T g x y f T f x y T f f x y T ≤ ? ? =<≤ ? ?> ?
LabVIEW应用于实时图像采集及处理系统
LabVIEW应用于实时图像采集及处理系统 2008-7-29 9:35:00于子江娄洪伟于晓闫丰隋永新杨怀江供稿 摘要：本文在LabVIEW和NI-IMAQ Vision软件平台下，利用通用图像采集卡开发一种图像实时采集处理虚拟仪器系统。通过调用动态链接库驱动通用图像采集卡完成图像采集，采集图像的帧速率达到25帧每秒。利用NI-IMAQ Vision视频处理模块，进行图像处理，以完成光电探测器的标定。该系统具有灵活性强、可靠性高、性价比高等优点。 主题词：虚拟仪器;图像处理;LabVIEW;动态链接库 1.引言 美国国家仪器（NI）公司的虚拟仪器开发平台LabVIEW，使用图形化编程语言编程，界面友好，简单易学，配套的图像处理软件包能提供丰富的图像处理与分析算法函数，极大地方便了用户，使构建图像处理与分析系统容易、灵活、程序移植性好，大大缩短了系统开发周期。在推出应用软件的基础上，NI公司又推出了图像采集卡，对于NI公司的图像采集卡，可以直接使用采集卡自带的驱动以及LabVIEW中的DAQ库直接对端口进行操作。 但由于NI公司的图像采集卡成本很高，大多用户难以接受，因此硬件平台往往采用通用图像采集卡，软件方面的图像处理程序仍采用LabVIEW以及视频处理模块编写。本文正是基于这样的目的，提出了一种在LabVIEW环境下驱动通用图像采集卡的方案，在TDS642EVM高速DSP视频处理板卡的平台下，完成实时图像采集及处理。 在图象处理的工作中主要完成对CCD光电探测器的辐射标定。由于探测器在自然环境下获取图像时，会受到来自大气干扰，自身暗电流，热噪声等影响，使CCD像元所输出信号的数值量化值与实际探测目标辐射亮度之间存在差异，所以要得到目标的精确图像就必须对探测器进行辐射标定。 2.图像采集卡简介 闻亭公司TDS642EVM（简称642）多路实时视频处理板卡是基于DSP TMS320DM642芯片设计的评估开发板。计算能力可达到4Gips，板上的视频接口和视频编解码芯片Philips SAA7115H相连,实现实时多路视频图像采集功能,支持多种PAL,NTSC和SECAM视频标准。本系统通过642的PCI接口与主机进行数据交换。PCI支持“即插即用（PnP）”自动配置功能，使图像采集板的配置变得更加方便，其一切资源需求的设置工作在系统初启时交由BIOS处理，无需用户进行繁琐的开关与跳线操作。PCI接口的海量数据吞吐,为其完成实时图像采集和处理提供保证。 3.系统组成及工作原理
视频交通流采集系统解决方案
视频交通流信息采集系统解决方案 1概述 视频交通流信息采集系统主要包括视频图像采集设备、视频传输网络、交通流视频检测器等。视频检测器采用虚拟线圈技术，利用边缘信息作为车辆的检测特征，实时自动提取和更新背景边缘，受环境光线变化和阴影的影响较小；同时采用动态窗的方式来进行车辆计数，解决了采用以往固定窗方式进行车辆计数时由于车辆变道而导致的错误、重复计数问题。视频检测器能对视频图像采集设备或交通电视监视系统的视频信号自动进行检测，主要采集道路的微观交通信息如流量、速度、占有率、车辆间距、排队长度等，适用于近景监控模式。 2系统功能及特点介绍 2.1数据接口设计 视频交通流信息采集系统可以通过调用本项目提供的交通流数据统一接入接口，或由本项目提供数据格式标准化及上传程序，将采集到的交通流数据共享给本项目相关系统，以实现视频交通流数据的采集功能。 图1 数据接口设计 2.2系统功能 交通流信息视频检测系统的主要功能如下： （1）车辆检测 系统能够对输入的视频流图像进行车型、车牌等特征检测。
（2）交通流数据采集功能 系统可以采集交通流数据包括交通流量、平均车速、车道占有率、车型、平均车头间距、车辆排队长度、车辆密度、交通流状态等，交通流数据采集时间间隔在1～60分钟任意可调。 图 2 视频交通流检测模块 （3）视频图像跟踪功能 系统能对单路监控前端设备在不同预置位采集的视频图像进行不同区域不同事件的自动检测。一旦检测到特定的交通事件，事件检测器应具有该交通事件的视频图像目标自动跟踪、记录、分析功能。 当输入的视频图像不为设定的预置位的视频图像，系统应能自动不进行事件检测。一旦监控前端设备恢复至设定的预置位，系统应能自动进行事件检测。 （4）事件图像抓拍、录像功能 系统可以根据用户的设置，完成相应的录像和图片抓拍功能。 事件录像可以按摄像机、按事件类型、按时间归档存储在系统的预录像子系统中，由系统服务器进行统一的管理调用。 系统循环进行录像，当发生交通异常事件时，系统能够提供事发之前和之后的3分钟间的录像（可设置）。 系统可通过多种组合查询条件对视频交通流检测所采集的数据进行统计，包括时间-流量统计、时间-平均车速统计、时间-占有率统计、速度-流量统计等；统计结果可导出为
视频综合应用平台产品手册v1.0
PVG+PVA产品手册
目录 1.【产品概述】 (3) 2.【产品组成】 (6) 2.1. 视频共享平台 (6) 2.2. 视频综合应用平台 (8) 3.【产品特点】 (9) 3.1. 全警种综合应用 (11) 3.2. 全程智能化应用 (11) 3.3. 直观的可视化展示 (11) 3.4. 完善的运维机制 (11) 3.5. 统一的用户界面 (11) 3.6. 强大的视频中间件技术 (11) 3.7. 广泛的兼容性和可扩展性 (12) 3.8. 完善的干线管理机制 (12) 3.9. 高效健壮的文件系统 (12) 4.【产品功能】 (13) 4.1. 视频监控 (13) 4.2. 视频布防 (14) 4.3. 交通管理 (15) 4.4. 视频指挥 (18) 4.5. 图像研判 (19) 4.6. 视频图像信息库 (22) 4.7. 运维管理 (24) 4.8. 绩效考核 (25)
1.【产品概述】 本套系统包括两个平台：视频共享平台与视频综合应用平台。视频综合应用平台以视频共享平台为基础，根据各警种不同业务需求，展开视频图像综合应用。可实现视频监控的监巡合一、卡口资源监控和车辆研判分析、各类视频图像资源基于GIS的直观可视化展示、视图库中视频图像信息的综合存储和查询功能以及完善的运维管理机制，实现对视频综合应用系统的运维管理和绩效考核。 下图是平台的总体架构图： 图平台总体架构图 在视频专网建设视频共享平台，实现对各类视频资源的整合，包括公安自建治安监控系统、社会面视频监控系统、3G移动监控、治安卡口视频监控等视频图像资源的接入。 在视频共享平台基础上，建设视频综合应用平台，整合视频共享平台、卡口系统、GIS系统等系统，实现视频监控、视频布防、视频指挥、图像研判、视图库、交通管理、运维管理、绩效考核等功能。
03嵌入式视频图像采集和处理
光电学院电子信息工程专业“嵌入式信息系统课程设计”任务书
第一章基础知识 一、编程原理 如何对各种音视频设备进行操作是在Linux上进行音频编程的关键，通过内核提供的一组系统调用，应用程序能够访问驱动程序提供的各种音视频设备接口，这是在Linux 下进行音视频编程最简单也是最直接的方法。在Linux下，设备驱动程序可以看成Linux 内核与外部设备之间的接口。设备驱动程序向应用程序屏蔽了硬件实现了的细节，使得应用程序可以像操作普通文件一样来操作外部设备，可以使用和操作文件中相同的、标准的系统调用接口函数来完成对硬件设备的打开、关闭、读写和I/O控制操作，而驱动程序的主要任务也就是要实现这些系统调用函数。本系统平台使用的嵌入式Linux系统在内核主要功能上与Linux操作系统没本质区别，所以驱动程序要实现的任务也一样，只要编译时使用的编译器、部分头文件和库文件等要涉及到具体处理器体系结构，这些都可以在Makefile文件中具体指定。 Video4Linux(简V4L)是Linux中关于视频设备的内核驱动，它为针对视频设备的应用程序编程提供一系列接口函数，这些视频设备包括现今市场上流行的TV卡、视频捕捉卡和USB摄像头等。对于电视卡、摄像头，其驱动程序中需要提供基本的I/O操作接口函数open、read、write、close的实现。对中断的处理实现，内存映射功能以及对I/O通道的控制接口函数ioctl的实现等，并把它们定义在struct file_operations中。这样当应用程序对设备文件进行诸如open、close、read、write等系统调用操作时，Linux内核将通过file_operations结构访问驱动程序提供的函数。例如，当应用程序对设备文件执行读操作时，内核将调用file_operations结构中的read函数。在系统平台上对摄像头驱动编译进内核后，摄像头就可正常工作了，接着就可以进行了本课题的主要内下一步对视频流的采集编程。 摄像头被驱动后，只需要再编写一个对视频流采集的应用程序就可以了。根据嵌入式系统开发特征，先在宿主机上编写应用程序，再使用交叉编译器进行编译链接，生成在目标平台的可执行文件。宿主机与目标板通信采用打印终端的方式进行交叉调试，成功后移植到目标平台。本设计编写采集程序是在安装Linux操作系统的宿主机PC机上进行的。 Linux 的帧缓冲设备Framebuffer 是在Linux 内核架构版本2.2 以后推出的标准显示设备驱动接口。采用mmap 系统调用，可以将framebuffer 的显示缓存映射为可连续访问的一段内存储针,进行绘图工作。而且多个进程可以映射到同一个显示缓冲区。由于映射操作都是由内核来完成，所以我们基本上不用对Framebuffer 做改动。 Framebuffer 驱动程序的实现分为两个方面：一方面是对LCD 及其相关部分的初始化，包括画在缓冲区的创建和对DMA 通道的设置，我们做的工作主要体现在这方面；另外一方面是对画面缓冲区的读写及控制，具体到代码为read、write、ioctl 等系统调用接口。至于将画面缓冲区的内容输出到LCD 显示屏上，则由硬件自动完成。对于软
机器视觉的辅助驾驶系统的视频中行人检测跟踪
机器视觉的辅助驾驶系统的视频中行人 实时检测识别研究文献综述 1机器视觉发展 国外机器视觉发展的起点难以准确考证，其大致的发展历程是：20世纪50年代提出机器视觉概念，20世纪70年代真正开始发展，20世纪80年代进入发展正轨，20世纪90年代发展趋于成熟，20世纪90年代后高速发展。在机器视觉发展的历程中，有3个明显的标志点，一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发展提供了基础条件。 国内机器视觉发展的大致历程：真正开始起步是20世纪80年代，20世纪90年代进入发展期，加速发展则是近几年的事情。中国正在成为世界机器视觉发展最活跃的地区之一，其中最主要的原因是中国已经成为全球的加工中心，许许多多先进生产线己经或正在迁移至中国，伴随这些先进生产线的迁移，许多具有国际先进水平的机器视觉系统也进入中国。对这些机器视觉系统的维护和提升而产生的市场需求也将国际机器视觉企业吸引而至，国内的机器视觉企业在与国际机器视觉企业的学习与竞争中不断成长。 未来机器视觉的发展将呈现下列趋势: （1）技术方面的趋势是数字化、实时化、智能化 图像采集与传输的数字化是机器视觉在技术方面发展的必然趋势。更多的数字摄像机，更宽的图像数据传输带宽，更高的图像处理速度，以及更先进的图像处理算法将会推出，将会得到更广泛的应用。这样的技术发展趋势将使机器视觉系统向着实时性更好和智能程度更高的方向不断发展。 （2）产品方面：智能摄像机将会占据市场主要地位 智能摄像机具有体积小、价格低、使用安装方便、用户二次开发周期短的优点，非常适合生产线安装使用，越来越受到用户的青睐，智能摄像机所采用的许多部件与技术都来自IT行业，其价格会不断降低，逐渐会为最终用户所接受。因此，
PCB图像采集系统研究背景意义及国内外现状
PCB图像采集系统研究背景意义及国内外现状 1 研究背景 2 AOI系统的研究和国内现状 3 研究意义 1 研究背景 印刷电路板(Printed Circuit Board，PCB)又称为印刷线路板或印制电路板。印刷电路板是各种电子产品的主要部件，有“电子产品之母”之称，它是任何电子设备及产品均需配备的，其性能的好坏在很大程度上影响到电子产品的质量。几乎每一种电子设备都离不开PCB，小到电子手表、计算器，大到航空航天、军用武器系统等，都包含各式各样，大小各异的PCB板。近年来，随着生产工艺的不断提高，PCB正在向超薄型、小元件、高密度、细间距方向快速发展。这种趋势必然给质量检测工作带来了很多挑战和困难。因此PCB故障的检测已经成为PCB制造过程中的一个核心问题，是电子产品制造厂商非常关注的问题。在生产线上，厂家为保证PCB板的质量，就得要求100％的合格率，对所有的部件、子过程和成品都是如此。在过去靠人工对其进行检测的过程中，存在以下几个不可避免的缺点： (1)容易漏检。由于是人眼检测，眼睛容易疲劳，会造成故障不能被发现的问题。并且人工检测主观性大，判断标准不统一，使检测质量变得不稳定。 (2)检测速度慢，检测时间长。比如对于图形复杂的印刷电路板，人工很难实现快速高效的检测，因此人工检测不能满足高速的生产效率。 (3)随着技术的发展，设备的成本降低，人工费用增加，仍然由人工进行产品质量控制，将难于实现优质高效，而且还会增加生产成本。 (4)在信息技术如此发达的今天人工检测有不可克服的劣势，例如：对检测结果实时地保存和远距离传输，对原始图像的保存和远距离传输等。 (5)有些在线检测系统是接触式检测，需要与产品进行接触测量，因此，有可能会损伤产品。 因此，人工检测的精确性和可靠性大打折扣，传统意义上的检测方法不再能适应现代电路板检测的要求。如果漏检的有错误的电路板进入下一道工序，随着每一项工艺步骤的增加，到最终经过贴装阶段后，仍然会被检测出来是有故障的，那时，制造厂商与其花费大量的人力和成本来检测、返修这块电路板，还不如选
公共安全视频图像信息联网共享应用总体要求-编制说明
国家标准《公共安全视频图像分析系统第3部分：视频图像增强技术要求》编制说明 标准编制组 2020年3月21日
国家标准《公共安全视频图像分析系统第3部分：视频图像 增强技术要求》编制说明 一、工作简况 1、任务来源 根据国家标准委《关于下达2018年第四批推荐性国家标准计划的通知》（国标委发〔2018〕83号）的要求，浙江宇视科技有限公司承担项目编号为20184824-T-312《公共安全视频图像分析系统第3部分：视频图像增强技术要求》的标准制定任务。本标准由SAC/TC100归口。 2、起草单位情况 本标准起草单位包括：浙江宇视科技有限公司、公安部安全与警用电子产品质量检测中心、视频图像信息智能分析与共享应用技术国家工程实验室、杭州海康威视股份有限公司、华为技术有限公司、浙江大华技术股份有限公司、高新兴科技集团股份有限公司、北京深醒科技有限公司、中星技术股份有限公司、苏州科达科技股份有限公司等单位。 浙江宇视科技有限公司负责编制组的组成，草案内容的编制和提出、相关会议的召集、各阶段标准内容的讨论、意见征集汇总、修改及提交等主要工作。公安部安全与警用电子产品质量检测中心、视频图像信息智能分析与共享应用技术国家工程实验室、杭州海康威视股份有限公司、华为技术有限公司、浙江大华技术股份有限公司、高新兴科技集团股份有限公司、北京深醒科技有限公司、中星技术股份有限公司、苏州科达科技股份有限公司等负责各章节的评审、修改意见的讨论等工作。 3、主要起草人及其所做的工作 标准的主要起草人包括：吴参毅、徐琼、廖双龙、卢玉华、栗红梅、孔维生、孟凡辉、杜云鹏等。其中，吴参毅负责标准的结构框架编制、组织联络、技术讨论、进度汇报等；戴杰负责标准的主要内容起草、会议纪要等；吴参毅、廖双龙、杜云鹏、栗红梅负责标准中主要章节细化内容的编制和修改等；徐琼、卢玉华、孔维生、孟凡辉、等负责细化内容的提议、讨论、技术验证等。 4、主要工作过程 《公共安全视频图像分析系统第3部分：视频图像增强技术要求》标准的编制工作，主要阶段包括： 第一阶段：2018年12月—2019年1月，标准立项阶段。 （1）标准立项筹备 国家标准委下达标准修订计划前，SAC/TC100组织浙江宇视科技有限公司等标准主要起草单位开展了多次调研和会议讨论工作。具体包括对现有行标《GA/T 1154.1-2014 视频图像分析仪第1部分：通用技术要求》、《GA/T 1154.5-2016 视频图像分析仪第5部分：视频图像增强与复原技术要求》、《GA/T 1399.1-2017 公安视频图像分析系统第1部分：通用技术要求》、《GA/T 1399.2-2017 公安视频图像分析系统第2部分：视频图像内容分析及描述技术要求》、《GA/T 1400.3-2017 公安视频图像信息应用系统第3部分：数据库技术要求》、《GA/T 1400.4-2017 公安视频图像信息应用系统第4部分：接口协议要求》，以及同时启动编写的《公共安全视频图像信息综合应用系统技术要求》、《公共安全视频图像信息综合应用服务接口技术要求》、《公共安全视频图像分析系统第1部分：通用技术要求》、《公共安全视频图像分析系统第2部分：视频图像内容分析及描述技术要求》、《公共安全视频图像分析系统第4部分：视频图像检索技术要求》、《公共安全视频图像信息数据项》等体系内标准进行调研，对各标准或系列标准各部分内容
公安视频图像信息综合应用平台建设v1.0
XX省公安视频图像信息综合应用系统 建设指导意见
一、概述 XX省城市报警与监控系统经过多年的发展，在技术水平和实际应用等方面都取得了长足的进步，经初步形成了社会治安技术防范的视频监控网络。然而，目前省内已建成的监控系统大都自成体系，相互间缺少统一规划和技术协调，不能有效实现图像信息资源的共享，缺少面向公安实战的综合应用，制约了图像信息技术在城市社会治安管理中作用的发挥。在各警种的实际工作中，视频图像信息还没有被深度挖掘，充分发挥其作用。 根据《全国公安装备建设“十二五”规划》中关于“公安监控图像联网共享平台”的建设要求，按照《全国公安机关视频图像整合与共享工作任务书》中的相关规定，并结合《公安指挥通信系统建设总体方案》和《关于深入开展城市报警与监控系统应用工作的意见》中的有关要求，全省将以建设共享平台、联网平台为核心，打造全省跨区域、跨部门、跨警种的视频图像信息综合应用平台，进一步拓展图像信息在公安业务中的应用广度和深度，为提升公安机关核心战斗力，为指挥调度、预防打击违法犯罪、维护社会稳定提供有力的信息支撑。 二、建设目标 建立由共享平台和联网平台构成的三级视频图像信息综合应用平台，实现三级平台的分层级应用。 省级平台实现视频图像信息整合、调度、存储和管理，满足各警种反恐防暴、维稳处突、应急指挥、社会管理等警务工作的扁平化指挥需求，并在保障视频图像信息在网内安全、可靠传输的前提下实现向部级平台的图像信息上传。 市、县平台实现源头视频信息的接入和管理，逐步分级建立视频图像信息数据库，采取视频图像信息集中管理和分级分散管理相结合的方式，对各部门、警种关注的视频图像信息进行整理、分类存储，并建立索引摘要。从而满足国保、治安、刑侦等警种部门在维护社会治安、侦查破案等警务工作中的实战需求。
基于Labview的图像采集与处理
目前工作成果： 一、USB图像获取 USB设备在正常工作以前，第一件要做的事就是枚举，所以在USB摄像头进行初始化之前，需要先枚举系统中的USB设备。 （1）基于USB的Snap采集图像 程序运行结果： 此程序只能采集一帧图像，不能连续采集。将采集图像函数放入循环中就可连续采集。
循环中的可以计算循环一次所用的时间，运行发现用Snap采集图像时它的采集速率比较低。运行程序时移动摄像头可以清楚的看到所采集的图像有时比较模糊。 （2）基于USB的Grab采集图像 运行程序之后发现摄像头采集图像的速率明显提高。
二、图像处理 1、图像灰度处理 （1）基本原理 将彩色图像转化成为灰度图像的过程成为图像的灰度化处理。彩色图像中的每个像素的颜色有R、G、B三个分量决定，而每个分量有255中值可取，这样一个像素点可以有1600多万（255*255*255）的颜色的变化范围。而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，其一个像素点的变化范围为255种，所以在数字图像处理种一般先将各种格式的图像转变成灰度图像以使后续的图像的计算量变得少一些。灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征。图像的灰度化处理可用两种方法来实现。 第一种方法使求出每个像素点的R、G、B三个分量的平均值，然后将这个平均值赋予给这个像素的三个分量。 第二种方法是根据YUV的颜色空间中，Y的分量的物理意义是点的亮度，由该值反映亮度等级，根据RGB和YUV颜色空间的变化关系可建立亮度Y与R、G、B三个颜色分量的对应：Y=0.3R+0.59G+0.11B，以这个亮度值表达图像的灰度值。 （2）labview中图像灰度处理程序框图 处理结果：
视频图像的采集与显示
广州大学学生实验报告 开课学院及实验室：物理与电子工程学院 2015年x月xx日 班级光信121 姓名学号指导老师 实验课程名称数字信号处理实验Ⅰ成绩 实验项目名称视频图像的采集和显示 一、实验目的 二、实验原理 三、使用仪器、材料 四、实验步骤 五、实验过程原始记录（数据、图案、计算等） 六、实验结果及分析 一．实验目的 通过实验学习在CodeComposerStudio2.21 的环境下使用ICETEK-VC5509-A 板设计、调试程序的方法；学习用程序控制ICETEK-TVP5150-E 板采集视频图象。 二．实验原理 1．ICETEK-TVP5150 板介绍，请参看《ICETEK-TVP5150-E 板使用说明书》。 2．用程序控制ICETEK-TVP5150-E 板所提供的控制寄存器，可以实现采集一场视频图象。 流程图见后面。 3．一场标准PAL 制视频图象的象素分辨率为720x288。图象中每象素用8 位二进制数表示，取值1-254，表示不同的亮度信息。 4．图象保存在指针lpImage 开始的片外存储器中，由于普通5509 的c 语言数据指针无法超越64k 边界，所以程序中采用FARPTR 类型指针来读写图象。图象的尺寸为722x288。 5．原始图象的缩略图存在数组y 中，尺寸为120x96。 三．实验设备 计算机，ICETEK-VC5509-A-EDU 实验箱，ICETEK-TVP5150-E 板，标准PAL 制摄像头。 四．实验步骤 1．实验准备： 连接实验设备：请参看本书第三部分、第一章、二。 连接ICETEK-TVP5150-E 板：
-ICETEK-VC5509-A 板正面朝上(DSP 芯片朝上)，找到板上扩展接口 P3 和 P4。-ICETEK-TVP5150-E 板正面朝上(所有集成电路芯片朝上)，找到插头 DSP P4 和DSP P3。 -将 ICETEK-TVP5150-E 板上 DSP P4 对准 DSP 系统板上 P4、DSP P3 对准系统板上 P3 插入接口，注意不要插错位，所有插针均要插入插孔之中。 -连接摄像头电源。 -用视频连接线连接摄像头视频输出插座到 ICETEK-TVP5150-E 板上视频插座 J1。 2．设置 Code Composer Studio 2.21 在硬件仿真(Emulator)方式下运行： 请参看本书第三部分、第一章、四、2。 3．启动 Code Composer Studio 2.21： 请参看本书第三部分、第一章、五、2。 选择菜单 Debug→Reset CPU。 4．打开工程文件： 工程目录：C:\ICETEK-VC5509-EDULab\Lab0901-VideoFrame\Demo.pjt。 5．编译并下载程序。 6．打开工程“Demo.pjt”中的 C 语言源程序“main.c”，在程序中有“BREAK POINT”在此加软件断点”注释的语句上加软件断点。 7．设置观察窗口，观察缩略图： *选择菜单 View->Graph->Image，做如下设置： 8．运行程序 按“F5”键运行到断点，观察图象。如果图象不理想请再次运行到断点。 9．设置观察窗口，观察全图 *鼠标右键单击缩略图窗口，选择菜单中“Properties…”项，做如下修改： 10．观察图象： 由于CCS 需要通过仿真器传输图象，您可能需要等待几分钟才能看到图象。 11．选择菜单File→workspace→save workspacs As…，输入文件名SY.wks 。
图像采集系统设计
DSP实习报告 题目：图像采集系统的设计 班级：xxx 姓名：xxx 学号：xxx 指导老师：xxxx
目录 一.实习题目 (3) 二.实习背景知识 (3) 三.实习内容 (5) 四.实习程序功能与结构说明 (8) 六．实习心得 (19)
一、实习题目 图像采集系统的设计 二、实习目的： 1、熟练掌握数字信号处理的典型设计方法与技术手段； 2、熟悉D6437视频输入，输出端的操作及编程。； 3、掌握常用电子仪器设备的使用方法； 4、熟悉锐化变换算法。 三、实习背景知识 1、计算机 2、CCS3.3.软件 3、DSP仿真器 4、EL_DM6437平台 EL-DM6437EVM是低成本，高度集成的高性能视频信号处理开发平台，可以开发仿真达芬奇系列DSP应用程序，同时也可以将该产品集成到用户的具体应用系统中。方便灵活的接口为用户提供良好的开放平台。采用该系列板卡进行产品开发或系统集成可以大大减少用户的产品开发时间。板卡结构框图如图所示：
板卡硬件资源： TMS320DM6437 DSP ，可工作在400/600 MHz； 2 路视频输入，包括一个复合视频输入及一个S端子视频输入； 保留了视频输入接口，可以方便与CMOS影像传感器连接； 3 路视频输出，包括2路复合视频，一路S端子输出； 128MByte 的DDR2 SDRAM存储器，256MBit的Nor Flash存储器；用户可选的NAND Flash接口； 可选的256K字节的I2C E2PROM； 1个10M/100Mbps自适应以太网接口； 1 路立体声音频输入、1路麦克风输入，1路立体声音频输出； USB2.0高速接口，方便与PC连接； 1个CAN总线、1个UART接口、实时时钟（带256Byte的电池保持RAM）；4个DIP开关，4个状态指示LED； 可配置的BOOT模式； 10层板制作工艺，稳定可靠； 标准外部信号扩展接口； JTAG仿真器接口； 单电源+5V供电； 板卡软件资源：