智能视频分析技术及市场介绍

智能视频分析技术及市场介绍
智能视频技术及市场介绍
一、智能视频的概念
智能视频(IV，IntelligentVideo)源自计算机视觉(CV，ComputerVision)技术。

计算机视觉技术是人工智能(AI，ArtificialIntelligent)研究的分支之一，它能够在图像及图像描述之间建立映射关系，从而使计算能够通过数字图像处理和分析来理解视频画面中的内容。

而智能视频技术主要指的是:“自动的分析和抽取视频源中的关键信息。

” 如果把摄像机看作人的眼睛，而智能视频系统或设备则可以看作人的大脑。

智能视频技术借助计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，过滤掉用户不关心的信息，仅仅为使用者提供有用的关键信息。

智能视频监控以数字化、网络化视频监控为基础，但又有别于一般的网络化视频监控，它是一种更高端的视频监控应用。

智能视频监控系统能够识别不同的物体，发现监控画面中的异常情况，并能够以最快和最佳的方式发出警报和提供有用信息，从而能够更加有效地协助安全人员处理危机，并最大限度的降低误报和漏报现象。

二、智能视频的应用领域
智能视频的应用大体上可以分为安全相关应用和非安全相关应用两大类。

安全类相关的应用是目前市场上存在的主要智能视频应用，市场上对于此类应用的需求不断增长。

这些应用主要作用是协助政府或其他机构的安全部门提高室外大地域公共环境的安全防护。

此类应用主要包括:高级视频移动侦测(AdvancedVMD)、物体追踪(MotionTracking)、人物面部识别(FacialDetection)、车辆识别(Vehicle Identification)和非法滞留(Object Persistence)等。

除了安全相关类应用之外，智能视频还可以应用到一些非安全相关类的应用当中。

这些应用主要面向零售、服务等行业，可以被看作管理和服务的辅助工具，用以提高服务水平和营业额。

此类应用主要包括:人数统计(PeopleCounting)、人群控制(FlowControl)、注意力控制(AttentionControl)和交通流量控制(Traffic Flow)等。

2.1 目前的视频监控系统存在的问题
图2-1:视频监控系统现状
, 人类自身的弱点
在很多情况下，人类并非一个可以完全信赖的观察者，无论是在观看实时的视频流还是在观看录像回放的时候，由于自身生理上的弱点，我们经常无法察觉安全威胁，从而导致漏报(False Negatives)现象的发生。

, 监控时间
目前的视频监控系统无法按照1:1的比例为监控摄像机配置监视器。

这意味着各个监控点并非每时每刻都处于监控当中。

同时由于技术和环境的限制，无法通过增加监视器的数量和人力实现1:1的监视。

, 误报和漏报
误报(False-Positive)和漏报(False-Negative)是视频监视系统中最常见的两大问题。

漏报指的是在监控点发生安全威胁时，该威胁没有被监控系统或安全人员
发现。

误报指的是位于监控点的安全活动被误认为是安全威胁，从而产生错误的报警。

, 数据分析困难
报警发生后对录像数据进行分析通常是安全人员必须要做的工作之一，而误报和漏报现象则进一步加剧了对数据分析的需求。

安全人员经常被要求找出与报警事件相关的录像资料，找到肇事者、确定事故责任或评估该事件的安全威胁。

由于目前的视频监控系统缺乏智能因素，录像数据无法被有效的分类存储，最多只能打上时间标签，因此数据分析工作变得及其耗时，并且很难获得全部的相关信息，而经常发生的误报现象使无用数据进一步增加，从给数据分析工作带来更大的难度。

, 响应时间长
对于安全威胁的响应速度关系到一个安全系统的整体性能。

目前的视频监控系统都由安全工作人员对安全威胁作出响应和处理，这对于处理一般性的、实时响应要求较低的安全威胁来说已经足够。

但是很多情况下，在威胁发生时，需要安全系统的多个功能部分，甚至多个安全相关的部门在最短的时间内协调配合，共同处理危机。

这时候，监控系统的响应速度将直接关系到人身或财产的损失情况。

2.2 智能视频监控的主要优势
, 24×7全天候可靠监控
智能视频监控系统彻底改变了以往完全由安全工作人员对监控画面进行监视和分析的模式，它通过嵌入在前端设备(网络摄像机或视频服务器)中的智能视频模块对所监控的画面进行分析，并采用智能算法与用户定义的安全模型进行对比，一旦发现安全威胁立刻向监控中心报警。

, 提高报警精确度
智能视频监控系统能够有效提高报警精确度，大大降低误报和漏报现象的发生。

智能视频监控系统的前端设备(网络摄像机和视频服务器)集成了强大的图像处理能力，并运行高级智能算法，使用户可以更加精确地定义安全威胁的特征。

例如:用户可以定义一道虚拟警戒线，并规定只有跨越该警戒线(进入或走出)才产生报警，从警戒线旁边经过则不产生报警。

如图所示，用户定义只有穿越房门的活动才产生报警，而经过房门的活动不产生报警。

, 提高响应速度
智能视频系统拥有比普通网络视频监控系统更加强大的智能特性，它能够识别可疑活动(例如有人在公共场所遗留了可疑物体，或者有人在敏感区域停留的时间过长)，因此在安全威胁发生之前就能够提示安全人员关注相关监控画面，使安全部门由足够的时间为潜在的威胁做好准备工作。

三、智能视频的技术概况
一般来说，智能视频技术按技术复杂性分为两个大阶段:“视频检测”阶段和“视频识别”阶段。

视频检测又分为三个小阶段:第一阶段是从视频图像中将运动物体提取出来，第二阶段是运用模式识别技术对运动物体进行分类，第三阶段是运用目标跟踪技术获得运动物体的运动轨迹。

视频识别是智能视频技术的最高阶段—如身份识和行为识别等。

目前的智能视频技术正处于“视频检测”的成熟阶段并向“视频识别”阶段进行拓展。

3.1 智能视频技术的发展历程
智能视频技术研究历史可追溯至上世纪60、70年代基于图像的模式识别。

最早的方法比较直观和简单，研究主要集中于简单几何特征的提取，由于这些特征点的检测极不稳定，且提取的信息量有限，因而无法使智能视频技术取得突破性的发
展。

从80 年代开始，人们开始利用图像的灰度信息或基于图像的底层特征(例如DCT、小波等)进行图像识别，并涌现了许多应用神经网络进行人脸识别的算法。

目前有不少国内研究机构正在进行积极的智能视频技术研究。

例如中科院自动化所生物识别与安全技术研究中心、中科院计算所和清华大学。

此外，微软亚洲研究院-视觉计算组也在进行这方面的研究。

但是国内研究基本上是在学术上作的工作多一些，将学术成果推广到产品中，相对来说是很薄弱的。

除了目标的特征识别以外，在CV(即计算视觉Computer Vision领域)中，行为分析也尤为重要。

1997年美国国防高级研究项目署(Defense Advanced Research Projects Agency)设立了以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目VSAM(Visual Surveillance and Monitoring)，主要研究用于战场及普通民用场景进行监控的自动视频理解技术;1998年英国的雷丁大学(University of Reading)已经开展了对车辆和行人的跟踪及其交互作用识别的相关研究;2000年由Haritaoglu I等人提出的W4系统是一套实时视觉监控系统，它不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人是否携带物体等简单行为; 2004年由欧盟出资启动的，雷丁大学与法国INRIA等研究机构联合实施的机场智能监控项目AVITRAC能够对停机坪场景进行目标跟踪和异常行为检测与报警，为机场保安这一911后的重大安全课题提供了智能化的解决方案。

近年来，IBM、INTEL和Microsoft等公司也逐步将基于智能视频的技术应用于商业应用中。

中国科学院自动化所国家模式识别实验室等也在研究人的步态分析与识别等课题。

3.2 智能视频的工作流程
迄今为止，关于智能视频技术还没有相关的国际标准，不过普通的工作流程可以被描述为:
1. 一个较长的序列被分割成可供分析的单独场景或短片。

因为不同的场景具有不同的直方图，或不同的色彩频率分布，其直方图相对于前面有突变的帧时可以被视为场景改变;
2. 改变场景内的前景目标被检测为与背景分离;
3. 单独的前景目标被提取或者被分割，然后逐帧跟踪。

跟踪包括检测目标的位置和速度，它可能不断变化或临时静止;
4. 当需要识别时，该目标的特征被提取，以进行分类;
5. 如果该事件某种程度上像关注的目标，则向管理软件和/或管理人员发布告警。

3.3 前景/背景检测
期望智能视频技术能够检测出变化或者可疑的活动，相对于通常为静止或者不关注的背景，这些活动正在前景中变化。

过去，对前景/背景检测的运算有限。

而如今，
高性能的数字信号处理器(DSP)和视频处理器使得更复杂的检测算法的实现成为可能。

通常，有两种方法可实现前景/背景检测:
1. 非自适应方法:仅利用少量的帧且不保持背景模型;
2. 自适应方法:保持随时间不断变化的背景模型。

在自适应智能视频算法中，利用来自上述流程的2-4步的反馈被送出，用来更新和维持背景模型，然后又被用作为第1步的输入。

图3-1:基于三个图像帧的前景/背景检测
3.4 目标检测/跟踪
在前景/背景检测之后，生成一个掩膜图(图3-1C)。

由于存在环境噪声，单个目标的所有部分将不会关联在一起，故在将所有部分关联成整体之前，需要进行形态的扩展计算增强过程。

扩展包括在掩膜图上加一个网格，计算网格中每个区域中的前景像素数量，然后计算每个区域中像素的剩余部分，该区域中的数量显示哪些分离的目标应该被关联到一起。

在扩展和分量关联后，为每个目标提供一个包围框，这是一个包括整个目标(因为它将出现在不同的帧中)的小矩形方块，从而产生了图3-2所示的分割。

图3-2:目标分割效果示意图
跟踪分割后的前景目标包括三步:即预测在当前帧中每个目标应该位于的地方，确定哪一个目标与描述最匹配并矫正目标运动轨迹，以用于下一帧的预测。

第一步和第三步由递归式卡尔曼滤波器来实现。

跟踪中的第二步包括数据相关，根据目标特征的相似性来确定目标的相关性。

目标的大小，形状和位置可以根据从一帧到下一帧中的包围框和他们的交叠来确定。

一些场景中，目标的所有特征都发生了改变，包括大小，形状，速度和颜色。

系统必须能够快速调整来适应这些突变，以便精确地识别出该目标。

另外，在跟踪多个目标时，系统必须能区分出它们之间彼此不同的特征。

3.5 目标分类
跟踪的复杂度导致了目标分类方面的问题。

目标的大小和速度可以为大致分类提供参考，但对于精细分类还需要提供更多的信息。

有效的智能视频系统实现还必
须克服目标分类以外的大量挑战。

其中包括由于黄昏、水面、云、风中的树木摆动、雨、雪以及大雾所引起的各种变化;跟踪穿越的目标的轨迹，会引起每个前景像素的暂时合并，随后又分离;还有在包括多个摄像机系统中逐幅地跟踪目标等。

3.6 智能视频系统实现
嵌入式智能视频需要一个高性能的处理器和不同的部署。

新解析技术的出现要求编程灵活性，这可以利用集成最高性能的处理器来解决，其中包括可编程 DSP 和RISC微处理器内核以及视频硬件协处理器。

合适的处理器还需要集成高性能的通信外设和视频信号链路来减少系统元器件和成本，例如德州仪器的基于 DaVinci 技术的TMS320DM644x处理器。

智能视频系统也可以集成到用作为多个摄像机的中央单元的计算机服务器中。

四、智能视频的市场概况
4.1 国内外市场概况
行业分析公司iSuppli预计，2006年仅IP 视频监控摄像头市场的增幅就将达到100%，其全球市场份额将于2009年底超过模拟 CCTV 摄像头。

英国的 IMS Research 预计，IT 基础设施制造商将在产品中嵌入视频分析软件，以进一步提高视频网络的性能。

IMS 预计，在未来3年内有关视频技术这些软件市场会成长到8亿美元，嵌入式应用将约占视频分析软件市场份额的60%。

目前，国内已建有100多万个各类风险等级的安防系统，每年新建和改建的各类安防系统超过了20万个，其中金融营业场所就有5万多个，住宅小区有1万多个;此外，全国现拥有2000多家报警运营服务企业，入网总用户已达100多万户。

随着我国“平安城市”建设的深入，我国安防市场的需求将进一步提高，成为继美国之后全球第二大安防市场。

从市场的需求情况来看，智能视频监控系统正在越来越多的引起人们的关注，需求量处于不断上升的过程当中。

从总体上看，国外的智能视频应用市场正在从
“概念验证”阶段向“规模应用”阶段转化，智能视频已经慢慢开始形成为一个产业。

在智能视频应用的概念模型出现后不久，一些国外的公司就已经开始着手研发相关的软硬件产品。

例如，美国的Object Video、瑞典Axis、以色列的Mate、日本的NEC等已经推出其智能视频产品。

与国外相比，国内的智能视频市场还有很大的差距，目前基本上还处于空白状态。

一般在监控系统中提到的“智能视频监控”实际上还停留在普通的网络视频监控(IP监控、数字化监控)的概念上。

但随着市场上开始出现了与国外类似的智能视频应用需求，已经有些国内厂商开始着手引进国外知名厂商的智能视频软硬件产品和技术，计划采用OEM的形式在国内推出。

2007年，海康威视和兆维泰奇与美国ObjectVideo合作，利用ObjectVideo OnBoard?技术开发下一代智能视频监控系统。

神州数码与以色列MATE公司合作推广其智能视频产品。

4.2 国外主要厂商和产品介绍
Vidient:美国，前身为NEC公司的一个实验室，2004年引进风险投资成立Vidient公司，产品名称Smartcatch，能检测十种异常行为，包括移动物体检测、遗留物体检测、周边入侵检测等，主要用户为机场。

Verint:美国，世界上最大的视频监控系统厂商之一，始创于1986年。

1997年开始正式研发专业级的数字视频监控解决方案。

在全球50个国家拥有超过上千家著名客户，在通讯截录、录像保安分析系统等领域一直处于世界领导地位。

应用案例包括美国TSA下属某机场的网络视频监控。

ObjectVideo:美国，成立于1998年，目前为视频分析检测市场份额最大占有者，行为分类包括:边界保安和入侵探测，可疑人员逗留，物品遗留/异样物体探
测，财产保护/防盗探测，人流/物流监控，图像变化/摄像机检测，交通工具监控和测速。

备注:ObjectVideo得益于VSAM的研究而成立的，第一个用户也是美国国防部(DoD)。

Mate:以色列，主要产品为BehaveWatch，可检测六种异常行为，包括路径检测、突然出现报警、定向运动检测等，提出三层防护概念。

Nicevision:以色列，NiceVision视频分析仪对不同的威胁提供实时侦测功能，包括闯入者，车辆，被遗弃的行李和包裹，周边及设施保护，阻塞安全出入口及消防路线，盗窃侦测/防止安全设备被移动，计算人数，车辆和其它其物件，显示人群聚集，监控安全率水平，量度人流，显示企图尾随进入入口处控制点。

Ioimage:以色列，能实现五种行为的检测，包括入侵探测，PTZ自动跟踪，遗留物体探测，非法滞留探测，移动物体探测等。

VisioWave:瑞士，2004年全球增长最快的安防企业，全球50强安防企业之一。

安防解决方案包括了一系列综合的高集成度的数字视频硬件产品和多种多样的管理软件。

这些解决方案提供了完整的中央集中式配置和管理能力;高质量、高性能的分布式视频切换;高效优化的基于IP和ATM网络的传输;智能化的本地、中央存储;支持视频检测、图像分析、智能报警以及高可靠度的图形化用户界面。

备注:VisioWave现以被GE公司收购。

CitiLog:法国，产品为视频事件自动检测系统，主要应用于智能交通领域。

Citilog的核心技术是自主研发的动态图像背景自适应技术和车辆图像跟踪技术，彻底消除了光线，雨雪，灰尘对系统的影响，可以及时检测监控区域内发生的交通事件，采集交通数据，辅助进行交通控制等。

交通事件检测中事件行为有六种，包括:交通拥堵，停驶车辆，逆行车辆，慢行车辆，行人出现，丢弃物品等。

推出了
4个产品系列:MediaRoad(应用于公路和高速公路的事件检测和交通管理)，MediaTunnel(应用于隧道，提高隧道使用安全和更好的隧道管理)，MediaCity(应用于城市交叉路口控制)，VisioPaD(应用于PTZ摄像机的视频检测)。

AXIS:瑞典，已经推出其智能视频产品，其中包括AXIS242SIV视频服务器和AXIS IVM 120人数统计智能视频应用模块。

AXIS 242S IV集成了专用DSP芯片(TI DM 642)，具备强大的图像处理能力，并可支持第三方应用软件模块的运行和开发。

AXIS IVM 120人数统计智能视频应用模块可以使视频监控设备通过对监控画
面的分析自动为用户计算进/出特定区域的人数，能够有效帮助服务、零售等行业的管理者分析营业情况或提高服务质量。

Axis还计划在不久的将来推出更多智能
视频应用模块，包括车牌号识别、非法滞留等等。

五、ALTRUM IS-11产品简介
图5-1. Altrum IS-11 系统硬件结构
硬件是在TI的Davinci 6446芯片上设计开发而成的。

系
AltrumAltrumAltrumAltrumAltrumAltrumIS-11IS-11IS-11IS-11IS-11IS-11统的
应
AltrumAltrum用IS-11IS-11模
AltrumAltrum式IS-11IS-11
是
基
于网图5-2. Altrum IS-11 系统基于网络的应用模型络
化的应用环境。

5.1 可以实现的智能视频的主要功能
, 入侵检测:检测特定区域的被入侵情况(Intrusion Detection: Monitoring object
intruding a safe zone.)
功能说明:
对于监控静态画面中的移动目标进行监控，报警。

对于监控画面中特定区域出现的动态目标进行监控，报警。

对于监控画面中设定的绊线动作进行监控，报警。

, 一定区域或者广阔区域范围内的目标探测和跟踪:我们已经实施了一些目标探
测和跟踪算法。

多个摄像机基于宽/大面积监测，可以很容易扩展到广域目标跟
踪。

(Narrow and Wide Area Target Detection and Tracking: We have implemented some target detection and tracking algorithms. Multiple camera (a network of cameras) based wide/large area surveillance can be
easily extended to wide area target tracking.)
功能说明:
多个摄像机协同工作，完成对不同区域的目标检测和跟踪，使目标从一个监控区域
进入另一个监控区域，仍然在系统监控中。

, 人脸发现和在有限的数据库进行人脸检测:可以为企业或者家庭用于身份认证。

(Face Finding and Face Detection for Limited Database: This can be used
for ID check for a company or family.)
功能说明:
在静态或者动态画面中寻找人脸
对于当前监测人脸目标，可以在已经存储人脸的数据库系统中，搜索到是否匹配
, 现场安全监控:用户对火，烟等事故报警，或者儿童安全监控。

(Site Security
Monitoring: Mainly Fire, Smoke, and child safety monitoring.)
(现场安全监控:用户对火，烟等事故报警，或者儿童安全监控。

)
功能说明:
对于突发的火，烟等异常状况报警。

对于现场突发紧急事故进行监控和报警。

5.2 Altrum IS-11控制软件功能说明
, 移动侦测报警功能
视频画面中的移动目标能及时被发现，出发报警预案
(1) 及时发送照片至用户邮箱
(2) 及时发送照片至用户手机
(3) 及时启动录像(可选，需用户在线)
, 工作状态可以通过网络远程控制
通过安装在客户电脑上的IS-11控制软件，可以设置监控器工作在视频流状态，启动报警状态，解除报警状态，定制用户文件。

, 区域报警、绊线报警的设置
可以在视频画面中设置最多10个报警区域，或者设置10条报警绊线。

, 移动侦测灵敏度设置
可以预设置移动目标的最小高度和宽度，达到调节侦测灵敏度的目的。

, 手机启动和取消报警
用户可以通过手机启动或者取消监控器的报警状态。

, 手机实时监看
用户可以用能够接收彩信的手机发送指令，就可以马上收到监控现场的图
片。

, 可通过网络实时监看视频
使用安装的客户端电脑的IS-11控制软件，用户可以通过网络实时监看视频，有高、中、低三档分辨率可供选择。

, 视频数据包大小可以调节
在网络带宽不是很理想的环境下，可以调节数据包大小，以达到比较好的监看效果
, 用户远程定制信息
用户可以通过网络远程定制邮箱、密码、手机号码、用户IP等地址信息 , 录像和播放功能
录像:可以将实时监看的录像保存在电脑硬盘上
播放:可以使用播放器播放录像
, PTZ控制功能
可在视频监看状态下，控制云台，控制摄像机变焦。

图5-3:工作方式示意图。