一种嵌入式的实时视频采集系统

技术创新

中文核心期刊《微计算机信息》（嵌入式与ＳＯＣ）２００８年第２４卷第４－２期

３６０元／年邮局订阅号：８２－９４６

《现场总线技术应用２００例》

机器人技术

一种嵌入式的实时视频采集系统

ＡｋｉｎｄｏｆＥｍｂｅｄｅｄＲｅａｌ－ＴｉｍｅＶｉｄｅｏＡｃｑｕｉｓｉｔｉｏｎＳｙｓｔｅｍ

（中北大学）

李志刚王明泉任少卿杨静

ＬＩＺｈｉ－ｇａｎｇＷＡＮＧＭｉｎｇ－ｑｕａｎＲＥＮＳｈａｏ－ｑｉｎｇＹＡＮＧＪｉｎｇ

摘要：设计实现了一种智能移动机器人的前端视频采集系统，该系统采用视频解码芯片ＳＡＡ７１１１Ａ和灵活可配置的ＦＰＧＡ芯片实现了实时的视频采集，满足了机器人后续视频处理的需要。实验证明：该系统具有结构简单、可靠性高、使用灵活和性价比高等优点。

关键词：ＦＰＧＡ；ＳＡＡ７１１１Ａ；视频采集中图分类号：ＴＮ９１１．７文献标识码：Ａ

Ａｂｓｔｒａｃｔ：Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｖｉｄｅｏｆｒｏｎｔｓｙｓｔｅｍｆｏｒＵｎｍａｎｎｅｄＶｅｈｉｃｌｅａｎｄＩｎｔｅｌｌｉｇｅｎｔＲｏｂｏｔ．ＡｃｃｏｒｄｉｎｇｔｏｔｈｅｒｅｑｕｉｒｅｍｅｎｔｓｏｆｓｙｓｔｅｍｗｅｉｍｐｌｅｍｅｎｔｃｏｎｔｉｎｕａｌｌｙｖｉｄｅｏａｃｑｕｉｓｉｔｉｏｎｗｉｔｈｓｐｅｃｉａｌｖｉｄｅｏｄｅｃｏｄｅｒＳＡＡ７１１１ＡａｎｄｆｌｅｘｉｂｌｅｃｏｎｆｉｇｕｒａｂｌｅＦＰＧＡ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｉｎｄｉｃａｔｅｄｔｈａｔｔｈｉｓｓｙｓｔｅｍｈａｓｓｏｍｅａｄｖａｎｔａｇｅｓｓｕｃｈａｓｓｉｍｐｌｅｓｔｒｕｃｔｕｒｅ，ｈｉｇｈｒｅｌｉａｂｉｌｉｔｙ，ｈｉｇｈａｄａｐｔａｂｉｌｉｔｙａｎｄｈｉｇｈｐｅｒｆｏｒｍａｎｃｅ－ｃｏｓｔｒａｔｉｏ．

ＫｅｙＷｏｒｄｓ：ＦＰＧＡ；ＳＡＡ７１１１Ａ；ＶｉｄｅｏＤａｔａＡｃｑｕｉｓｉｔｉｏｎ

文章编号：１００８－０５７０（２００８）０４－２－０２２６－０３

１引言

随着中国机器人产业的迅猛发展，据预测到２０１０年，市场容量将超过９３．１亿人民币。智能移动机器人是在室外环境中，将视频图像采集回来之后，按照预先给定的目标任务，结合已知的地理信息做出路径规划，在行驶的过程中能够不断感知和判断周围的环境信息，自主地做出各种决策，随时调整自身的行驶状态并执行相应的动作和操作。在这个过程中，视频采集质量的好坏将直接影响整个系统的运行，是进行后续数字图像处理的前提条件。因此，必须有高性能的硬件设备和高质量的算法作为基础，实时视频采集才成为可能。本文设计并实现了基于ＦＰＧＡ的嵌入式实时视频采集系统。该系统体积小，功耗低，速度快，适应性好，能够满足智能移动机器人视频信号处理系统的需求。

２系统基本原理

图１为系统工作原理框图，整个系统所需各种芯片的电路连接如下图所示，由ＣＣＤ摄像头输出模拟视频信号，经过视频解码芯片ＳＡＡ７１１１Ａ进行视频预处理（钳位、放大、Ａ／Ｄ转换、同步分离等）后输出图像数字信号ＩＰＤ、

行同步信号ＨＲＥＦ、场同步信号ＶＲＥＦ、奇偶场标志信号ＲＳＴ０和１３．５ＭＨ像素时钟信号

ＬＬＣ２去驱动ＦＰＧＡ，从而产生正确的图像采集时序和存储地

址，并将采集的图像存储到双口ＲＡＭ中。

整个系统由视频采集控制和帧存读写控制两个核心模块组成，它们的功能都由ＦＰ－ＧＡ来实现。双口ＲＡＭ分为帧存Ａ和帧存Ｂ两个存储区域，实现乒乓式的读写操作，能够完成图像的实时采集。ＳＡＡ７１１１Ａ的配置程序和ＦＰＧＡ采集控制程序存储在ＦＬＡＳＨ中，系统上电

工作时加载。

图１系统工作原理框图

３图像采集系统的构成

３．１视频信号

视频信号中除了包含图像信号之外，还包括了行同步信号、行消隐信号、场同步信号（帧同步信号）、场消隐信号以及槽脉冲信号、前均衡脉冲、后均衡脉冲等。因而，对视频信号进行

Ａ／Ｄ转换的电路也非常复杂。Ｐｈｉｌｉｐｓ公司将这些非常复杂的视频Ａ／Ｄ转换电路集成到了一块芯片内。从而生产出功能强大的视频输入处理芯片ＳＡＡ７１１１Ａ，为视频信号的数字化应用提供

了极大的方便。

３．２ＳＡＡ７１１１Ａ性能及工作协议

ＳＡＡ７１１１Ａ是ＰＨＩＬＩＰＳ公司的一种增强型视频输入处理器芯片，它集Ａ／Ｄ与解码功能于一身，片内还附有锁相、自动钳位

控制、时钟自动增益产生、多制式解码等电路，另外还可对亮度、对比度和饱和度进行控制。既支持ＰＡＬ电视制式，又支持

李志刚：在读硕士研究生

基金项目：中国博士后科学基金资助项目（２００５０３８０９５）；山西省自然科学基金资助项目（２００５１０４３）；中北大学科学基金资助项目

２２６－

－

邮局订阅号：８２－９４６３６０元／年技

术创新

机器人技术

《ＰＬＣ技术应用２００例》

您的论文得到两院院士关注ＮＴＳＣ电视制式。ＳＡＡ７１１１Ａ内部含有Ｉ２Ｃ接口，可简洁的通过Ｉ２Ｃ总线对ＳＡＡ７１１１Ａ的工作方式进行设定。ＳＡＡ７１１１Ａ的场同步信号ＶＲＥＦ、行同步信号ＨＲＥＦ、奇偶场信号ＲＳＴ０、像素时钟信号ＬＬＣ２都由引脚直接引出，从而省去了以往时钟同步电路

的设计，其可靠性和方便性有了很大的提高。

图２所示为ＳＡＡ７１１１Ａ的功能方框图。从ＳＡＡ７１１１Ａ的四个模拟输入端ＡＩ１１，ＡＩ１２，ＡＩ２１，ＡＩ２２输入的视频图像信号，经模拟处理后，一路经Ａ／Ｄ转换器后产生数字色度信号和亮度信号，分别进行亮度信号处理和色度信号处理。亮度信号处理的结果一路送到色度信号处理器，进行综合处理，产生Ｙ和ＵＶ信号，经格式化后从ＶＰＯ（１６位）输出；另一路进入同步分离器，经数字ＰＬＬ产生相应的行和场同步信号ＨＳ和ＶＳ，同时ＰＬＬ驱动时钟发生器，产生与ＨＳ锁定的时钟信号ＬＬＣ和像素时钟信号ＬＬＣ２。所有这些功能均是在Ｉ２Ｃ总线控制下完成的，其中

ＳＣＬ为串行时钟信号，ＳＤＡ为串行数据信号。

图２ＳＡＡ７１１１Ａ功能方框图

ＳＡＡ７１１１Ａ的主要特点：

（１）可编程选择四路视频输入的一路或两路，组成不同的

工作模式，在其内部有两路模拟视频信号处理通道，可进行静态增益控制或自动增益控制，还有两路模数转换器；

（２）可对芯片编程进行自电平控制、

抗混叠滤波、梳状滤波；（３）场频５０Ｈｚ或６０Ｈｚ自动检测，并在ＰＡＬ和ＮＴＳＣ制之间自动切换；

（４）能对不同输入制式的亮度信号和色度信号进行处理，

并实现亮度、色度和饱和度的片内控制；

（５）提供两种数据方式供选择，这两种数据方式分别是ＲＧＢ和ＹＵＶ，可灵活输出不同的数字图像数据格式，主要有：４：１：１的ＹＵＶ格式（１２ｂｉｔ），４：２：２的ＹＵＶ格式（１６ｂｉｔ），４：２：２的ＹＵＶ格式［ＣＣＩＲ－６５６］（８ｂｉｔ），５：６：５的ＲＧＢ格式（１６ｂｉｔ）和８：８：８的ＲＧＢ格式（２４ｂｉｔ）；

（６）ＳＡＡ７１１１Ａ的工作模式由其内部的控制寄存器决定，需

根据不同的视频标准来配置相应的内部寄存器，即初始化。用户根据Ｉ２Ｃ总线协议，将需要的控制字写入控制地址即可对

ＳＡＡ７１１１Ａ进行相应的控制。这些控制包括：图像数据输出格式、色彩、明暗、饱和度及各种参考信号的输出。Ｉ２Ｃ总线传送数据的基本时序如图３所示。

图３Ｉ２Ｃ总线的基本时序

总线上的数据传输可以是读或写两种方式，其写格式为：其中：Ｓ为总线起始信号；ＳｌａｖｅＡｄｄｒｅｓｓＷ为被控器

ＳＡＡ７１１１的寻址字节；Ａ为被控器应答信号；ＳｕｂＡｄｄｒｅｓ为ＳＡＡ７１１１控制寄存器的地址；Ｄａｔａ（ＮＢ）即控制寄存器的配置参数；Ｐ为总线终止信号。

３．３ＦＰＧＡ的采集控制原理

ＳＡＡ７１１１Ａ的输出时钟信号包括ＬＬＣ（２７ＭＨｚ）和ＬＬＣ２（１３．５ＭＨｚ），其中ＬＬＣ２为像素时钟频率，每一时钟对应一个１６位像素输出。行参考同步信号ＨＲＥＦ，高电平表示一行的有效像素，为７２０个ＬＬＣ２周期。场参考同步信号ＶＲＥＦ高电平时表示输出是有效行图像，单场是２８６行；低电平期间为场消隐信号，是２６个行周期。ＲＴＳＯ＝１时表示输出为奇数场，ＲＴＳＯ＝０时为偶数场。输入信号ＦＥＩ为输出使能信号，为０时允许数据输出，为１时数据输出处于高阻状态。图４，５分别为采集一行和奇数场

图像的信号时序图。

图４ＳＡＡ７１１１Ａ采集一行图像的时序图

启动采集前必须对ＳＡＡ７１１１Ａ内部的３２个寄存器写入相应的值。在采集的过程中，仅采集奇场图像信号而不采集偶场图像信号。因为只采集奇场信号也能得到稳定的图像，而可以

利用偶场图像时间等待处理图像。对有效像素、无效像素、有效行和无效行进行计数，产生ＲＡＭ的地址、读写、选通等控制信号，均由ＦＰＧＡ完成。由于只采奇场图像，行数也减少为原来的一半，为２８６行，前后各去掉２３行，取中间２４０行。当ＲＴＳＯ为高电平且ＶＲＥＦ上升沿到来时，标志奇数场开始，启动无效行计数器对ＨＲＥＦ信号进行计数，计满前２３行后，启动有效行计数器，置ＣＯＵＴ信号为高电平，且在水平同步信号ＶＲＥＦ＝１、垂直同步信号ＨＲＥＦ＝１、

图５ＳＡＡ７１１１Ａ奇数场采集的时序图

奇偶场信号ＲＴＳＯ＝１时，启动无效像素计数器，对ＬＬＣ２二分频后的像素时钟信号进行计数。ＬＬＣ２二分频后频率降为

６．７５ＭＨｚ，每行像素点由原来的７２０点，减少为３６０点，将其截头去尾，前后各去掉２０个像素，取一行中间的３２０个像素点，即得到分辨率为３２０Ｘ２４０的一帧图像。当无效像素计数器计满前２０后，启动有效像素计数器开始计数，并将数据缓冲器打开，每计一次数，地址发生器加１，产生地址信号，读写信号ＷＲ，选通信号ＲＡＭ＿ＳＥＬ，当一帧图像写完后，置ＦＬＡＧ信号为

低，触发中断信号，以便处理器处理图像。值得注意的是，利用ＦＰＧＡ可以很灵活地控制存入ＲＡＭ存储器中的图像数据量。

这里将图像分辨率设计为３２０Ｘ２４０，实际应用中，可以根据需要

灵活设置。

２２７－

－