基于DSP和FPGA的电视跟踪系统设计

第32 卷第 1 2期2 00 6年 1 2月电子工程师V o.l 3 2N o. 1 2D ec. 200 6E L E CT R O N I C E NG I N EER•40•基于D SP和FPGA 的电视跟踪系统设计姚智刚, 付强(军械工程学院光学与电子工程系, 河北省石家庄市050003)摘要: 介绍了一种以DSP(数字信号处理器)为核心处理芯片的数字式电视跟踪系统的设计。

DSP主要实现视频图像的采集、预处理、二值化、目标识别、跟踪、预估等任务; 而FPGA (现场可编程门阵列)主要实现实时的视频信息叠加和一些控制功能。

在介绍系统硬件设计的基础上, 分析了软件的任务模块和其实现方法, 以及FPGA 的主要功能。

实验证明, 本系统的性能高、扩展性强。

关键词: 电视跟踪系统; D SP; FPGA; 视频信号中图分类号: TN 911. 7 30引言随着计算机技术和图像处理技术的飞速发展, 被动式电视跟踪系统以其高分辨率、直观感强、抗干扰性能好、成本低等优点, 在军事上受到普遍重视, 尤其在防空火控系统中获得了广泛应用。

然而, 由于数字图像处理技术数据量庞大, 算法复杂, 使得运算速度和精度往往成为限制电视跟踪系统整体性能的瓶颈。

解决办法包括采用多处理器模式、提高核心处理芯片的运算能力或者探索更加高效的跟踪算法等。

无论从设计的简化还是便于系统升级来说, 提高核心处理芯片运算能力的方法无疑受到广大用户的青睐。

专门用于视频图像或者音频信号的D SP(数字信号处理器)芯片能够满足以上需求。

另外, F PGA (现场可编程门阵列)的诸多优点使其迅速应用到数字电路设计中。

在核心芯片D SP的控制下, 配合FPGA, 能实现较复杂的图像处理任务和控制算法。

FPGA 对DSP起到重要的辅助作用, 简化了电路设计, 降低了成本, 提高了稳定性。

基于D SP的电视跟踪系统中, 探索出了一种利用FPGA 完成视频叠加和其他辅助功能的方法, 构成了一个功能完整的实时目标搜索跟踪系统。

1系统硬件设计系统组成框图如图1所示, 主要由图像输入部分、图像识别处理部分和伺服随动系统三大部分组成。

图像输入部分为摄像头或视景仿真计算机。

摄像头用来摄取实时图像, 视景仿真计算机则可以根据训练或评估的需要, 设定多种目标模型和航路参数, 利用3D 建模软件模拟实战环境和飞行条件, 实时产生视频图像信号。

图像识别处理部分主要由图像采集模块、目标收稿日期: 200 5-09-27;修回日期: 200 5-12-08 跟踪和识别模块、通信控制模块、伺服控制模块、字符和信息叠加模块、电源模块组成。

实时采集并处理输入的视频信号, 完成对目标的搜索和跟踪, 并在输出视频上叠加字符、波门等信息。

并将目标偏移量进行D /A转换及放大调整, 监测操作面板各个开关的状态。

伺服随动系统根据上述偏移量对云台(摄像头)位置进行调整或将误差信号传输给视景仿真计算机, 控制目标的生成, 从而实现对仿真目标的电视跟踪。

本系统采用的核心处理芯片是TM S320DM 642 DSP, 这是一款针对视频/图像处理的定点D SP, 其显著特征是高度集成了视频输入输出端口, 支持所有主要的视频标准。

本系统中采用其视频端口0和视频端口2, 分别连接视频编码芯片和解码芯片, 负责视频信号的采集和输出。

通信控制模块包括两路标准R S-232串口, 其中一路连接系统控制面板, 读取开关状态, 控制面板指示灯, 另一路连接火控计算机, 接受火控计算机输出的火控系统参量信号, DSP控制其与原视频信号进行叠加复合, 然后送监视器供操作手观察。

图1系统结构2系统软件设计软件从功能上可分为图像采集、图像处理、识别跟踪、显示控制和主控等模块, 主要完成视频采集、视频(帧信号)处理(预处理、二值化、目标识别、跟踪、预估)、视频叠加、网口(视景仿真计算机)通信、I2C 通信(辅助控制板)和视频显示6个任务。

第 3 2 卷第 12 期 姚智刚, 等: 基于 D SP 和 FP GA 的电 视跟踪系统设计 • 信号处理与显示技术 •T I 公司 D SP 开发环境为 CCS , 对应 DM 642 的版本是 2. 21, CCS 中工作模式采用多线程处理方式, 图 2 中各个功能块作为不同的任务分别创建、执行。

向视景仿真 计算 机提供 目标 方位 高低 偏 移量 ( 两个 8 位 数 字 量 ) ; ! 仿真计算机向 D S P 输出命令字; ∀ 向伺服控制模块提供目标方位高低偏移量 ( 两个 8位数字量 ) ; # 操作面板开关量和复 位 信号。

图 2 CC S 任务模块流程视频处理任务定时向辅助控制板报告其当前工作 状态, 如果处于锁定跟踪状态则送出目标偏移量, 否则 送出两个全零字节。

然后, 辅助控制板向 DSP 报告对 操作面板的监测结果。

为了防止多任务造成资源冲突, 造成程序混乱, 需 要对它们执行的时序和调用关系进行控制。

本系统采 用了两种方法进行控制:a) 使用 SC OM ( 同步通 信模块 )。

SCOM 的 作用 是在两个任务之间传递消息, 对于两个有确定时序关 系的模块, 确保两者按照规定顺序执行, 避免对共享区 域形成读写冲突。

b ) 使用临界段定义。

对于时序关系不确定的两 个任务, 它们之间的共享数据定义为临界段代码, 这使 得其数据不能被一个以上的进程同时访问, 并禁止其 他无关线程访问临界数据。

否则, 如果其他线程访问 了其内部数据, 可能使得整个程序处于异常状态, 可能 导致资源冲突、死机或者其他不良后果。

本方法的缺 点是临界数据不能过长, 否则将使得程序执行缓慢。

3 视频叠加的实现电视监视器上需要显示的字符、波门信息供操作 者观察使用, 其叠加任务 由 FPGA 实 现。

采用 FPGA 完成视频叠加任务的数字式电视跟踪系统的优点主要 体现在以下两个方面: 首先, 系统中不可避免存在大量 控制信号, 需要进行较多的逻辑变化, 为了避免分立器 件 带来 的电 路的繁 琐, 提高稳 定性 , 可 以充 分利 用 FPGA 空间, 利用 FPGA 完成逻辑处理任务, 从而不添 加额外的逻辑控制电路。

其次, 在视频信号上叠加火 控计算机送来的信号, 包括目标高度量、距离量和速度 量、跟踪波门、跟踪状态以及视场中心十字线。

这些信 息的叠加要求透明显示, 能够实时刷新, 而 FPGA 就能 够达到上述要求。

本系统选 用的 FPGA 型号 为 X ili n x X C2300E , 属 于 X C2000 系 列, 等 效 门 数 为 6 912, 封 装 形 式 为 PQFP20 8。

FPGA 作为连接 DSP 与视频编码器 ( Ph ili p s SAA 71 05 )的桥梁, 即在 D SP 输 出的视频数据 流上添 加 FPGA 环节, 完成视频叠加任务。

同时, FPGA 还实 现对各种控制信号的逻辑组合和变换等。

按照系统各个功能模块划分, FPGA 的功能有:a)通过 EM IF ( 扩展存储器接口 ) 控制 8 个系统指示灯。

b ) 通过 E M IF 控 制 8 个 G P I O ( 通用 输入 /输 出 位 ) ;c)产生 EM I F 缓存的控制信号 D IR 和 OE z 。

d ) 为 PLL 170 8时钟发生器提供串行控制接口。

e)为 F l ash 存储器提供 3 个控制位。

f)实现对串口 UART ( 通用异步收发器 ) 和视频解 码器中断的逻辑控制, 并产生送给 DSP 的边缘触发信 号。

g)当 DSP 视频端口送出的视频数据为 8 位时, 将 视频数据直接送往视频编码器。

h ) 当 D SP 视频端口送出的视频数据为 16 位时, 由于 16 位数据在时钟上升沿输 出给 FPGA, FPGA 将 其转换为双时钟模式, 即前 8 位在上升沿输出, 低 8 位 在下降沿输出。

i ) 为 D SP 输出的视频数据提供一个 CLUT ( 颜色 查询表 )。

这里 CLUT 作为一块 RAM 区, 写入使能信 号由地址编码器控制。

内部依次存储 的数据包括 Y ( 亮度 ) 、C b ( 饱和度 ) 、C r ( 色度 ) , 利用 这三者的数据 组合来显示 128 种颜色。

需要特别说明的是, 每个颜 色 单 元 分 配 了 2 4 b i t, 其 中 0 b it ~ 7 b it 为 Y , 8 b it ~ 15 b i t 是 Cb , 16 b it~ 23 b it 是 C r , 这样安排是为了方便 CLUT 的写入和读取。

通过查询颜 色代码, 可 将取得 的颜色值赋给待叠加信息, 实现其颜色的可控性。

特别是 FPGA 内部设有一个 256 字节、32 b its 的 数据 F IFO, 用来存储显示信息。

F I FO 存储区 允许写 操作, 数据写入的方式采用 D M A , 其格式采 用 32 b i t 输入。

FPGA 从 F I FO 中取得数据后与 视频数据进行 叠加, 产生新的视频数据流输出。

O SD ( O n_S c reen _D isp lay ) 混合模块是 FPGA 的核 心部分, 它接收逻辑控制单元的控制, 判断是否需要叠 加 F IFO 送来的显示信息。

若否, 则说明无叠加信息, 只输出原有视 频数据; 若是, OSD 转换模块数 据首位 被激活, CLUT 数据与视频数据混 合叠加后输出。

由 于 DSP 送出的视频数据采用 B T. 65 6模式, 且为 16 b i t 宽度, 所以这里设计了一个 DDR 模块, 其功能是在时 钟的上升沿输出灰度数据, 下降沿输出色度数据。

• 41•• 信号处理与显 示技术 • 电 子 工 程 师 20 06 年 12 月• 42•4 系统设计的突出特性实践证明, 利用 FPGA 实现视频叠加和其他辅助 功能的方法能够有效地提高系统处理速度, 其可扩展 性和适应性也得到加强。

a) FPGA 减轻了 DSP 的处理负荷。

系统设计的 突出点在于 FPGA 与 DSP 之间采用 D M A 方式传输待 叠加的显示信息, 通过中断的方法触发传送事件。

b ) DM 6 42和 FPGA 的高集成度大大简化了系统 硬件设计。

外围电路简单, 提高了稳定性。

c) FPGA 的时序逻辑调试可用软件仿真实现, 降低了硬件调试难度。

参 考 文 献[ 1 ] X il i n x P r og ra m m a b le L og ic D ata B oo k [ M ] . San Jo se , CA,USA: X ilinx In c , 200 0.[ 2 ] B E T E M AN A. DS P 算法、应用 与设计 [ M ] . 陈健, 陈 伟, 汪 书宁, 等译. 北京: 机械工业出版社, 2 003. [ 3 ] 杨淑莹. VC++ 图 像处理程序设计 [ M ] . 北京: 清 华大学出版社, 2 00 3. [ 4 ] 杨明林, FPG A 控制实现图像 系统视 频图像 采集 [ J ] . 计算 机测量与控制, 200 3, 11 ( 6) : 45 1-45 4.D e sign of TV T r a ck i ng Syste m Based on DS P and FPGAYAO Zh i gang , F U Q i an g( O rdn an ce E ng i neer i n g Co ll ege , Sh ijiazhu ang 05 0003, Ch i n a )A b s t rac t : D ig ita l TV tra ck i n g syste m based on t h e p r oc ess i ng ch i p D SP i s i n trodu ced . Th e f un cti o n o f DSP i s to ach i eve collecti on , p rep rocess i n g , seg m e n tati on , target iden t ifica tion , track i n g and es ti m ati on ; a nd FPGA i s used to overl ap v i d eo sign al s and con tro.l In trod uc i n g th e h ar dw are des i g n f i rs,t the m ission m odu l es of th e so ft w are and rea lizat ion m ethods are an a l y zed , as w e ll as th e f un cti on of FPGA . T he syste m i s sho wn byexperi m en ts to h ave h i gh p er f o r m an ce and po w er f u l expan s i b ility .K eyw o r d s : TV track i n g syste m; DSP ; FPGA ; v i deo s i g n al( 上接第 39页 )参 考 文 献[ 4 ] X i l i n x V irtex - ∃ Pro p l a t f or m FPGA h a n d b ook , UG 0 1 2( v2. 0 ) [ S ] . 200 2: 119-130.[ 1 ] DOOLEY S R , ST EW ART R W, DU R R AN I T S . F as t o n - l i n eB -sp li n e i n t e r p o lat i o n [ J ] . E lectron ic L et t ers , 1 999, 35 ( 1 4 ) : 11 30-1 131. [ 2 ] 郑慧娆, 陈 绍林 , 莫忠 息, 等. 数值 计 算方 法 [ M ] . 武 汉:武汉大学出版社 , 200 2: 210-217. [ 3 ] 夏宇闻. V er il og 数字系统 设计教 程 [ M ] . 北京 : 北 京航空 航天大学出版社, 200 3: 1 05-110.[ 5 ] UN SER M, AL D R OU B I A, EDEN M. B -sp li n e s i g n a l p r o ces s -ing : P art I th e o ry [ J ] . I E E E T ran s on S i g n a l P r o cess i n g , 19 93, 41 ( 2 ) : 8 23-8 24.[ 6 ] UN SER M, AL D R OU B I A, EDEN M. B -sp li n e s i g n a l p r o ces s -ing : P art ∃ e f f i c ien t d es i g n an d ap p l i c at i o n s[ J ] . IEEE T r a n s on S i g n a l P rocess i n g , 199 3, 4 1 ( 2) : 835-83 6.D e sign of H igh P erfor mance On li ne B Spli ne I n t e r po l ator a ndIts FPGA I m p le m en tat i onS ONG L ,i PAN Zh i w e n ( Sou theas t U n i v e rs i ty , N an j i ng 2100 96, Ch i n a )A b s t rac t : In te rp ola t i o n i s w i d el y em p l oyed i n s i g n al p roce ss i n g f ie l d , an d var iou s algor ithm s have b een proposed .B sp li ne i n te rpo lati on i s a w e ll -p erfor m i n g a l g orit h m, easy to i m p lem en t i n hardw are arch itec tu re . An alys i s of the B sp li n e in te rpo lati o n and study of i ts th ree -stage f ilter i n g i m p lem en tati on i s p resen ted i n d e - tai .l T h e f i n al a l g orit h m i s f ou nd by co m par i n g cub i c B sp l i ne an d sp li n e s i m u lation resu l ts . F ina ll y , th e in te r - p ola t i o n algo ri th m i s reali zed i n ver il og h ard w are d escr ip ti on langu age , and tested on V e rtex -∃ pro 100 ch i p o f X ili nx Co m pany .K eyw o r d s : in te rpo l a tor ; B sp li n e ; p ipe li n e ; FPGA i m p lem en tati o n。