基于FPGA+DSP的高速视频实时处理系统设计

131
0 引言
随着经济的快速发展,各个领域对高速视频图像实时处理的速度与精度提出了更高的要求,譬如:机器人导航领域、现场监控领域、安防领域等。

在此背景下,高速视频图像实时处理技术得到了长足的发展[1]。

20世纪70年代,人们开始利用高速摄像机来记录运动的物体,但当时高速摄像机是以胶片的形式作为记录介质,无法实现数据的实时处理[2]。

现如今,高速工业相机的采样频率高达1000FPS (Frame Per Second)[3],由于高速视频图像实时处理系统具有数据量大,数据相关性高,而且对图像的帧、场时间具有严格的限制,因此,高速视频图像实时处理领域对中央处理芯片、外部存储芯片的工作速率以及核心算法的运算复杂度等都提出了极大的挑战[4]。

1 系统设计
如图1所示,高速视频实时处理系统采用Xilinx公司的K7系列FPGA芯片作为核心控制器,采用TI公司TMS320 C6455作为图形处理器。

通过Camera Link总线接收高速视频数据,并将视频数据缓存在由4片DDR3-SDRAM构造64位宽的外部动态存储器内,同时根据接收视频的帧位置向DSP发送中断。

DSP根据中断信息通过DMA的方式从DDR3中读取视频数据进行实时跟踪处理。

并将跟踪波门信息反馈给FPGA。

FPGA利用视频叠加技术将波门叠加在输出的VGA视频中实时显示。

1.1 高速视频输入
高速视频采用Camera Link Full接口输入,视频分辨率1280×1024、位宽8bit、帧频520f/s。

Camera Link标准由数家工业级相机及采集卡制造商共同制定,该接口具有通用性,标准规定了引脚分配及相应的接插件规范,能够确保兼容设备的接口实现无缝连接。

Camera Link标准基于Channel Link技术,在传统LVDS (Low Voltage Differential Signaling)传输数据的基础上加载了并转串发送器和串转并接收器,利用SER DES技
收稿日期:2021-03-08
作者简介:张小永(1987—),男,满族,北京人,本科,研究方向:数字图像处理技术。

基于FPGA+DSP 的高速视频实时处理系统设计
张小永
(北京青云航空仪表有限公司,北京 101300)
摘要:设计了一种基于FPGA+DSP的高性能视频实时处理系统,采用Xilinx公司的K7系列FPGA芯片作为核心控制器,采用TI公司TMS320C6455作为图形处理器。

通过Camera Link总线接收高速视频数据,并将视频数据缓存在由4片DDR3-SDRAM构造64位宽的外部动态存储器内,同时根据接收视频的帧位置向DSP发送中断,DSP根据中断信息通过DMA的方式
从DDR3中读取视频数据进行实时处理。

试验结果表明,系统能够稳定实现分辨率1280×1024、位宽8bit、帧频520FPS的视频实时跟踪处理算法。

关键词:FPGA；DSP；高速视频；实时处理；Camera Link；DDR3-SDRAM
中图分类号:TP391.4
文献标识码:A
文章编号:1007-9416(2021)04-0131-03
DOI:10.19695/12-1369.2021.04.43
设计开发
图1 高速视频实时处理系统框图
Fig.1 Block diagram of high speed video real time processing system
Copyright©博看网 . All Rights Reserved.
第 39 卷 数字技术与应用
132
术,数据传输速率可达到4.8Gb/s,能够有效解决视频数据输出和采集之间的速度匹配问题。

LVDS信号是一种符合差分电平标准的低电压摆幅传输技术,它通过350mA 恒流源驱动器在平衡线对上传输约为350mV的低压差分信号。

外界噪声以共模方式同时耦合到２条差分信号线上,而接收端只关心发送信号和接收信号之间的差值,故噪声能够得到有效抑制。

由于LVDS电压摆幅很小,差分线对上的数据能以相对较高速率传输。

LVDS驱动器和接
收器还能实现热插拔,恒流源驱动能够有效避免设备的损坏[5]。

高速视频实时处理系统采用Channel Link解码芯片将接收到的LVDS视频信号转换为LVTTL并行视频信号后输入至FPGA。

FPGA内部视频采集模块首先对输入的视频流进行解码,解码得到视频数据以及视频数据对应像素点的坐标(frame,line,sample),然后将每个像素点的坐标映射到DDR3存储的地址上,并将映射后的地址和像素数据打包存入视频输入FIFO中。

最后由总线使用控制
图2 视频中断时序示意图
Fig.2 Video interrupt sequence diagram
图3 视频中断选择逻辑原理图
Fig.3 Schematic diagram of video interrupt
selection logic
图4 DSP 读取视频数据原理框图
Fig.4 Schematic diagram of DSP reading video data
Copyright©博看网 . All Rights Reserved.
2021年第 4 期
133
Design of a High-speed Real-time Video Processing System
Based on FPGA and DSP
ZHANG Xiao-yong
(Beijing Keeven Aviation Instrument Co., Ltd., Beijing 101300)
Abstract:A high performance video real-time processing system based on FPGA and DSP is designed.K7 series FPGA chip of Xilinx company is used as the core controller,and TMS320C6455 of TI company is used as the graphics processor.The high-speed video data is received through Camera Link Bus,and the video is cached in the 64-bit wide external dynamic memory constructed by 4 pieces of DDR3-SDRAM.At the same time,according to the frame position of the received video,the interrupt is sent to DSP,and the DSP reads the video data from DDR3 for real-time processing by means of DMA.The experimental results show that the system can stably realize the real-time video tracking algorithm with 1280×1024 resolution,8bit width and 520fps frame rate.
Key words:FPGA;DSP;High-speed video;Real-time processing;Camera link;DDR3-SDRAM
模块控制将像素数据按映射的地址存入DDR3中。

视频采集模块根据视频输入进度向DS P 提供视频中断,视频采集模块共有3个视频中断信号可用,分别为场中断、行中断0和行中断1。

其中,场中断在接收完一整帧数据后产生,并将帧编号寄存。

行中断在视频接收到设置的门限行时产生中断,并将帧编号寄存。

详细关系如图2所示。

上述的3个视频中断信号可以通过配置寄存器设置由GPIO4和GPIO5提供给DSP,原理如图3所示。

1.2 实时视频数据读取
高速视频实时处理系统可以实现DSP通过EMIFA接口灵活读取外部输入的视频数据。

视频数据首先由FPGA 进行解码,之后存入板载的DDR3存储器中,并向DSP发送中断。

DSP收到中断后向FPGA设置要读取视频的窗口,并启动FPGA读取DDR3中的视频数据。

FPGA收到DSP发送的读取视频命令后,将DSP指定的视频窗口内的视频数据按顺序从DDR3中读出并存入视频缓冲FIFO中供DSP读取。

DSP发送完启动FPGA读取命令后,检测FPGA的视频FIFO状态,并将视频FIFO中的数据通过DMA方式搬移到L2中供视频解算使用。

当DSP将所设置的窗口数据都读完后触发DMA中断,在DMA中断中对视频数据进行解算,如图4所示。

2 系统功能测试
高速视频实时处理系统设计完成后,采用IDT公司的M3面阵相机以520fps的帧频(全分辨率1280×1024)的高速模式下进行实时跟踪测试。

在某实时跟踪设备测试中,本高速视频实时处理系统能够实时处理高速视频,波门跟踪准确流畅,实时性高,测试效果如图5所示。

3 结论
本设计基于FPGA+DSP的高性能视频实时处理系统
能够实现高速视频的实时接收、缓存、处理和输出波门叠加等功能,能够作为一个通用的高速视频实时处理系统。

其中高性能的DSP为实时图像处理算法提供强大的算力,高性能FPGA作为控制器实现高速视频流的接收、缓存、分发和输出。

试验结果表明,本系统能够稳定实现分辨率1280×1024、位宽8bit、帧频520FPS的视频实时跟踪处理算法。

参考文献
[1] Said Y,Saidani T,Smach F,et al.Embedded Real-Time Video Processing System on FPGA[C]// Proceedings of the 5th inter-national conference on Image and Signal Processing.Springer Berlin Heidelberg,2012.
[2] 张祥.高帧率视频图像获取与实时处理系统硬件设计[D].成都:西南交通大学,2014.
[3] Brekke B,Nilsen L C L,Lund J,et al. Ultra-High Frame Rate Tis-sue Doppler Imaging[J].Ultrasound in Medicine & Biology,2014,40(1):222-231.
[4] 田杰,王广龙,乔中涛,等.基于FPGA高速视频图像实时采集与处理系统设计[J].电子器件,2016,39(3):623-627.
[5] 辛光泽,侯宏录,李飞,等.基于Camera Link 接口的高速视频图像采集系统[J].国外电子测量技术,2014,33(3):85-88.
图5 高速视频实时处理系统测试中对渔船进行跟踪
Fig.5 Track fishing boat in the test of high speed video real
time processing system
张小永:基于F PG A +D S P 的高速视频实时处理系统设计
Copyright©博看网 . All Rights Reserved.。