一种多核实时图像处理模块设计与实现

第47卷第4期 2017年7月航空计算技术Aeronautical Computing TechniqueVol.47 No.4Jul.2017一种多核实时图像处理模块设计与实现王闯，贺莹，张晓曦，刘硕(航空工业西安航空计算技术研究所，陕西西安710068)摘要：实时图像处理能力是嵌入式系统中影响系统性能的核心因素。

为充分挖掘多核D S P性能，从计算机系统结构的角度出发，开展对多核D S P实时图像处理体系结构的研究，设计了一种基于T M S320C6678的实时图像处理模块。

采用F P G A进行实时图像的采集和缓存，利用四线R a p id IO高速接口完成F P G A与D S P之间的数据传输，并 设计了四级图像缓冲流水处理结构，实现了图像采集、缓存、处理和发送的并行进行。

设计了一套基于数据块共享的实时图像处理多核协同处理机制，可以充分利用C6678八个核的优势，实现对图像的实时处理。

关键词：多核D S P;F P G A;并行处理框架；实时图像处理中图分类号:T P391.41文献标识码:A文章编号:1671-654X(2017)04-0123-03Design and Implementation of Multi - core Real- time Image Processing ModuleWANG Chuang,HE Ying,ZHANG Xiao-xi,LIU Shuo{Xi an Aeronautics Computing Technique Research Institute ,AVIC ,Xifan 71006S , China) Abstract ： Real - time image processing ability is the key factor for visual applications, especially embed­ded systems. To fully exploit the performance of multicore DSP,this paper studies the architecture of real -time image processing in the light of computer architecture and designs a real - time image processing module based on TMS320C6678. Real- time image data stream is acquired and buffered by FPGA. Com­munication between DSP and FPGA is achieved by using four lane RapidIO interface. The hardware scheme of the processing in FPGA possesses a linear four - level pipeline architecture, which makes the operation of image acquisition,buffering,processing and transferring can be completed almost at the same time. A kind of shared memory interconnection method is proposed to solve the rapid inter-core communi­cation problems among C66xx cores and the system achieves up to real - time image processing speed fi­nally.Key words ： multi - core DSP; FPGA ； parallel processing framework ； real - time image processing引言实时图像处理技术在众多领域中有着广泛的应用，但是视频图像由于信号维度高，对其处理所需要的 计算复杂度高。

故对图像序列的实时处理能力，在嵌 入式实时系统中,一直是影响系统性能的核心因素。

TMS320C6678 是 TI 全新架构的TMS320C66x 数字信号处理器（DSP),内部集成了 8个TMS32〇C66x DSP CwePac核，单核最高工作频率1.25GHz,具有2〇GFLOP/Core的浮点处理能力，是目前业界最高性能的 10GHz的DSP处理器之一[1]。

本文提出了一种使用C6678作为主处理器的多路 视频实时处理模块设计方法，利用FPGA硬件化并行化处理的特性完成多路视频的预处理，利用C6678强 大的八核处理能力实现复杂的图像处理运算,二者之间的图像传输使用高速串行RapidIO通信接口完成,能够保证对四路PAL制式标清视频的实时处理，并使得视频从输入到输出之间具有极小延时。

1系统结构图像处理模块主要完成对外部输入的四路模拟视 频信号的各种类型图像处理及模式识别，并将处理后 的视频按照原格式输出。

模块的硬件系统结构示意如 图1所示。

图像处理模块接收外部输入的四路视频,通过视收稿日期:2017 -06 - 15 修订日期:2017 -07 -03基金项目：国家自然科学基金重点基金项目资助（61134004)作者简介:王闯（1986 -)，男，河南南阳人，工程师，硕士，主要研究方向为嵌人式计算机系统，实时图像处理技术。

.124 .航空计算技术第47卷第4期视频1入 视频2入 视频3入视频4入视频1,出视频2$ 视频3 •出 视频4卢图2系统数据流向图2FPGA 功能概述FPGA 是保证芯片功能控制和处理算法实现的核心器件,本系统FPGA 选用Xilinx 公司的Virtex - 5系 列XC 5VSX 95T 芯片，该芯片丰富的逻辑资源和特有 的MGT 高速接口可以保证复杂的图像处理逻辑开发 的可实现性和高带宽视频传输的实时性[2_3]。

在本设计中，FPGA 首先对C 6678的上电及复位 时序进行控制,完成系统的初始化;接着实现对输入输 出视频的协议解析、色彩空间转换和视频协议重建等 预处理;然后利用Xilinx IP 核设计了 4线RapidIO 主 控制器，在FPGA 和DSP 之间进行4路视频数据的高 速实时传输。

FPGA 硬件逻辑电路的功能框图如图4所示。

FPGA 对输入的视频进行格式检测及解析，提取出有效像素 的Y ,Cb ,&•分量，并将Y U V 色彩空间转换为RG B 色 彩空间,然后将RG B 图像通过RapidIO 发送至DSP 进 行后续处理。

同时,FPGA 作为主设备发起RapidIO 读 操作，按照视频的输出时序从DSP 存储器读取处理后图3 F P G A 硬件逻辑电路功能框图3RapidIO 传输机制设计本设计中使用符合SRI 01.3规范的4x 制RapidIO控制器，数据传输速率达2. 5Gbps [4]。

根据SRIO 协 议,FPGA 内设计的RapidIO 主控制器可将图像数据直 接写入DSP 外挂的DDR 存储器或从中读出，而不需要 占用DSP 的时钟周期。

FPGA 采集到外部视频数据并完成预处理后，主 动发起对DSP 端的RapidIO 写操作，将RGB 格式的像 素数据写入到DSP DDR 3相应的地址；DSP 完成对视 频数据处理后，再由FPGA 主动发起对DSP 端的数据 读操作，通过RapidIO 总线直接从对应缓冲区读取数 据,将其由RG B 格式转换回Y U V 格式并按照BT 656 协议组织为符合P A L 视频时序的数据流进行显示 输出。

为了实现对P A L 视频（25帔/s)的实时读取和处 理,采用四缓冲机制实现对视频流的并行流水处理。

预先在DDR 3存储器中为每一路视频分配4个缓冲 区，每个缓冲区能够存储一帧图像。

首先,FPG A 向0 缓冲（0x 91000000)写入采集的图像数据，DSP 处理3 缓冲(0x 91600000)中的图像，同时读取已经处理完的 2缓冲（0x 91400000 )的数据并输出，1缓冲 (0x 91200000)等待;接着，当前帧图像完全写入0缓冲 区后,FPGA 通过两根GPI 0控制信号产生边缘触发的 电平通知DSP ;在下一帧图像输入时，将有效像素写入 1缓冲，读取3缓冲内的像素流,DSP 处理缓冲区0内 的图像;以此类推，从而实现对图像序列的实时流水 处理。

GPI 0控制管脚边沿触发后逻辑电平与FPGA 读 写对应关系如下表所示。

口上电及复位控制.111[频解码芯片转换成符合BT 656协议的YCbCr 格式数 据，输入视频流进入FPG A 中并由FPGA 将其转换到 RGB 色彩空间；接着FPG A 内RapidIO 控制器将像素 流打包为数据包的形式,并通过4线RapidIO 接口发 送给DSP,DSP 接收并缓存一帧完整图像入DDR 3存 储器区中，对其进行图像处理，并将处理后的图像通过 RapidIO 接口反传给FPGA , FPGA 将接收到的处理后 的数据按照BT 656协议重新组织为PAL 格式视频，并 通过视频编码芯片发送出去。

，5 h S R A M I I 时钟的图像的有效像素数据，进行反向的格式转换,恢复为 原始的数字视频时序输出。

D D R 3E P R O MF L A S H^ A D CF PG A 芯片r D A C—X C 5Y S X 95Tx 4ccD S P 处理器T M S 320C 667JS R A M[M A X 3232-5-88E 1邕串口J T A G 串图1图像处理模块系统结构图9S I a视频编码视频格式重组p l o 输a I 专图像处理a p i I O倾色度空间转换视频解码2017年7月王闯等:一种多核实时图像处理模块设计与实现• 125 •图4图像4缓冲处理流水结构示意图G P IO管脚状态标识表G P I0[1 ：0]F P G A写入D S P处理F P G A读取等待003缓冲2缓冲1缓冲0缓冲010缓冲3缓冲2缓冲1缓冲101缓冲0缓冲3缓冲2缓冲112缓冲1缓冲0缓冲3缓冲4数据块共享式多核协同处理机制根据设计的多路视频RapidlO传输机制，DSP芯 片对每帧图像的处理时间为40m S。

为了保证对各种类型图像处理算法的实时性，采用基于共享数据块的DSP多核协同处理机制[5]，如图5所示。