基于FPGA的高速图像处理系统的设计

基于FPGA的高速图像处理系统的设计
摘要: 在本文中，设计了一个高速图像处理系统，是为了解决这样的问题，如出现在车载计算机图像处理中的低系统集成，低速的处理过程。

通过配置Nios II软核CPU和一些基于主要硬件FPGA的图像预处理，处理和显示的功能模块和设计的系统软件，使得该系统实现了图像的采集，记忆和重叠功能。

由于采用可编程芯片和并行处理技术，该系统集成度高，好维修，图像处理速度快、实时性强。

关键词：图像处理，FPGA，Nios II CPU。

I.介绍
近年来,车载计算机中存在的主要问题集中在两个方面。

首先，在使用低功率损耗的PowerPC CPU的状态下，对于图像的采集和显示，一个集成板是必需的。

其次，随着视频图像和红外热像仪的广泛使用，还有电子一体化的发展，应该设计出一个高速的图像处理系统。

为了解决这两个主要的问题，作者设计了一个基于FPGA的高速图像处理系统用来识别重叠的多通道图像信息。

功能模块，比如图像采集，处理和显示，都可以在一个单一的FPGA芯片上实现，它减少了外围电路,提高整个系统的性能。

因为并行处理技术，处理速度和实时性都大大的提高。

II.图像处理算法分析
A.基于双线性插值的图像放大
基于像素的放大倍率的方法原理简单、快速，但它只是复制原始像素的邻域。

随着放大系数增大，图像会出现明显的块锯齿，不能保留原始图像的边缘信息。

这个问题是可以通过双线性插值来解决。

双线性插值可以消除锯齿，保留原始图像的边缘信息和获得更好的视觉效果。

图1.原始图像(略)
图2.放大图像(略)
图1是原始图像，其中f ij，f i,j+1，f i+1,j，f i+1,j+1是相邻的像素块。

图2是在水平方向上放大K倍，在垂直方向放大L倍的图像。

f ij，f i,j+1，f i+1,j，f i+1,j+1在放大图像中只改变位置但像素值保持不变。

因此，我们可以得到以下方程：
在放大的图像中，我们定义保留原始图像信息的数据作为初始数据，它的坐标值是原始图像的整数，还从原始图像的数据中定义需要插值运算的数据，这些插值数据的坐标值不是原始图像的整数倍数。

在进行插值，在初始位置的像素值数据保持不变，其他像素值通过插值算法计算。

具体算法如下。

设置放大图像中的像素位置为（x，y），在放大的图像和原始图像中坐标有以下关系：
其中，x，y是放大的图像坐标；i，j是原始图像的坐标；K是
横向放大倍数和L是垂直的放大倍数；0＜u＜1 ,0＜V＜1。

通过双线性插值我们可以计算出放大图像中的像素值
公式（3）表明当像素点位于初始数据的位置时，像素值仅通过一
次插值就可以计算出来，例如F(ki,l(j+v))，F(k(i+1),l(j+v))，当像素点位于插值数据的位置就需要三次插值。

公式（3）也表明，这些算式符合乘加模式而且很容易在FPGA芯片上实现。

结果是，该方法不仅保证了图像的放大效应也保证实时性的要求。

B.多通道图像重叠[4]
1．Alpha通道
α-通道是Alpha通道的缩写形式，除了基本的颜色通道，它决定了每个像素的透明度。

用每个通道的色值乘以它的α值用来确定它对像素的贡献。

Alpha通道使用不同的灰度级表示其透明的大小。

α值的变化从0到1，当α-通道有8位二进制数据的宽度时，它有256个层次的透明度。

白色的（α= 1，对应于255）是不透明的，黑色的（α= 0，对应于0）是完全透明的，黑与白之间的灰度值表示部分透明。

2．多通道图像重叠
结合性：图像叠加处理符合结合性：
根据结合公式演绎多通道图像重叠的。

设置为α1为前景I1的α值，而i1为I1的前景颜色。

设置α2作为前景I2的α值和i2为前景I2的颜色。

b表明背景的颜色，它的α值是1 。

对于（重叠的I1,B），色值由颜色i1在某像素点的采样值覆盖。

因为α1是I1的透明度，背景B中的像素的透明度为1~α1和色值（1 ~α1）b.全彩色的i1,b值是两个部分的总和：
然后计算一个重叠的值（I1重叠B），我们得到i2，1，b的色值：
对于重叠的I1 ，I2，设置α为重叠的图像的α值，而i作为其色值，那么重叠的B（I1 重叠I2）的色值将是αi+（1–α），立足于结合性我们有以下的公式：
由于背景是随机的，两层图像的重叠公式可以由公式（7）得到。

该集成α-通道值是：
在公式（8）里，把每个通道的色值乘以它的α值的结果称为预乘颜色。

I= αi，I2 =α2i2，I1 =α1i1，公式(8)的缩写形式是：
用重叠公式与预乘颜色表示不仅使表达更加简单而且使颜色的集
成和综合的α-通道值具有相同的表达形式。

当第三层I3和I2，I1重叠，其重叠公式可以从两层重叠公式推导出来。

设置I3 为第三层图像的预乘颜色而α3为其α-通道值，然后第三层图像的重叠的预乘颜色是：
该集成α-通道值是：
同样，n层图像的重叠的综合预乘颜色和集成α-通道值是：
III.系统的总体设计
该系统由Nios II软核CPU，图像预处理模块，图像显示模块，图像处理模块和通用外围接口组成。

图3显示的是系统的总体结构。

图3.系统总体结构(略)
该系统集成了Altera开发的软核CPU，和作者自界定的SDRAM 控制器，通用输入/输出接口和图像的预处理，处理和显示模块。

每个模块靠Avalon总线连接和由Nios II CPU协调运行。

除了视频解码芯片，视频DAC芯片，存储器和键盘，该系统的其它部分都集成在FPGA芯片。

系统的工作过程如下。

来自摄像机的模拟视频信号通过解配置在I2C总线上的视频解码芯片解码，然后传输给图像预处理模块。

图像预处理模块对视频数据进行格式和去交错，然后将它存储到SDRAM。

有几个DMA通道这是在图像处理模块中定义的。

每个通道的图像在图像重叠模块中重叠。

显示控制器生成的扫描时间信号并通过DAC芯片将其由数字图像转换成模拟信号。

所有的功能模块
系统工作在一个统一的时钟，并由Nios II CPU控制。

此外，用户可以通过键盘操作实现相应的图像处理功能。

IV．系统的硬件设计
A：图像预处理模块的设计
图像预处理模块包含itu-r656解码器，FIFO和输入DMA。

视频信号通过视频解码芯片解码后是交错的，应该分别分成奇数场和偶数场。

每一行数字视频信号的视频数据格式如图4所示。

“FF0000SAV”是标志有效的视频数据开始的时间参考代码。

“CB0 Y0 Cr0 Y1 cb2 Y2 CR2 Y3……cr718 y719”是符合itu-r656标准的有效视频数据。

“FF0000EAV”是标志有效的视频数据结束的时间参考代码。

图4.数字视频信号的数据格式(略)
itu-r656解码器检测时间是根据代码“FF0000 SAV”，产生一个有效的线路信号，和开始解码后面的视频数据。

它将8的itu-r656数据转换为16位的YCrCb数据。

它也产生输入DMA的控制信号。

输入DMA 定义DMA的主端口。

一方面，它提供了写时显示的内存地址，数据而且写要求信号到Avalon总线，开始总线传输和存储
YCrCb数据到SDRAM显示内层里；另一方面，它也为数据源去隔行，也就是说隔行信号转换成线线信号。

B.图像处理模块的设计
图像处理模块包含两个DMA的主端口，数据缓冲区和图像重叠的子模块。

它如图5所示。

图5.图像处理模块(略)
1.多通道DMA
多通道DMA是Avalon总线的主端口设备。

它的职责是提供有效的地址，数据和读取时请求的信号到Avalon总线，并在时钟的上升沿时开始总线传输以读取存储的数据；同时，DMA模块产生的缓冲区的写入数据地址，正确的将数据从内存传到数据缓冲区。

当多通道DMA从不同的内存中读取数据时，每个DMA主端口可以工作在并行而不干扰。

然而，它读取的数据从相同的内存中时，DMA 在地址总线和数据总线之间将发生冲突。

要解决这个的问题，模块采用流水线设计。

每个DMA主端口在不同的时间占用地址总线和数据总线。

当第一DMA主端口使用总线，其他主端口等。

特定的时间延迟后，第一DMA主端口释放总线而其它的主端口争夺总线的使用权，然后重复。

延迟时间与存储器的读频率和显示频率的差值呈反比例。

2.重叠的子模块
重叠的子模块能识别重叠的多通道图像信息。

各种渠道像素的透明度的alpha值和重叠区域的起始和结束地址在这个子模块里定义了。

以重叠的3通道图像比如说。

引用公式（11），图像重叠的算法可以很容易地在FPGA芯片实现因为它的乘加操作
C.显示控制器
这个模块是用来产生的扫描信号以驱动显示器，以及读取数据的缓存及读请求信号的地址信号。

同时也传达了当前过程地址到图像处理模块和控制有关的模块。

V.系统的软件设计
系统软件运行在Nios II CPU。

自整个系统的功能模块都由硬件来设计，CPU只是配置了每个模块的寄存器和寄存器的从端口。

结果是，CPU的负担比较小；从而有效地提高系统的运行速度。

软件流程如图6所示。

VI.实验验证
软件和硬件验证运行Altera的DE2板。

结果显示在图7。

图7（a）显示的图像在两个通道的图像重叠的。

图7（b）显示在视频图像
重叠特征。

图6.软件流程(略)
与传统的基于软件的图像处理系统相比，图像处理模块设计的主要优点如下：
1.每个DMA通道可以并行工作，处理多通道图像信息的同时，高速图像数据处理。

2，硬件乘法器在FPGA的嵌入式应用取得了高速和实时计算的结果；3，利用嵌入式RAM资源作为图像数据的缓存存储部分（或几行）可以增加数据处理量；
4，在该模块中，CPU只负责改变配置动态参数而不是参与到具体的加工操作中，因此，提高系统的速度。

图7（a）后两个通道的图像重叠图像(略)
图7.（b）在视频图像叠加字符图像(略)
图7.验证图像
VII.结论
这种基于FPGA的高速图像处理系统能够并行的获取和处理图像。

同一般的基于PC的图像处理系统相比，它具有集成度高，图像处理快和处理实时。

该系统在可编程芯片上实现了各种图像处理功能模块。

它不需要重新配置技术来改变硬件的结构。

现有的系统可以在线或者通过网络更新，这使得它广泛应用于很多领域。

参考文献
略。