数字图像处理论文文献综述

文献综述

图像处理技术发展到今天，已经被应用到工程学、计算机科学、信息科学、统计学、

物理学、化学、生物学、医学甚至社会科学等多个学科，并成为这些学科获取信息的重

要来源及利用信息的重要手段，所以图像处理科学己经成为与国计民生紧密相连的一门

应用科学。

图像处理技术研究的重点在于图像处理算法和系统结构，随着计算机、集成电路等

技术的飞跃发展，图像处理技术在这两方面都取得了长足的发展。但随着图像信息数据

量的增大，图像处理算法复杂度的提高，图像处理技术依然面临着许多挑战性的问题，

具体可概括为图像处理的网络化、复杂问题的求解与处理速度的高速化，可以通过选择

合适的图像处理平台以及恰当的图像处理算法来解决这些挑战性的问题【‘]。

图像处理技术最初是在采用高级语言编程在计算机上实现的，后来还在计算机中加

入了图像处理器(GPU)，协同计算机的CPU工作，以提高计算机的图形化处理能力。在

大批量、小型化和低功耗的要求提出后，图像处理平台依次出现了基于VLSI技术的专

用集成电路芯片((ASIC)和数字信号处理器((DSP)，近年来，随着EDA技术的发展以及FPGA(Field-Programmable Gate Array,现场可编程门阵列)技术的提高，越来越多的厂家

和科研机构将FPGA作为图像处理技术实现的主要平台，以提高图像处理系统的性能。

FPGA是在PAL, GAL, CPLD等可编程器件的基础上进一步发展的产物。它是作

为专用集成电路(ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不

足，又克服了原有可编程器件门电路数有限的缺点。FPGA采用了逻辑单元阵列LCA

( Logic Cell Array)这样一个新概念，内部包括可配置逻辑模块CLB ( Configurable Logic

Block、输出输入模块IOB ( Input Output Block)和内部连线(Interconnect)三个部分。

FPGA结构特点使得基于FPGA的图像处理系统的设计方法与传统的基于计算机或

者专用单片机的系统的设计方法有着本质的区别，同时与基于ASIC的设计在有一定的

相似度的基础上也存在很大的差异，所以不能以以往的设计方法来进行基于

FPGA的图

像处理系统设计，需要根据FPGA的结构以及图像处理技术的特点重新来考虑在FPGA

中实现流水线、时分复用、超越函数和人工智能等技术的方法。

本课题就是以FPGA为开发设计载体，以EDA技术为开发设计平台，以图像处理

技术在FPGA中的设计方法为研究对象，以提高图像处理的速度和FPGA系统资源的合

理利用为目标，以期探讨基于FPGA的高速数字图像处理方法。

图像处理系统的产生和发展

1图像处理及其硬件平台的发展概况

数字图像处理的发展是和计算机、集成电路等技术的发展密切相关的，曾经作为数

字图像处理平台的有:计算机、专业集成电路、DSP芯片和FPGA，下面将按时间的顺

序予以介绍。

从1946年到1964年，计算机分别进入了“电子管计算机时代，，和“晶体管计算机时代”，这个时代的计算机才能称之为现代计算机，特别是进入“晶体管计算机时代”后，由于晶体管比电子管小得多，不需要暖机时间，消耗能量较少，处理更迅速、更可靠。

第二代计算机的程序语言从机器语言发展到汇编语言。接着，高级语言FORTRAN语言

和COBOL语言相继开发出来并被广泛使用。这时，开始使用磁盘和磁带作为辅助存储器。第二代计算机的体积和价格都下降了，使用的人也多起来了，计算机工业迅速发展。所以，虽然数字图像处理起源于20世纪20年代，但真正意义上的发展开始于20世纪

50年代。随着集成电路的发展，计算机进入中小规模集成电路计算机时代及大规模集

成电路计算机时代，这个时代中计算机通常作为非实时图像处理平台和图像管理工作站

平台，后来为了提高计算机的图形化处理能力，在计算机中加入GPU协同CPU工作，

但GPU仅仅是对CPU若干指令的加速，并不是实际意义上的并行化处理，其实时图像

处理能力还是较弱。

为了解决实时图像处理，降低单件图像处理设备的成本，图像处理设备生产商开始使用集成电路生产图像处理专用芯片，利用集成电路技术生产的图像处理专用芯片，其

优势在于:集成电路具有体积小，重量轻，引出线和焊接点少，寿命长，可靠性高，性

能好等优点，同时成本低，便于大规模生产。超大规模集成电路(VLSI)的今天，大批量

的图像处理专用芯片ASIC(专用集成电路)与ASSP(专用标准产品)仍占据着很大的市场

份额。

在小批量的图像处理系统中，使用专用芯片成本太高，研发周期太长，所以需要使

用合适的微处理器予以取代，DSP的出现解决了这方面的问题。DSP(Digital Signal Processor,数字信号处理器)，是一种具有特殊结构的微处理器，DSP芯片的内部采用程

序和数据分开的哈佛结构，具有专门的硬件乘法器，广泛采用流水线操作，提供特殊的DSP指令，可以用来快速地实现各种数字信号处理算法。从上世纪80年代末直至现在，DSP一直作为小批量的图像处理系统的处理器，用来实现如二维和三维图形处理、图像

压缩与传输、图像增强、动画、机器人视觉等图像处理。DSP芯片具有较高的指令处理

速度，但处理图像数据的能力还是有限的，所以只适用于小批量、低数据处理量的图像

处理系统中。

一直以来，大多的科研机构及公司将FPGA作为图像处理系统研发时的临时平台，

在产品化之后，FPGA往往被ASIC或ASSP代替。当然也有些图像系统设备的批量产

品中装备有FPGA，但这些FPGA往往被用作“辅助芯片(companion chip)"。具体来说就

是将小规模FPGA和较大规模的ASIC或ASSP在一个系统中一起使用，FPGA用来完

成接口、时序驱动以及各种型号产品的不同功能，增加系统的灵活性，而主要的图像处

理工作在ASIC或ASSP内完成。

随着半导体工艺的发展，ASIC与ASSP在性能提高的同时，其开发费用也在急剧

的增加，同时其验证工作量也随着电路的规模变大而变大，当产品发生变化时，设备制

造商需要重新向半导体厂商支付包括掩膜在内的开发费用。采用FPGA进行设计时，设

备制造商可以在开发现场自由地改写电路结构，无需支付因系统升级带来的费用，在完

成电路的结构设计之后，FPGA厂商提供的EDA工具能够方便的帮助设备制造商完成

布局、布线等工作，因此能够缩短设备的开发时间，即采用FPGA可以避免采用ASIC

或ASSP时出现的费用及设计周期的问题。图1.1给出了和FPGA近十年来的销量表，

图中数据显示，FPGA威胁ASIC和ASSP地位的势头正在日益增强。

当多数的设备制造厂商采用FPGA作为图像处理系统的主处理芯片时，半导体厂商

可以将FPGA作为通用产品进行生产，而FPGA的开发费用可以由这些厂商共同承担，

从而有利于推动FPGA工艺的发展，当FPGA的电路规模和性能达到与ASIC或ASSP

相仿的水平时，FPGA将在很多领域取代ASIC或ASSP的大部分甚至全部功能，即FPGA 作为主处理芯片而非辅助芯片。

目前，FPGA厂商正在迅速推进FPGA工艺的发展(见图X .2)，从而加速FPGA取代ASIC或ASSP的过程。以FPGA生产厂商Altera公司为例，该公司于2008年5月推出

了型号为Stratix IV的FPGA，该型号的FPGA采取40rim工艺，其最高性能产品等效门

数可达到600万一700万，不亚于采用90nm工艺制造的基于标准单元的ASIC。另外Stratix IV系列FPGA的工作频率可达3 50MHz，也与90rim基于标准单元的ASIC大体相当。

当然，FPGA想取代ASIC或ASSP还存在价格上的局限。虽然高性能FPGA的电

路规模和性能正在逼近采用90rim工艺的ASIC，但目前高性能FPGA芯片的单价是几

千元，和基于标准单元的ASIC相比高出很多，因此FPGA在大批量的图像处理系统中

应用还存在成本方面的问题。另外，FPGA设计时考虑到其通用性，在内置DSP模块

以及高速IO接口等方面功能比较齐全，对于某个特定的图像处理设备而言，有些功能