数字图像处理论文文献综述

数字图像处理论文文献综述文献综述图像处理技术发展到今天，已经被应用到工程学、计算机科学、信息科学、统计学、物理学、化学、生物学、医学甚至社会科学等多个学科，并成为这些学科获取信息的重要来源及利用信息的重要手段，所以图像处理科学己经成为与国计民生紧密相连的一门应用科学。

图像处理技术研究的重点在于图像处理算法和系统结构，随着计算机、集成电路等技术的飞跃发展，图像处理技术在这两方面都取得了长足的发展。

但随着图像信息数据量的增大，图像处理算法复杂度的提高，图像处理技术依然面临着许多挑战性的问题，具体可概括为图像处理的网络化、复杂问题的求解与处理速度的高速化，可以通过选择合适的图像处理平台以及恰当的图像处理算法来解决这些挑战性的问题。

图像处理技术最初是在采用高级语言编程在计算机上实现的，后来还在计算机中加入了图像处理器(GPU)，协同计算机的CPU工作，以提高计算机的图形化处理能力。

在大批量、小型化和低功耗的要求提出后，图像处理平台依次出现了基于VLSI技术的专用集成电路芯片((ASIC)和数字信号处理器((DSP)，近年来，随着EDA技术的发展以及FPGA(Field-Programmable Gate Array,现场可编程门阵列)技术的提高，越来越多的厂家和科研机构将FPGA作为图像处理技术实现的主要平台，以提高图像处理系统的性能。

FPGA是在PAL, GAL, CPLD等可编程器件的基础上进一步发展的产物。

它是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。

FPGA采用了逻辑单元阵列LCA( Logic Cell Array)这样一个新概念，内部包括可配置逻辑模块CLB( Configurable LogicBlock、输出输入模块IOB ( Input Output Block)和内部连线(Interconnect)三个部分。

FPGA结构特点使得基于FPGA的图像处理系统的设计方法与传统的基于计算机或者专用单片机的系统的设计方法有着本质的区别，同时与基于ASIC的设计在有一定的相似度的基础上也存在很大的差异，所以不能以以往的设计方法来进行基于FPGA的图像处理系统设计，需要根据FPGA的结构以及图像处理技术的特点重新来考虑在FPGA中实现流水线、时分复用、超越函数和人工智能等技术的方法。

本课题就是以FPGA为开发设计载体，以EDA技术为开发设计平台，以图像处理技术在FPGA中的设计方法为研究对象，以提高图像处理的速度和FPGA系统资源的合理利用为目标，以期探讨基于FPGA的高速数字图像处理方法。

图像处理系统的产生和发展1图像处理及其硬件平台的发展概况数字图像处理的发展是和计算机、集成电路等技术的发展密切相关的，曾经作为数字图像处理平台的有:计算机、专业集成电路、DSP芯片和FPGA，下面将按时间的顺序予以介绍。

从1946年到1964年，计算机分别进入了“电子管计算机时代，，和“晶体管计算机时代”，这个时代的计算机才能称之为现代计算机，特别是进入“晶体管计算机时代”后，由于晶体管比电子管小得多，不需要暖机时间，消耗能量较少，处理更迅速、更可靠。

第二代计算机的程序语言从机器语言发展到汇编语言。

接着，高级语言FORTRAN语言和COBOL语言相继开发出来并被广泛使用。

这时，开始使用磁盘和磁带作为辅助存储器。

第二代计算机的体积和价格都下降了，使用的人也多起来了，计算机工业迅速发展。

所以，虽然数字图像处理起源于20世纪20年代，但真正意义上的发展开始于20世纪50年代。

随着集成电的发展，计算机进入中小规模集成电路计算机时代及大规模集成电路计算机时代，这个时代中计算机通常作为非实时图像处理平台和图像管理工作站平台，后来为了提高计算机的图形化处理能力，在计算机中加入GPU协同CPU工作，但GPU仅仅是对CPU若干指令的加速，并不是实际意义上的并行化处理，其实时图像处理能力还是较弱。

为了解决实时图像处理，降低单件图像处理设备的成本，图像处理设备生产商开始使用集成电路生产图像处理专用芯片，利用集成电路技术生产的图像处理专用芯片，其优势在于:集成电路具有体积小，重量轻，引出线和焊接点少，寿命长，可靠性高，性能好等优点，同时成本低，便于大规模生产。

超大规模集成电路(VLSI)的今天，大批量的图像处理专用芯片ASIC(专用集成电路)与ASSP(专用标准产品)仍占据着很大的市场份额。

在小批量的图像处理系统中，使用专用芯片成本太高，研发周期太长，所以需要使用合适的微处理器予以取代，DSP的出现解决了这方面的问题。

DSP(Digital SignalProcessor,数字信号处理器)，是一种具有特殊结构的微处理器，DSP芯片的内部采用程序和数据分开的哈佛结构，具有专门的硬件乘法器，广泛采用流水线操作，提供特殊的DSP指令，可以用来快速地实现各种数字信号处理算法。

从上世纪80年代末直至现在，DSP一直作为小批量的图像处理系统的处理器，用来实现如二维和三维图形处理、图像压缩与传输、图像增强、动画、机器人视觉等图像处理。

DSP芯片具有较高的指令处理速度，但处理图像数据的能力还是有限的，所以只适用于小批量、低数据处理量的图像处理系统中。

一直以来，大多的科研机构及公司将FPGA作为图像处理系统研发时的临时平台，在产品化之后，FPGA往往被ASIC或ASSP代替。

当然也有些图像系统设备的批量产品中装备有FPGA，但这些FPGA往往被用作“辅助芯片(companion chip)"。

具体来说就是将小规模FPGA和较大规模的ASIC或ASSP在一个系统中一起使用，FPGA用来完成接口、时序驱动以及各种型号产品的不同功能，增加系统的灵活性，而主要的图像处理工作在ASIC或ASSP内完成。

随着半导体工艺的发展，ASIC与ASSP在性能提高的同时，其开发费用也在急剧的增加，同时其验证工作量也随着电路的规模变大而变大，当产品发生变化时，设备制造商需要重新向半导体厂商支付包括掩膜在内的开发费用。

采用FPGA进行设计时，设备制造商可以在开发现场自由地改写电路结构，无需支付因系统升级带来的费用，在完成电路的结构设计之后，FPGA厂商提供的EDA工具能够方便的帮助设备制造商完成布局、布线等工作，因此能够缩短设备的开发时间，即采用FPGA可以避免采用ASIC或ASSP时出现的费用及设计周期的问题。

图1.1给出了和FPGA近十年来的销量表，图中数据显示，FPGA威胁ASIC和ASSP地位的势头正在日益增强。

当多数的设备制造厂商采用FPGA作为图像处理系统的主处理芯片时，半导体厂商可以将FPGA作为通用产品进行生产，而FPGA的开发费用可以由这些厂商共同承担，从而有利于推动FPGA工艺的发展，当FPGA的电路规模和性能达到与ASIC 或ASSP相仿的水平时，FPGA将在很多领域取代ASIC或ASSP的大部分甚至全部功能，即FPGA作为主处理芯片而非辅助芯片。

目前，FPGA厂商正在迅速推进FPGA工艺的发展(见图X .2)，从而加速FPGA取代ASIC或ASSP的过程。

以FPGA生产厂商Altera公司为例，该公司于2008年5月推出了型号为Stratix IV的FPGA，该型号的FPGA采取40rim工艺，其最高性能产品等效门数可达到600万一700万，不亚于采用90nm工艺制造的基于标准单元的ASIC。

另外StratixIV系列FPGA的工作频率可达3 50MHz，也与90rim基于标准单元的ASIC大体相当。

当然，FPGA想取代ASIC或ASSP还存在价格上的局限。

虽然高性能FPGA的电路规模和性能正在逼近采用90rim工艺的ASIC，但目前高性能FPGA芯片的单价是几千元，和基于标准单元的ASIC相比高出很多，因此FPGA在大批量的图像处理系统中应用还存在成本方面的问题。

另外，FPGA设计时考虑到其通用性，在内置DSP 模块以及高速IO接口等方面功能比较齐全，对于某个特定的图像处理设备而言，有些功能未被使用，出现了浪费的现象。

FPGA厂商正在为消除价格差距而努力，也即将推出符合价格需求的产品。

例如，Altera公司即将推出的40nm结构化ASIC HardCopy IV，在HardCopy IV中部分的布线和开关将被去除，从而将芯片面积降低到Stratix IV的一半左右，芯片单价将有可能降低到几十至几百元。

它在设计性能与引脚方面和Stratix IV兼容，对于那些在小批量生产时采用了Stratix IV的设备制造厂商来说，他们无需重新制作主板就可以改用HardCopy IV进行大批量生产。

当用户采用FPGA厂商推出的40nm结构化ASIC进行设计时，当设备的生产数量在几千一几万个的范围内，则其总成本将有可能低于基于标准单元的ASIC电路[2]通过上面的讨论可以知道，图像处理平台的发展如图1.3所示，具体概括为:PC作为通用平台在小批量的非实时图像处理系统中仍有应用，ASIC或ASSP在大批量的图像处理系统中仍占据着很大的市场份额，但有被FPGA取代的趋势，DSP在高速图像处理领域已经逐渐被取代，FPGA随着工艺的发展已逐渐成为主流的图像处理平台。

2国内外研究现状图像处理系统在军事、工业、楼宇以及其他领域的应用日益广泛，在全世界，无论是工业界、学术界还是政府相关部门都日益关注相关理论与应用问题的研究，尤其是对基于FPGA的图像处理算法的研究。

3图像处理算法的优化的研究图像处理算法优化主要为了解决图像处理算法在FPGA中实现时资源消耗的问题，乘法、三角函数、指数和对数等运算在基于LUT的FPGA中实现需要消耗太多的资源，FPGA内部嵌入的硬件的乘法器模块数量有限，不能够满足图像处理系统的需求，所以通常寻求其他的简化方法予以优化。

常见的优化技术为CORDIC算法，另外分布式算法也在一些图像处理算法内涉及。

CORDIC算法是从简单而古老的二维几何学发展来的，最初提出CORDIC算法的是Jack E. Volder，他在1957年使用明确的公式表达了CORDIC算法，并将该算法应用到三角函数的计算中。

最早将CORDIC算法应用到图像处理领域己无从考证，但基于CORDIC算法图像处理算法的研究的本质还在CORDIC的优化上。

近年来CORDIC算法的优化采用了以下技术:高维CORDIC算法、重编码CORDIC算法、混合微旋转CORDIC算法、多余CORDIC算法和微分CORDIC算法[I 5-16]0文献[ 17]提出了四维的CORDIC算法，它的基由传统的2个变为5个，旋转基本角度也变成了4'，其优点在于迭代次数是传统技术的一半，但是4维的CORDIC技术每次迭代的时间却比2维的CORDIC技术技术迭代时间长，也需要耗费更加多的资源，同时他的比例因子由于基的变化也每次不同，所以比较繁琐。