数字图像处理在光学相关识别中的应用_王勇

研究与试制
数字图像处理在光学相关识别中的应用
王　勇
1,2
,朱　明
1
(1.中国科学院长春光学精密机械与物理研究所,长春130033; 2.中国科学院研究生院,北京100039)
摘　要:光学模式识别信息处理容量大,运算速度快,但精度不高,存储不灵活,不易判断控制和分析。

联合变换相关器在光学图像相关识别中得到了广泛的应用。

为提高联合变换相关器的性
能,将数字图像处理技术引入光学相关识别中,主要体现在对联合图像进行预处理以及对联合功率谱的滤波处理。

详细阐述了国内外常用的联合图像预处理算法和功率谱滤波算法,并对这些算法在光学相关识别中的应用效果进行了比较研究。

关键词:数字图像处理;模式识别;联合变换相关器;预处理
中图分类号:O 472+.8 文献标识码:A 文章编号:1005-488X (2009)04-0251-06
Application of Digital Image Processing in Optical Correlation R ecognition
Wang Yo ng 1,2,Zhu M ing 1
(1.Changchun I nstitute of Op tics ,Fine M echanics and P hy sics ,Chinese Academy of Sciences ,Changchun 130033,CH N ;
2.Graduate S chool of the Chinese A cademy of Sciences ,B eij ing 100039,CH N )
Abstract :The virtues o f optical pattern r ecognitio n lies in its hig h capacity and speed for sig-nal pro cessing ,but its judg ement,controlling and analy sis are difficult because of its po or preci-sion and ag ility.Joint transform corr elator are w idely used in optical im age corr elation recog ni-tio n.T o improv e the perform ance o f jo int transfo rm correlator,digital imag e processing technol-ogy are used in optical corr elation recog nition such as the pr eprocessing for joint image and filter-ing for pow er spectr um .Several joint imag e preprocessing m ethods and pow er spectr um filtering algor ithms are introduced ,their applying effect in joint transfo rm corr elator are compared .Key words :digital imag e pr ocessing ;pattern recog nition;joint transform correlator (JT C);pr eprocessing
引　言
从1964年VanderLugt 提出用离轴全息方法制
作匹配空间滤波器[1]
以来,光学模式识别就成为光学信息处理的一个热点,它是通过光学相关运算识别目标的。

其优点是信息处理容量大,运算速度快,
基本上按光速进行,特别适用于实现二维傅里叶变
第29卷第4期2009年12月 光　电　子　技　术OPT OELECT RONIC T ECHNOLOGY Vol.29No.4
Dec.2009
基金项目:国家“863”计划资助项目(2005AA 778032)
作者简介:王　勇(1982—),女,博士,研究方向是数字图像处理、模式识别;(E-mail:wang -y ong 8205@163.co m)
朱　明(1964—),男,研究员,博士生导师,主要从事从事视频图像处理、自动目标识别技术研究及成像目标跟
踪。

收稿日期:2009-06-19
换、二维复函数的卷积和相关运算等。

但是由于光学系统本身的质量及光学记录材料的影响,光学模拟运算的精度不高。

数字图像处理(Dig ital imag e pro -cessing )又称为计算机图像处理,它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。

它具有再现性好、处理精度高、适用面宽和灵活性高等优点,因此,把光学处理和数字处理结合起来,可以取长补短,相辅相成。

这种混合光电模式识别系统既具有光学处理器大信息容量和二维并行处理的能力;又具有数字计算机运算精度高、灵活性好、易于控制和判断的优点。

因此越来越受到人们的重视,并在多种应用场合,获得了成功的应用。

可以说,光电混合光学模式识别,是实现模式识别实用化的最可行方案。

联合变换相关器(Joint tr ansfor m correlator,JT C )是光学图像识别常用的一种基本方法,不仅具有无需制作匹配滤波器和精确复位的特点,而且很容易实现实时相关[2]。

由于联合变换的参考图像与目标图像同时输入联合变换相关器的输入面,根据联合变换相关原理,此类相关器有三个方面的问题:首先,存在较强的零衍射级,从而使输出面中相关输出的衍射效率较低,影响相关峰的探测;其次,输出面中零级衍射峰的宽度较大,限制了输入面的目标图像与参考图像的大小和相对位置;再次,目标图像与参考图像的相关峰较宽,影响其区分能力,尤其在多目标输入的时侯。

近年来,对JTC 技术相关能力的改进主要集中在对输入图像进行预处理和在傅里叶平面上对联合功率谱进行非线性处理两方面。

1　光学相关识别技术
传统的光学模式识别,是建立在光学匹配滤波
的理论基础之上的。

光学结构如图1所示。

先用全息法制作参考目标r (x ,y )的匹配滤波器R *(u ,v ),然后将其放入4f 系统的频谱面上。

被相干光均匀照明的输入目标t (x ,y )
经过第一个傅里叶变换透镜之
图1　匹配滤波器结构图
Fig .1　Str uctur e o f M atched F ilter
后,其频谱与匹配滤波器相乘,根据相关原理,经过第二个傅里叶变换透镜之后,在后焦平面上得到输入图像t (x ,y )与图像r (x ,y )的相关结果。

通过检测相关特征判断输入目标的类别。

匹配滤波器的相关输出包含三部分:一是沿光轴方向生成的物体t (x ,y )的几何像;二是图像t (x ,y )和r (x ,y )的卷积像,中心位于(-b ,0),这两部分对相关识别不起作用;三是图像t (x ,y )和r (x ,y )的相关像,与卷积像对称分布,中心位于(b ,0)。

二者相同则产生明显的相关亮斑。

与匹配滤波相关器相比,联合变换相关识别不需要提前制作滤波器,且调试中不存在中心严格对准的要求,因此发展为光学模式识别中的研究热点。

联合变换相关器(JTC)的原理结构如图2所示。

将目标图像和参考图像同时置于输入面上,在频谱面上用平方律探测器件接收联合功率谱,再将联合功率谱输入到第一个傅里叶变换透镜上,在后焦平面上得到目标图像和参考图像的相关输出。

图2　联合变换相关器结构图Fig.2　Str uctur e o f JT C
若输入到联合变换相关器输入面的参考图像函数为r (x ,y ),其中心位于(-a ,0);目标图像函数为t (x ,y ),其中心位于(a ,0)。

由参考图像和目标图像组成的合成图像f (x ,y )被准直的激光照明,并通过透镜进行傅里叶变换。

输入面的图像分布表示为:f (x ,y )=r (x +a ,y )+t (x -a ,y )(1)
则透镜后焦面的傅里叶谱分布为:
F (u ,v )=exp[j 2 au ]R (u ,v )+
exp[-j 2 au ]T (u ,v )
(2)R (u ,v )=
r (x ,y )
exp[-j 2 (ux +vy )]d x d y
(3)
T (u ,v )=
t (x ,y )
exp[-j 2 (ux +vy )]d x d y (4)
其中,F (u ,v )、R (u ,v )和T (u ,v )分别为联合图像、参考图像和目标图像的傅里叶变换。

用平方律探
测器在透镜的后焦面上探测到联合变换功率谱为F (u ,v )2
:
252
光 电 子 技 术第29卷　
F (u ,v ) 2
= R (u ,v ) 2
+ T (u ,v ) 2
+
ex p[j 4 au ]R (u ,v )T *
(u ,v )+
ex p[-j 4 au ]T (u ,v )R *(u ,v ) (5)
将上述联合联合功率谱经透镜做逆傅里叶变换得:f ( , )=r ( , ) r ( , )+t ( , )
t ( , )+r ( , ) t ( , )* ( +2a )+t ( , ) r ( , )* ( -2a )(6) 式中,“ ”表示相关,“*”表示卷积,第一项与第二项重叠在输出平面中心附近,称之为零级衍射项,并不是我们要探测的信号。

两个互相关项第三项和第四项为正负一级衍射,它们在输出平面上沿轴分别平移-2a 和2a ,与零级项分离,正是我们寻求的相关信号。

在参考图像r 和目标图像t 相同的情况下,第三项和第四项的互相关就等于自相关,峰值会达到最大。

经典联合变换相关器存在两个方面的弱点:一方面,由于联合变换相关存在较强的零衍射级,从而使输出面中相关输出的衍射效率较低,影响相关峰的探测;另一方面,联合变换相关输出面中零级衍射峰的宽度很大,限制了其输入面的目标图像和参考图像的大小和相对位置,降低了对输入面空间带宽积的使用。

因此,削弱或去除零衍射级,抑制旁瓣,增强互相关峰的强度,提高相关性能,就成为设计各种新型的联合变换相关器的依据。

由此人们将数字图像处理方法引入光学相关识别中来,提出了很多有效的改进方法,这些方法主要集中在对联合输入图像进行预处理和对功率谱进行非线性处理上。

2　图像预处理算法在光学相关识别中
的应用
2.1　微分算子处理法
为得到较高的识别率,微分或梯度相关是可采用的更为简单的一种方法。

它已推广应用到联合变换相关中,并极大地提高了识别效率。

为了识别相似的图像,我们要利用图像间彼此不同的特征信息,这是边缘提取的意义所在。

常用的微分算子有Roberts 算子、Prew itt 算子和Sobel 算子。

对于离散图像来说,微分边缘检测算子就是用图像的垂直和水平差分来逼近梯度算子。

Roberts 算子如下式:R (i ,j )=
(f (i ,j )-f (i +1,j +1))2
+(f (i ,j +1)-f (i +1,j ))
2
(7)
它可以由两个2×2的模板共同实现:
100-1,
01
-10
在比较复杂的图像中,仅用2×2的Roberts 算
子得不到较好的边缘检测,而相对较复杂的3×3的Prew itt 算子和Sobel 算子检测效果较好。

Prewitt 算子可通过以下两个模板实现:
-1-1-10001
1
1
,-1
01-101-1
1
以上两矩阵分别代表图像的水平梯度和垂直梯度。

Sobel 算子与Prew itt 算子的区别仅在于选用的模板不同:
-1-2-10001
2
1
,-101-202-1
01
2.2　形态学边缘检测方法
形态学运算[3-5]
是针对二值图像,并依据数学形态学(M athematical m orphology )集合论方法发展起来的图像处理方法。

其基本思想是用具有一定形态的结构核去度量和提取图像中的对应形状,以达到对图像分析和识别的目的。

常见的结构核有菱形、方形和圆形三种。

二值形态学边缘检测主要有三种方法,可分别得到图像的外边界、内边界、形态学梯度。

对于对象r 和结构核t ,用膨胀图像减去原图像可得到图像的外边界,表达式为:
t r -t (8)
原图像减去腐蚀的图像可得到图像内边界,表达式为:
t -t r
(9)
膨胀图像减去腐蚀图像得到形态学梯度,表达式为:
t r -t r
(10)
这里可通过控制结构核的大小和形状,选用不同的检测方法,可得到不同厚度和形状的边界。

2.3　群体特征边缘提取算法
群体智能的研究起源于人们对社会性动物群体行为的观察和模拟,如鸟类聚类飞行行为,蚂蚁觅食行为等。

社会性动物的个体行为都很简单,但当它们一起协同工作时,却能够“突现”出非常复杂的行为特征。

在通常情况下,群体智能是指任何启发于群体生物的集体行为而设计的算法和分布式问题解决装
253
　第4期
王　勇等:数字图像处理在光学相关识别中的应用
置[6]。

在图像处理领域,基于群体智能的图像分割方法[7-8]以及图像特征提取方法[9]得到了广泛的应用。

大量研究结果表明,由于群体智能的潜在分布式特征和符合自组织的生物学过程,它正在逐渐成为图像处理领域很有前途的一种新方法。

由于数字图像本身所具有的特点,可以很容易地将其比喻为数字生命存在的空间,而像素则可以比喻为数字生命赖以生存的资源。

维持数字生命繁衍和进化的,是图像中具有各种灰度值的像素。

这里,我们把“特征像素”称为“有效资源”,分布在图像环境中的数字生命称为“智能体”。

智能体按照预先制定的系统规则移动、繁衍和进化,在完成了对有效资源的搜索后,寄居在图像环境中的智能体所刻画的就是数字图像本身所具有某种特征。

图像环境中的智能体分为两种:驻留智能体和活动智能体。

初始智能体的状态往往是随机的,或者具有某种统一的特征,它在环境中的行进方式要受到其感知到的局部环境信息的影响。

智能体在搜索资源的过程中,一旦发现像素位置(i,j)存在有效资源,就会在此位置驻留下来而不再移动,这样的智能体我们称之为驻留智能体。

而活动智能体是指:在某个时间步t,其变化的特征和状态符合预定义的要求范围之内,并且即将选择一些行为来继续对图像环境做出反应的智能体。

用于执行资源搜索的智能体通过4种不同的行为反应之间的转换来适应环境,即在有效资源位置的驻留行为,在邻域内的繁殖行为,寻找新资源的扩散行为以及因为能量的衰竭而产生的消失行为。

首先针对繁殖与扩散行为给出如下的定义:
繁殖:
(g,t)(i,j) { (g+1,t+1)
l(m,n)l=1,2,…,s;
D((i,j),(m,n))≤R(i,j);
W((i,j),(m,n))∈H}
(11)扩散:
(g,t)(i,j) (g,t+1)(m,n);
D((i,j),(m,n))≤R(i,j);
W((i,j),(m,n))∈K
(12)其中, 表示存在于图像环境中的智能体,g表示智能体代,t表示时间步,(i,j)表示当前智能体在图像中的位置,(11)中的(m,n)表示后代智能体在图像中的位置,(12)中的(m,n)表示智能体的新位置。

表示“产生”关系,l是后代智能体的标示符,R(i,j)表示运动区域的半径,也就是在(i,j)位置的智能体能够感知到的局部资源半径,在繁衍行为中D表示后代智能体相对于前代智能体的距离,在扩散行为中,D表示新位置相对于原位置的距离,H和K分别表示繁衍后代智能体的方向和扩散的方向,W表示一个位置相对于另一个位置的方向。

在任一时间步t,智能体都要感知其局部资源环境是否适合其驻留,驻留或者扩散取决于智能体的位置(i,j)的感知区域内与(i,j)的灰度值接近的所有像素的密度分布,密度分布的定义如下:
R(i,j)
I(i,j)=∑
R(i,j)
s=-R(i,j)
∑
R(i,j)
t=-R(i,j)
{s0t0
I(i+s,j+t)-I(i,j) ≤ }
(13) 其中,s和t表示(i,j)位置的智能体感知区域内的一个像素的索引,I(i,j)表示像素(i,j)的灰度值, 为对比度阈值。

当智能体检测到一处有效资源P x,它将在邻域内繁殖有限数量的后代智能体。

这里的邻域是指:以智能体所在的位置(i,j)为中心,周围和其相邻的8个像素。

繁殖行为使得智能体把其后代智能体移近一个满足特征定义的像素位置,因而增加了进一步特征提取的可能。

对于有效资源的检测,应该满足如下条件:令 =[ 1, 2]是由(13)式所定义的像素数的可接受范围。

如果在像素点P x的密
度分布的评估结果在 范围内,即 R(i,j)
I(i,j)∈ ,那么该智能体将永久驻留在(i,j)像素位置,并产生如(11)式所描述的繁殖行为,即在其周围的8个邻域内产生8个后代智能体。

当密度分布的结果不在 内,即
R(i,j)
I(i,j) ,智能体将在其邻域内产生如(12)式所描述的扩散行为,扩散的方向随机选择。

扩散行为对智能体在图像环境中发现特征像素起着重要作用。

后代智能体以及移动到新位置的智能体将重复上述资源搜索过程。

随着搜索过程的持续,寻找到有效资源的智能体数量将不断增加,从一开始的零到稳定为某个固定的常数。

而那些在指定的步骤内没有找到任何有效资源的智能体将因为能量的衰竭而终止其进一步的资源搜索行为,同时,该智能体也会在图像环境中消失。

这样可以避免智能体进入无限搜索无效资源的循环模式,从而减少无用的计算量。

3　联合功率谱非线性处理
3.1　条纹调制滤波
Alam等人提出使用条纹调制滤波器(Fringe-
254光 电 子 技 术第29卷　
adjusted filter,FAF)乘以联合功率谱以后进行逆傅里叶变换产生互相关输出[10]。

FAF的函数表达式为:
H FA F(u,v)=
B(u,v)
A(u,v)+ R(u,v) 2
(14)
A(u,v)和B(u,v)是常数或者为(u,v)的函数。

A(u,v)抑制噪声并且把被滤波的数据限制在一定的取值范围内,防止出现极大的尖峰值。

合适的B (u,v)可以避免产生大于单位值的光学增益,保证条纹调制滤波增益小于或者等于原频率值。

R(u,v)是参考图像的频谱。

当B(u,v)=1,且 R(u,v) 2 A(u,v)时,式(14)可写为:
H FA F(u,v)=
1
R(u,v) (15)
可以事先对参考图像r(x,y)进行傅里叶变换,进而得到 R(u,v) 2,计算出H FAF(u,v)并存在计算机中,此方法操作简单,容易实现实时性。

3.2　功率谱相减算法
联合变换相关输出面中零级衍射峰的宽度很大,限制了其输入面的目标图像和参考图像的大小和相对位置,降低了对输入面空间带宽积的使用。

为消除中央零级项的干扰,部分学者采用了功率谱相减算法。

功率谱相减法是用联合功率谱减去目标图像和参考图像单独输入时的功率谱。

这样,相关输出结果中就去除了中央零级项,即目标图像和参考图像的自相关项。

对分析问题有用的互相关项得以保留。

公式(5)表示的联合功率谱 F(u,v) 2减去目标图像和参考图像单独输入时的功率谱为:
I(u,v)= F(u,v) 2- R(u,v) 2- T(u,v) 2= ex p[j4 au]R(u,v)T*(u,v)+
ex p[-j4 au]T(u,v)R*(u,v)(16)输出的相关结果为:
i( , )=r( , ) t( , )* ( +2a)+
t( , ) r( , )* ( -2a)
(17) 4　仿真实验结果
图3(a)为JTC输入面的联合图像。

为改善输出面的相关结果,分别采用了三种不同的方法对输入面图像进行预处理。

图3(
b)为So bel算子预处理结果;图3(c)中形态学预处理所选用的结构核为菱形,
图3　(a)输入面联合图像;(b)Sobel算子预处理结果;
(c)形态学预处理结果;(d)群智能预处理结果Fig.3　(a)the jo int imag e;(b)imag e ex tr actio n result based o n Sobel o per ato r;(c)imag e ex tr actio n r e-
sult ba sed o n mor pho lo gica l pr epr ocessed;(d)
image ex traction result based on swar m intelli-
g ence
提取的边缘为(10)式所描述的形态学梯度。

图3(d)中用群体智能算法做边缘提取时,设置初始智能体 =1600个,搜索半径R(i,j)=3,即在7×7邻域内进行搜索,由(13)式所定义的像素数的可接受范围 =[11,41],对比度阈值 =40,智能体的年龄A ge= 8,步长t=130,驻留智能体的后代个数为s=8。

图4(a)是C-JTC相关结果,虽然相关峰值较大,为2.667×108,但相关峰宽度较宽,峰值不够尖锐,性能并不理想;图4(b),(c),(d)分别表示了So bel-JTC,M orph-JTC和Sw arm-JTC的相关结果,三者的互相关峰值如表1所示。

图4　(a)C-JT C相关结果;(b)Sobel-JT C相关结果;
(c)M o rph-JT C相关结果;(d)Sw ar m-JT C相关
结果
Fig.4　(a)output of the C-JT C,(b)output of the Sobel-JT C;(c)output o f the M or ph-JT C;(d)output o f
the Sw arm-JT C
255
　第4期王　勇等:数字图像处理在光学相关识别中的应用
表1　Swarm -JTC 、Sobel -JTC 和Morph -JTC 的相关结果Tab .1　Result of Swarm -JTC 、Sobel -JTC and Morph -JTC
互相关峰值
So bel -JT C 1334M o rph-JT C
2624Swar m -JT C
4232
由表1可以看出,Sw arm -JTC 在减小相关带宽
的基础上,相关输出结果最好。

图4(b ),(c ),(d )都减小了输出面图像的相关峰宽度,锐化了相关峰,改进了C-JT C 的图像相关识别性能。

图4(d)Swarm -JT C 相关结果的互相关峰值为4232,比4(b )Sobel -JT C 互相关峰值1334提高了2898,比4(c )M orph -JT C 互相关峰值2624提高了1608,由此可见,Sw arm -JT C 相关性能最好。

由图5可以看出,联合功率谱经减法滤波后的相关输出消除了自相关项的干扰,保留了对分析问题有用的互相关项。

对功率谱进行条纹调制滤波后的相关输出峰得到了锐化,有效改善了传统联合变
换相关器的相关输出性能。

图5　(a )联合输入图像;(b )C -JT C 的相关输出结果;(c )
功率谱相减法处理后的相关结果;(d)为功率谱条纹调制后的相关结果
F ig .5　(a )t he joint imag e ;(b )o utput of t he C -JT C ;(c )
o utput of the Sub -JT C ;(d )o utput o f t he F AF -JT C
5　结　论
本文详细阐述了数字图像处理方法在光学相关
识别中的两方面应用。

一是联合图像的预处理,通过对比So bel 微分算子、形态学边缘提取和群体智能特征提取法等图像预处理算法在联合变换相关器中的应用效果,可以得出,Sw arm -JTC 、Sobel-JTC 和M or ph -JT C 相比C -JTC 相关性能有明显的改善,都减小了相关峰的宽度,但对相关峰的锐化程度各不相同。

Sw arm -JT C 相关结果的互相关峰值为4232,比So bel-JT C 互相关峰值提高了2898,比Mo rph-JTC 互相关峰值提高了1608。

由此可见,Sw ar m -JTC 相关性能最好。

二是联合功率谱的非线性滤波,介绍了功率谱相减法和条纹调制法,实验结果表明这两种滤波法都可以改善传统联合变换相关器的相关输出性能。

综上所述,把光学处理和数字处理结合起来,可以取长补短,相辅相成。

将数字图像处理方法应用于光学相关识别中能很大程度地改善传统光学相关识别器的性能,具有广阔的应用前景。

参　考　文　献
[1]　叶玉堂,饶建珍,肖　峻,等.光学教程[M ].北京:清华大学出
版社,2005,8:462-466.
[2]　王红霞,赵　伟,李育新.多目标识别的联合变换相关器的研究
[J ].光学技术,2006,32(2):190-195.
[3]　张旭光,孙　巍,韩广良,等.一种弹孔自动识别算法的研究
[J ].光学精密工程,2005,13(6):747-753.
[4]　林玉池,崔彦平,黄银国.复杂背景下边缘提取与目标识别方法
研究[J ].光学精密工程,2006,14(3):509-514.
[5]　刘松涛,王学伟,周晓东,等.基于传感器参数和目标轮廓中心
的自动配准算法研究[J].光学精密工程,2005,13(3):354-363.
[6]　Kenn edy J ,Eb erhart R C ,S HI Y .S warm Intelligence [M ].
U SA,San Francisco:M organ Kaufmann Publis hers ,2001[7]　Hideki Kagaw a,M ak oto Kinouchi,M asafumi Hagiw ara.Im-age s egmentation b y artificial life ap proach usin g au tonom ou s
agen ts [C ].International Joint Confer ence on neu ral n et-w orks ,US A ,1999:4413-4418
[8]　Hamarneh 1G ,M cInerney T ,T er zopoulos D .Deformab le or-ganism s for au tom atic m edical imag e analysis [C ]//M edical im age com puting and com puter-ass isted intervention ,M ICCAI 2001,66-75,U tr ech t,T he Neth erland s,2001,10:14-17.[9]　M acGill J .U sing flocks to dr ive a geographical an alysis engine
[C ].Ar tificial Life VI ,M IT Press ,2000:453-466.
[10]Alam M S,Kar im M A.M u ltiple target detection usin g a
m odified frin ge-adjus ted joint transform correlator [J ].Opt En g,1994,33(5):1610-1617.
256
光 电 子 技 术第29卷　。