[4](文献)可见光与SAR图像的特征级融合

0
00
m00
（1） （2）
如果 （f x，y）是数字图像，则式（2）变成：
ΣΣ μpq=
（x-x軃）（p y-y軃）q（f x，y）
xy
（3）
归一化中心矩，由 ηpq 表示，定义：
ηpq=
μpq
γ
μ00
，γ= p+q 2
+1，p+q=2，3，…
（4）
一组 7 个不变矩来自于二阶和三阶矩：
准1 =η20 +η02
（5）
2
2
准2 =（η20 -η02） +4η11
（6）
2
2
准3 =（η30 -3η12） +（3η21 -η03）
（7）
2
2
准4 =（η30 +η12） +（η21 +η03）
（8）
2
2
2
准5 =（η30 -3η12）（η30 +η12）（[ η30 +η12） -3（η21 +η03） ]+
2
2
图2 0.007 055 9 4.978 5 6.164 6 6.164 6 2.209 4 4.349 7 1.066 5 161.77；20.952
情况 3 光学图像闭合区域没有在 SAR 图像找到闭合区域 或开区域，对于光学图像，看其闭合区域的梯度值，设定阈值， 如果梯度值大于这个阈值，则保留此闭合区域；采用同样的方
178 2009，45（24）
Computer Engineering and Applications 计算机工程与应用
可见光与 SAR 图像的特征级融合
李璟旭 LI Jing-xu
北京航空航天大学 电子信息工程学院，北京 100083 School of Electronic and Information Engineering，Beihang University，Beijing 100083，China E-mail：freemail@126.com
Βιβλιοθήκη Baidu
4 匹配融合
由于获取地物波谱信息的波段范围及成像方式的不同， SAR 图像与可见光图像所得到的信息有很大差异。将 SAR 与 可见光图像融合，可以获得地物的多层次特性，进一步揭示地 物的本质特征[3]。
由于光学图像和 SAR 图像成像机理不同，导致两幅图像 中的边缘客观存在偏差。同一目标的两条边缘，在源图像中就 存在微小位移，考虑将一幅图像中连续的边缘（如闭合的边缘） 作为一个整体，考虑与另一幅图像相近位置上的边缘之间的相 似度，用不变矩和轮廓矩计算统计量进行各条边缘的匹配，如 果 相 似 度 高 ，则 保 留 其 中 任 意 一 条 ，如 果 相 似 度 低 ，则 全 部 保留。
（3）SAR 图像中的闭合区域，在光学图像中相近位置如果 没有闭合区域，而有开区域，那么计算开区域两个端点并计算 开区域的质心，在 SAR 图像中的闭合区域取以光学图像中开 区域两个端点为端点，参考质心位置，截取其中的部分边缘，进 行不变矩或轮廓矩计算，如果矩相似则保留闭合区域；
（4）如果 SAR 图像中的边缘在光学图像中不存在，那么则 考虑此边缘在 SAR 图像边缘提取时，即使阈值很高时仍存在， 则保留此边缘。
（3η21 -η03）（η21 +η03）[3（η30 +η12） -（η21 +η03） ]
（9）
2
2
准6 =（η20 -η02）（[ η30 +η12） -（η21 +η03） ]+
4η11（η30 +η12）（η21 +η03）
（10）
2
2
准7 =（3η21 -η03）（η30 +η12）（[ η30 +η12） -3（η21 +η03） ]+
图2 4.114 9 9.536 0 15.071 0 17.184 3 33.576 9 23.329 0 34.237 5 57.423；88
从表 1 中的数据可以看出两个闭合区域的不变矩相似，质 心位置相近，保留图 1 和图 2 中任意一个闭合的边缘。
情况 2 光学图像闭合区域和 SAR 图像开区域，计算质心， 进行轮廓矩匹配，如匹配，则把闭合区域放到最终边缘图。图 3 是 SAR 图像中的一个闭合区域，图 4 是光学图像相近位置上 一个开区域，计算开区域两个端点和质心，在图 3 中找到这两 个端点，图 3 中的闭合区域被这两个端点截取为两部分开区 域，再计算两个开区域的质心，选取与图 4 质心最为相近的那 个开区域。
2 不变矩
对于二维连续函数 （f x，y），（p+q）阶矩定义[1]为：
乙 乙 ∞ ∞
mpq=
xpyq（f x，y）dxdy，p，q=0，1，2，…
-∞ -∞
中心矩定义为：
乙 乙 0
∞∞
μ = 0
0 0
pq
0
-∞
（x-x軃）（p y-y軃）qdxdy
-∞
0
000x軃 = m10 ，y軃 = m01
m 0
2
2
3（η12 -η30）（η21 +η03）[3（η30 +η12） -（η21 +η03） ] （11）
这些矩组对于平移、旋转和缩放是不变的。
作者简介：李璟旭（1982－），女，硕士，主要研究领域为图像处理与识别，图像特征融合等。 收稿日期：2008-05-09 修回日期：2008-08-11
李璟旭：可见光与 SAR 图像的特征级融合
（下转 182 页）
182 2009，45（24）
Computer Engineering and Applications 计算机工程与应用
个混合高斯模型，每一个高斯混合模型的初始权值和方差分别 为 0.2 和 10。权值更新参数为 0.3，均值和方差更新系数为 0.2。 阴影移除实验中 α=0.65，β=0.95，τs、τh 均为 0.3，T=20。实验结 果如图 1 和图 2 所示。
LAB 编程实现。 情况 1 光学图像闭合区域和 SAR 图像闭合区域相匹配，
计算质心，如匹配，则说明实际有这个目标，则把这个闭合区域 放到最终边缘图。
表 1 不变矩数据
不变矩 ф1 ф2 ф3 ф4 ф5 ф6 ф7 质心
图1 4.163 7 9.577 8 15.326 6 17.179 9 33.672 8 23.315 3 34.465 0 57.214；87.354
（a）背景图片
（b）待检测图像 （c）文献[8]方法检测结果
光线突变的场景，（c）为检测结果，检测结果下方缺口是因为球 下方有黑色商标所致。可见此方法对光线突变具有一定的鲁棒性。
6 结束语
讲述了混合高斯模型的基本原理，介绍了使用混合高斯模 型对背景建模及参数更新的方法。并在此基础上使用背景减除 法和基于空间的阴影移除算法去除阴影，从而得到理想的前景 目标。同时考虑到光照突变对目标识别的不良干扰，引入了光 线突变的解决方案，有效地消除了光线突变对混合高斯算法的 影响。由仿真结果可见，算法实时准确地检测出了前景运动目 标，且对光照突变具有一定的适应性。
化矩的定义。与上述基于区域的情况不同的是，这时分母中的
ν0（0 或 m00）的指数是 1+p+q 而非 1+（p+q）/2。
μpq=
νpq =
1+p+q
νpq ，p，q=0，1，2，…
1+p+q
ν00
m00
（16）
最后，为了使轮廓矩不变量具有旋转不变性，只需将尺度规范
化矩式（16）代入式（5）~式（11）。
基于上述工作，进一步的研究方向应是改进混合高斯背景 模型的建模过程，加快其收敛速度以及研究使用参数较少的阴 影去除方法移除阴影。
（d）该文方法检测到的阴影 （e）该文方法检测结果 图 1 检测及去阴影后的结果
（a）背景图像 （b）光线突变的待检测图像 （c）检测结果 图 2 光照发生突变的检测结果
图 1 使用分辨率为 144×176 的摄像头，其中（a）为背景图 像，（b）为待检测的图像，（c）为使用文献[8]所述方法检测出的 前景目标，由于图中左上部分为多层书的侧面，颜色变化很大， 摄像头略微晃动就会引起误检。由图 1（c）可见采用文献[8]方 法左上产生了两处误检。（d）为使用 3.4 节所述方法检测出的 球体阴影。（e）为使用该文所述方法检测到的前景，可见该方法 很好地消除了误检，去除了阴影，取得了较好的检测效果。
5 该文算法步骤
（1）用离散 Canny 算法提取光学图像的边缘，用 Ratio 算法 提取 SAR 图像边缘，并细化，用 Hough 变换检测道路；
（2）SAR 图像中的闭合区域，在光学图像中相近位置找闭 合 区 域 ，计 算 它 们 的 不 变 矩 ，如 果 不 变 矩 相 似 ，则 保 留 其 中 一个；
1 引言
多传感器图像融合是为克服单一传感器在某些方面的不 足，通过对多源信息的融合获得包含各个源图像特征信息的质 量更好的图像，有利于对特定事件和现象进行定位、识别和解 释。由于光学图像和 SAR 图像成像机理不同，即便配准精确的 图像提取出来的边缘也会出现不重合的情况，这是不可避免 的，不是由特征提取算法导致的，而是两图像中的边缘客观存 在偏差。同一目标的两条边缘，在源图像中就存在微小位移，减 少重复边缘，考虑将一幅图像中连续的边缘（包括闭合的边缘） 作为一个整体，考虑相近位置上与另一幅图像边缘之间的相似 度，用不变矩和轮廓矩计算统计量进行各条边缘的匹配，如果 相似度高，则保留其中任意一条，如果相似度低，则全部保留。
（13）
0 0 其中
x0=
m10 m00
，y0=
m01 m00
是质心坐标。对于数字图像的边缘有：
Σ mpq= xpyq△s x，y
（14）
Σ νpq= （x-x0）（p y-y0）q△s x，y
（15）
其中，△s 是轮廓曲线上两个相邻像素点之间的距离，中心矩 νpq
是平移不变的。为了得到尺度不变性，同样也要引进尺度规范
2009，45（24） 179
3 轮廓矩
这里先介绍轮廓矩的定义，平面曲线 l 的（p+q）阶矩定义[2]为：
乙 mp，q= xpyqds，（p，q=0，1，2，…）
（12）
其中，ds 为曲线 l 的弧微分。由此 m00 是曲线的弧长。（p+q）阶 中心矩定义为：
乙 νp，q= （x-x0）（p y-y0）qds，p，q=0，1，2，…
摘 要：针对单一传感器在光谱、空间分辨率等方面存在的局限性，通过多传感器融合技术，最大限度地获取对目标场景的信息描 述。首先采用不同的边缘提取算法提取同一场景的光学图像和 SAR 图像，得到各自的边缘特征图，通过不变矩和轮廓矩等算法对 两幅边缘特征图中的边缘进行匹配融合，得到了比单一图像边缘特征图更完整更清晰的边缘特征图，获取了更多的目标场景的信 息描述。 关键词：边缘提取；图像匹配；图像融合 DOI：10.3778/j.issn.1002-8331.2009.24.053 文章编号：1002－8331（2009）24-0178-02 文献标识码：A 中图分类号：TP751
6 实验
实验用计算机配置为：P4，3.0 G CPU，1 G 内存，用 MAT－
轮廓矩
f1 f2*105 f3*108 f4*108 f5*1015 f6*1010 f7*1028 质心
表 2 轮廓矩数据
图1 0.007 082 8 5.016 5 6.134 3 6.134 3 2.221 5 4.344 8 1.173 7 162.84；20.253
LI Jing-xu.Optical and SAR images’feature fusion.Computer Engineering and Applications，2009，45（24）：178-179.
Abstract：Aiming at single sensor’s limitation on spectrum and spatial resolution，this paper uses the technology of multi-sensor fusion，which furthest obtains the information description of target scene.This paper firstly adopts different edge detection to extract the same scene’s optical image and SAR image，obtaining each one’s edge feature image.By adopting the methods of moment in－ variants and contour-based moment to match each edge in the two edge feature images，this paper obtains the clearer and even more complete image. Key words：edge detection；image matching；image fusion