疵点检测系统中图像融合算法(20200524225038)

疵点检测系统中图像融合算法
1引言
图像融合是指两个或者两个以上的传感器在同一时间（或不同时间）采集的关于同一
目标的图像进行适当的处理，产生一幅新的图像，使之更适合人眼感知或计算机后续处理。

各传感器获取的图像间既存在冗余性又存在互补性，利用冗余信息可以改善信噪比并且可
获得更为可靠的结果。

同样，利用互补信息可使获得的融合图像包含更丰富的细节及更全
面的信息。

通过对其融合,能够提高系统的可靠性和图像信息的利用效率。

由于利用了来自
多传感器的多源图像，所以，融合后图像对场景的描述比任何单一源图像都更全面、更精
确。

在不利的环境条件下(如烟、雾、雨、低照明、运动等)或者当一个图像传感器不足以
提供用于目标识别或场景描述的足够信息时，通过图像融合我们仍可获得较满意的图像效
果。

由于本文要求检测的幅面宽，单台CCD达不到精度要求，故采用多线阵CCD并行采集数据。

本文运用图像融合学知识，编写程序来实现多线阵CCD的图像融合，来达到还
原实际图像，准确检测各种疵点的目的。

2图像融合的分类和方法
图像融合按照融合在处理流程中的阶段可分为三个层次:像素级图像融合、特征级图像
融合、决策级图像融合。

像素级图像融合是最基本、最重要的图像融合方法,也是获取信息最多、适用范围最广
的一种融合方法。

像素级图像融合保留了源图像更多的细节信息，且其精度较高，因此备
受人们的重视，是现在图像融合的研究热点"像素级图像融合是直接对多传感器的原始图像
中像素点进行处理,得到一幅新的图像"像素级融合属于基础的,底层的融合。

其优点是信息
丢失少，它尽可能地保留了场景的原始信息"缺点是计算量大!处理速度慢。

目前,像素级图
像融合主要用于图像分析、图像理解等处理工作的前期处理。

像素级图像融合方法主要有
空间域融合法和变换域融合法。

空间域融合法主要有像素灰度选择法和加权平均法变换域，
融合法主要有基于塔形分解和基于小波分解的图像融合方法。

此外,像素级图像融合的其它
方法还有:逻辑滤波器法!数学形态法、图像代数法、模拟退火法等"变换域融合法运算复杂,难以实时处理困。

空间域融合法精度较变换域融合法低，但运算过程简单，易满足实时性
要求。

其中，加权平均法根据应用对象的不同,可灵活选用加权系数,也能取得较好的融合效果。

特征级图像融合是从各个传感器图像中提取特征信息，并将其进行综合分析和处理的
过程。

提取的特征信息应是像素信息的充分表示量或充分统计量。

典型的特征信息有边缘、
形状、轮廓、角、纹理、相似亮度区域、相似景深区域等。

在进行融合处理时，所关心的主要特征信息的具体形式和内容与多传感器图像融合的
应用目的和场合密切相关。

通过特征级图像融合可以在原始图像中挖掘相关特征信息、增
加特征信息的可信度!排除虚假特征!建立新的复合特征等。

特征级图像融合是中间层次上
的融合，为决策级融合做准备"特征级融合对传感器对准要求不如像素级要求严格，因此图
像传感器可分布于不同平台上。

由于所提出的特征直接与决策分析有关,因而融合结果能最
大限度地给出决策分析所需要的特征信息。

与像素级融合相比,信息丢失量较大,计算量减少。

特征级图像融合的方法主要有聚类分析方法、Dempster-Shafer推理方法、信息嫡方法、表
决方法等。

决策级图像融合是对各幅图像进行处理，得出决策,然后对决策进行融合，得出最后的
结论。

最终的决策结果是全局最优决策。

决策级融合是一种高层次的融合，其结果将为各
种控制或决策提供依据。

为此,决策级融合必须结合具体的应用及需求特点，有选择地利用
特征级融合所抽取或测量的有关目标的各类特征信息，才能实现决策级融合的目的，其结
果将直接影响最后的决策水平。

决策级融合的主要优点可概括为：融合数据量最小，因此
实时性好。

容错性高，抗干扰能力强，对于一个或若干个传感器的数据干扰,可以通过适当的融合方法予以消除。

数据要求低,传感器可以是同质或异质，对传感器的依赖性和要求降
低。

分析能力强，能全方位有效反映目标及环境的信息，满足不同应用的需要。

决策级图
像融合的方法主要有贝叶斯估计法、神经网络法、模糊聚类法、专家系统等。

以上三个层次的图像融合方法的比较情况如表1所示。

表1 图像融合层次及其性能比较
像素级图像融合特征级图像融合决策级图像融合融合层次
特性
信息量最大中等最小
信息损失最小中等最大
容错性最差中等最好
抗干扰性最差中等最好
对传感器的依赖性最大中等最小融合方法难易最难中等最易预处理最小中等最大
分类性能最好中等最差
系统开放性最差中等最好
3横向融合与纵向融合
本文所讨论的图像融合问题包括图像的横向融合和纵向融合两部分。

由于单台CCD 摄像机只有4K的水平像素,不能达到要求。

根据检测的需要，本文提出了运用多线阵CCD 并行采集数据的检测方案"该方案将塑料薄膜表面在横向上划分为若干个相互重叠的区域,运用多个线阵CCD对宽幅面塑料薄膜表面进行分段成像，每个区域成像到各自的线阵
CCD上。

为了还原实际图像，这里就存在对各线阵CCD的输出信号所形成图像的横向融
合问题。

横向融合即相邻CCD传感器的同一帧数据行间并行图像融合。

在解决图像横向融合
问题时，为了避免检测盲区,两相邻横向成像区域之间应有相互重叠的部分，其大小视分辨
率及后期图像处理的算法而定"重叠部分过小，可能无法达到分辨率的要求;如果过大,会造成存储空间和运算时间上的浪费，因此在设计时保证无漏检的情况下尽可能减小重叠的尺
寸。

纵向融合即同一个CCD传感器的前后两帧行间串行图像融合。

在完成图像横向融合
后,还要考虑当疵点横跨两个相邻CCD扫描区域时检测算法的实现问题。

在同步驱动多个线阵CCD,并行采集各线阵CCD的输出信号时,每完成一帧数据的采集就会通过数据采集系统送入计算机"当疵点面积较大时,可能会纵跨相邻两帧图像数据所在
区域,这时就存在纵向图像融合问题"所以,还要考虑纵向图像融合问题。

为了更好解释横向融合和纵向融合的原理，下面结合疵点在图像中可能出现的位置来
加以说明。

单个疵点在相邻两CCD采集的各帧图像数据中可能出现的位置如图1至图4所示。

图1 疵点只在单CCD的一帧图像数据中出现
图2 疵点横跨相邻两CCD两帧图像数据所在区域
图3疵点纵跨单CCD前后两帧图像数据所在区域
图4疵点横跨纵跨相邻两CCD四帧图像数据交界区域由上面四个图可知，图1不用进行图像融合，直接进入下一步的疵点检测阶段；图2需要先进行横向图像融合，然后才能进入下一步的疵点检测阶段；图3需要先进行纵向图像融合，然后才能进入下一步的疵点检测阶段；图4既需要进行横向图像融合又需要进行
纵向图像融合，然后才能进入下一步的疵点检测阶段。

考虑到上述原因和线阵图像传感器的特点,有必要进行横向融合和纵向融合。

为了上述
融合和图像处理符合在线检测要求,为了应对疵点位置可能出现的四种情况,设计了适合多线阵CCD的图像融合算法，其基本流程图如图5所示。

其中,横向融合的原理是难点，具体原理可见上一节中的介绍。

纵向融合的原理是：对
某一帧图像进行逐行扫描时，发现某一个像素点为/可疑点0时，则记录该行的行号,即该疵点上边界起始行号，说明疵点开始出现；继续扫描下一行，发现该行存在/可疑点0时,则继续扫描；直到发现某一行没有/可疑点0，则记录下该行的行号，即该疵点下边界结束行号，
说明疵点结束。

若发现这个结束行号是在该帧最后一行以前,则说明该疵点没有纵跨单
CCD前后两帧图像数据所在区域,即不需要纵向融合;若扫描到该帧的最后一行仍没有发现
整行无/可疑点0的情况,则认为该疵点纵跨单CCD前后两帧图像数据所在区域。

此时,记录该帧最后一行的行号,把该行和起始行之间的图像数据以数组形式存入缓冲区。

然后对下一
帧图像进行逐行扫描，发现某一个像素为/可疑点0时,则继续扫描；直到发现某一行没有/可疑点0,则记录下该行的行号,即该疵点下边界结束行号,说明疵点结束;把从该帧开始到结
束行号之间的图像数据以数组的形式链接到缓冲区中已有的数组后面,合成一个新数组,则该新数组包含了一个完整疵点的全部数据信息。

4.基于灰度的加权平均图像融合算法
像素级图像融合是最基本、最重要的图像融合方法,也是获取信息最多、适用范围最广
的一种融合方法。

因此,本文选用像素级图像融合方法。

在像素级图像融合方法中，变换域
融合法运算复杂，难以实时处理。

空间域融合法精度较变换域融合法低，但运算过程简单，
易满足实时性要求。

因此，本文选用空间域融合法。

其中，加权平均法根据应用对象的不
同，可灵活选用加权系数，也能取得较好的融合效果。

因此，本文最终采用加权平均法进
行图像融合。

由于要求检测的幅面宽,单台CCD达不到精度要求,故采用多线阵CCD并行采集数据。

将塑料薄膜表面在横向上划分若干区域,每个区域成像到各自线阵CCD上,构成独立的线阵CCD成像系统"上位机接收疵点信息,对各CCD采集的图像要进行图像融合和处理,得到一幅完整图像的数据,实现图像的仿真再现，便于后续的疵点检测。

在选择性图像融合算法中，
选择性主要体现在:若各CCD采集的图像数据均不含疵点，则不进行图像融合；只要有一
帧数据含有疵点,则进行图像融合。

这样可以减少图像融合的工作量和时间，满足在线检测
的要求。

为了避免漏检，相邻两个线阵CCD的成像区域应该有必要的重叠,其大小视分辨率及后期图像处理的算法而定。

重叠部分的大小应该适当,太小可能达不到分辨率的要求，
太大会造成不必要的储存空间和运算时间的浪费。

加权平均法是一种简单有效的多幅图像融合方法，也就是对多幅原图像的对应像素点
进行加权处理"为了便于说明，这里以两个源图像的融合为例来说明加权平均法在实验中的
运用"对于三个或三个以上源图像融合的情形,可以类推。

假设重叠部分在CCD一中成像为imA,在CCD-B中成像为imB,分别如图6和图7所示。

图6 CCDA获得的图像图7 CCDB获得的图像假设A(i,j)为图像imA中的一个像素点,B(i,j)为图像imB中与之对应的像素点,图像大小为N1*N2,调用TransPort函数直接进行图像融合,直接融合后得到的图像为F,则对
lmA,imB两个源图像的灰度加权平均融合过程可表示为:F(i,j)=W A A(i,j)+W B B(i,j)。

其中，i为图像中像素的行号，i=1,2,,,N1；j为图像中像素的列号,j=l,2,,,N2;W A，W B为加权系数,W A+W B=l,在不同的图像融合中,通过仿真确定它们的值"多数情况下,在加权平均融合的方法中,参加融合的图像提供冗余信息,通过这种融合可以提高目标检测的可靠性"同时,当用于多帧图像的融合时,可以提高融合图像的信噪比W A=W B=0.5,则为平均融合。

本文选用平均融合,这样算法简便,适合实时处理"直接融合后得到的图像F与CCD-A、CCD-B 中未重叠部分的图像经过处理,得到一帧完整的图像油ADi氏这样便于后续的疵点检测,如图8所示。

图8 经融合和处理后的完整图像
5小结
本文首先介绍了多传感器图像融合的基本概念,图像融合的分类和方法"然后结合课题
需要详细地介绍了本课题所涉及到的横向融合和纵向融合的概念。

最后介绍了本文所采用
的基于灰度的加权平均图像融合算法。

本课题通过本章的图像融合算法来实现多线阵CCD 的图像融合，来达到还原实际图像的目的，为下一阶段准确检测各种疵点打下良好的基础。