图像拼接和图像融合ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
对来自多个传感器的多源信息进行多级别、多方面 和多层次的处理和综合，从而获得更丰富、更准确、 更可靠的有用信息。
信息融合是一种多层次、多方面的处理过程，这个 过程对多源信息进行检测、结合、相关、估计和组 合，以达到精确的状态估计和身份估计记忆完整、 及时的态势估计和威胁估计。 ——J.Llinas and W.Edward
C(u,v)表示了模板在图像上位移(u,v)位Fra Baidu bibliotek的相似 成都
13
2. 基于变换域的图像配准
14
15
1. 平移检测 clear; I = imread('cameraman.tif'); %参数[25,30]可以修改，修改后平移距离对应改变 ,得到图像平移后图像TI se = translate(strel(1), [35 25]); TI = imdilate(I,se); imshow(TI); %Fourier变换 FI = fft2(I); FTI = fft2(TI); %相关量 hgl = FI.*conj(FTI)./(abs(FI.*conj(FTI))); %逆Fourier变换得到deta函数 deta = abs(ifft2(hgl)); %显示突变点 x = 1:size(I,1); y = 1:size(I,2); mesh(x,y,deta); %求出平移变换点 [x0,y0] = find(deta == max(max(deta)));
最低层次的图像融合，准确性最高，能够提供其他层次处理所具有的细 节信息。处理的信息量较大。
◦ 特征级
与处理和特征提取后获得的景物信息如边缘，形状，纹理和区域等信息 进行综合与处理。
中间层次信息融合，即保留了足够数量的重要信息，有可对信息进行压 缩，有利于实时处理
◦ 决策级
根据一定的准则以及每个决策的可信度做出最优决策。 最高层次的信息融合，实时性好，并且具有一定的容错能力。 基于认知模型的方法，需要大型数据库和专家决策系统进行分析、推断、
16
2. 旋转变化
子函数：极坐标转化
function PI = Car2PIm(I)
%I = imread('standard_lena.bmp');
[MI,NI] = size(I);
M2 = MI/2;
N2 = NI/2;
PMax = round(sqrt(M2^2+N2^2))+1;
步骤：
1）特征提取：特征点（角点，高曲率点），直线段，边缘，轮廓， 闭合区域，特征结构以及统计特征，矩不变量，重心等
2）特征匹配 3）图像转换——完成图像整理变换
12
1. 互相关法： 它是一种匹配度量，通过计算模板图像和搜索窗 口之间的互相关值，来确定匹配的成都，互相关 最大时的搜索窗口决定了末班图像在待匹配图像 中的位置。 对图像I和一个尺寸小于I的模板T，归一化二维交 叉相关函数定义如下：
主成分分析，K-T变换
10
2. 图像矫正和配准
◦ 基于灰度信息的图像配准
基于灰度的一些统计信息来度量图像的相似度。 优点简单易行，缺点计算量大，对噪声敏感。 三种方法
互相关法 序贯相似度检测匹配 交互信息法
◦ 基于变换域图像配准方法
图像间的平移，旋转，缩放在频域上有对应，对抗噪声有一 定的鲁棒性
识别。
9
1. 图像增强
◦ 空间域增强
点运算：线性变换，非线性变换，直方图均衡化，归一化。 邻域运算：图像平滑，锐化
◦ 频域增强
塔式分解增强，Fourier变换增强，滤波
◦ 彩色增强
伪彩色增强，假彩色增强，彩色变换
◦ 图像代数运算
插值法，比值法，混合运算法，分辨率融合
◦ 多光谱图像增强
6
多源图像
◦ 多聚焦图像：
光学传感器的不同成像方式（指不同聚焦点）获得的图像
7
多源图像
◦ 时间序列（动态）图像：
同种图像传感器以相同成像方式在离散时刻拍摄的图像
8
图像配准、图像融合、特征提取、识别与决策 图像融合分三个层次：
◦ 像素级
严格配准的条件下，直接进行信息综合。基于数据层面，主要完成多源 图像中目标和背景信息的直接融合。
11
2. 图像矫正和配准
◦ 基于特征的图像配准方法
基于灰度和变换域有如下不足：
受光照影响大，对灰度变换敏感 搜索空间会出现很多局部极值点，涉及到阈值的设定 处理信息量大，计算复杂度高 对旋转，尺度变换以及遮掩等敏感
基于特征的方法
图像中特征数较少，特征间的匹配度量岁位置变动很大，可以利 用图像轮廓特征间的几何约束关系，对干扰变形等有较强的适应 能力——比如指纹中的特征点匹配，纹线匹配
3
图像融合是以图像为研究对象的信息融合，它把对 同一目标或场景的用不同传感器获得的不同图像， 或用同种传感器以不同成像方式或在不同成像时间 获得的不同图像，融合为一幅图像，在一幅融合图 像中能反应多重原始图像的信息，已达到对目标和 场景的综合描述，使之更适合视觉感知或计算机处 理。
它综合了传感器、信号处理、图像处理和人工智能 等技术的新兴学科。
2
图像融合是将两个或两个以上的传感器在同一时间 或不同时间获取的关于某个具体场景的图像或图像 序列信息加以综合，以生成新的有关此场景解释的 信息处理过程。
图像融合是是指将多源信道所采集到的关于同一目 标的图像数据经过图像处理和计算机技术等，最大 限度的提取各自信道中的有利信息，最后综合成高 质量的图像，以提高图像信息的利用率、改善计算 机解译精度和可靠性、提升原始图像的空间分辨率 和光谱分辨率。
4
多源图像
◦ 多传感器图像：
成像机理不同的独立传感器获得的图像（不包括遥感图像） 如前视红外图像和可见光图像 CT图像和MRI图像 前视红外线图像和毫米波雷达图像
5
多源图像
◦ 遥感多光源图像：
成像机理不同的传感器或同种传感器不同工作模式获得的遥 感图像
如:SPOT卫星的多光谱图像和全色图像 Quick Bird卫星的多光谱图像和全色图像
对来自多个传感器的多源信息进行多级别、多方面 和多层次的处理和综合，从而获得更丰富、更准确、 更可靠的有用信息。
信息融合是一种多层次、多方面的处理过程，这个 过程对多源信息进行检测、结合、相关、估计和组 合，以达到精确的状态估计和身份估计记忆完整、 及时的态势估计和威胁估计。 ——J.Llinas and W.Edward
C(u,v)表示了模板在图像上位移(u,v)位Fra Baidu bibliotek的相似 成都
13
2. 基于变换域的图像配准
14
15
1. 平移检测 clear; I = imread('cameraman.tif'); %参数[25,30]可以修改，修改后平移距离对应改变 ,得到图像平移后图像TI se = translate(strel(1), [35 25]); TI = imdilate(I,se); imshow(TI); %Fourier变换 FI = fft2(I); FTI = fft2(TI); %相关量 hgl = FI.*conj(FTI)./(abs(FI.*conj(FTI))); %逆Fourier变换得到deta函数 deta = abs(ifft2(hgl)); %显示突变点 x = 1:size(I,1); y = 1:size(I,2); mesh(x,y,deta); %求出平移变换点 [x0,y0] = find(deta == max(max(deta)));
最低层次的图像融合，准确性最高，能够提供其他层次处理所具有的细 节信息。处理的信息量较大。
◦ 特征级
与处理和特征提取后获得的景物信息如边缘，形状，纹理和区域等信息 进行综合与处理。
中间层次信息融合，即保留了足够数量的重要信息，有可对信息进行压 缩，有利于实时处理
◦ 决策级
根据一定的准则以及每个决策的可信度做出最优决策。 最高层次的信息融合，实时性好，并且具有一定的容错能力。 基于认知模型的方法，需要大型数据库和专家决策系统进行分析、推断、
16
2. 旋转变化
子函数：极坐标转化
function PI = Car2PIm(I)
%I = imread('standard_lena.bmp');
[MI,NI] = size(I);
M2 = MI/2;
N2 = NI/2;
PMax = round(sqrt(M2^2+N2^2))+1;
步骤：
1）特征提取：特征点（角点，高曲率点），直线段，边缘，轮廓， 闭合区域，特征结构以及统计特征，矩不变量，重心等
2）特征匹配 3）图像转换——完成图像整理变换
12
1. 互相关法： 它是一种匹配度量，通过计算模板图像和搜索窗 口之间的互相关值，来确定匹配的成都，互相关 最大时的搜索窗口决定了末班图像在待匹配图像 中的位置。 对图像I和一个尺寸小于I的模板T，归一化二维交 叉相关函数定义如下：
主成分分析，K-T变换
10
2. 图像矫正和配准
◦ 基于灰度信息的图像配准
基于灰度的一些统计信息来度量图像的相似度。 优点简单易行，缺点计算量大，对噪声敏感。 三种方法
互相关法 序贯相似度检测匹配 交互信息法
◦ 基于变换域图像配准方法
图像间的平移，旋转，缩放在频域上有对应，对抗噪声有一 定的鲁棒性
识别。
9
1. 图像增强
◦ 空间域增强
点运算：线性变换，非线性变换，直方图均衡化，归一化。 邻域运算：图像平滑，锐化
◦ 频域增强
塔式分解增强，Fourier变换增强，滤波
◦ 彩色增强
伪彩色增强，假彩色增强，彩色变换
◦ 图像代数运算
插值法，比值法，混合运算法，分辨率融合
◦ 多光谱图像增强
6
多源图像
◦ 多聚焦图像：
光学传感器的不同成像方式（指不同聚焦点）获得的图像
7
多源图像
◦ 时间序列（动态）图像：
同种图像传感器以相同成像方式在离散时刻拍摄的图像
8
图像配准、图像融合、特征提取、识别与决策 图像融合分三个层次：
◦ 像素级
严格配准的条件下，直接进行信息综合。基于数据层面，主要完成多源 图像中目标和背景信息的直接融合。
11
2. 图像矫正和配准
◦ 基于特征的图像配准方法
基于灰度和变换域有如下不足：
受光照影响大，对灰度变换敏感 搜索空间会出现很多局部极值点，涉及到阈值的设定 处理信息量大，计算复杂度高 对旋转，尺度变换以及遮掩等敏感
基于特征的方法
图像中特征数较少，特征间的匹配度量岁位置变动很大，可以利 用图像轮廓特征间的几何约束关系，对干扰变形等有较强的适应 能力——比如指纹中的特征点匹配，纹线匹配
3
图像融合是以图像为研究对象的信息融合，它把对 同一目标或场景的用不同传感器获得的不同图像， 或用同种传感器以不同成像方式或在不同成像时间 获得的不同图像，融合为一幅图像，在一幅融合图 像中能反应多重原始图像的信息，已达到对目标和 场景的综合描述，使之更适合视觉感知或计算机处 理。
它综合了传感器、信号处理、图像处理和人工智能 等技术的新兴学科。
2
图像融合是将两个或两个以上的传感器在同一时间 或不同时间获取的关于某个具体场景的图像或图像 序列信息加以综合，以生成新的有关此场景解释的 信息处理过程。
图像融合是是指将多源信道所采集到的关于同一目 标的图像数据经过图像处理和计算机技术等，最大 限度的提取各自信道中的有利信息，最后综合成高 质量的图像，以提高图像信息的利用率、改善计算 机解译精度和可靠性、提升原始图像的空间分辨率 和光谱分辨率。
4
多源图像
◦ 多传感器图像：
成像机理不同的独立传感器获得的图像（不包括遥感图像） 如前视红外图像和可见光图像 CT图像和MRI图像 前视红外线图像和毫米波雷达图像
5
多源图像
◦ 遥感多光源图像：
成像机理不同的传感器或同种传感器不同工作模式获得的遥 感图像
如:SPOT卫星的多光谱图像和全色图像 Quick Bird卫星的多光谱图像和全色图像