图像融合算法研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
柳翠寅 多波段图像配准与融合
5
近进着陆助视导航 多波段图像配准 多波段图像融合
毫米波雷达 红外相机
多源图像配准
多源图像融合
HUD
普通相机
去雾处理 场景分析理解
GPS/INS导航
摄像机参数求解 三维数据分析
三维场景图像绘 制
综合助视导航系统框架
柳翠寅 多波段图像配准与融合
6
近进着陆助视导航 多波段图像配准 多波段图像融合
柳翠寅 多波段图像配准与融合
2
近进着陆助视导航 多波段图像配准 多波段图像融合
FSF统计了波音公司从2001到2010的十年之间,世界商业飞行共发生 重大航空事故87起,而在进近着陆阶段就有31起,占事故总数的36%。
柳翠寅 多波段图像配准与融合
3
近进着陆助视导航 多波段图像配准 多波段图像融合
F2 (u, v) F1(u, v)e j2 (ux0 vy0 )
Fourie与对极数变换
f2 (x, y) f1(xr cos yr sin x, xr sin yr cos y)
F 2(u, v) exp( j2 (ux0 vy0 ))* F1(ur cos vr sin , ur sin vr cos )
近进着陆助视导航 多波段图像配准 多波段图像融合
1、低能见度近进着陆助视导航 2、多波段图像配准 3、多波段图像融合
柳翠寅 多波段图像配准与融合
1
近进着陆助视导航 多波段图像配准 多波段图像融合
低能见度下的综合助视导航
•民航飞行整个过程:起飞、爬升、复飞、巡航、航路下降、进近和着陆几个阶段。 •飞机事故高发阶段:进近后着陆最后8分钟。 •国际飞行安全基金会(FSF,Flight Safety Foundation) : •该基金会专门负责对进近着陆事故进行系统的分析与研究,并给出了世界商业客机运输 飞行事故在各飞行阶段的数据 。
柳翠寅 多波段图像配准与融合
12
近进着陆助视导航 多波段图像配准 多波段图像融合
传统配准方法
Harris角点检测结果
Sift斑点检测结果
柳翠寅
多波段图像配准与融合
13
近进着陆助视导航 多波段图像配准 多波段图像融合
基于直线特征的红外与可见光图像配准
p Tp '
H arg min H
i
柳翠寅 多波段图像配准与融合
8
近进着陆助视导航 多波段图像配准 多波段图像融合
传统配准方法
待配准图像间变换模型:
R(u, v) F(T (x, y))
T : 为二维空间位置变换函数.
基于灰度信息的图像配准方法:
Step1:选定配准的几何变换数学模型,设定两幅图像达到配准的 相似度量函数;
Step2:设定初始变换几何参数,选用有效的优化搜索算法,搜索 使相似度函数值达到最大时的几何参数。
•合成视觉系统(Synthetic Vision System,SVS)
•通过三维图像大场景绘制来解决这一问题。存储飞行降落场景的三维地形数据,根 据飞行时的相关飞行导航数据,确定飞机所在三维空间中的位置,以该位置为视点 生成着生成着陆的三维场景。
柳翠寅 多波段图像配准与融合
4
近进着陆助视导航 多波段图像配准 多波段图像融合
传统配准方法
(26)
斑点检测Sift斑点 1. 检测尺度空间的极值点。
D(x, y, ) (G(x, y, k ) G(x, y,来自百度文库 )) I (x, y)
2. 抽取稳定的关键点。
L(x, y, k ) L(x, y, )
去除极值不稳定的点和边缘点
3. 为每个关键点指定一个或者多个方向。
A C
C B
每个像素的响应值 R det M k(traceM )2 k 0.04 ~ 0.06
det M 12 AC B2
traceM 1 2 A C
柳翠寅 多波段图像配准与融合
11
近进着陆助视导航 多波段图像配准 多波段图像融合
柳翠寅 多波段图像配准与融合
7
近进着陆助视导航 多波段图像配准 多波段图像融合
Image courtesy of Massachusetts Executiv e Of f ice of Env ironmental Af f airs
Image courtesy of mPower3/Emerge
对该算法改进:相似度量函数( SSDA , CC, MI )。
特点与应用范围:简单易于实现,计算量大耗时长,主要在于医学图像.
柳翠寅
多波段图像配准与融合
9
近进着陆助视导航 多波段图像配准 多波段图像融合
传统配准方法
变换域的图像配准(Fourier-Mellin变换)
Fourie2Mellin变换位移:对待配准图像 f2(x, y) ,f1(x, y)
E( pi , Hpi' )
l,l
'
直线
的数学模型:
低能见度下的综合助视导航
•平视指引系统(Head-up Guidance System,HGS) •重要飞行数据以图形符号的方式在座舱前方的HUD(Head-up Display)上显示 。
•增强视觉系统(Enhanced Flight Vision System,EFVS)
•机载红外设备或雷达,获得外部环境图像信息,扩展飞行人员视场,增强飞行员对 飞行状态的感知能力;
M2 (u, v) M1(ur cos , ur sin vr cos )
柳翠寅
多波段图像配准与融合
10
近进着陆助视导航 多波段图像配准 多波段图像融合
传统配准方法
基于特征点检测的图像配准
角点检测Harris角点M (x, y)
w
I Ix
2 x
I
y
Ix I
Iy
2 y
m(x, y) (L(x 1, y) L(x 1, y))2 (L(x, y 1) L(x, y 1))2
4. 生成特征点描述子
(x,
y)
tan
2
L(x, y 1) L(x 1, y)
L(x, y 1) L(x 1, y)
使用16*16的像素区域,并且邻域划分为4*4个子区域。 每个子区域生成一个描述子,一个描述子中涉及8个方 向。所以每个关键点有4*4*8=128维。