6-影像匹配的基本算法 (1)

分别以（xi’, yi’）与（xi”，yi”）为中心在
左右影像上取影像窗口，计算其匹配测 度，如相关系数pi。
将i的值增加1，重复（2），（3）两步，
得到ρ0，ρ1，ρ2，···ρn取其最大者ρk：
ρk＝ max{ρ0，ρ1，ρ2，···ρn}
还可以利用 ρ k 及其相邻的几个相关
系数拟合一抛物线，以其极值对应的 高程作为 A 点的高程，以进一步提高 精度，或以更小的高程步距在一小范 围内重复以上过程。
若S2（c0, r0） < S2（c, r），则c0, r0为搜 索区影像相对于目标区影像的位移行、列 参数。对于一维相关应有r ≡ 0。
两影像窗口灰度差的平方和即灰度向
量X与Y之差矢量
S = X −Y =(x1 − y1) +(x2 − y2) +L+(xN − yN ) =∑(xi − yi )
2 2 2 2 2 i=1 N 2
故差平方和最小等于N维空间点Y与点X 之距离最小。当N＝2时，
S = ( x1 − y1 ) + ( x 2 − y 2 ) = min
2 2 2
二维平面上的一个圆 二维平面上以（x1，y2）为中心、边长为、
对角线与坐标轴平行的一个正方形
差绝对值和（差矢量分量绝对值和）
R (X ⋅Y ) =
∑
N
是y1，y2，…,yN的线性函数
R =
在N维空间{ x1，x2，…,xN}中，R
i=1
xi y
j
∑
N
x
i = 1
i
y
j
=
max
它是N维空间的一个超平面。当N=2时
R＝ x1yl＋ x2y2
（X· Y）＝ |X| · |Y|·cosθ＝ max |Y|cosθ＝ max
影像匹配的基本算法
武汉大学 遥感信息工程学院 摄影测量教研室
主要内容
基于像方的匹配算法 基于物方的匹配算法 影像匹配的精度
数字影像匹配基本算法
影像匹配实质上是在两幅（或多幅） 影像之间识别同名点
匹配点的数学描述
z 位置描述 z 特征属性描述
P 1 = ( x1 , y1 )
P2 = ( x2 , y2 )
Gr′,c = (g i + r , j + c )
N = m ⋅ n Y = ( y1 , y2 , L , y N )
(r = INT (m 2 )+ 1,L, k − INT (m 2 )) (c = INT (n 2 )+ 1,L, l − INT (n 2 ))
(i = 1,2,L, m; j = 1,2,L, n )
( x , y )∈ D
∫∫
g ( x , y ) dxdy
E [ g ′( x + p , y + q )] =
1 D
( x , y )∈ D
∫∫ g ′( x +
p , y + q )] dxdy
若C（p0, q0） ＞ C（p, q）（ p≠p0， q≠q0）， 则 p0, q0为搜索区影像相对于目标区影像的位 移参数。对于一维相关应有q ≡ 0。
S ( p, q ) =
( x , y )∈D
∫∫
g ( x, y ) − g ′( x + p, y + q) dxdy
离散灰度数据差绝对值和的计算公式为
S (c, r) =
∑ ∑
i=1
m
n
g
j=1
i, j
− g i′+ r , j + c
若S（c0, r0） < S（c, r）（ c≠c0， r≠r0），则 c0, r0 为搜索区影像相对于目标区影像的位移 行、列参数。对于一维相关应有r ≡ 0。
ρ (c, r ) =
∑ ∑ (g
i =1 j =1 m n i =1 j =1
m
n
i, j
− g )( g i′+ r , j + c − g ′)
m n
2 2 ′ ′ ( g − g ) ⋅ ( g − g ) ∑ ∑ i, j ∑ ∑ i + r , j + c r ,c ⋅ i =1 j =1
图5-3-7 相关系数抛物线拟合
影像匹配精度
影像匹配（相关）即使 在定位到整像素的情况 下，其理论精度也可达 到大约0.3像素的精度。
整像素相关的精度
影像相关是左影像为目标区与右影像上搜索区内
相对应的相同大小的一影像相比较，求得相关系 数，代表各窗口中心像素的中央点处的匹配测度
半个像素
C（c0, r0） ＞ C（c, r）（ c≠c0， r≠r0）
则c0, r0为搜索区影像相对于目标区影像 的位移行、列参数
协方差函数的估计值即矢量Y’与X’的数积
C = ( X ′ ⋅ Y ′) = ∑( xi − x)( y j − y) = ∑xi′y′j
i =1 i=1
N
N
C是 Y’ 在 X’的投影与X’的长之积，因而协
N
即灰度矢量经线性变换后相关系 数是不变的
差平方和（差矢量模）
S2 ( p, q) =
( x, y )∈D 2 ′ [ g ( x , y ) − g ( x + p , y + q ) ] dxdy ∫∫
S (c, r) =
2
∑ ∑
i =1
m
n
j =1
( g i, j
2 ′ − g i+ r, j+ c )
O1 = (P 1 , f1 )
O2 = (P2 , f 2 )
影像匹配与映射
z 影像匹配就是建立一个映射函数 z 通过匹配测度，如相似性测度、相关准则、相关量、 相关数据等参数确定是否为同名点。 z 回答两个问题
m( f1 , f 2 ) = max 或 min O1 ∈ I1 , O2 ∈ I 2
相关函数最大（即
矢量X与Y的数积最 大）等价于矢量Y在 X上的投影最大
协方差函数（矢量投影）
C( p, q) =
( x, y)∈D
g′(x + p, y + q) − E[g′(x + p, y + q)]} dxdy ∫∫{g(x, y) − E[g(x, y)]}{
1 D
E [ g ( x . y )] =
( x , y )∈ D
2 ′ ′ { g ( x + p , y + q ) − E [ g ( x + p , y + q )]} dxdy ∫∫
∫∫
{ g ( x , y ) − E [ g ( x , y )]} 2 dxdy
( x , y )∈D
若ρ（p0, q0） ＞ ρ（p, q）（ p≠p0， q≠q0）， 则 p0, q0为搜索区影像相对于目标区影像的位移 参数。对于一维相关应有q ≡ 0。
方差测度等价于Y’在X’上投影最大，
C = max
在二维空间中是平行于（或E）的一条直线
减去信号的均值等于去掉其
直流分量。因而当两影像的灰 度强度平均相差一个常量时， 应用协方差测度可不受影响。
相关系数（矢量夹角）
ρ ( p , q ) =
C gg =
Cg′g′ ( p, q) =
C ( p , q ) C gg C g ′g ′ ( p , q )
相关系数的估计值最大，等价于矢量X’与Y’
的夹角最小
( X ′ ⋅ Y ′) X ′ Y ′ cosα ρ= = = cosα X′ Байду номын сангаас′ X′ Y′
取值范围满足
ρ
≤ 1
相关系数是灰度线性变换的不变量
ρ=
∑( x − x )( y − y)
i =1 i i
N
=
2
∑ (x
i =1
N
i
− x )[( ay i + b ) − ( a y + b )]
C ( c, r ) = ∑∑ ( g i , j − g ) ⋅ ( g i′+ r , j + c − g ′)
i =1 j =1
m
n
1 m n ′,r = gc gi′+r , j +c ∑∑ m ⋅ n i =1 j =1
1 m n g= gi, j ∑ ∑ m ⋅ n i =1 j =1
1 m n ′,r = gc gi′+r, j+c ∑∑ m⋅ n i=1 j=1
m n
1 g = m ⋅n
∑∑g
i =1 j = 1
m
n
i, j
相关系数的实用公式为：
ρ(c, r) =
m n 1 m n (gi, j ⋅ gi+r, j+c ) − (∑∑gi, j )(∑∑gi′+r, j+c ) ∑∑ m⋅ n i=1 j=1 i=1 j=1 i=1 j=1 m n m n m n 1 1 [∑∑g2i, j − (∑∑gi, j )2 ][∑∑g′2i+r, j+c − (∑∑gi′+r, j+c )2 ] m⋅ n i=1 j=1 m⋅ n i=1 j=1 i=1 j=1 i=1 j=1 m n
若
离散灰度数据对相关函数的估计公式为
R (c, r) =
∑ ∑
i=1
m
n
g
j=1
i, j
⋅ g i′ +
r , j+ c
若
R(c0,r0) > R(c,r)
(r ≠ r0),c ≠ c0)
则c0, r0为搜索区影像相对于目标区影
像的位移行、列参数。对于一维相关应 有 r ≡ 0。
相关函数的估计值即矢量X与Y的数积
P2 = M (P1 , T )
常见的五种基本匹配算法
同名点的确定是以匹配测度为基础
G ( g ij )
′) G ′ = ( g ij
目标向量与搜索向量
z 目标向量 G (g i , j )(i = 1,2, L , m; j = 1,2, L , n ) N = m ⋅ n X = ( x1 , x2 , x3 L , x N ) z 搜索向量
信息，确定其空间位置，
能够直接确定物体表面点空间三维
坐标的影像匹配方法得到了研究，这 些方法也被称为“地面元影像匹配”
铅垂线轨迹法(VLL－Vertical Line Locus)
在物方有一条
铅垂线轨迹，它 在影像上的投影 是一直线。就是 说VLL与地面交点 A在影像上的构像 必定位于相应的 “投影差”上。
相关函数（矢量数积）
R ( p, q) =
( x , y )∈ D
∫∫ g ( x , y ) g ′( x + p , y + q ) dxdy
R（ p0, q0）＞ R（p, q）（ p≠p0， q≠q0）
R （ p0, q0 ） ＞ R （ p, q ） （ p≠p0 ， q≠q0 ），则 p0, q0 为搜索 区影像相对于目标区影像的位移参数。 对于一维相关应有q ≡ 0。
两影像窗口灰度差绝对值和即灰度矢量X
与Y之差矢量之分量的绝对值之和
S = x1 − y1 + x2 − y2 +L+ xN − yN = ∑ xi − yi
i=1
N
当N=2时，
S = x 1 − y 1 + x 2 − y 2 = min
基于物方的影像匹配（VLL法）
影像匹配的目的是提取物体的几何
2
∑( x − x ) ∑( y − y )
2 i =1 i i
N
∑ (x
i =1
N
i
− x)
∑ [( ay
i =1
N
i
+ b ) − ( a y + b )] 2
ρ′ =
∑( x − x )( y′ − y )
i i i =1
N
Y ′ = aY + b
∑( xi − x )
i =1
N
2
2 ′ ( y − y ) ∑ i i =1
A
地 面
VLL法影像匹配示意图
A? 在铅垂 线上
A
地面
那一个点
正确？
具体步骤
给定地面点的平面坐标（X，Y）
与近似最低高程Zmin。

Zi＝Zmin＋i·ΔZ 高程搜索步距 ΔZ可由所要求的高程精度确定
计算左右像坐标
（xi’, yi’）与（xi”，yi”）：
′( X a1 ′( X a3 ′(X a2 y i′ = − f ′( X a3 ′ ′( X a1 ′ ′ xi = − f ′ ′( X a3 ′ ′( X a2 y i′ ′ = − f ′ ′( X a3 x i′ = − f − X s′ ) + b 1′ ( Y ′ (Y − X s′ ) + b 3 ′ (Y − X s′ ) + b 2 ′ (Y − X s′ ) + b 3 − X s′ ′) + b 1′ ′( Y ′′( Y − X s′′ ) + b 3 ′′ ( Y − X s′′ ) + b 2 ′′( Y − X s′′ ) + b 3 ′ ( Z − Z s′ ) − Y s′ ) + c 1 ′ ( Z − Z s′ ) − Y s′ ) + c 3 ′ ( Z − Z s′ ) − Y s′ ) + c 2 ′ ( Z − Z s′ ) − Y s′ ) + c 3 ′ ′( Z − Z s′′ ) − Y s′′) + c 1 ′′ ( Z − Z s′′ ) − Y s′′) + c 3 ′′ ( Z − Z s′′ ) − Y s′′) + c 2 ′′ ( Z − Z s′′ ) − Y s′′) + c 3