医学图像处理第十七讲 图像配准

sx b
表示为矩 x 阵 y： x y 1c sy
0 0
h
19
基于特征的图像配准方法─空间映
射
举例：假设你有2张拍摄时间相隔100年的峡谷壁的数字图 像，并且你希望通过相减的处理来判断由于风化作用而产 生的地貌变化。你发现一块岩石原来位于(303，467)，而 现在位于(316，440)；一个树桩原来位于(298，277)，而 现在位于(311，200)。
图像配准（Image Registration）：对一幅图像寻求一种 （或一系列）空间变换，使它与另一幅图像上的对应点达 到空间上的一致。这种一致是指对象上所有点（或至少所 有感兴趣点）在两张已配准图像上有着相同的空间位置。
各种图像配准的文献都会出现“配准、匹配、几何校正” 三个词，它们的含义比较相似。
3
图像配准概述─图像配准的定义
问题的提出：临床上需要对同一个病人进行多种模式（CT、 MRI、PET）或者同一模式的多次成像，并同时从几幅图像 获取信息，进行综合分析；
前提条件：解决两幅或多幅图像对应成像空间位置的严格 对齐问题，即确定同一对象在不同图像中的对应点：
h
4
图像配准概述─图像配准的定义
h*
33
基于模板的图像配准方法─模板匹
配
模板匹配法：在一幅图像中选取一个窗口作模板T，然后将
模板在另一幅图像中平移，通过相关函数的计算来找到它 在搜索图中的坐标位置。模板覆盖下的那块搜索图叫做子 图Si,j，(i,j)为子图的中心点在S中的坐标；
模板匹配法采用使图像间相似性最大化的原理实现图像间 的配准。
值
双线性插值：双线性插值法是对最近邻法的一种改进，即 根据待求像素的四个邻近点的灰度值，分别在x和y方向上
进行两次插值。最后形成的插值函数为一双曲抛物面方程： 计算比最近邻点法复杂，但没有灰度不连续性的缺点，结 果较令人满意。
h
26
基于特征的图像配准方法─灰度插 值
双线性插值算法： 首先，在x方向上作线性插值：
h
16
基于特征的图像配准方法─空间映 射
常见的空间映射关系
h
17
基于特征的图像配准方法─空间映 射
刚体变换：对象内部任意两点间的距离保持不变；
刚体变换可以分解为旋转和平移：
旋 转 变 y x h h1 2 换 ((x x,,y y)) ： x xc si o n sy yc sio ns
500
450
400
350
300
250
200
150
270
280
290
300
310
320
330
340
350
h
21
基于特征的图像配准方法─空间映
射
解：原题转化为求解变换矩阵：
s c
x yx y 1c s
tx ty
解得：
s c
3034 2982
767733111624
040011txc
s ty
0.7918 0.0043
h
35
基于模板的图像配准方法─模板匹 配
金字塔图像匹配步骤：
第一步：顶层的匹配，得到一个平移初始值 。
第二步：根据平移初始值乘以n得到第二层平移量初始值， 在它m×m个像元的邻域内进行模板匹配。
h
10
第九章 图像配准
主要内容：
1 图像配准概述； 2 基于特征的图像配准方法； 3 基于模板的图像配准方法； 4 MATLAB图像配准；
h*
11
基于特征的图像配准方法─步骤
一般来说特征匹配算法可分为四步：
特征提取：从两幅图像中提取灰度变化明显的点、线等特 征形成特征集；
特征空间映射：建立两幅图像特征集之间的空间多项式变 换关系；
常用插值方法有：最近邻像素插值、双线性插值、三次立 方插值；
h
24
基于特征的图像配准方法─灰度插
值
最近邻像素插值：在待求像素的四邻点中，将距离这点最 近的邻点灰度赋给待求像素。该方法最简单，但校正后的 图像有明显锯齿状，即存在灰度不连续性。
f(x’, y’)
g(x, y )
h
25
基于特征的图像配准方法─灰度插
非特征像素之间的映射：利用上述多项式变换关系对于非 特征像素点进行空间变换，从而实现两幅图像之间逐像素 的空间映射；
灰度插值：由于空间映射得到的坐标值不一定为整数，因 此需要进行灰度插值来确定这些坐标上的灰度值；
h
12
基于特征的图像配准方法─空间映 射
设f(x’, y’)是待与图像G(x, y)配准的图像；g(x, y)是根据G 大小生成一幅和G的坐标一致的空白图像；
T
0.0043
0.7918
50.8959 119.9978
h
22
基于特征的图像配准方法─空间映
射
通常在h1(x, y)和h2(x, y)未知的情况下，可用求对应特征点 集(至少3对)的仿射变换矩阵的方法来估计h1(x, y)和h2(x, y)；
在更复杂的情况下(如图像的空间变换是非线性的)，h1(x,y) 和h2(x,y)可用多项式来近似：
h
5
图像配准概述─图像配准的定义
图像配准举例：对图B寻求一种空间变换，使它与图A上的 对应点达到空间上的一致。图B经空间变换后得到图C，在 图A和图C中相同对象有着相同的空间位置。称图A和图C为 已配准的图像，可以进行进一步的综合分析。
图A
图B
图C
h
6
h
7
h
8
图像配准概述─医学图像配准的类 型
为了加快搜索速度，可以使用金字塔图像。
对图像进行一次采样率为1/n的重采样， 即把图像的每n×n个像素变为一个像素， 这样就得到一幅长、宽都为原来1/n的图 像，把它作为金字塔的第二层。
再对第二层用同样方法进行一次采样率为 1/n的重采样，又得到第三层（顶层）。
原始影像作为金字塔影像的底层。
f( x ,0 ) f( 0 ,0 ) x f( 1 ,0 ) f( 0 ,0 )
h
27
基于特征的图像配准方法─灰度插 值
双线性插值算法： 首先，在x方向上作线பைடு நூலகம்插值：
f( x ,1 ) f( 0 ,1 ) x f( 1 ,1 ) f( 0 ,1 )
h
28
基于特征的图像配准方法─灰度插 值
平移变 yx 换 h h2 1((x x,,y y： )) xy ttxy
cossin
表示为矩 x y阵 x： y 1sincos
tx ty
h
18
基于特征的图像配准方法─空间映 射
仿射变换：仿射变换将直线映射为直线，并保持平行性；
仿射变换在刚体变换的基础上增加了尺度变换和错切变换：
尺 度 变 yx换 h h2 1((xx： ,,yy)) xyxyss 错切变 yx换 hh2 1((： xx,,yy)) xy cbyx
医学图像处理
Medical Image Processing
学习，学习，再学习，有事没事，去书店看看书， 关于管理，金融，营销，人际交往，未来趋势等这些， 你能获得很多。这个社会竞争太激烈了，你不学习， 就会被淘汰。中国2008底，有一百多万大学生找不 到工作。竞争这么激烈，所以，一定要认识一点，大 学毕业了，不是学习结束了，而是学习刚刚开始。
—《赢在中国》
h
1
第九章 图像配准
主要内容：
1 图像配准概述； 2 基于特征的图像配准方法； 3 基于模板的图像配准方法； 4 MATLAB图像配准；
h*
2
第九章 图像配准
主要内容：
1 图像配准概述； 2 基于特征的图像配准方法； 3 基于模板的图像配准方法； 4 MATLAB图像配准；
h*
h
30
基于特征的图像配准方法─灰度插 值
最近邻像素插值和双线性插值比较：
Original
Nearest Neighbour
Bilinear
h
31
基于特征的图像配准方法─灰度插 值
举 例 ： 假 设 f(109 ， 775)=113 ， f(109 ， 776)=109 ， f(110 ， 775)=105 ， f(110 ， 776)=103 ， 试 分 别 用 最 近 邻像素插值法和双线性插值法求f(109.27，775.44)，写 出双线性插值变换方程f(x，y)=ax+by+cxy+d，求出各参 数的值；
h
9
图像配准概述─图像配准的常用方 法
基于特征的图像配准方法：先提取图像显著特征，如灰度变化明显的点、 线等特征，通过特征集的映射建立两幅图像之间的空间变换关系。原则 上该方法可用于配准任何模式的图像；最常用的是特征点法；
基于模板的图像配准方法：在一幅图像中选取一个子图像窗口作为模板， 大小通常为5×5或7×7，然后让该模板在另一幅图像中移动，通过计 算相关函数来找到模板在搜索图中的坐标位置。该方法主要用于单模图 象配准，特别是用于对改变较小的图像序列进行配准；
推出
x y
h11(x, h12 (x,
y)，逐点计算出f中
y)
每个像素对应于g中的坐标，然后利用灰度插值方法将f中
每个像素的灰度值分配到它的4个最邻近像素上；
f(x’, y’)
g(x, y)
h
14
基于特征的图像配准方法─空间映 射
前向映射的缺陷：
f中的一些点可能落在g图像的坐标之外；
f中的多个点映射到g中的坐标可能有同样的最邻近像素， 导致g中一个像素的灰度值被计算多次；
问：两幅图像有没有(a)尺寸缩放(b)旋转(c)平移？若有，有 多少？若要将两幅图进行相减处理，写出第二幅图像所要 做的几何变换。假定两幅图像除了尺寸上的均匀缩放、旋 转和平移外没有其他几何扭曲。
h
20
基于特征的图像配准方法─空间映 射
解：由题意有g(x1, y1)=(303，467)，g(x2, y2)=(298， 277)；f(x′1, y′1)=(316，440)， f(x′2, y′2)=(311，200)；
用以下测度来衡量T和Si,j的相似程度：
MM
Si,j(m,n)T(m,n)
P
m1 n1
MM
MM
[Si,j(m,n)]2
[T(m,n)]2
m1 n1
m1 n1
h
34
基于模板的图像配准方法─模板匹 配
P值介于0和1之间。根据经验取某个阈值 P0 ， 如 果 P>P0 ， 则 匹 配 成 功 ； P<P0 ， 则 匹配失败；
答案：
最近邻像素插值：f(109.27，775.44)＝113
双线性插值：f(109.27，775.44)＝109
f(x, y)=-8(x-109)-4(y-775)+2(x-109)(y-775)+113
h
32
第九章 图像配准
主要内容：
1 图像配准概述； 2 基于特征的图像配准方法； 3 基于模板的图像配准方法； 4 MATLAB图像配准；
双线性插值算法： 然后，在y方向上作线性插值：
f( x ,y ) f( x ,0 ) y f( x ,1 ) f( x ,0 )
h
29
基于特征的图像配准方法─灰度插 值
双线性插值算法：
最后，得到双线性插值公式：
f(x ,y ) f(1 ,0 ) f(0 ,0 )x f(0 ,1 ) f(0 ,0 )y f(1 ,1 ) f(0 ,0 ) f(0 ,1 ) f(1 ,0 )x y f(0 ,0 )
设两幅图像相同点对应的坐标之间的变换关系用下式描述：
x h1(x, y) y h2(x, y)
则可以从一幅图像的像素坐标算出另一幅图像对应像素的 坐标。因此存在两种空间映射方法：前向映射和后向映射；
h
13
基于特征的图像配准方法─空间映
射
前向映射：由
x y
h1(x, h2 (x,
y) y)
f(x’, y’)
g(x, y)
h
15
基于特征的图像配准方法─空间映
射
后向映射：由
x y
h1(x, h2 (x,
y) y)
，逐点计算出g中每个像素对应于
f中的坐标，然后利用灰度插值方法计算出g中每个像素的灰
度值；
f(x’, y’)
g(x, y )
后向映射比前向映射更实用，在这种映射方式中，输出g的 每一个像素灰度值都一次性由f中4相邻像素的线性插值决 定。
N 1 N 1
x
a ij x i y j
i0 j0
N 1 N 1
y
bij x i y j
i0 j0
其中，式中N为多项式的次数，aij和bij为各项待定系数。
h
23
基于特征的图像配准方法─灰度插
值
经过空间变换得到的坐标值通常不为整数，这些坐标值上 的灰度值没有定义，必须通过对其邻近像素的灰度值插值 来得到：
同一对象（患者）的图像配准：
1、不同MR加权图像间的配准；
单模32、 、fM 电R镜图 I 图像像序序列列的的配 ；配准准；
4、胸腹腔脏器的图准像；配
多模：待配准的两像幅来图源于不同的成备像设
不同对象间的图像配准：
将被试的图像与典型正常人相同部位的图像或标准图谱进行对比，以确定 被试者是否正常。如有异常，还要与一些疾病的典型图像对比，确定患 者是否属于同类。