医学图像的配准与融合

三、医学图像配准的基本过程
1、根据待配准图像（浮动图像）I2与参考图像（基准图 像）I1，提取出图像的特征信息组成特征空间； 2、根据提取出的特征空间确定出一种空间变换，使待配 准图像I2经过该变换后与参考图像I1能够达到所定义的相 似性测度； 3、在确定变换的过程中，还需采取一定的搜索策略也就 是优化措施以使相似性测度更快更好地达到最优值。
二、空间变换——非线性变换
1. 二阶多项式变换
x 2 a 0 a 0 x 0 1 a 0 1 y 1 a 2 0 z 1 a 0 3 x 1 2 a 4 0 x a 5 0 x y a 0 6 y 1 2 z a 7 0 y a 8 0 z 2 z y 2 a 1 a 1 x 0 1 a 1 y 1 a 2 1 z 1 a 3 1 x 1 2 a 4 1 x a 5 1 x y a 6 1 y 1 2 z a 7 1 y a 8 1 z 2 z z 2 a 2 a 2 x 0 1 a 2 1 y 1 a 2 z 1 a 2 3 x 1 2 a 4 2 x a 5 2 x y a 2 6 y 1 2 z a 7 2 y a 8 2 z 2 z
第八章 医学图像的配准与融合
8.1 配准与融合的应用背景介绍 8.2 医学图像配准概述 8.3 图像配准的理论基础 8.4 常用的医学图像配准方法 8.5 图像配准的评估
第八章 医学图像的配准与融合
8.6 图像融合概述 8.7 常用的图像融合方法 8.8 图像融合效果的评价
8.1 应用背景介绍
随着计算机技术的高速发展，医学成像技术日新 月异，为临床医学提供了各种形态和功能的影像信 息。
y2a a2 31 1xx1 1 a a3 22 2yy1 1 a a3 23 3
a ij 是依赖于图像本身的常数。
二、空间变换——非线性变换
非线性变换是把直线变换为曲线。它反映的是图像中组织 或器官的严重变形或位移。典型的非线性变换是多项式函 数，如二次、三次函数及薄板样条函数。有时也使用指数 函数。非线性变换多用于使解剖图谱变形来拟合图像数据 或对有全局性形变的胸、腹部脏器图像的配准。
二、医学图像配准在临床上的应用
医学图像配准具有很重要的临床应用价值。对使用各 种不同或相同的成像手段所获得的医学图像进行配准不仅 可以用于医疗诊断，还可用于手术计划的制定、放射治疗 计划的制定、病理变化的跟踪和治疗效果的评价等各个方 面。
二、医学图像配准在临床上的应用
临床应用举例
1、计算机辅助手术中，外科医生根据配准的 CT/MR/DSA图像精确定位病灶及周围相关的解剖结构信 息，设计出缜密的手术计划。在手术过程中，利用三维空 间定位系统使术前计划的虚拟病人、手术台上的真实病人 和手术器械三者精确联系起来进行手术跟踪。
之对应。 这种映射关系表现为一组连续的空间变换，如整幅图像应
用相同的空间变换，则称之为全局变换（global transformation），否则，称之为局部变换（local transformation）。
二、空间变换
图像配准的基本变换
二、空间变换——刚体变换
刚体：是指物体内部任意两点间的距离保持不变。 刚体变换：使得一幅图像中任意两点间的距离在变换前
一、图像配准原理
公式表示:
S (T ) S (A (X )B ,(T (X )))
S是相似性测度，配准的过程归结为寻求最佳空间变换的过程。
T ˆarm g aS(T x)
由于空间变换包含多个参数，是一个多参数最优化问题，一 般由迭代过程实现：
TT T T λ dS(T)
dT
二、空间变换
图像A和B的配准就是寻找一种映射关系T： XA→XB，使得XA上的每一点在XB上都有唯一的点与
二、医学图像配准在临床上的应用
临床应用举例
2、在癫痫病的治疗中，一方面需要通过CT，MRI等图像 获得病人的解剖信息，另一方面又需要通过SPECT或PET 等得到病人的功能信息，这两方面的结合将有助于对病人 的精确治疗。
二、医学图像配准在临床上的应用
临床应用举例
3、放射治疗中，应用CT和MR图像的配准和融合来制定 放疗计划和进行评估，用CT图像精确计算放射剂量，用 MR图像描述肿瘤的结构，用PET和SPECT图像对肿瘤的 代谢、免疫及其他生理方面进行识别和特性化处理，整合 的图像可用于改进放射治疗计划或立体定向活检或手术。
8.1 应用背景介绍
目前这两类成像设备的研究都已取得了很大的进步，图像的 空间分辨率和图像质量有很大的提高，但由于成像原理不同所 造成的图像信息局限性,使得单独使用某一类图像的效果并不理 想。 因此，为了提高诊断正确率，需要综合利用患者的各种图像 信息。
8.1 应用背景介绍
最有效的解决方法：以医学图像配准技术为基础，利用信息 融合技术，将这两种图像结合起来，利用各自的信息优势，在 一幅图像上同时表达来自人体的多方面信息。 更加直观地提供了人体解剖、生理及病理等信息。其中配准 技术是图像融合的先决条件,必须先进行配准,才能实现准确地 融合。
三、医学图像配准的基本过程
初始变换T 参考图像I1
待配准图像I2 几何变换T
变换后的图像I*=T(I2) 相似性测度评价
更新T
N T最优？
Y 最优T
图像配准的流程图
8.3 图像配准的理论基础
一、图像配准原理 二、空间变换 三、参数的优化搜索 四、插值方法 五、相似性测度
一、图像配准原理
对于在不同时间或/和不同条件下获取的两幅图像A(x) 和B(x)的配准，就是要定义一个相似性测度并寻找一个 空间变换关系，使得经过该空间变换后两幅图像间的相 似性达到最大（或者差异性最小）。即使图像A上的每 一个点在图像B上都有唯一的点与之对应，并且这两点 应对应同一解剖位置。
二、医学图像配准方法的分类
（七）根据主体分类
1、同一患者(Intrasubject)的 配准：指将来自同一个病人 的待配准图像，用于任何种类的诊断中；
2、不同患者(Intersubject) 的配准：指待配准图像来自不 同病人，主要用在三维头部图像(MR、CT)的配准中
3、 患者与图谱的(Atlas)图像配准。是指待配准图像一幅 来自病人，一幅来自图谱。
8.2 医学图像配准概述
一、医学图像配准的概念 二、医学图像配准方法的分类 三、医学图像配准的基本过程
一、医学图像配准的概念
医学图像配准是指对于一幅医学图像寻求一种（或一 系列）空间变换，使它与另一幅医学图像上的对应点达到 空间上的一致。这种一致是指人体上的同一解剖点在两张 匹配图像上有相同的空间位置（位置一致，角度一致、大 小一致）。
二、空间变换——非线性变换
2. 薄板样条变换
可以表示为仿射变换与径向基函数的线性组合：
n
f(X)AX B W iU(|PiX|) i1
其中：X是坐标向量， A与B定义一个仿射变换， U是径向基函数。
二、空间变换——非线性变换
在二维图像配准中：
U(r)r2lorg2 r x2 y2
在三维图像配准中： U(r)|r|
r x2y2z2
三、参数的优化搜索
配准的几何变换参数根据求解方式可分成两类： 一、根据获得的数据用联立方程组直接计算得到的，这一
类完全限制在基于特征信息的配准应用中。 二、根据参数空间的能量函数最优化搜索得到。在这一类
中所有的配准都变成一个能量函数的极值求解问题。 因此图像配准问题本质上是多参数优化问题，优化算法的 选择至关重要。
后保持不变。 例如：人体的头部由坚硬的颅骨支撑，在处理时通常忽
略头部皮肤的微小变形，将整个人脑看作是一个 刚体。
二、空间变换——刚体变换
两幅图像之间的刚体变换可由一个刚体模型描述：
VsR T U
s是比例变换因子。 T（tx,ty,tz） ' 是图像之间沿x，y，z方向上的平移量。 R是3×3的旋转矩阵，满足约束条件：
基于内部特征的配准：主要包括三个方面：基于标记的 配准方法、基于分割的配准方法、基于像素特 性的配准。
二、医学图像配准方法的分类
（六）根据配准过程中变换参数确定的方式分类
1、通过直接计算公式得到变换参数的配准：限制在基于特征信息(例 如小数目的特征点集、二维曲线、三维表面)的配准应用中。
2、通过在参数空间中寻求某个函数的最优解得到变换参数的配准： 所有的配准都变成一个能量函数的极值求解问题。
R'
m21
m3 0
1
m22 m32
0
ຫໍສະໝຸດ Baidu
m23 m33
0
m24
m3 1
4
二、空间变换——投影变换
投影变换：将直线映射为直线，但不保持平行性质。 投影变换主要用于二维投影图像与三维体积图像的配准。
二维投影变换按照下式将图像 A(x1, y1) 映射至图像 B(x2, y2)
：
x2aa3 11 1xx1 1 a a1 32 2yy1 1 a a1333
三、参数的优化搜索
常用的优化算法: Powell法、梯度下降法、 遗传算法、模拟退火法、 下山单纯形法、Levenberg-Marquadrt法等。
三、参数的优化搜索
(一) Powell法
二、医学图像配准方法的分类
（一）按图像维数分类
按图像维数分为2D/2D，2D/3D，以及3D/3D配准。 2D/2D配准通常指两个断层面间的配准；2D/3D配准 通常指空间图像和投影图像（或者是单独的一个层面） 间的直接配准；3D/3D配准指2幅三维空间图像间的配 准。
二、医学图像配准方法的分类
（二）根据医学图像的模态分类
单模态医学图像配准：是指待配准的两幅图像是用同一 种成像设备获取的。一般用在生长监控、减影成像等。 多模态图像配准：是指待配准的两幅图像来源于不同的成 像设备，主要应用于神经外科的诊断、手术定位及放疗 计划设计等。
二、医学图像配准方法的分类
（三）根据变换性质分类
刚性变换：只包括平移和旋转。 仿射变换：将平行线变换为平行线。 投影变换：将直线映射为直线。 曲线变换：将直线映射为曲线。
R tRRtR I deRt)(1
二、空间变换——刚体变换
相对笛卡尔坐标系的三个坐标轴，R有三种不同的形式：
1 Rx 0 0
0
c o s x sinx
0
sinx cosx
cosz sinz 0
Rz sinz cosz 0
0
0 1
cosy
Ry 0
siny
0 siny
1 0
0
cosy
θ x θ y θ z 分别表示围绕
二、医学图像配准方法的分类
（四）根据用户交互性的多少分类
自动配准：用户只需提供相应的算法和图像数据。 半自动配准：用户需初始化算法或指导算法(如拒绝或接
受配准假设)； 交互配准：用户在软件的帮助下进行配准
二、医学图像配准方法的分类
（五）根据配准所基于的图像特征分类
基于外部特征的图像配准：是指在研究对象上设置一些 标志点，使这些标记点能在不同的影像模式中 显示，然后再用自动、半自动或交互式的方法 用标记将图像配准。
配准的结果应使两幅图像上所有的解剖点，或至少是 所有具有诊断意义的点及手术感兴趣的点都达到匹配。
一、医学图像配准的概念
医学图像配准示意图
二、医学图像配准方法的分类
到目前为止，图像配准方法的分类始终没有一个统 一的说法。目前比较流行的是1993年Van den Elsen等 人对医学图像配准进行的分类，归纳了七种分类标准。
但是各种成像技术和检查方法都有它的优势与不 足，并非一种成像技术可以适用于人体所有器官的 检查和疾病诊断，也不是一种成像技术能取代另一 种成像技术，而是相辅相成、相互补充。
8.1 应用背景介绍
根据医学图像所提供的信息内涵，分为两大类： 解剖结构图像（CT、MRI、B超等） 功能图像（SPECT、PET等） 解剖图像以较高的分辨率提供了脏器的解剖形态信息（功能 图像无法提供脏器或病灶的解剖细节），但无法反映脏器的 功能情况。 功能图像分辨率较差，但它提供的脏器功能代谢信息是解剖 图像所不能替代的；
X Y Z坐标轴的旋转角度
二、空间变换-仿射变换
仿射变换：将直线映射为直线，并保持平行性。
不满足：
VsR T U R tRRtR I
deRt)(1
二、空间变换-仿射变换
在笛卡儿坐标系下，二维仿射变换的旋转矩阵R’表示为：
m11 m12 m13
R' m21 m22 m23
0
0
1
三维：
m11 m12 m13 m14