第7讲 医学图像配准和融合

向右平移p为正 向左平移p为负
23
沿y轴平移：
变换公式：
x' x 其中x’与y’是平移后的结果 y' y q
x ' 1 y' 0 1 0 0 1 0 0 x 1 * x o * y 0 * 1 x q y 0 * x 1* y q *1 y q 1 1 0 * x 0 * y 1 * 1 1
0 1 0 0
0 0 1 0
p x x 0 y 0 z 1 1
先沿X轴平移2.3764个单位 再沿Y轴平移9，5579个单位 最后绕坐标原点旋转10度 对于一个给定的变换结果，可 以有许多不同的变换途径
28
② 三维刚体变换：沿x轴平移
x' x p 变换公式： y' y , z' z
其中x’,y’,z’是平移后的结果
矩阵公式：
x ' 1 y' 0 z' 0 1 0
8
实例：
9
按维数：2 D、3D 按摸态：单、多 按变换性质： 按用户交互性：自动、半自动、交互 按配准所基于图像特征：外、内 按变换参数确定的方式：公式、最优解 按主体分：同一患者、不同患者、患者与图谱
10
刚体变换：指物体内部任意两点间的距离及平行关系保持 不变（处理人脑图像，对不同方向成像的图像配 准常使用刚体变换） 仿射变换：保持平行性，但距离发生变化，直线还是直线 （校正成像设备的误差产生的畸变） 投影变换：直线映射成直线，平行性和两点间的距离变化 （二维投影图像与三维图像的配准） 弯曲变换：直线变成曲线 (解剖图谱变形拟合图像数据)
1）确定一个共同的标准。 要求有一个详细标记人体各个解剖位置的计算机化标准 图谱，如Talairach标准空间，把两幅图像分别映射到图谱， 再比较
16
不同对象的图像配准方法：
胼胝体 Talairach人脑图谱 对两个病人的PET或MR图象进行比较，首先把二者的图 像都映射到这个共同的参考空间，然后再比较
0 1 0
0 1 9 0 1 0
0 1 0
4 x 0 y 1 1
0 . 1736 0 . 9848 0
5 . 5016 x 8 . 1688 y 1 1
27
x ' 0 . 9848 y ' 0 . 1736 1 0 cos( 10 0 ) 0 sin( 10 ) 0
cos( 10 0 ) x ' 0 y ' sin( 10 ) 1 0 0 . 9848 0 . 1736 0 sin( 10 ) cos( 10 ) 0
0 0
0 1 0 0 0 1
先绕原点旋转，再沿y轴平移，最后沿x轴平移
x ' 1 y' 0 1 0 0 1 0 p 1 0 0 1 0 0 1 0 0 cos q sin 1 0 sin cos 0 0 x 0 y 11
一般情况下，图像配准都是基于几何变换的，即寻找一
幅图像空间X中的点（用列向量x表示）与另一幅图像空 间Y中的点（用列向量y表示）之间的映射。X经T变换 后得到点x΄，即： x΄=T(x)

如果y与x是对应点，则成功的配准应该使得x΄等于或近
似等于y，若两者之间的差值T(x)-y 非零，则说明存在配
准误差。根据空间变换T的形式不同，可将其分为刚体 变换和非刚体变换两种形式。
Medical Image registration and fusion
1
1. 配准融合技术概述
背景 意义
2. 医学图像配准技术
理论 方法 评估
方法 评估
3. 图像图像融合技术
医学影像设备在最近 十年中得到迅速的发 展，并广泛应用于临 床诊断和治疗中。 由于成像的原理和设 备不同，存在有多种 成像模式（解剖成像、 功能成像）。
14
多模医学图像配准：难点：由于扫描设备的原理不同，两种断层图像间并
不存 在简单的一一对应关系
人脑MR/PET图像配准 上排：轴向图； 中间：矢状图； 下排：冠壮图 左：PET图像； 中：MRI图像； 右：融合图像
15
不同对象的图像配准
典型正常图像 被试图像 对比 疾病的典型图像 难点：不同对象形状、大小、位置差异 方法： 是否属于同类 是否出现异常
25
复合变换：
先沿x轴平移，再沿y轴平移，最后绕原点旋转
x ' cos y ' sin 1 0 sin cos 0 0 1 0 0 1 0 0 1 0 0 1 q 0 1 0 0 1 0 px 0 y 1 1
17
不同对象的图像配准方法： 2）非线性形变法 将三维图像逐渐变形，最终较好的与另一个三维图像 匹配
用非线性变换法配准不同人脑表面沟回
18
图像与图谱配准或与物理空间配准
在手术导航系统中解决图像像素与实际物理空间的位置配准
实现方法： 图像空间 坐标变换 立体定向装置、人体实体空间
19

每一幅待配准的图像都与定义图像空间的坐标系有关。
术前病灶精确定位
放疗计划
CT图像精确计算放射剂量、MR图像描述肿瘤结构， PET对代谢、免疫及生理方面进行识别，配准融合 后图像用于改进放疗计划、立体定向活检、手术
癫痫病治疗
观察炎症、脑外伤、硬化症等变化、病灶精确定位
5
配准（image registration）的概念
• 医学图像配准是指对于一幅医学图像寻求一种（或一 系列）空间变换，使它与另一幅医学图像上的对应点
0 x cos * x sin * y 0 * 1 0 y sin * x cos * y 0 * 1 1 1 0* x 0* y 1*1
x cos y sin cos x sin cos y cos cos 1
达到空间上的一致。这种一致是指人体上的同一解剖
点在两张匹配图像上有相同的空间位置（位置一致， 角度一致、大小一致）。、 • 目的：将多种成像模式或同一种模式得到的多幅 图像综合分析，更好的了解组织情况
•
解决的问题：几幅图像的严格对齐
6

几幅图像信息综合的结果称作图像的融合（image fusion）。 利用图像融合技术，将多种图像结合起来，利用各自的信 息优势，在一幅图像上同时表达来自人体的多方面信息，
11
单模配准的典型应用： （1） 不同MR加权像间的配准 T1 加权像 T2 加权像 质子密度加权像 不同组织表现不同强度 信息互补
（2） 电镜图像序列的配准
不同时间采集的多幅图像 （时间序列图像）
研究生长现象
粒子移动，形态变化
12
单模配准的典型应用：
（3） fMRI图像序列的配准
时间序列图像，大脑活动会产生氧摄取量和血流间的不平衡 MRI图像测得信号的改变 （4） 胸腹部脏器的图像配准 不同时刻的三维脏器图像 四维图像分析
刚体变换：平移、旋转
22
① 二维刚体变换：沿x轴平移：
从（x,y)变到新坐标系（x’,y’) 变换公式：
x' x p 其中x’与y’是平移后的结果 y' y
矩阵公式：
x ' 1 y' 0 1 0
0 1 0
p x 1 * x 0 * y p * 1 x p 0 y 0 * x 1* y 0 *1 y 1 1 0 * x 0 * y 1*1 1
对人脑可用多种模式成像
3
解剖图像：提供解剖形态信息，分辨率高 功能图像：提供功能代谢信息，分辨率差
二者结合：在一幅图像中同时表达来自人体多
方面的信息，使人体内部结构和功能等状况能 通过影像反映出来，直观提供人体解剖生理病 理信息。
于是出现了配准和ቤተ መጻሕፍቲ ባይዱ合技术，配准是融合的先
决条件
4
外科手术
解决：参考点位置确定（定位问题） 运动过程中的局部变形和噪声问题
13
多模医学图像配准： 待配准的两幅图像来源于不同的成像设备。 CT：对密度差异较大的组织效果好 解剖图像： MRI：可识别软组织 较高的空间分辨率
功能图像：SPECT/PET：能反映人体的功能和代谢信息 空间分辨率差
一般临床上的应用： CT（或MRI）和SPECT（或PET）的综合分析， 同时提供功能和解剖信息
0
sin( 10 ) cos( 10 ) 0
0
0
0 x 0 y 1 1
0 . 9848 0 . 1736 0
0 . 1736 0 . 9848 0
9 x 4 y 1 1
设刚体变换先沿x轴平移4个单位，再沿y轴平移9个单位， 然后绕坐标原点旋转10°
矩阵公式：
向上平移q为正 向下平移q为负
24
绕坐标原点旋转：
变换公式：
Y'
Y
( x1, y1)
x ' x cos y sin y ' x sin y cos
( x1', y1')
y xtg x cos xtg
X' X
矩阵公式：
x ' cos y ' sin 1 0 sin cos 0
20
图像的变换模型：
• 刚体变换（二维刚体变换、三维刚体变换） • 全局尺度变换
• 仿射变换（9参数仿射变换、一般仿射变换）
• 透视变换* • 非线性空间变换*
21
刚体变换
物体内部两点间的距离和角度保持不变 医学图像配准在大多数情况下是采用刚体变换模型。 人体的很多组织可以近似为刚体，如骨头、由颅骨固定 的大脑等
0 . 1736 0 . 9848 0 sin( 10 ) cos( 10 ) 0
0 0
9 x 4 y 1 1 0 1 0 0 1 0 0 1 0 1 9 . 5579 0 0 1 0 0 1 0 2 . 3764 0 1 x y 1

使人体内部的结构、功能等多方面的状况通过影像反映出
来，从而更加直观地提供人体解剖、生理及病理等信息。 图像配准技术是图像融合的先决条件

7
图像配准示意图
配准实现过程：
1. 获得特征图像：不同角度，不同位置，反映某些方面的特征 2. 图像配准：通过空间变换（移动和旋转），使两幅图像对齐
3. 图像融合：得到整体特征图像
不同顺序的变换得到的结果是不同。
26
举例：
设刚体变换先绕坐标原点旋转10°，再沿x轴平移4个单 位，然后沿y轴平移9个单位
x ' 1 y' 0 1 0 0 1 0 0 1 9 0 1 0 0 1 0 4 cos( 10 ) 0 0 sin( 10 ) 1 0