医学图像处理专题讨论医学图像配准MedicalImageRegistration

四、医学图像配准的分类
4.4 图像的客体（Object）
Head (Brain or skull, Eye, Dental)
Thorax (Entire, Caridac, Breast)
Abdomen (General, Kidney,Liver) Limbs (General, Femur, Humerus, Hand) Spine and vertebrate Pelvis and perineum
4.6 配准中使用的信息——外部标志点
外部标记物
韩锦华等，影像导航中的配准问题，国外医学耳鼻喉科学分册，2004.3
4.6 配准中使用的信息——外部标志点
外部标记点
Matthew Y. Wang, An Automatic Technique for Finding and Localizing Externally Attached Markers in CT and MR Volume Images of the Head, IEEE transactions on Biomedical Engineering. Vol.43, No. 6, 1996
4.6 配准中使用的信息——外部标志点
陈炳桓，《立体定向放射神经外科学》，r刀
4.6 配准中使用的信息——外部标志点
Brown–Roberts–Wells (BRW)框架 Cosman-Roberts-Wells (CRW)框架 Gill-Thomas-Cosman（GTC）框架 该类框架主要用于神经外科手术的定位和导 航以及放射治疗 随着计算机技术的快速发展，无框架立体定 向在图像引导的颅内手术中使用得更加广泛
4.5 图像的维度
二维，三维，时间维
四、医学图像配准的分类
4.6 配准中使用的信息
侵入性的 外部标志点 非侵入性的
特征点
内部标志点
特征曲线或曲面
像素或体素
无需图像信息
特征空间
4.6 配准中使用的信息——外部标志点
立体框架
蒋大介，实用神经外科手术学，第四章，定向手术
华工超星图书，以“神经外科”搜索，72本书
<<脑血管疾病--MR.CT.DSA.与临床>>
二、配准的临床应用
(a) 箭头所指为节结 Li Qiang, etc, Improved contralateral subtraction images by use of elastic matching technique , Med. Phys. 27 .8., August 2000
三、配准的核心框架
3.1 变换 刚性变换
仿射变换
透视或投影变换 非线性变换（弯曲变换）
三、配准的核心框架
3.2 插值
插值的原因：
分辨率不同
图像变换引 起的像素点不 对应
三、配准的核心框架
3.2 插值 插值方法： 最近邻插值
线性插值
B样条插值
Windowed Sinc 插值
三、配准的核心框架
3.3 配准程度的度量 可能是配准框架中最关键的部分
• Gradient Descent: Advances parameters in the direction of the gradient where the step size is governed by a learning rate。
三、配准的核心框架
3.4 优化
• • • • • • • • • • •
二、配准的临床应用
对某一病人 • 两个时期的同种类图像比较 病灶生长情况； 治疗效果分析； 动——静对比 收缩——舒张对比 发作——间歇对比
二、配准的临床应用
• 数字减影血管造影 Digital subtraction angiography，DSA
1977年．Nudelman成功地获得了第一张DSA影像
变换的模型
变换参数的确定方式 配准方法的交互性
四、医学图像配准的分类
4.2 图像的主体（Subject）
IntraSubject InterSubject Atlas
4.3 图像的模态 (Modalities)
Monomodal Multimodal Modality to modal Patient to modality
4.6 配准中使用的信息——外部标志点
外部标志点 会给病人带来很大不适； 注入病人体内的外来元素往往对人体有些损害； 完全无损的又很难达到满意的精度； 这种方法不包括病人本身的相关图像信息，因 而 它的变换方式只限于刚性变换。
4.6 配准中使用的信息——内部标志点
内部标志点 解剖标志点 (Anatomic Landmarks) 几何极值点
二、配准的临床应用
罗述谦，医学图像处理与分析
二、配准的临床应用
不同人 •图像与图谱的比较
Talairach 脑图谱 Ono脑沟回图谱 哈佛全脑图谱
被试图像与典型正常人相同部位的图像比较： ——确定是否正常 被试图像与一些疾病的典型图像对比： ——确定患者是否同类
二、配准的临床应用
三维重建 虚拟数字人
4.6 配准中使用的信息——外部标志点
外部标记点
周振环等，医学图像标志点的自动配准, 中国生物医学工程学报，2003,No.5
4.6 配准身无关。 选用外部标志点的好处是简单快速，不需要复杂 的优化算法，而且精度较高。 只要图像中标志点能够被检测出来，任何模态的 图像都能进行配准。 确定外部标志点的位臵要比确定内部标志点的位 臵容易得多，图像空间和物体空间的配准也很难 用内部标志点来实现。
二、配准的临床应用
于劲：基于特征的肝脏病理切片显微图像拼接 （硕士论文）
二、配准的临床应用
对某一病人 • 多模态图像融合 疾病诊断 放射治疗计划 外科手术导航系统
• 图像与物理世界配准
二、配准的临床应用
2005年，北美核医学年会的最佳图像奖： 三维立体图像融合图像
二、配准的临床应用
PET显示食道癌
选择度量方法与要解决的配准问题有关
三、配准的核心框架
3.3
• • • • • • • • • • •
配准程度的度量
• Mean squares
Normalized correlation Mean reciprocal squared difference Mutual information by Viola and Wells Mutual information by Mattes Kullback Liebler distance metric Normalized mutual information Mean squares histogram Correlation coefficient histogram Cardinality Match metric Kappa Statistics metric Gradient Difference metric
线的交点 脐点(umbilic point) 脊点 ������ 灰度的极值点 ������ 轮廓上曲率的极值点 ������ 两个线形结构的交点 ������ 某一封闭区域的质心
形状特征点
4.6 配准中使用的信息——内部标志点
解剖标志点
Igor D. Grachev,etc, A Method for Assessing the Accuracy of Intersubject Registration of the Human Brain Using Anatomic Landmarks， NeuroImage 9, 250–268 (1999)
4.6 配准中使用的信息——内部标志点
解剖标志点
4.6 配准中使用的信息——内部标志点
角点
Karl Rohr， On 3D differential operators for detecting point landmarks， Image and Vision Computing 15 (1997) 219-233
Powell法 下山单纯形法 Arent法 Levenberg-Marquadrt法 Newton-Raphson迭代法 随机搜索法 梯度下降法 遗传算法 模拟退火法 几何hash法 半穷尽搜索法
四、医学图像配准的分类
4.1 分类的依据
图像的主体
图像的模态 图像的客体(人体的部位) 图像空间的维数 配准所基于的图像信息
四、医学图像配准的分类
4.3 图像的模态
描述人体功能或代谢功能的成像模式： SPECT (Single Photon Emission Computed Tomography，单光子发射断层扫描) PET (Positron Emission Tomography， 正电子发射断层扫描) fMRI (functional MRI，功能磁共振成像) EEG (Electro-EncephaloGraphy,脑电图) MEG (Magneto-EncephaloGraphy，脑磁图) 光子内源成像
三、配准的核心框架
Registration is treated as 变换：Transform an optimization problem 度量：Metric with the goal of finding 优化: Optimizer the spatial mapping that 插值：Interpolator will bring the moving image into alignment with the fixed image.
医学图像处理专题讨论
医 学 图 像 配 准
Medical Image Registration
医学图像信息研究中心 2016年4月12日
内容提要
一、配准的基本概念
二、配准的临床应用
三、配准的核心框架
四、医学图像配准的分类
五、关键技术讨论
一、配准的基本概念
医学图像配准是指对于一幅医学图像寻求一 种或者一系列的空间变换，使它与另一幅医学图
四、医学图像配准的分类
4.3 图像的模态
描述生理形态的解剖成像模式：
X光、CT (Computed Tomography) MRI (Magnetic Resonance Imaging) US (Ultra Sound) MRA (Magnetic Resonance Angiography) DSA (Digital Subtraction Angiography) 光纤内窥镜
像上的对应点达到空间上的一致。
一致是指人体上的同一解剖点或者至少是所 有具有诊断意义的点及手术感兴趣的点都达到匹 配。 保持不动的图像叫参考图像；
做变换的图像称作浮动图像。
一、Basic conception of registration
• Image registration, also called image matching or alignment, is a process to register one image to others, so that the transformation matrix between two of them are determined so that they are corresponding each other in space. • Image registration is the process of estimating an optimal transformation between two images.
三、配准的核心框架
3.4 优化
• Amoeba: Nelder-Meade downhill simplex. • Conjugate Gradient: Fletcher-Reeves form of the conjugate gradient with or without preconditioning.
一、配准的基本概念
q = T(p)
T’ = arg max S(R,T(F)) T R ：参考图像， F：浮动图像，T: 变换
一、配准的基本概念
第二幅图像中少了一部分，原因可能是： 成像设备，成像模式差别 病变组织发生变化（如术前，术后） 不同对象的成像
一、配准的基本概念
四种基本的变换 • 刚体变换 • 仿射变换 • 投影变换 • 弯曲变换