多模态医学影像配准与融合技术的研究(葛雯)

东北大学信息科学与工程学院
（二）基于不可分离小波变换的图像融合算法 低频分量的融合规则
H fCT H fMRI LF = LCT + LMRI H fCT + H fMRI H fCT + H fMRI
(3.7) (3.8) (3.9)
H f = −∑∑ Pij log 2 Pij
i =1 j =1
(e)形态学金字塔融合 形态学金字塔融合 算法
(f)小波变换融合算法 小波变换融合算法
(g) 所提算法
东北大学信息科学与工程学院
CT/MRI实验结果的质量评价 实验结果的质量评价
拉普拉斯金字 塔融合算法 信息熵 平均交叉熵 平均梯度 相关系数 10.9112 7.8325 31.5892 0.59845 梯度金字塔融 合算法 12.6785 5.3726 33.0123 0.6052 形态学金字塔 融合算法 12.8352 5.1462 35.5428 0.61643 小波变换融合 算法 14.2646 4.5216 37.2567 0.64030 所提算法 17.5947 3.2514 39.5492 0.7067
东北大学信息科学与工程学院
基于区域模糊熵和区域亮度细节占优的融合算法 设计
L1 LF = L2
H K 1 ( x) ≥ H K 2 ( x) H K 1 ( x) < H K 2 ( x)
(3.20)
1 H K ( x) = ∑ ∑ Sn (µij (xij )) MNln2 i∈M j∈N
东北大学信息科学与工程学院
改进算法的流程图
输入图像 提取图像的边缘特征信息 计算特征点集合的互信息 归一化处理 配准提取的特征图像 优化搜索 根据配准参数配准原图像 根据配准参数配准原图像 配准 采用改进的鲍威尔算法， 采用改进的鲍威尔算法，寻 找最大归一化互信息的位置 采用归一化互信 息为测度 采用基于Canny算子和小波 算子和小波 采用基于 提升变换的边缘检测方法
(3.13)
K K 调节CT/MRI图像的占优比例 其中， 其中， 1 ， 2 调节 图像的占优比例
K1 = K I (i, j ) /( K I (i, j ) + K D (i, j ))
(3.14)
东北大学信息科学与工程学院
K 2 = K D (i, j ) /( K I (i, j ) + K D (i, j ))
I CT (i, j ) / I MRI (i, j ) KI = I MRI (i, j ) / I CT (i, j )
(3.15) (3.16) (3.17)
I CT (i, j ) ≥ I MRI (i, j ) I CT (i, j ) < I MRI (i, j )
DCT (i, j ) / DMRI (i, j ) KD = DMRI (i, j ) / DCT (i, j )
对比度金字塔 融合算法 平均交叉熵 标准差 平均梯度 相关系数 6.3423 12.8965 41.6752 0.4841 基于像素融合 算法 6.0265 5.3726 42.1256 0.5166 基于区域融合 算法 3.4624 5.1462 45.3269 0.6123 所提算法 2.0598 19.9356 48.5486 0.7964
(3.21)
东北大学信息科学与工程学院
仿真实验
(a) CT图像 图像
(b) MRI图像 图像
(c)对比度金字塔融合算法 (c)对比度金字塔融合算法
(d)基于像素融合算法 (d)基于像素融合算法
东北大学信息科学与工程学院
(e)基于区域融合算法 (e)基于区域融合算法
(f)模糊集和小波变换 (f)模糊集和小波变换 融合算法
东北大学信息科学与工程学院
Ei ωi = E1 + E2
Ei =
(3.2) (3.3)
∑∈w ( m,n )
Pi2 (m,n)
对于小波系数， 对于小波系数，首先使用下式确定医学源图像 高频分量的边缘点和非边缘点， 高频分量的边缘点和非边缘点，保护边缘点对 应的小波系数； 应的小波系数；
MG1 = ( f ⊕ B) − ( fΘB)
(g)所提算法 所提算法
东北大学信息科学与工程学院
CT/MRI实验结果的质量评价 实验结果的质量评价
对比度金字塔 融合算法 平均交叉熵 标准差 平均梯度 相关系数 9.0143 26.3124 36.2345 0.4758 基于像素融合 算法 8.2326 28.6571 38.5621 0.4932 基于区域融合 算法 6.4578 30.9874 40.8972 0.5234 模糊集和小波 变换融合算法 5.0231 4.5216 37.2567 0.64030 所提算法 3.4956 35.2587 45.1789 0.7671
东北大学信息科学与工程学院
仿真实验
(a) CT图像 图像
(b) MRI图像 图像
(c)对比度金字塔融合算法 对比度金字塔融合算法
(d)基于像素融合算法 基于像素融合算法
(e)基于区域融合算法 基于区域融合算法
(f)所提算法 所提算法
东北大学信息科学与工程学院
CT/MRI实验结果的质量评价 实验结果的质量评价
东北大学信息科学与工程学院
（一）基于可分离小波变换的图像融合算法
具体步骤： 具体步骤： 对待融合的医学源图像分别进行小波变换分解； 对待融合的医学源图像分别进行小波变换分解； 对于尺度系数， 对于尺度系数，使用下式合并医学源图像对应的 尺度系数； 尺度系数；
LF = ω1L1 + ω2 L2
(3.1)
(3.11)
东北大学信息科学与工程学院
HF
H CT = H MRI
I CT (i, j ) ≥ I MRI (i, j ), DCT (i, j ) ≥ DMRI (i, j ) (3.12) ICT (i, j ) < I MRI (i, j), DCT (i, j ) < DMRI (i, j )
东北大学信息科学与工程学院
将融合图像的小波系数和尺度系数进行小波逆变 即可得到重构后的医学融合图像。 换，即可得到重构后的医学融合图像。 仿真实验
(a) CT图像 图像
(b) MRI图像 图像
(c)拉普拉斯金字塔 拉普拉斯金字塔 融合算法
东北大学信息科学与工程学院
(d)梯度金字塔融合 梯度金字塔融合 算法
东北大学信息科学与工程学院
仿真实验
(a)CT图像 图像
(b)MRI图像 图像
(c) 最大的互信息配准法 最大的互信息配准法
(d) 所提方法 所提方法
东北大学信息科学与工程学院
CT/MRI图像各配准方法的配准参数及性能比较 图像各配准方法的配准参数及性能比较
传统的互信息配准方法 RMSE R 水平和垂直偏移量 角度偏移量 19.43 0.9216 （9.02 8.52） ） 9.597 所提方法 15.32 0.9812 （9.93 9.56） ） 9.960
M
N
Pij = I (i, j ) / ∑∑ I (i, j )
i =1 j =1
M
N
东北大学信息科学与工程学院
高频分量的融合规则 亮度信息
M N 1 M +1 N +1 I (i, j ) = ∑∑ f (i + m − 2 , j + n − 2 ) M × N m=1 n =1
(3.10)
细节信息
DCT (i, j ) ≥ DMRI (i, j ) (3.19) DCT (i, j ) < DMRI (i, j )
通过调整这些因子可以消减模糊边缘，突出细节并调 通过调整这些因子可以消减模糊边缘， 节图像的亮度对比度。在临床应用中， 节图像的亮度对比度。在临床应用中，为了得到强调 不同特征信息的图像， 不同特征信息的图像，医生既可以根据上面公式计算 它们，也可以根据经验手动设定这些参数。 它们，也可以根据经验手动设定这些参数。
M N 1 M +1 N +1 D(i, j) = M N f (i + m − , j +n− ) ∑∑ M +1 N +1 m=1 n=1 2 2 f (i + m − , j +n− ) ∑∑ 2 2 m=1 n=1
M +1 N +1 − f (i + m +1− , j + n +1− ) 2 2
东北大学信息科学与工程学院
二、医学图像配准算法
医学图像配准的定义：是寻求两幅图像间的几何 医学图像配准的定义： 变换关系，通过这一几何变换， 变换关系，通过这一几何变换，使两幅医学图像 上的对应点达到空间上的一致， 上的对应点达到空间上的一致，这种一致是指人 体上的同一解剖点在两张匹配图像上具有相同的 空间位置。 空间位置。
一、课题背景
由于医学图像仪器的成像机理的不同， 由于医学图像仪器的成像机理的不同，使得不同模 态的医学图像反映人体信息不同， 态的医学图像反映人体信息不同，从单一源图像是 无法对病人进行全面诊断。 无法对病人进行全面诊断。图像配准和融合能将多 模态的图像信息进行互补，融合成一幅新的影像。 模态的图像信息进行互补，融合成一幅新的影像。 目前医学图像融合技术还处于起步阶段， 目前医学图像融合技术还处于起步阶段，故本文针 对多模态医学图像的融合方法及配准算法方面展开 研究。 研究。
东北大学信息科学与工程学院
三、基于小波变换的图像融合算法
小波变换具有良好的时频局域化特性及多尺度分析 能力,非常适合于图像处理。 能力,非常适合于图像处理。基于小波变换的影像 融合算法被广泛应用于图像融合处理中， 融合算法被广泛应用于图像融合处理中，其性能优 于传统的图像融合方法。 于传统的图像融合方法。
(3.4)
东北大学信息科学与工程学院
对非边缘点用式(3.5)进行小波系数融合。然后 进行小波系数融合。 对非边缘点用式 进行小波系数融合 用式(3.6)获得融合图像的小波系数。 获得融合图像的小波系数。 用式 获得融合图像的小波系数
σ1 σ2 D (i, j ) = D1 (i, j ) + D2 (i, j ) σ1 + σ 2 σ1 + σ 2
多模态医学影像配准 与融合技术的研究
导师： 导师：高立群 教授 学生： 学生：葛 雯
东北大学信息科学与工程学院
主要内容
课题背景 医学图像配准算法 基于小波变换的图像融合算法 基于PCNN的图像融合算法 的图像融合算法 基于 基于BP的特征级图像融合算法 基于 的特征级图像融合算法 总结与展望
东北大学信息科学与工程学院
DCT (i, j ) ≥ DMRI (i, j ) DCT (i, j ) < DMRI (i, j )
因子 α 调节图像的亮度
α
I CT (i, j ) /( I CT (i, j ) + I MRI (i, j )) = I MRI (i, j ) /( I CT (i, j ) + I MRI (i, j ))
H F
(3.5)
Fra Baidu bibliotek
max( D1 (i, j ), D2 (i, j )) h = hmax1 = hmax 2 D (i, j ) h = hmax1 , h ≠ hmax 2 (3.6) 1 DF (i, j ) = h ≠ hmax1 , h = hmax 2 D2 (i, j ) H DF (i, j ) h ≠ hmax1 , h ≠ hmax 2
I CT (i, j ) ≥ I MRI (i, j ) (3.18) I CT (i, j ) < I MRI (i, j )
东北大学信息科学与工程学院
因子 β 决定图像的边缘
β
DCT (i, j ) /( DCT (i, j ) + DMRI (i, j )) = DMRI (i, j ) /( DCT (i, j ) + DMRI (i, j))
当 ICT (i, j) ≥ I MRI (i, j ), DCT (i, j ) < DMRI (i, j) 或
ICT (i, j ) < I MRI (i, j), DCT (i, j) ≥ DMRI (i, j )
H F = α ( H CT + K1H MRI ) − β H CT − K 2 H MRI
东北大学信息科学与工程学院
最大互信息配准方法的基本思想 在多模医学图像配准中， 在多模医学图像配准中，基于两幅图像中的相 同目标在空间上对齐时相关性最强， 同目标在空间上对齐时相关性最强，对应像素 灰度的互信息达到最大， 灰度的互信息达到最大，从而可以根据最大互 信息的位置找到最佳配准。 信息的位置找到最佳配准。 缺点：由于互信息函数不是分布良好的凸函数， 缺点：由于互信息函数不是分布良好的凸函数， 从而导致误配准，同时计算量较大，耗时较长。 从而导致误配准，同时计算量较大，耗时较长。