基于医学图像的分析模型和方法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
E CV f1 , f 2 , I x f1 x H dx I x f 2 x 1 H dx f1 x H dx f 2 x 1 H dx
Level Set
隐式方程
对时间求导(使用链式法则)
(1)
(2)
Level Set vs. Snakes
优点:
几何可变性：合并/分裂 易于向高维空间扩展
缺点:
耗时
Narrow Band
在演化过程中需要保持水平集函数的几 何属性 合适的图像力和能量是关键
基于边界信息的分割
优点和问题：
抓住主要矛盾，易于表达和理解；
可能丧失有用的信息。
举例-PCA
冗余-相关性
举例-PCA
PCA的假设条件包括：
线性假设 使用均值和方差进行充分统计（高斯）。
高信噪比假设：大方差向量具有较大重要性。
主元正交假设。
举例-PCA
人脸识别
引用清华大学张长水教授相关工作
2 2 2 2
H dx
Some more
Knowledge-based Object Extraction
目标:
从图像中“恢复”已知形状的物体
方法
挑选训练集
对训练集进行配准 构造对训练集数据进行表达的模型 对给定的新图像，使用训练集信息对其中的目标 物体进行“恢复”
参数形变模型 (Snakes) 几何形变模型(Level sets)
不同点在于作为边界的线或面的形变方式不同
Snakes
图像能量被表达为外部能量和内部能量: (v ) v( s ) v( s )
InternForce ExternForce
EInternForce (v( s )) EExternForce (v( s)) ds
那么一阶导数和二阶导数分别为：
n( x) a cos(x) x n( x ) a sin(x) x
2 2 2
可见，即使噪声的幅值很小，但当频率很大时，噪声的一阶和二 阶导数的幅值也会很大
轮廓跟踪
目的：在边缘检测的基础上，构造平滑连续的边界轮廓线。
步骤：
确定作为搜索起点的边缘点 确定Hale Waihona Puke Baidu采取一种合适的数据结构和搜索机理 确定搜索终结的准则或终止条件 Eg.对于图像中某些符合参数模型的主导特征，如直线、圆、椭圆等，可以
Laplacian由于对噪声太敏感，因此一般不单独使用 通常和平滑Gaussian滤波器进行结合来进行边缘检测
导数&噪声
基于微分的边缘检测器，其基本依据是图像的边缘对应了一阶导数 的极大值，而二阶导数则过零点。 f ( x, y ) s( x, y) n( x, y ) 但是，假如图像受到噪声的影响： 噪声的幅值往往很小，但频率往往很高，比如设： n( x, y ) a sin(x)
p1
t1 t2
vq1v21
v11
v12
v22
y1 y2
w22
wp2
vq2 v1p
...
...
xn
...
w1n w2n wpn
tp 中间层
v2p vqp
输入层
yq
输出层
人工神经网络
输入层: 输入向量(x1, ...,xn)→特征空间维数
中间层(隐层) : 向量(t1, ..., tp) 输出层: 向量(y1, ..., yq) →分类数 权重: Wi = {w1i, w2i, ..., wni}
基于模式识别方法的分割
图像-特征生成-特征提取-特征选择-分类器分类
特征生成
表达图像中灰度的分布特性
灰度、邻域平均灰度…
表达局部灰度变化的程度
灰度微分、均方差…
表达特定纹理
霍夫变换…
统计特性
共生矩阵…
特征提取
通过映射（或变换）的方法可以用低维空间来表示样本，这
个过程称叫特征提取。
人工神经网络
感知器
x1 w1 w2
wi
d x wi xi wn 1
i 1 n
X
x2 xi
xn 1
... ...
∑
+1 if d(x) > 0 -1 if d(x) < 0
wn+1
人工神经网络
BP (Back Propagation) 网拓扑结构 x1 x2
w11 w w w21 12
Some medical results
Comparative Results…
Keep in mind……
水平集方法只是实现工具 分割问题通常需要有专门的模型来解决，水平集 是演化工具，分割方法和水平集方法本身没有直 接联系
由分割到分类……
分割和分类如何区别？ 阈值分割就是简单的分类 很多分类方法可以用来对图像进行分割，如聚类
原始的Mumford-Shah通常是将图像分成若干个区域，并以最小化边界为约 束，构造和重建噪声信号（The piecewise smooth case）
一个简单案例- 二值化图像，使用不同区域的均值
Account for multiple classes?
Multi-Phase Motion
。
分类器
线性分类器 非线性分类器
0-1分类器 模糊分类器 线性函数分割特征空间 非线性函数分割特征空间 非此即彼的分类结果 隶属度描述分类结果 特征空间中像素独立 像素间相互影响
平行实现算法 串行实现算法
人工神经网络
神经网络是由多个非常简单的处理单元彼此按某种 方式相互连接而形成的计算系统，该系统是靠其状态对 外部输入信息的动态响应来处理信息的。 人工神经网络是一个由许多简单的并行工作的处理 单元组成的系统，其功能取决于网络的结构、连接强度 以及各单元的处理方式。 人工神经网络是一种旨在模仿人脑结构及其功能的 信息处理系统。
下图为对前面提到的图像进行自适应阈值后的图像 我们看到图像得到了改善，但是需要对出错的图像进行进一步的细 分，从而得到更好的效果
形变模型（Deformable Models）
形变模型（Deformable models）或活动轮廓模 型（ active contour models） 包括：
-2
-4
-6
PC 1
举例-PCA
PCA是Principal Component Analysis的缩写，中文翻译为主 元分析。它是一种对数据进行分析的技术，最重要的应用是 对原有数据进行简化。
有效的找出数据中最“主要”的元素和结构，去除噪音和冗余；
将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构；
Neighbourhood of solution
Current point Neighbour
X
(
)
分类器
在特征空间中使用特定的分类决策，把被识别 对象归为某一类别。 基本的做法是在样本训练集的基础上确定某个 判决规则，使按这种判决规则对被识别对象进行 分类所造成的错误识别率最小或引起的损失最小
通过对其参数进行聚类的方法，抽取相应的特征。
基于区域信息的分割方法
• 阈值（Thresholding）
1 g ( x, y ) 0 如果f ( x, y ) T 如果f ( x, y ) T
• 灰度直方图
单值阈值和光照
不均匀的光照会使单值阈值方案失效
一种解决方案---自适应阈值举例
特征选择
从一组特征中选出能得到最佳分类结果的特征
最可靠的方法是遍历所有特征组合，但时间复杂度 太高，实用性低 有多种算法，大多制定规则，尽可能找到最优特征 组合 举例：序列前向选择
模拟退火-idea
Accepting improving solutions only may end up with a local minimum.
(Caselles-Cate-Coll-Dibos:93,Malladi-Sethian-Vemuri:94)
使用几何流法提取边界： g(;) 是和图像梯度有关的因子
Malladi-Sethian-Vemuri:94
其他各项是跟具体图像相关的项 使用距离函数
基于区域的信息-The C-V Model [chan-vese:99]
映射后的特征叫二次特征，他们是原始特征的某种组合。所
谓特征提取本质上是一种特征变换。
举例-PCA
Variable X 2
8
6
PC 1
4
PC 2
-8 -6 -4 -2
2
0 0 2 4 6 8 10 12
-2
-4
-6
Variable X1
6
4
2
PC 2
0 -8 -6 -4 -2 0 2 4 6 8 10 12
对每个像素按照四个类别进行区分
Class 1: Class 2: Class 3: Class 4:
可以对能量函数做如下改造
Multi-Phase Motion
Multi-Phase Motion - Piecewise constant
Multi-Phase Motion - Piecewise smooth
医学图像的分析模型和方法
PPT模板下载：www.1ppt.com/moban/
简介
计算机图像处理的两个目的：
产生更适合人观察和识别的图像 由计算机自动识别和理解图像
简介
图像预处理 图像理解 图像分割 识别和分类
特征提取
特征选择
分类器分类
感兴趣区提取
病灶初筛
假阳性去除
系统性能分析
图像分割
n ti f w x b i 输入层→中间层 ij j j 1
BP网络训练(Training)
{y1, y2, ..., yq} : 实际网络输出
{r1, r2, ..., rq} : 期望的输出
vi = { v1i, v2i, ..., vpi }
p yi f v t c i 中间层→输出层 ij j j 1
声点、毛刺、空洞等不需要的部分，再通过细化、边缘连接
和跟踪等方法获得物体的轮廓边界。
边缘检测
一阶导数：用梯度算子来计算
二阶导数：通过拉普拉斯来计算
常用的边缘检测器
给定图像中的一个 3*3区域，使用下面的边缘检测滤波器进行 检测，它们都使用一阶导数
Laplacian 边缘检测
基于2阶导数的Laplacian滤波器
Allowing worse solutions may help us to escape local minimum.
模拟退火
• 模拟退火要素
• 评估函数 • 邻域定义 • 邻域搜索策略
• 接受准则:
• 趋好的结果一概接受 • 趋差的结果有概率的接受
模拟退火
接受准则
在温度t下， 能量增加δE的概率表达为： P(.) = exp(-E /kt)
k 为玻尔兹曼常数（Boltzmann’s constant）
Boltzmann constant = 1.3806503 × 10-23 m2 kg s-2 K-1 接受准则： 其中
E > 0是改变量，表示 评估函数趋差 t是当前温度 r是0-1间的随机数
f(X)
E(Current point) E(Neighbour)
人工神经网络
1 0
2 1 v( s ) 2 1 2 v( s ) (v) 0 EExternForce (v( s )) ds 2 2 s 2 s 1
水平集 （Level Set）
通过控制n+1维空间中的几何表面属性来对n维空间中的 曲面进行演化 对于二维曲线，需要演化三维空间中的水平集曲面，并 使用0水平集来代表分割边界曲线。
• 什么是图像分割？
图像分割举例
图像分割
• 人在进行判断的时候需要对图像进行分割吗？
图像分割
通用的标准
图像分割的基本策略是基于灰度或目标参数的两个基本特性： 区域之间的不连续性（跳变性） 区域内部的相似性
基于边缘信息和基于区域信息的分割技术
边缘检测
最直接的边界分割方法，普适但针对性不强 Sobel, Canny edge, LoG等 在边缘图像的基础上，需要通过平滑、形态学等处理去除噪
Level Set
隐式方程
对时间求导(使用链式法则)
(1)
(2)
Level Set vs. Snakes
优点:
几何可变性：合并/分裂 易于向高维空间扩展
缺点:
耗时
Narrow Band
在演化过程中需要保持水平集函数的几 何属性 合适的图像力和能量是关键
基于边界信息的分割
优点和问题：
抓住主要矛盾，易于表达和理解；
可能丧失有用的信息。
举例-PCA
冗余-相关性
举例-PCA
PCA的假设条件包括：
线性假设 使用均值和方差进行充分统计（高斯）。
高信噪比假设：大方差向量具有较大重要性。
主元正交假设。
举例-PCA
人脸识别
引用清华大学张长水教授相关工作
2 2 2 2
H dx
Some more
Knowledge-based Object Extraction
目标:
从图像中“恢复”已知形状的物体
方法
挑选训练集
对训练集进行配准 构造对训练集数据进行表达的模型 对给定的新图像，使用训练集信息对其中的目标 物体进行“恢复”
参数形变模型 (Snakes) 几何形变模型(Level sets)
不同点在于作为边界的线或面的形变方式不同
Snakes
图像能量被表达为外部能量和内部能量: (v ) v( s ) v( s )
InternForce ExternForce
EInternForce (v( s )) EExternForce (v( s)) ds
那么一阶导数和二阶导数分别为：
n( x) a cos(x) x n( x ) a sin(x) x
2 2 2
可见，即使噪声的幅值很小，但当频率很大时，噪声的一阶和二 阶导数的幅值也会很大
轮廓跟踪
目的：在边缘检测的基础上，构造平滑连续的边界轮廓线。
步骤：
确定作为搜索起点的边缘点 确定Hale Waihona Puke Baidu采取一种合适的数据结构和搜索机理 确定搜索终结的准则或终止条件 Eg.对于图像中某些符合参数模型的主导特征，如直线、圆、椭圆等，可以
Laplacian由于对噪声太敏感，因此一般不单独使用 通常和平滑Gaussian滤波器进行结合来进行边缘检测
导数&噪声
基于微分的边缘检测器，其基本依据是图像的边缘对应了一阶导数 的极大值，而二阶导数则过零点。 f ( x, y ) s( x, y) n( x, y ) 但是，假如图像受到噪声的影响： 噪声的幅值往往很小，但频率往往很高，比如设： n( x, y ) a sin(x)
p1
t1 t2
vq1v21
v11
v12
v22
y1 y2
w22
wp2
vq2 v1p
...
...
xn
...
w1n w2n wpn
tp 中间层
v2p vqp
输入层
yq
输出层
人工神经网络
输入层: 输入向量(x1, ...,xn)→特征空间维数
中间层(隐层) : 向量(t1, ..., tp) 输出层: 向量(y1, ..., yq) →分类数 权重: Wi = {w1i, w2i, ..., wni}
基于模式识别方法的分割
图像-特征生成-特征提取-特征选择-分类器分类
特征生成
表达图像中灰度的分布特性
灰度、邻域平均灰度…
表达局部灰度变化的程度
灰度微分、均方差…
表达特定纹理
霍夫变换…
统计特性
共生矩阵…
特征提取
通过映射（或变换）的方法可以用低维空间来表示样本，这
个过程称叫特征提取。
人工神经网络
感知器
x1 w1 w2
wi
d x wi xi wn 1
i 1 n
X
x2 xi
xn 1
... ...
∑
+1 if d(x) > 0 -1 if d(x) < 0
wn+1
人工神经网络
BP (Back Propagation) 网拓扑结构 x1 x2
w11 w w w21 12
Some medical results
Comparative Results…
Keep in mind……
水平集方法只是实现工具 分割问题通常需要有专门的模型来解决，水平集 是演化工具，分割方法和水平集方法本身没有直 接联系
由分割到分类……
分割和分类如何区别？ 阈值分割就是简单的分类 很多分类方法可以用来对图像进行分割，如聚类
原始的Mumford-Shah通常是将图像分成若干个区域，并以最小化边界为约 束，构造和重建噪声信号（The piecewise smooth case）
一个简单案例- 二值化图像，使用不同区域的均值
Account for multiple classes?
Multi-Phase Motion
。
分类器
线性分类器 非线性分类器
0-1分类器 模糊分类器 线性函数分割特征空间 非线性函数分割特征空间 非此即彼的分类结果 隶属度描述分类结果 特征空间中像素独立 像素间相互影响
平行实现算法 串行实现算法
人工神经网络
神经网络是由多个非常简单的处理单元彼此按某种 方式相互连接而形成的计算系统，该系统是靠其状态对 外部输入信息的动态响应来处理信息的。 人工神经网络是一个由许多简单的并行工作的处理 单元组成的系统，其功能取决于网络的结构、连接强度 以及各单元的处理方式。 人工神经网络是一种旨在模仿人脑结构及其功能的 信息处理系统。
下图为对前面提到的图像进行自适应阈值后的图像 我们看到图像得到了改善，但是需要对出错的图像进行进一步的细 分，从而得到更好的效果
形变模型（Deformable Models）
形变模型（Deformable models）或活动轮廓模 型（ active contour models） 包括：
-2
-4
-6
PC 1
举例-PCA
PCA是Principal Component Analysis的缩写，中文翻译为主 元分析。它是一种对数据进行分析的技术，最重要的应用是 对原有数据进行简化。
有效的找出数据中最“主要”的元素和结构，去除噪音和冗余；
将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构；
Neighbourhood of solution
Current point Neighbour
X
(
)
分类器
在特征空间中使用特定的分类决策，把被识别 对象归为某一类别。 基本的做法是在样本训练集的基础上确定某个 判决规则，使按这种判决规则对被识别对象进行 分类所造成的错误识别率最小或引起的损失最小
通过对其参数进行聚类的方法，抽取相应的特征。
基于区域信息的分割方法
• 阈值（Thresholding）
1 g ( x, y ) 0 如果f ( x, y ) T 如果f ( x, y ) T
• 灰度直方图
单值阈值和光照
不均匀的光照会使单值阈值方案失效
一种解决方案---自适应阈值举例
特征选择
从一组特征中选出能得到最佳分类结果的特征
最可靠的方法是遍历所有特征组合，但时间复杂度 太高，实用性低 有多种算法，大多制定规则，尽可能找到最优特征 组合 举例：序列前向选择
模拟退火-idea
Accepting improving solutions only may end up with a local minimum.
(Caselles-Cate-Coll-Dibos:93,Malladi-Sethian-Vemuri:94)
使用几何流法提取边界： g(;) 是和图像梯度有关的因子
Malladi-Sethian-Vemuri:94
其他各项是跟具体图像相关的项 使用距离函数
基于区域的信息-The C-V Model [chan-vese:99]
映射后的特征叫二次特征，他们是原始特征的某种组合。所
谓特征提取本质上是一种特征变换。
举例-PCA
Variable X 2
8
6
PC 1
4
PC 2
-8 -6 -4 -2
2
0 0 2 4 6 8 10 12
-2
-4
-6
Variable X1
6
4
2
PC 2
0 -8 -6 -4 -2 0 2 4 6 8 10 12
对每个像素按照四个类别进行区分
Class 1: Class 2: Class 3: Class 4:
可以对能量函数做如下改造
Multi-Phase Motion
Multi-Phase Motion - Piecewise constant
Multi-Phase Motion - Piecewise smooth
医学图像的分析模型和方法
PPT模板下载：www.1ppt.com/moban/
简介
计算机图像处理的两个目的：
产生更适合人观察和识别的图像 由计算机自动识别和理解图像
简介
图像预处理 图像理解 图像分割 识别和分类
特征提取
特征选择
分类器分类
感兴趣区提取
病灶初筛
假阳性去除
系统性能分析
图像分割
n ti f w x b i 输入层→中间层 ij j j 1
BP网络训练(Training)
{y1, y2, ..., yq} : 实际网络输出
{r1, r2, ..., rq} : 期望的输出
vi = { v1i, v2i, ..., vpi }
p yi f v t c i 中间层→输出层 ij j j 1
声点、毛刺、空洞等不需要的部分，再通过细化、边缘连接
和跟踪等方法获得物体的轮廓边界。
边缘检测
一阶导数：用梯度算子来计算
二阶导数：通过拉普拉斯来计算
常用的边缘检测器
给定图像中的一个 3*3区域，使用下面的边缘检测滤波器进行 检测，它们都使用一阶导数
Laplacian 边缘检测
基于2阶导数的Laplacian滤波器
Allowing worse solutions may help us to escape local minimum.
模拟退火
• 模拟退火要素
• 评估函数 • 邻域定义 • 邻域搜索策略
• 接受准则:
• 趋好的结果一概接受 • 趋差的结果有概率的接受
模拟退火
接受准则
在温度t下， 能量增加δE的概率表达为： P(.) = exp(-E /kt)
k 为玻尔兹曼常数（Boltzmann’s constant）
Boltzmann constant = 1.3806503 × 10-23 m2 kg s-2 K-1 接受准则： 其中
E > 0是改变量，表示 评估函数趋差 t是当前温度 r是0-1间的随机数
f(X)
E(Current point) E(Neighbour)
人工神经网络
1 0
2 1 v( s ) 2 1 2 v( s ) (v) 0 EExternForce (v( s )) ds 2 2 s 2 s 1
水平集 （Level Set）
通过控制n+1维空间中的几何表面属性来对n维空间中的 曲面进行演化 对于二维曲线，需要演化三维空间中的水平集曲面，并 使用0水平集来代表分割边界曲线。
• 什么是图像分割？
图像分割举例
图像分割
• 人在进行判断的时候需要对图像进行分割吗？
图像分割
通用的标准
图像分割的基本策略是基于灰度或目标参数的两个基本特性： 区域之间的不连续性（跳变性） 区域内部的相似性
基于边缘信息和基于区域信息的分割技术
边缘检测
最直接的边界分割方法，普适但针对性不强 Sobel, Canny edge, LoG等 在边缘图像的基础上，需要通过平滑、形态学等处理去除噪