ROC曲线

观察者操作特性曲线(ROC)分析

关键词: 观察者操作特性曲线(ROC)

罗伯特朱等

本文作者Robert Y. L. Chu博士退伍军人事务医疗中心放射医学服务部俄克拉荷马大学健康科学中心; Elizabeth N. Christian科学硕士; J. Randall Wilson 医学博士; Bob G. Eaton医学博士本文译者伍瑜审校者燕树林

观察者操作特性(Receiver Operating Characteristic ROC)曲线分析的应用在医学影像研究中已经流行25年多这个方法被用于比较观察者的观察结果和影像设备的观察结果随着影像探测器技术和计算机科学的进步绝大多数诊断影像信息都是数字化的便于由计算机来进行分析因此ROC分析可用来研究观察设备的性能ROC方法的这一优势可能还会继续下去

随着个人计算机的普及还有在这领域工作的专家们提供的分析程序这一复杂方法的说明和应用已经变得较容易了下面我们将简单介绍这一理论并提供一个例子

一原理

在放射学领域一个诊断检测所得到的信息或测量值说到底是判断有否疾病让我们来看图1中假设的实际阳性病例和实际阴性病例的分布两个分布可能有重叠的部分给定一个信号幅度或是阈值如果两个分布有重叠事实上可

能是阳性也可能是阴性

1. 两种选择过程

假设一个医生他作为观察者在一个诊断检测中被要求表明疾病是否存在结果可以汇编成如表1所示的22的矩阵

用Patton和Metz做临床决定的术语这些结果可以表达成以下归一化的变量:

真阳性比值(TPF)=

实际阳性病例的数目作了阳性决定的数目

假阳性比值(FPF)=

实际阴性病列的数目作了阴性决定的数目

真阴性比值(TNF)=

实际阴性病例的数目作了阴性决定的数目

假阴性比值(FNF)=

实际阳性病例的数目作了阴性决定的数目 在统计的对像数目很大的情况

这些比值对应着在有病和正常的诊断中作出阳性和阴性的几率

见表2

2. 观察者操作特性曲线

如果医生观察者挑选一个不同的阈值那么这22的矩阵中的数值就会相应地变化表2中的TPF 和FPF 对应着图1中阈值右侧曲线下归一化了的面积用

微积分学来说

TPF 或FPF 是相应的几率函数的积分: dx f e x x ∫∞)(这里x c 是阈值阈值对一个观察者所做的决定的影响可以用TPF~ FPF 曲线来描述如图2所示

如果p 0和n 0用来代表相应的阳性和阴性分布的相关值(或参考点)

而x c p 和

x c n 代表x c 相对于相关值的位置则有如下关系:

x c p =x c n -(p 0-n 0) (1) 括号内是两个分布的相关值之间的距离是一个常数从式(1)可见相对位置(x c p 和x c n )之间是线性关系图2中的每一点对应着一个阈值x c 也对应着一对x c p 和x c n 因此如果把x c p 或x c n 作为阈值影响的另一种描述则可得如图3所

示的一条直线(图中的刻度将在后面关于高斯分布的部分来解释)

在ROC 曲线下的面积(见图2)是对一个观察者或是诊断系统在研究一个特定的对像群体时的识别能力的一个量度例如如果ROC 曲线是一条45倾角的直线则这直线下的面积是0.5这就意味着判断为肯定和否定的几率是相同的

3. 评价过程

一个医生可能不用是和不是来表达其诊断而是用信心度来表达其诊断Goodenough 等用一个对放射摄影的屏片系统的研究来说明在ROC 分析中这个过程的应用例如如果这个观察被分为五类(绝对阴性可能阴性有疑问可能阳性绝对阳性)结果可以记录成如表3所示矩阵

表3最下面两行对应图1中两个分布的五个区域这表的结果可以转换成22的矩阵对应是和不是的决定例如如果我们把阈值定在第四类和第五类之间并且把这阈值右边的叫做阳性而把这阈值左边的都叫做阴性则得到TPF=Y 5FPF=N 5如果把阈值向左移一类则得另一个22的矩阵其中TPF=Y

4Y 5FPF=N

4N 5以此类推改变阈值可以得到五套TPF 和

FPF 这些数据就是用来画ROC 曲线的

4. 高斯假设

高斯分布(也称正态分布)可表成下式:

f(x)=

2)(221σπσx x e −−2

其中(x )

是平均值

而()是方差2

σ人们发现用这假设的模型及其正态分布去描述病患的分布与ROC 数据在很多情况下十分符合 如果两个分布有相同的方差ROC 曲线有如下表现当两个分布的平均值差别变大时也就是说两个群体差别变大时图2中的ROC

曲线变得凸得更厉害这曲线的斜率呈单调变化事实已经表明在实验的ROC 曲线中只有两个分布的方差区别很大时ROC 曲线的斜率的变化才不再是单调的

ROC 曲线的坐标(系)代表着由阈值界定的在这分布下的面积(或在计算中积分的上限)反之该阈值或极限可以用双概率坐标纸作图来计算高斯函数的逆函数也可以用个人计算机软件中的数学函数来计算例如在Excel 中就是用所谓的NORMSINV

函数ROC 曲线可以转换成图3其中横坐标及纵坐标是正常偏差(即相对于平均值的偏差除以标准偏差)对应着几率(FPF 和TPF)除了实验的不确定性之外转换的曲线应该是一条直线其斜率对相同方差的分布来说

应等于1(图3)

二模型实验

这个例子是用一个商业上可以得到的测试物(ALVIM TM TRG型)来研究计算放射摄影技术测试体模含有多个不同大小的洞以及不同类的材料其大小与一只手相当可以用与一个肢体所用的同一种放射摄影技术来得到它的图像

1. 方法和材料

ALVIM模型(图4a)含有一个塑料的底盘用六列铝盘以模拟骨头六列塑料盘以模拟软组织在每列中有10个盘其中的5个有相同大小的洞第一列铝盘的每个洞的直径为0.5mm这直径每列依次增加0.1mm直到第六列达到1.0mm 塑料盘中的洞的直径在不同列中分别为0.9mm 1.0mm 1.2mm 1.4mm 1.7mm 和2.0mm

这个模型是用来研究在作者的诊所中的CR系统(Fuji FCR 9000型和Fuji底片)这系统用一个ST-V A光刺激磷光体的成像板模型的每一列中洞的分布是任意的成像板放在检测台上其上依次放上一张1mm厚铝箔加一片2.54cm 厚的聚丙酸片最上面放上ALVIM模型射线源到检测台的距离是100cm用50kVp和2mAs来获得成像板上的放射影像对成像板的放射曝光大约是

8.69Gy(1mR)数字放射摄影得到的影像储存在Fuji系统中并打印在胶片上

成像板用缺省的成像处理参数进行加工得到的结果记录在一个底版上然后将那储存的数据用参数之一S-位移进行再处理将之从S 1.0变为S 1.3这样影像强度曲线线性平移影像变得暗一些由两个放射线学者和两个物理学者来研究这两个影像

要求每个观察者对一个盘的影像用五类来评定: 肯定不存在一个洞好像没

有洞不肯定洞的存在好像存在洞肯定有洞代表软组织的有直径为1.2mm 洞的那列被选来做这个例子的分析这里假设了对每个盘的观察与其他盘无关四个观察者的结果都是有效的可能有20个确实正常的案例和20个确实有病的案例每个案例对应着空白的盘或一个有洞的盘

2. 分析和结果