诊断试验与ROC曲线分析

诊断试验与ROC曲线分析
目录
一、基本概念
1.诊断试验四格表基本统计基本指标
2.ROC曲线：
二、实例分析
1）各诊断项目（变量）分别诊断效果分析：
2）诊断模型分析：
3）比较两预测模型：
4）时间依赖的ROC曲线(Time-dependent ROC)分析
一、基本概念
1.诊断试验四格表基本统计基本指标
诊断试验金标准诊断结果合计
患病（D+）未患病（D-）
阳性a（真阳性）b（假阳性）a+b
阴性c（假阴性）d（真阴性）c+d
合计a+c b+d N=a+b+c+d
1)检测患病率(prevalence): 是指被检测的全部对象中，检测出来的患者的比例。

即：检
测患病率 = (a+b)/(a+b+c+d)
2)实际患病率(prevalence): 是指被检测的全部对象中，真正患者的比例。

即：实际患病
率 = (a+c)/( a+b+c+d)。

实际患病率对被评价的诊断试验也称为验前概率，而预测值属于验后概率。

3)敏感性: 敏感性就是指由金标准确诊有病组内所检测出阳性病例数的比率（%）。

即本
实验诊断的真阳性率。

其敏感性越高，漏诊的机会就越少。

即：敏感性= a/( a+c)
4)特异性: 是指由金标准确诊为无病组内所检测出阴性人数的比率（%），即本诊断实验
的真阴性率。

特异性越高，发生误诊的机会就越少。

即：特异性= d/(b+d)
5)诊断准确率: 是指临床诊断检测出的真阳性和真阴性例数之和，占总检测人数的比例，
即称本临床实验诊断的准确性。

即：准确性= (a+d)/ (a+b+c+d)
6)阳性似然比（positive likelihood ratio）: 阳性似然比是指临床诊断检测出的真
阳性率与假阳性率之间的比值，即阳性似然比=敏感性/（1-特异性）= (a/(a+c))/(b/
(b+d))。

可用以描述诊断试验阳性时，患病与不患病的机会比。

提示正确判断为阳性的
可能性是错误判断为阳性的可能性的倍数。

阳性似然比数值越大，提示能够确诊患有该
病的可能性越大。

它不受患病率影响，比起敏感度和特异度更为稳定。

7)阴性似然比（negative liklihoodratio）: 阴性似然比是指临床实验诊断检测出的假
阴性率与真阴性率之比值，此值越小，说明该诊断方法越好。

可用以描述诊断试验阴性
时，患病与不患病的机会比。

阴性似然比提示错误判断为阴性的可能性是正确判断为阴
性的可能性的倍数。

阴性似然比数值越小，提示能够否定患有该病的可能性越大。

阴性
似然比=（1-敏感性）/ 特异性= (c/(a+c))/(d/(b+d))
8)诊断比值比（OR）: 阳性似然比与阴性似然比的比值。

数值越大，表明诊断试验区分患
者与非患者的能力越大。

诊断比值比= (a/(a+c)/(b/(b+d)) / (c/(a+ c) / (d/(b+d))) = (ab)/(cd)
9)诊断所需检测数(NND): 真阳性率（敏感度）与假阳性率（1-特异度）的差的倒数。

诊
断所需检测数, (NND) = 1/(a/(a+c)- b/(b+d))
10)Yuden 指数: Yuden 指数 = 敏感性+特异性-1 = a/(a+c)+d/(b+d)-1
11)阳性预测值(postivepredictive value): 又称预测阳性结果的正确率，是指待评价的
诊断试验结果判为阳性例数中，真正患某病的例数所占的比例。

即：阳性预测值 = 真
阳性/（真阳性+假阳性）= a/ (a+b)
12)阴性预测值(negative predictive value): 又称预测阴性结果的正确率，是指临床诊
断实验检测出的全部阴性例数中，真正没有患本病的例数所占的比例。

即：阴性预测值
=真阴性/（真阴性+假阴性）= d/(c+d)
2. ROC曲线：
1)概念：称受试者工作曲线，可以综合考虑一项诊断试验(定量指标)或预测模型（模型的预
测值）在所有诊断界值时的灵敏度和特异度。

对于每一个诊断界值，都可以得到相应的灵
敏度和特异度。

ROC曲线是以（1-特异度）为横坐标，以灵敏度为纵坐标绘制而成的曲线，它用线段连接每个诊断界值对应的[（1-特异度），灵敏度]的点。

对于连续变量，诊断界
值可以取任意一个。

对有序分类变量，由不同的诊断结果作为诊断界值时，对应于不同的
灵敏度和特异度，将每种诊断结果对应的[（1-特异度），灵敏度]的点，标在直角坐标系
中，用线段连接各相邻两点，即为有序分类资料的ROC曲线。

2)ROC曲线下面积（AUC）：表示所有灵敏度时诊断试验平均特异度，或者所有特异度时诊
断试验的平均灵敏度。

通常，ROC曲线下面积在0.5-1之间。

曲线下从原点到右上角的对
角线称为机会线，表示无论取任诊断界值，灵敏度=1-特异度，即真阳性率=假阳性率，意
味着无论患者和非患者都有同样的“机会”被诊断为阳性。

ROC曲线越接近机会线，即曲
线下面积越接近0.5，表明诊断试验区分患者和非患者的能力越弱；越接近1，表明诊断
试验的准确度越强。

一般认为，0.50-0.70之间，诊断价值较小；0.70-0.90之间，诊断
价值中等；>0.90，诊断价值较高。

最理想的诊断试验的ROC曲线是从坐标原点出发，沿着Y轴到（0，1）点，再沿着X轴的水平线到（1，1）点。

在比较ROC曲线下面积时，还应考虑到实际临床应用情况。

比如，某项诊断试验主要用于排除疾病时，则需要较高的特异度，这是我们仅对左侧的ROC曲线（即高特异度的ROC曲线部分）下的面积感兴趣。

通过检验AUC是否等于0.5来评价某诊断试验有无诊断价值。

3)诊断界值确定：实际工作中，人们希望找到灵敏度和特异度均接近“1”的点。

横轴为
（1-特异度），所以横轴原点就是特异度为1的点，因此我们要找的点就是距ROC曲线图中左上角最近的点，也就是（灵敏度+特异度）取最大值的点。

如果认为灵敏度的重要性是特异度的a倍，此时可选取（a*灵敏度+1*特异度）取值最大的点。

在实际应用中，可以根据不同的研究目的确定阈值，如果诊断试验目的是筛查本病时，宜选在误诊率充许的范围内灵敏度较高的截断点，此时保证了漏诊率低；若试验目的为确诊本病，则宜选在漏诊率充许范围内特异度较高的截断点，此时误诊率低。

Cut point selection
One of the best-known methods is based on selecting the cutpoint that provides the same value for the sensitivity and specificity. This point is known as the equivalence or symmetry point (Greiner, 1995; Defreitas et al., 2004; Adlhoch et al., 2011). Graphically, it corresponds with the operating point on the ROC curve that intersects the perpendicular to the positive diagonal line, that is, y = 1 − x, where x is the false positive rate. The symmetry point can also be seen as the point that maximizes simultaneously both types of correct classifications (Riddle and Stratford, 1999; Gallop et al., 2003), that is, it corresponds to the probability of correctly classifying any subject, whether it is healthy or diseased (Jiménez-Valverde, 2012, 2014). Additionally, the incorporation of costs for the misclassification rates in the estimation of optimal cutpoints is crucial for evaluating not only the test accuracy but also its clinical efficacy, although this aspect is not taken into account most of the times. So, an interesting generalization of the equivalence or symmetry point, cS, that takes into account the costs associated to the false positive and false negative misclassifications, CFP and CFN, respectively, is the generalized equivalence point or generalized symmetry point, cGS, that satisfies the following equation:
ρ(1 − Sp(cGS)) = (1 − Se(cGS)), (1)
where ρ = CFP/CFN is the relative loss (cost) of a false-positive decision as compared with a false-negative decision (see López-Ratón et al., 2016, for more details). Similarly to the
symmetry point, this costbased generalization is obtained by intersecting the ROC curve and the line y = 1 − ρx, where x is the false positive rate. Obviously, when ρ = 1 in Equation 1, the
generalized symmetry point yields the traditional symmetry point. The reader can see some medical examples, that have taken into account the misclassification costs in their ROC analysis, in the review conducted by Cantor et al. (1999) where the Cost/Benefit (C/B) ratio is discussed (C/B= 1/ρ). Additionally, Subtil and Rabilloud (2015) include some common values for the C/B ratio (C/B = 2, 5, 10, 100). High values of C/B ratio mean that it is considered more harmful not to treat a diseased individual than to treat a healthy one.
二、实例分析
例1：练习项目diagpred（点击“打开现有分析项目”，点击“练习用的项目”，选diagpred）使用的练习数据diagpred.xls中outcome为金标准结果（0/1）变量，另有四项诊断试验结果变量：X1、X2、X3、X4，及X5、Age、Gender变量。

使用易侕统计软件分析各诊断项目，及其不同诊断模型的诊断效果。

点击“数据分析”主菜单，选“诊断试验与预测方程”，再选“诊断试验与ROC分析”。

1）各诊断项目（变量）分别诊断效果分析：
输入界面：
此处选择分析方法1：逐个X（检测项目）分析。

如果设置Bootstrap smooth 重采样次数，将做平滑曲线ROC曲线，这样运算时间比较长。

输出结果：
结局变量: OUTCOME
AUC 可信区间与显著性检验采用非参数的重复采样方法(Bootstrap resampling times= 500 )
最佳阈值取敏感度+特异度最大的分界值。

各分界点对应的敏感度特异保存在ROC输出文件（.xls）里
结果解释：
1.X1是两分类型的检测项目，输出结果包括：
∙四格表
∙阳性似然比 = a/(a+c) / (b/(b+d)) = 10/(10+31)/28*(28+44) =0.6272，
∙阴性似然比 = (c/(a+c))/(d/(b+d)) =（31/（10+31））/（44/（18+44））=1.2373，∙敏感性=10/（10+31）
∙特异性=44/(28+44)
∙阳性预测值= 10/（10+28）
∙阴性预测值=44/（31+44)。

2.X2、X3是连续性的定量指标，取不同的界值会得到不同的敏感性与特异性，输出：
∙ROC曲线
∙平滑拟合的ROC曲线
∙带有敏感性95%可信区间的平滑拟合ROC曲线
∙ROC曲线下面积（AUC）及其95%可信区间
∙最佳界值（敏感性+特异性最大）点及其对应的特异度与敏感度，
3.X4是多分类指标，输出：
∙各结果的阳性似然比，如
o X4=1的阳性似然比 = (2/(2+12+1+8+18))/(37/(37+20+3+8+4)) =0.0949;
o X4=2的阳性似然比=（12/(2+12+1+8+18)）/（20/(37+20+3+8+4)）=1.0537
X5只是结果变量的细分类，不是诊断试验结果:
∙X5=1与X5=3对应outcome=1
∙X5=4与X5=5对应outcome=0
2）诊断模型分析：
根据几个诊断项目（X）结果，同时可以结合研究对象的性别与年龄等基本特征变量，构建诊断模型。

由诊断模型里计算每个研究对象的预测值，对模型的预测值进行ROC曲线分析。

下面是对一个模型的分析及两个模型的比较。

输入界面：
此处选择分析方法2：所有X（预测模型）分析。

输出结果：
结局变量: OUTCOME
预测模型:
OUTCOME=-5.50467 -0.11127*(X1=1) + 0.07033*X2 + 2.48858*X3 + 3.52591*(X4=2) + 3.03121*(X4=3) +
3.67565*(X4=4) + 5.04438*(X4=5)
预测模型ROC曲线分析及最佳阈值分析
AUC 可信区间与显著性检验采用非参数的重复采样方法(Bootstrap resampling times= 500 )
最佳阈值取敏感度+特异度最大的分界值。

各分界点对应的敏感度特异保存在ROC输出文件（.xls）里。

结果解释：
此处输出模型的ROC曲线、曲线下面积及其95%可信区间，模型预测值的最佳界值（敏感性+特异性最大）点及其对应的特异度与敏感度。

3）比较两预测模型：
对两个预测模型的ROC曲线进行比较，看哪个模型预测效果更佳。

输入界面：
此处输入两个模型，并选择分析方法3：比较两预测模型。

输出结果：
结局变量: OUTCOME
预测模型:
Model 1： OUTCOME=-5.50467 -0.11127*(X1=1) + 0.07033*X2 + 2.48858*X3 + 3.52591*(X4=2) + 3.03121*(X4=3) + 3.67565*(X4=4) + 5.04438*(X4=5)
Model 2: OUTCOME=-7.08705 -0.17213*(X1=1) + 0.07560*X2 + 2.13148*X3 + 4.09902*(X4=2) + 3.92358*(X4=3) + 4.12173*(X4=4) + 5.43902*(X4=5) + 0.03827*AGE -1.34844*(GENDER=1)
AUC 可信区间与显著性检验采用非参数的重复采样方法(Bootstrap resampling times= 500 )
）里
两模型ROC曲线下面积比较，p=0.1890，无显著性差异。

4）时间依赖的ROC曲线(Time-dependent ROC)分析
如果结果变量是截尾数据，依时间不同状态不同，可以计算Time dependent ROC曲线。

同理可以做单变量的分析，也可以做用cox模型计算预测值，对模型的ROC曲线进行分析。

这个模块尚不能做平滑ROC曲线。

例4：下载练习数据mayo.xls，按下图设置输入界面，看score4、score5两变量对365天status的预测效果。

输入界面：
输出结果：
结局变量: STATUS
最佳阈值取敏感度+特异度最大的分界值。

各分界点对应的敏感度特异保存在ROC输出文件（.xls）里
Nearest Neighbor Estimation(NNE) method was used. Reference: Heagerty, Lumley & Pepe (Biometrics, Vol 56 No 2, 2000, PP 337-344)。