ROC曲线中最佳工作点的选择
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
图 1 ROC 曲线
(3) OOP 的选择 假设本试剂盒主要用于筛检试验 ,故要求有较高 的敏感度 ,设定其最低敏感度为 019 。 冠心 病 患 病 率 按 文 献 报 道 1136 %〔12〕计 算 。 c ( FP) 、c ( N P) 未知 ,设定其比为 1 。则 < = 72153 ,计算 得α= 2176 , Ψ = 0156 ,由此计算 < 点的敏感度和特异 度。
21 统计分析方法 以 logit 为连接函数构建 ROC 曲线 ,以 SAS 810 软件包进行统计分析 。
31 结果 (1) ROC 函数的拟合
表 1 连接函数的参数估计
β0 SE(β0) β1 SE(β1) 95 %L CI (β1) 95 %UCI (β1)
- 10126 0195 0115 0102
51Feinstein AR. Clinical epidemiology : architecture of clinical research. WB Saunders Company ,1985 :6012632.
61 刘杰 ,林一帆 ,张沥等. 图象自动分析检测 M G7 抗原表达预测胃癌 高危价值探讨. 中华预防医学杂志 ,1996 ,30 (5) :286.
示为〔12〕:
Sen<
= Φ(α -
ln 2
(φ)
)
(3)
S pec<
=
1
-
Φ( -
α
-
ln 2
(φ)
)
(4)
当 Ψ ≠1 时 ,OOP 点的敏感度和特异度可表示为 :
Sen< = Φ(α - Ψ
α2
+ 2(1 1 - Ψ2
Ψ2)
lnφ/
Ψ
)
(5)
S pe< = 1 - Φ(αΨ -
α2
+ 2(1 1 - Ψ2
11 成都医学院公共卫生学教研室 (610081) 21 四川大学公共卫生学院 31 成都医学院人体解剖学教研室
果通过某连接函数 ,拟合出了 ROC 的函数 ,那么曲线
上斜率为 1 的点作为 OOP 才是真正意义上曲线上最
左上方的点 。
31 通过患病率和花费 、收益计算 OOP 斜率〔8~10〕
OOP 一旦用于临床 ,指导临床诊断的时候 ,就不再是
41Riddle D L , Stratford PW. Interpreting validity indexed for diagnostic tests :An illustration using Berg Balance Test . Physical Therapy ,1999 , 79 :9392948.
讨 论
OOP 是临床诊断的重要工具 ,它不仅是一种统计 学的问题 , 还涉及到临床 、经济等多种因素 , 在确定 OOP 以前 ,必须明确诊断实验的目的 ,误诊 、漏诊带来 的后果 ,然后再加以选择何种方法更为恰当〔3〕。
在本次研究中 ,分别使用了三类方法得到了 3 个
参 考 文 献
11 Hanley J A ,McNeil BJ . The meaning and use of t he area under a receiv2 er operating characteristic ( ROC) curve. Radiology ,1982 :29236.
知时 ,设定其比为 1 。
假设阳性人群 、阴性人群分别来自正态分布 ,可
得:
α=
|
μR - μN σN
|
;
Ψ
=
σN σR
(2)
式中 μR 、σR 为阳性人群的总体均数和标准差 ;μN 、σN
为阴性人群的的总体均数和标准差 , 可分别用样本均
数和标准差进行估计 。
则 :当 Ψ = 1 时 ,OOP 点的敏感度和特异度可表
71Peng MS ,So TSH. logistic regression analysis and reporting :A primer. Understanding Statistics ,2002 ,1 :31270.
81Hampern EJ , et al. Comparison of receiver operating characteristic curves on t he basis of optimal operating point . Academic Radiology , 1996 ,3 :2452253.
21 England WL . An exponential model used for optimal t hreshold selection on ROC curves. Medical Decision Making ,1988 (8) :1202131.
31Robert J G et al ,Determination and interpretation of t he Optimal Oper2 ating Point for ROC Curves derived t hrough generalized linear models. Understanding Statistics ,2003 ,2 (4) :2192242.
目前确定 OOP 的方法主要有三种 : 11 预先设定敏感度或特异度的取值〔3〕 如果在 一个诊断系统中 ,OOP 作为诊断界值 ,能更精确 、更大 可能地排除阴性人群 (特异度) ,可以设定一个特异度 最低限值 ,然后在这个基础上得到的不低于该限值 ,而 同时使敏感度最大的切点 (cutoff point) 即为 OOP 。主 要用于肯定诊断系统中 ,假阳性导致不当治疗 ,以及较 严重的身体 、精神和经济负担 。 相反 ,如果一个诊断系统的目的在于更大程度地 发现阳性人群 ,可以设定敏感度最低限值 ,然后寻找不 低于该限值的最大特异度的切点作为 OOP 。主要用 于假阴性会造成严重后果 ,比如致死性疾病 ,以及在筛 检实验中常常需要高的敏感度 。 这里的最低限值一般要求设定较高才有意义 ,但 如何确定尚无定论 ,有报道认为可以参考在假设检验 中的把握度 (1 -β) ,通常设为 80 %或 90 %。 21 同时使敏感度和特异度达到最大 当一个诊 断系统中假阳性和假阴性的错误并没有多大差别 ,就 要求 敏 感 度 和 特 异 度 都 比 较 大 的 切 点 是 最 好 的 OOP〔4〕。也即在 ROC 曲线上最左上方的点 。 较常用的做法 是 使 阳 性 似 然 比〔5〕或 Youden 指 数〔6〕或灵敏度 、特异度的和或平方和最大〔3〕的一点 。 或者将同一坐标系下做切点和敏感度 、切点和特异度 的线图 ,两线交汇的地方作为 OOP (交叉图法)〔7〕。如
111 宇传华 ,徐勇勇. ROC 分析的基本原理. 中华流行病学杂 ,1998 ,19 (22A) :4132415.
121Sainfort F. Evaluation of medical technologies : A generalized ROC anal2 ysis. Medical Decision Making ,1991 ,11 :2082220.
一个单纯的统计学问题 ,牵扯到收益 、花费以及所诊断
疾病的患病率等因素 。该方法正是基于这种考虑 ,定
义曲线上斜率为 φ的一点为 OOP ,该斜率定义为 :
φ
=
1-π π
×c(
c(
FP) FN )
(1)
式中 π为所诊断疾病的患病率 , c ( FP) 、c ( FN ) 分别
为假阳性和假阴性导致的花费 。当 c ( FP) 、c ( FN ) 未
1113
1120
参数均具有统计学意义 。得如下模型 :
logit ( P) = - 10126 + 0115 ×biomarker
(7)
(2) ROC 曲线
OOP 值 。固定敏感度或特异度的方法相对简单 ,而且 考虑了不同诊断系统的用途作出判断 ,但对于 ROC 曲 线基本为接近直角的折线的试验中 ,似乎将值固定在 018 或 019 并不十分恰当 ,因为无论敏感度和特异度 都还有更高的空间可以选择 。对于这种情况 ,选用其 他方法 ,或者制定更高的限值对 OOP 的选择似乎更为 恰当 ,同时 ,最低限值的选择到底应该设定在那个水平 更为合适 ,有待进一步的研究 。对于同时使敏感度和 特异度最大的方法 ,在本次研究中确定的 OOP 最为恰 当 ,敏感度和特异度均在 95 %以上 ,虽然此类方法可 供选择的具体指标或做法比较多 ,但经拟合的 ROC 曲 线为一单调函数 ,几种方法的结果应该是一致的 ,研究 也证实了这一点 。使 Youden 指数最大法 ,相对简单 , 也易于理解 ,是值得推荐的 。第三类方法可以看出 ,如 果疾病治疗花费多 、收益少或患病率低 ,则斜率大最佳 工作点接近 (0 ,0) ,确保了假阳性的减少 ;如果疾病治 疗花费少 、收益多 ,或患病率高则斜率小 ,最佳工作点 接近 ( 1 , 1) , 确保了假阴性的减少〔11〕。但 有 报 道 认 为〔12〕,该方 法 更 适 合 于 患 病 率 比 较 小 的 疾 病 诊 断 系 统 ,同时如果切点在考虑疾病患病率的情况下不服从 Bayes 法则 ,在统计理论框架下所确定的 OOP 并不一 定是最佳的 。
Ψ2) lnφ/
Ψ
)
(6)
式中 Φ 为标准正态分布的累计密度函数 。
应用实例
11 资料来源 某诊断试验中用于诊断冠心病的 血浆某指标含量数据 ,共计 684 人 ,其中 :
(1) 正常组 : 508 人 ; 其中男性 237 人 ,女性 271 人 ,年龄在 18~70 岁之间 ;
(2) 冠心病组 : 176 人 ; 其中男性 143 人 ,女性 33 人 ,年龄在 18~70 岁之间 ;
91Metz C E , Herman B A ,et al. Maximum likelihood estimation of receiver operating characteristic ( ROC) curves from continuously distributed data. Statistics in Medicine ,1998 ,17 :103321053.
101Somoza , E. and Mossman ,D. ”Biological markers”and physical diagno2 sis : Risk2benefit balancing using ROC curve analysis ,Biol Psych ,1991 , 29 :8112826.
表 2 OOP 结果
方法
固定敏感度 Youden 指数最大 交叉图法 考虑患病率
OOP 点预 OOP 测概率 (U/ L) 0150591 68156 0120723 59146 0120723 59146 0186163 80159
Baidu Nhomakorabea
敏感度 ( %) 91 96 96 83
特异度 ( %) 99 95 95 99
© 1994-2006 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
·158 ·
Chinese Journal of Healt h Statistics ,Apr 2006 ,Vol. 23 ,No . 2
中国卫生统计 2006 年 4 月第 23 卷第 2 期
·157 ·
ROC 曲线中最佳工作点的选择
陈卫中1 潘晓平2 宋兴勃3 倪宗瓒2
方法介绍
ROC 曲线对所有可能的阈值作计算显示敏感度 和特异度之间相互关系 。通过改变诊断界点 ,获得多 对 TPR (即灵敏度 ,sensitivity) 与 FPR (即 1 - 特异度 , 1 - specificity) 值 ,以 FPR 为横坐标 , TPR 为纵坐标 , 绘制 ROC 曲线 ,从而能动态的 、客观的反应诊断系统 的效能〔1〕。ROC 曲线的另一个作用〔2〕是确定检测的 最佳工作点 (optimal operating point ,OOP) 。ROC 曲 线包含在所有可能的阈值上所有敏感度和特异度的组 合 。这为临床实践提供了估价最佳阈值的机会 。