两种测量方法定量数据测量结果的一致性评价07-01-04
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
[关键词] 一致性 配对 t 检验 简单相关系数 组内相关系数 Bland-Altman 法
Agreement assessment of data obtained from two raters based on continuous measurements Li Yichong, Li Xiaosong, Huaxi School of Public Health, Sichuan University, 610041
一、方法
设两种定量数据的测量仪器分别为 M 和 N 仪器。仪器 i ( i = M, N )对测量对象
j ( j = 1,L , n )的测量结果为 X ij 。进一步,假定测量值 X ij = Tj + Bij + Eij ,其中 Tj 代表第
j 个测量对象的真值, Bij 代表第 i 个仪器对测量对象 j 的系统误差(bias), Eij 代表第 i 个仪
ρˆ ICC
=
MS区组
+ (k
MS区组-MS误差
−
1)MS误差+
(k MS处理-MS误差) n
式中,k 表示测量仪器的个数(此处为两种),n 表示测量对象个数。
ICC 的假设检验,即检验 ICC 是否为零的假设检验,实际上与方差分析检验结果一致[7],
检验统计量
F
=
MS区组 MS误差
,ν 区组=n
−1,ν=(n
器对测量对象
j
的随机误差(error)。假定 Tj
服从正态分布
N
(
μT
,
σ
2 T
)
, Bij 来自于正态分布
N
(μiB
,σ
2 iB
)
,
Eij
来自于正态分布
N
(0,
σ
2 iE
)
。一般地, Tj
、
Bij
与
Eij
是相互独立的[1][2]。
1. 配对 t 检验 Howell(1987)[3]以及陈玉平(2005)等[4]曾使用配对 t 检验作为衡量一致性的方法。配对 t
Key words Agreement, paired t test, simple correlation coefficient, intra-class correlation coefficients, Bland-Altman method
∗ 李晓松 通讯地址:四川成都人民南路三段 16 号 610041 四川大学华西公共卫生学院卫生统计学教研室
−1)(2
−1)
。
4. Bland-Altman 法
对评价定量数据两种测量结果的一致性,Bland 和 Altman 提出了另一种方法[2][8]。Bland 与 Altman 建议首先绘制两仪器测量值差值对应于均值的散点图(Bland-Altman 图),设
D = X M − X N , A = ( X M + X N ) / 2 ,即绘制 D 与 A 的散点图,观察 D 与 A 的关系。
)
3
和α
= (μXM
− μXN ) − μXM
+ μXN 2
β
此时,α
=β
= 0 就意味着 μXM
= μXN
σ 和 2 XM
=
σ
2 XN
,即这两种测量数据方法具有相同
的分布参数。
同时,可以用 Bradley-Blackwood 方法检验假设α = β = 0 [5],检验统计量为:
n
n
n
∑ ∑ ∑ FB−B = (n − 2){
Objective To evaluate the Agreement of quantitative measurements of two raters. Methods Expounding the advantages and disadvantages of paired t test, simple correlation coefficient, intra-class correlation coefficients (ICC) and Bland-Altman method. Each method was used to evaluate the agreement of a true data and three hypothetical situations developed from the true one. Results In the situation of true data demonstrating good agreement, correlation coefficient, the ICC and Bland-Altman method indicated good agreement, but paired t test suggested the data was not reliable. In the situation demonstrating systematic bias, the ICC, paired t test and Bland-Altman method suggested the data were not reliable, whereas the Pearson correlation suggested high reliability despite the systematic discrepancy. In the situation representing substantial random error where low agreement was expected, the ICC, correlation coefficient and Bland-Altman method accurately illustrated this. The t test suggested the data were reliable. In the situation demonstrating low range of measurements where both bias and error were small, paired t test and Bland-Altman method suggested good agreement, but ICC and correlation coefficient failed to demonstrate that. Conclusion Both paired t test and simple correlation coefficient had defects in assessing agreement, and intra-class correlation coefficients and the Bland-Altman method were the preferable techniques to measure agreement although there are some limitations associated with the use of these techniques.
若 D 与 A 不独立,或 Cor(D, A) 有统计学意义时,则不能简单的计算一致性限度,而 应该进行回归分析 D = α + β A + ε ,此时关注的是α = β = 0 。容易证明如下公式:
β
= Cov(D,
A)
/
σ
2 A
=
0.5(σ
2 XM
−σ
2 XN
)
/(σ
2 XM
−σ
2 XN
+ 2ρ源自文库XMσXN
检验的原理是两测量仪器 M、N 结果差值与均数为零的总体进行比较,即检验 E( X Mj − X Nj )
是否为零。容易得到:
E( X Mj − X Nj ) = E(Tj + BMj + EMj − Tj − BNj − ENj )=E(BMj-BNj)=μMB − μNB
可见,配对 t 检验主要检验的是两测量仪器的系统误差是否有差别,即对两测量结果的 系统误差敏感,但不能兼顾随机误差。
D
2 j
−
(Dj −α − β Aj )2} {2
(Dj −α − β Aj )2} ~ F (2, n − 2)
j =1
j =1
j =1
上式可同时检验截距和斜率是否为零。此时,可根据 Bradley-Blackwood 检验结果判断 两种测量数据的一致性。
二、实例及模拟分析
采用某医院关于传统实验室检验(M 法)与新型便携式血凝仪(N 法)可替换性研究的数据, 共对 122 人分别采用两种检测方法进行检测,得到 122 对抗凝效果指标 INR 值。为了比较 上述方法评价两种测量仪器定量测量结果一致性的优劣,本文从实例数据中衍生模拟出另外 三种情况。情况 1,设置比较大的偏倚,即对所有 N 法测量值恒加 1(这里假设两仪器测量差 值如果大于 0.5,则从专业角度可认为测量结果不同);情况 2:设置比较大的围绕均数分布 的随机误差,即对 N 法测量值随机地增加 1 或者减少 1;情况 3:把所有观测值范围变小, 相当于只对某一局限范围的个体(M 法结果最小的 20 对数据)进行测量,评价该范围内两测 量仪器的测量一致性。数据见表 1。
2. Pearson 积距相关系数 相关系数也被用于评价定量数据两种测量结果的一致性[1][4]。相关系数是用于表示两定 量资料线形相关关系的密切程度,是基于测量个体间变异以及测量方法间变异计算得到的。
M
仪器测量值之方差为
σ
T2+σ
M2 B+σ
2 ME
,N
仪器测量值之方差为
σ T2+σ
N2B+σ
2 NE
X ij = Tj + Bij + Eij ,则 ICC 可表示为:
ICC
=
σ
2 T
σ
T2+σ
B2+ σ
2 E
从上式可见,ICC 大意味着作为两仪器测量差别的系统误差与随机误差均小,数据一致 性较好。一般情况下无法得到上式各指标的具体值,但可通过两因素方差分析模型(随机区 组设计方差分析)进行估计[6],公式为:
若 D 与 A 独立,或 Cor(D, A) 无统计学意义时,可计算一致性限度(limits of agreement)
作为评价一致性的指标,即差值 D 的 95%参考值范围 D ±1.96S 。此时,一致性限度既可
衡量系统误差又能估计随机误差的大小。若一致性限度的界值不具有实际专业意义,即表明 两测量数据具有较高的一致性,提示两种测量仪器是可替代的。
1
在医学和公共卫生研究领域,常需评价两种仪器、两种方法或两个测量者测量结果的一 致性。如临床医生趋向于应用更方便、快捷、经济、安全的仪器来代替传统的测量仪器或方 法,但欲使用新仪器(方法)取代旧仪器(方法),必须保证新旧两仪器(方法)测量结果的一致性、 等价性或可交换性。目前国内用于评价定量数据两种测量结果一致性的方法有配对 t 检验和 简单相关分析,也有采用组内相关系数的报道,但存在一定的误用。国外有采用 Bland-Altman 法评价一致性的报道。本文主要探讨此几种常见方法的应用条件、限制以及优劣。
Cor(BM′ j , BNj ) = Cor(BMj , BNj ) 。更一般的, Cor(aBMj + b, BNj ) = Cor(BMj , BNj ) 。可见,
相关系数对系统误差是不敏感的。 3. 组内相关系数(Intra-class Correlation Coefficients, ICC) ICC 的 定 义 为 被 测 量 者 间 变 异 占 总 变 异 的 比 例 [5] , 其 范 围 为 0 ~ 1 。 如 前 ,
两种测量方法定量测量结果的一致性评价
李镒冲 李晓松∗
四川大学华西公共卫生学院卫生统计学教研室
[摘 要] 目的 比较两种测量方法定量测量结果的一致性评价方法的优劣。方法 应用配对 t 检验、简单相关分析、组内相关系数以及 Bland-Altman 法对某一致性较好的实例以及其衍 生出的系统误差较大、随机误差较大以及测量范围局限三种情况进行一致性评价。结果 对 实例一致性评价中,简单相关分析、组内相关系数与 Bland-Altman 法显示一致性较好,配 对 t 检验显示一致性较差;系统误差较大情况下,简单相关分析显示较好一致性,而配对 t 检验、组内相关系数与 Bland-Altman 法显示一致性较差;随机误差较大情况下,配对 t 检验 显示一致性较好,而简单相关分析、组内相关系数与 Bland-Altman 法显示一致性较差;在 测量范围局限而随机误差和系统误差均小情况下,配对 t 检验与 Bland-Altman 法显示较好一 致性,而简单相关分析与组内相关系数显示一致性较差。结论 配对 t 检验与简单相关分析 作为一致性评价方法有明显缺陷,而组内相关系数与 Bland-Altman 法虽有一定局限但可作 为一致性评价的优选方法。
,由
于随机误差
Eij
与Tj
、
Bij
是独立的,且
Eij
来自与正态分布
N
(0,
σ
2 iE
)
,可以得到,M
仪器
测量值与
N
仪器测量值的协方差为
σ
2+
T
cov(
BMj
,
BNj
)
。则相关系数为:
σ
2+
T
cov(
BMj
,
BNj
)
(σ
T2+σ
M2 B+σ
2 ME
)(σ
T2+σ
N2B+σ
2 NE
)
2
但若 M 仪器测量偏倚人为的增加定值 C,则 BM′ j = BMj + C ,代入上式可发现,
Agreement assessment of data obtained from two raters based on continuous measurements Li Yichong, Li Xiaosong, Huaxi School of Public Health, Sichuan University, 610041
一、方法
设两种定量数据的测量仪器分别为 M 和 N 仪器。仪器 i ( i = M, N )对测量对象
j ( j = 1,L , n )的测量结果为 X ij 。进一步,假定测量值 X ij = Tj + Bij + Eij ,其中 Tj 代表第
j 个测量对象的真值, Bij 代表第 i 个仪器对测量对象 j 的系统误差(bias), Eij 代表第 i 个仪
ρˆ ICC
=
MS区组
+ (k
MS区组-MS误差
−
1)MS误差+
(k MS处理-MS误差) n
式中,k 表示测量仪器的个数(此处为两种),n 表示测量对象个数。
ICC 的假设检验,即检验 ICC 是否为零的假设检验,实际上与方差分析检验结果一致[7],
检验统计量
F
=
MS区组 MS误差
,ν 区组=n
−1,ν=(n
器对测量对象
j
的随机误差(error)。假定 Tj
服从正态分布
N
(
μT
,
σ
2 T
)
, Bij 来自于正态分布
N
(μiB
,σ
2 iB
)
,
Eij
来自于正态分布
N
(0,
σ
2 iE
)
。一般地, Tj
、
Bij
与
Eij
是相互独立的[1][2]。
1. 配对 t 检验 Howell(1987)[3]以及陈玉平(2005)等[4]曾使用配对 t 检验作为衡量一致性的方法。配对 t
Key words Agreement, paired t test, simple correlation coefficient, intra-class correlation coefficients, Bland-Altman method
∗ 李晓松 通讯地址:四川成都人民南路三段 16 号 610041 四川大学华西公共卫生学院卫生统计学教研室
−1)(2
−1)
。
4. Bland-Altman 法
对评价定量数据两种测量结果的一致性,Bland 和 Altman 提出了另一种方法[2][8]。Bland 与 Altman 建议首先绘制两仪器测量值差值对应于均值的散点图(Bland-Altman 图),设
D = X M − X N , A = ( X M + X N ) / 2 ,即绘制 D 与 A 的散点图,观察 D 与 A 的关系。
)
3
和α
= (μXM
− μXN ) − μXM
+ μXN 2
β
此时,α
=β
= 0 就意味着 μXM
= μXN
σ 和 2 XM
=
σ
2 XN
,即这两种测量数据方法具有相同
的分布参数。
同时,可以用 Bradley-Blackwood 方法检验假设α = β = 0 [5],检验统计量为:
n
n
n
∑ ∑ ∑ FB−B = (n − 2){
Objective To evaluate the Agreement of quantitative measurements of two raters. Methods Expounding the advantages and disadvantages of paired t test, simple correlation coefficient, intra-class correlation coefficients (ICC) and Bland-Altman method. Each method was used to evaluate the agreement of a true data and three hypothetical situations developed from the true one. Results In the situation of true data demonstrating good agreement, correlation coefficient, the ICC and Bland-Altman method indicated good agreement, but paired t test suggested the data was not reliable. In the situation demonstrating systematic bias, the ICC, paired t test and Bland-Altman method suggested the data were not reliable, whereas the Pearson correlation suggested high reliability despite the systematic discrepancy. In the situation representing substantial random error where low agreement was expected, the ICC, correlation coefficient and Bland-Altman method accurately illustrated this. The t test suggested the data were reliable. In the situation demonstrating low range of measurements where both bias and error were small, paired t test and Bland-Altman method suggested good agreement, but ICC and correlation coefficient failed to demonstrate that. Conclusion Both paired t test and simple correlation coefficient had defects in assessing agreement, and intra-class correlation coefficients and the Bland-Altman method were the preferable techniques to measure agreement although there are some limitations associated with the use of these techniques.
若 D 与 A 不独立,或 Cor(D, A) 有统计学意义时,则不能简单的计算一致性限度,而 应该进行回归分析 D = α + β A + ε ,此时关注的是α = β = 0 。容易证明如下公式:
β
= Cov(D,
A)
/
σ
2 A
=
0.5(σ
2 XM
−σ
2 XN
)
/(σ
2 XM
−σ
2 XN
+ 2ρ源自文库XMσXN
检验的原理是两测量仪器 M、N 结果差值与均数为零的总体进行比较,即检验 E( X Mj − X Nj )
是否为零。容易得到:
E( X Mj − X Nj ) = E(Tj + BMj + EMj − Tj − BNj − ENj )=E(BMj-BNj)=μMB − μNB
可见,配对 t 检验主要检验的是两测量仪器的系统误差是否有差别,即对两测量结果的 系统误差敏感,但不能兼顾随机误差。
D
2 j
−
(Dj −α − β Aj )2} {2
(Dj −α − β Aj )2} ~ F (2, n − 2)
j =1
j =1
j =1
上式可同时检验截距和斜率是否为零。此时,可根据 Bradley-Blackwood 检验结果判断 两种测量数据的一致性。
二、实例及模拟分析
采用某医院关于传统实验室检验(M 法)与新型便携式血凝仪(N 法)可替换性研究的数据, 共对 122 人分别采用两种检测方法进行检测,得到 122 对抗凝效果指标 INR 值。为了比较 上述方法评价两种测量仪器定量测量结果一致性的优劣,本文从实例数据中衍生模拟出另外 三种情况。情况 1,设置比较大的偏倚,即对所有 N 法测量值恒加 1(这里假设两仪器测量差 值如果大于 0.5,则从专业角度可认为测量结果不同);情况 2:设置比较大的围绕均数分布 的随机误差,即对 N 法测量值随机地增加 1 或者减少 1;情况 3:把所有观测值范围变小, 相当于只对某一局限范围的个体(M 法结果最小的 20 对数据)进行测量,评价该范围内两测 量仪器的测量一致性。数据见表 1。
2. Pearson 积距相关系数 相关系数也被用于评价定量数据两种测量结果的一致性[1][4]。相关系数是用于表示两定 量资料线形相关关系的密切程度,是基于测量个体间变异以及测量方法间变异计算得到的。
M
仪器测量值之方差为
σ
T2+σ
M2 B+σ
2 ME
,N
仪器测量值之方差为
σ T2+σ
N2B+σ
2 NE
X ij = Tj + Bij + Eij ,则 ICC 可表示为:
ICC
=
σ
2 T
σ
T2+σ
B2+ σ
2 E
从上式可见,ICC 大意味着作为两仪器测量差别的系统误差与随机误差均小,数据一致 性较好。一般情况下无法得到上式各指标的具体值,但可通过两因素方差分析模型(随机区 组设计方差分析)进行估计[6],公式为:
若 D 与 A 独立,或 Cor(D, A) 无统计学意义时,可计算一致性限度(limits of agreement)
作为评价一致性的指标,即差值 D 的 95%参考值范围 D ±1.96S 。此时,一致性限度既可
衡量系统误差又能估计随机误差的大小。若一致性限度的界值不具有实际专业意义,即表明 两测量数据具有较高的一致性,提示两种测量仪器是可替代的。
1
在医学和公共卫生研究领域,常需评价两种仪器、两种方法或两个测量者测量结果的一 致性。如临床医生趋向于应用更方便、快捷、经济、安全的仪器来代替传统的测量仪器或方 法,但欲使用新仪器(方法)取代旧仪器(方法),必须保证新旧两仪器(方法)测量结果的一致性、 等价性或可交换性。目前国内用于评价定量数据两种测量结果一致性的方法有配对 t 检验和 简单相关分析,也有采用组内相关系数的报道,但存在一定的误用。国外有采用 Bland-Altman 法评价一致性的报道。本文主要探讨此几种常见方法的应用条件、限制以及优劣。
Cor(BM′ j , BNj ) = Cor(BMj , BNj ) 。更一般的, Cor(aBMj + b, BNj ) = Cor(BMj , BNj ) 。可见,
相关系数对系统误差是不敏感的。 3. 组内相关系数(Intra-class Correlation Coefficients, ICC) ICC 的 定 义 为 被 测 量 者 间 变 异 占 总 变 异 的 比 例 [5] , 其 范 围 为 0 ~ 1 。 如 前 ,
两种测量方法定量测量结果的一致性评价
李镒冲 李晓松∗
四川大学华西公共卫生学院卫生统计学教研室
[摘 要] 目的 比较两种测量方法定量测量结果的一致性评价方法的优劣。方法 应用配对 t 检验、简单相关分析、组内相关系数以及 Bland-Altman 法对某一致性较好的实例以及其衍 生出的系统误差较大、随机误差较大以及测量范围局限三种情况进行一致性评价。结果 对 实例一致性评价中,简单相关分析、组内相关系数与 Bland-Altman 法显示一致性较好,配 对 t 检验显示一致性较差;系统误差较大情况下,简单相关分析显示较好一致性,而配对 t 检验、组内相关系数与 Bland-Altman 法显示一致性较差;随机误差较大情况下,配对 t 检验 显示一致性较好,而简单相关分析、组内相关系数与 Bland-Altman 法显示一致性较差;在 测量范围局限而随机误差和系统误差均小情况下,配对 t 检验与 Bland-Altman 法显示较好一 致性,而简单相关分析与组内相关系数显示一致性较差。结论 配对 t 检验与简单相关分析 作为一致性评价方法有明显缺陷,而组内相关系数与 Bland-Altman 法虽有一定局限但可作 为一致性评价的优选方法。
,由
于随机误差
Eij
与Tj
、
Bij
是独立的,且
Eij
来自与正态分布
N
(0,
σ
2 iE
)
,可以得到,M
仪器
测量值与
N
仪器测量值的协方差为
σ
2+
T
cov(
BMj
,
BNj
)
。则相关系数为:
σ
2+
T
cov(
BMj
,
BNj
)
(σ
T2+σ
M2 B+σ
2 ME
)(σ
T2+σ
N2B+σ
2 NE
)
2
但若 M 仪器测量偏倚人为的增加定值 C,则 BM′ j = BMj + C ,代入上式可发现,