准确性的指标灵敏度与特异度等共38页文档

诊断中的灵敏度、特异度、假阳性率、假阴性率

該工具可以是Clinical Symptom/Sign, laboratory Test,or other Diagnostic Tools.A : True PositiveB : False PositiveC : False NegativeD : True Negative我們可以得到：四个常用统计变量之间的换算关系：靈敏度 Sensitivity (Sen.) = P(Positive|Disease) = A / (A + C)假阴性率：FN = P(Negative|Disease) = C / (A + C)Sensitivity + FN = 1特異度 Specificity (Spe.) = P(Negative|Non-Disease) = D / (B + D) 假阳性率：FP = P(Positive|Non-Disease) = B / (B + D)Specificity + FP = 1一個診斷工具不會同時具有良好的Sensitivity & Specificity通常Sensitivity好的工具Specificity會較差，而Specificity好的工具Sensitivity較差。

2．将某项诊断工具在某人群中开展疾病检测的意义评价：Sensitivity（以下簡稱Sen.）與Specificity（以下簡稱Spe.）是對診斷工具而言的。

然而對病人而言，重要的不是診斷工具的Sen.與Spe.而是該診斷結果對病人的意義。

亦即：陽性預測值Positive Predictive Value (PPV.)與陰性預測值Negative Predictive Value (NPV.)所謂的陽性預測值，就是檢查結果是陽性，而確實是得病而不是偽陽性的機率。

而陰性預測值，就是檢查結果是陰性，而確實沒有得病而不是偽陰性的機率。

注意：核心影响因素，就是该疾病在特定人群中的盛行率。

分析灵敏度和功能灵敏度

99.7%可能性： LLD= X空白+3s空白
第17页，共62页。
定性的检出（低）限
检测低限定义为样品单次检测可以达到的非空白检测响应量对应的分析物量。
检测系统或方法对小于或等于
检测低限的分析物量只能报告“无
分析物检出”。
第18页，共62页。
定性的检出（低）限
注意:直接读出浓度单位的检测系
统对低于零的检测将报告零，其分布不是正态的，因此计算的均值和标准差不能如实表达检测低限的真实情况。
第21页，共62页。
定量可报告（低）限
介绍两种方式: 检测生物限
和功能灵敏度。
第22页，共62页。
定量可报告（低）限
对多个近于检测限浓度的样品（肯定不是空白样品）作重复检测，扣除了空白响应量后的样品检测响应量以均值和标准差归纳。
第23页，共62页。
定量可报告（低）限
按正态分布规律，单次检测样品具有
第43页，共62页。
使用功能灵敏度的好处
• 以功能灵敏度为最小的定量检出限很保险，确保TSH结果的报告不会是假的。
• 天间CV为20％大致上是诊断实验要求
的最大不精密度。
第44页，共62页。
TSH的功能灵敏度
• 功能灵敏度的定义：确定检测方法在定量上的最低检出限。
• TSH的功能灵敏度为：按照推荐方案确定的天间CV为20％相应的TSH浓度。
第29页，共62页。
定量可报告（低）限
生物检测低限（BLD）的具体度量方式为：
95%的可能性：
BLD = LLD +2s检测限样品
99.7%的可能性： BLD = LLD +3s检测限样品
第30页，共62页。

Xpert

北京大学学报(医学版)・320・JOURNAL OF PEKING UNIVERSITY!HEALTH SCIENCES)Vol.53No.2Apr.2021-著-Xperth MTB/RIF对我国人群活动性肺结核和利福平耐药肺结核诊断准确性的meta分析冯菁楠，高乐，孙一鑫，杨继春，邓思危，孙凤，詹思延！!北京大学公共卫生学院流行病与卫生统计学系，北京100191)［摘要］目的：系统评价结核分枝杆菌/利福平耐药实时荧光定量核酸扩增检测方法！XpertP Mycobacterium tuberculosis/r ifampicin,Xpe/P MTB/RIF)对中国人群肺结核(活动性肺结核和利福平耐药肺结核)的诊断准确性。

方法:计算机检索SinoMed、CNKI、万方、维普、PubMed、Embase、The Cochrane Lidra/数据库，搜集于中国人群中应用XpertPMTB/RIF方法诊断的研究，检索时间限定为2000年1月1日一2017年9月15日。

由2名研究者独立筛选文献、提取资料，使用诊断试验准确性研究的偏倚评估工具！Quality Assessment of Diagnostic Accuracy Studies,QUADAS)R对纳入的研究进行质量评价。

采用Sdd13-0软件进行meta分析，使用双变量随机效应模型合并灵敏度与特异度等诊断准确性指标,根据患者类型和样本类型进行亚组分析。

结果：最终共纳入47篇文献，其中英文9篇，中文38篇，发表时间为2014—2017年,样本量范围为31~3151例,活动性肺结核共纳入40篇文献(42个比较组)，合并灵敏度为0.94(95%C20.92，0-95)，合并特异度为0.87(95%C/0.84，0-91)$亚组分析显示，对于不同的样本类型，灵敏度无明显差异，但痰液样本的特异度高于支气管灌洗液样本。

利福平耐药肺结核共纳入33篇文献(38个比较组)，合并灵敏度为0.92(95%C20.89,0.94)，特异度为0-98(95%C/0.97,0-99)$Deeks法漏斗图显示，检测活动性肺结核方面可能存在发表偏倚!P=0.08),利福平耐药肺结核方面均不存在发表偏倚(P=0.24)$结论:使用Xpert®MTB/RIF方法检测活动性肺结核和利福平耐药肺结核具有较好的灵敏度和特异度，在检测利福平耐药方面具有较好的临床诊断价值。

肿瘤标志物及其临床意义详解演示文稿

n SCCA增高也见于25%-75%的肺鳞状上皮细胞癌、30%的Ⅰ期食管癌、89%的Ⅲ
期食管癌患者
影响因素
n 部分银屑病、肝炎、肝硬化、肺炎、乳腺良性疾病、结核病等SCCA也可增高
第17页，共38页。
角蛋白十九片段（CYFRA211）
血清CYFRA211是细胞角蛋白19的可溶片段，主要分布在单层上皮细胞
，为检测非小细胞肺癌的首选肿瘤标志
临床意义
n 肺癌患者阳性率为70%，其中鳞癌可达80%、腺癌约为60%，对肺癌患者临床分期有一定的参考价值
n 对非小细胞肺癌患者的诊断、病情监视和疗效判断有较高的临床应用价值 n 升高也可见于宫颈癌、乳腺癌、膀胱癌、胰腺癌等肿瘤
影响因素
n 33%肾衰患者可见CYFRA211升高，可能是肾小囊壁层为单层上皮之故 n CYFRA211升高也可见于少数肺气肿、支气管炎、消化性溃疡、良性肝病等
ü存在于体液特别是血液中易于检测
第11页，共38页。
三、肿瘤标志物的临床意义
第12页，共38页。
肿瘤标志的临床价值
l 原发性肿瘤的发现和探测；
l 肿瘤高危人群的普查； l 肿瘤复发和转移的监测；
l 肿瘤的鉴别诊断；
l 肿瘤治疗的疗效观察；
l 预后判断； l 肿瘤免疫显像； l 肿瘤标志靶向治疗。
影响因素
n 有10%-50%的急慢性肝炎、肝硬化、药物诱导性肝病患者会出现AFP一过性升高 n 睾丸、卵巢内胚窦瘤、恶性畸胎瘤以及其他消化道肿瘤AFP可以升高 n 产前检测中，胎儿发生神经管缺陷时AFP会出现显著升高
第15页，共38页。
癌胚抗原（CEA）
人类胚胎抗原特性的酸性糖蛋白，是一种广谱的肿瘤标志物
5-7年：每12月检测1次

临床检验方法学评价

临床验证
临床验证
通过临床验证，可以评估检验方法在实际应用中的效果和可靠性，为临床诊断和治疗提供依据。
样本来源
选择具有代表性的临床样本，以评估检验方法的实际应用效果。
结果分析
对实验结果进行分析和评估，以确定检验方法的准确度、精密度、灵敏度和特异性等方面的性能指标。
05
检验方法的持续改进与质量提升
未来发展方向
进一步发展新型的临床检验方法和技术，提高检测的灵敏度、特异度和准确性。
推动临床检验方法学评价的信息化和智能化，提高评价的效率和准确性。
加强临床检验方法学评价的标准化和规范化，建立更加完善的方法学评价体系。
加强国际合作与交流，共同推动临床检验方法学评价的发展和应用。
THANKS
06
案例分析
案例一：血糖检测方法评价
总结词
准确度、精密度、灵敏度和特异性
详细描述
准确度：通过与标准血糖仪进行比对，评估血糖检测方法的准确性。精密度：多次重复检测同一血糖样本，计算检测结果的变异系数，以评估方法的重复性。灵敏度：检测低浓度血糖样本时，观察方法的响应程度。特异性：评估方法在干扰物质存在下对血糖的检测能力。
评价的流程和方法
确定评价目的和范围
明确评价的目的和所需评价的临床检验项目，确定评价的范围和标准。
选择评价方法
根据评价目的和范围，选择适当的评价方法，如对比试验、重复性试验、干扰试验等。
评价的流程和方法
实验设计与实施
根据评价方法设计实验，并按照实验要求进行实验操作，收集实验数据。
结果分析
对实验结果进行分析，评估临床检验方法的准确性、可靠性、敏感性、特异性等指标，并得出评价结论。

临床检验方法学评价常用指标

临床检验方法学评价常用指标首先制作相关四格表，再根据表格数据计算相应指标。

1.评价诊断试验真实性的指标灵敏度( sensitivity) ：指患者中试验阳性者所占比例。

计算公式：灵敏度( Sen) = a/( a+ c) % 100%。

特异度( specificity) ：指没有患病的人中试验阴性者所占比例。

计算公式：特异度( Spe) = d/ ( b+ d) % 100%。

以上两个指标是评价诊断试验真实性的基本指标，若依据四格表中a、b、c、d 4 个实测值的概率关系则：Sen= 1- c/( a+ c)(假阴性率) ，Spe= 1- b/ ( b+ d) (假阳性率) ，二者有互补关系。

误诊率( mistake diagnostic rate，α)：又称假阳性率，即非患者中被诊断试验判为阳性的概率。

计算公式：误诊率(α) = b/( b+ d) % 100%。

漏诊率( omission diagnostic rate，β)：又称假阴性率，即患者中被诊断试验判为阴性的概率。

计算公式：漏诊率(β)= c/ ( a+ c) % 100%。

粗一致率( crude agreement rate)：又称准确度( accuracy) 。

表示观察值与真实值符合的程度，是综合考虑真实性的指标。

是真阳性与真阴性之和占受检总人数的百分率。

计算公式：准确度= ( a+ d)/( a+ b+ c+ d) % 100%。

约登指数( Youden’s indx，YI )：又称正确指数。

指灵敏度与特异度之和减1 表示，故此指数值的范围只从0~ 1。

约登指数越大，其真实性亦越好。

计算公式：YI= [ a/( a+ c)+ d/( b+ d) ] - 1。

比数积( odds product，OP)：指灵敏度除以漏诊率，特异度除以误诊率，所获两比数的乘积。

比数积越大，诊断试验的真实性越好。

计算公式：OP= [ Sen/( 1- Sen) ] ×[ Spe/( 1- Spe) ] = ad/bc，但要求四格表内的数字均不为零。

检验科性能验证程序文件

性能验证1目的验证检测试剂在仪器上的性能指标。

2适用范围适用于检验科检验项目试剂的性能指标验证。

3职责3.1科主任：负责审批性能验证计划。

3.2技术负责人3.2.1负责制定性能验证方案和计划。

3.2.2负责组织性能验证的实施。

3.2.3负责定期对科室性能验证数据的统计、分析和总结。

3.2.4负责组织对上述活动的可行性和有效性评审。

3.3各专业组技术管理员3.3.1负责组织本组人员完成本组性能验证的验证工作。

3.3.2负责对本组性能验证数据的统计、分析和总结工作。

3.4检验人员3.4.1负责协助科室技术负责人和本组技术管理员完成本组的性能验证工作。

3.4.2负责完成本组性能验证工作中应承担的检验工作。

3.4.3负责认真填写本组性能验证的检验记录。

4内容4.1生化生化室项目需要验证的参数包括批内精密度，批间精密度、正确度、线性范围、参考区间、可报告区间等，适用时，还要考虑分析灵敏度（仅对那些在接近0的低值有临床意义的项目有必要进行确定，必要时，可引用说明书中给出的低值）和干扰试验。

4.1.1精密度4.1.1.1标本准备及要求可采用新鲜或冻存的样本。

当样本中待测物不稳定或样本不易得到时，也可考虑使用基质与实际待检样本相似的样本，如质控品。

应至少评估2个浓度水平样本的不精密度。

当2个浓度水平样本的不精密度有显著差异时，建议增加为3个浓度水平。

所选样本的被测物水平应在测量区间内，适宜时，至少有 1个样本的被测物水平在医学决定水平左右。

注1：通常较高值样本的不精密度较小，较低值样本的不精密度偏大。

对低值有临床意义的检测项目，宜评估有判断价值的低水平样本的不精密度。

注2：如检测结果没有明确的医学决定水平，可在参考区间上限左右选1个浓度，再根据检验项目的特点在测量区间内选择另一个浓度。

注3：如与厂商或文献报导的不精密度比较，所选样本水平宜与被比较的样本水平接近。

4.1.1.2方案方案1：对验证材料每天分析1批次，2个浓度，每个浓度重复测定4次，连续5天。

无室间质评计划检验项目的实验室间比对

第22页/共71页
室间质量评价的局限： ➢ 不能全面准确地反映分析前和分析后存在的许多问题 ➢ 室间质评计划不能替代实验室全面的质量控制与管理体系 ➢ 受某些原因限制，有多数试验不能提供正式的室间质量评价计划
第23页/共71页
• 无法开展室间质评原因： ➢ 分析物不稳定，妨碍室间质量评价物的制备 ➢ 基质效应可能影响到可靠的分析 ➢ 有些试验只在很少的实验室执行，这样开发正式的室间质量评价计划不实际 ➢ 室间质量评价对于一定的致病性微生物无法提供，因为运输这些生物体有危险性 ➢ ……
第33页/共71页
比对方法的应用
• 实验室应当记录并保留比对的结果，以便于进行趋势分析。同时还应记录下对于不合格结果所采取的校正措施。
第34页/共71页
比对方法的应用
• （一）分割样品比对 • 实验室间比对采用较多的方法是分割样品检测计划。 • 分割样品检测计划包括一些法定机构在内的用户，经常采用能力验证的一种特定形式的分割样品检测技术。 • 典型的分割样品检测计划的比对数据由包含少量实验室的小组(通常只有两个实验室)提供，这些实验室将作
第7页/共71页
• 5.质量控制的范畴
• 全面质量控制（total quality management,TQM）
• 从临床医生开具检验申请开始至实验室完成检测，包括登记、审核发出报告和抱怨处理等全过程一系列保证检验质量的方法和措施。
第8页/共71页
质量控制的范畴
室内质量控制
室间质量评价
分析前分析中分析后
第14页/共71页
• 第二十七条医疗机构临床实验室定量测定项目的室内质量控制标准按照《临床实验室定量测定室内质量控制指南》（GB/20032302-T-361）执行。

医学研究常用指标和疾病的分布

时间分布
时间变化
随着时间的推移，疾病的发病率和分布情况也会发生变化。例如，随着生活方式的改变和环境的变化，某些癌症的发病率在近年来呈现上升趋势。
流行病学研究
通过流行病学研究可以了解疾病在时间上的分布特征和变化趋势，预测未来疾病的发展趋势，为制定预防和控制策略提供依据。
03
疾病流行病学研究
某大学研究人员在医学研究中存在数据造假行为。经查实，该研究人员违反了科学原则，其学术不端行为被曝光并受到法律追究。
03
案例三
某制药企业为了推广新药，在医学研究中夸大疗效、隐瞒副作用等行为。经查实，该企业违反了公正原则和科学原则，受到舆论谴责和法律追究。
谢谢观看
分析性研究
分析性研究
是在描述性研究基础上进一步深入的研究方法，主要目的是探讨疾病与危险因素之间的关系，并评估不同因素对疾病发生和发展的影响。
总结词
分析性研究通过比较不同暴露水平下疾病的发生率，揭示危险因素与疾病之间的关联。
详细描述
分析性研究通常采用病例对照或队列研究的设计，通过收集暴露信息和疾病结局数据，分析不同暴露水平与疾病发生、发展的关系。分析性研究的结果可以用于评估病因、预测疾病风险以及为预防措施提供科学依据。
公正原则
确保医学研究资源、风险和利益分配的公平性，避免任何形式的歧视和偏见。
公益原则
以社会公共利益为最高目标，避免将受试者作为谋取个人利益的工具。
科学原则
确保医学研究的科学性和可靠性，遵循科学方法和程序，避
免伪科学和误导。
医学研究伦理审查
01
02
03
审查目的
确保医学研究符合伦理原则，保护受试者的权益和安全，促进医学研究的健康发展。

诊断试验评价指标

4
诊断试验评价的预测值
阳性预测值(positive predictive value,+PV) 如果诊断试验结果是阳性病人真正有病的可能性。
计算公式：+PV＝a / ( a + b ) 反映诊断指标阳性时患者患某病的概率。
5
诊断试验的综合评价指标
阴性预测值(negative predictive value,－PV) 如果试验结果是阴性，病人真正无病的概率
合前文教学，有利于学生把握本文写作背景，进而加深学生对作品含义的理解。二、教学新课目标导学一：认识作者，了解作品背景作者简介：欧阳修(1007—1072)，字永叔，
自号醉翁，晚年又号“六一居士”。吉州永丰(今属江西)人，因吉州原属庐陵郡，因此他又以“庐陵欧阳修”自居。谥号文忠，世称欧阳文忠公。北宋政治家、文学家、史学
差异性检验——Kappa系数
Kappa系数在0～+1间判断一致性才有意义。Kappa系数越大，表示一致性越好。一般认为Kappa系数>0.8，为高度一致，认为两系统等效；0.4<Kappa系数<0.8认为一致，需进行阳性符合率和阴性符合率比较并进行统计学分析； Kappa系数<0.4则认为两系统不一致，两系统不等效
亭”的名字便暗中透出，然后引出“醉翁亭”来。作者利用空间变幻的手法，移步换景，由远及近，为我们描绘了一幅幅山水特写。2．第二段主要写了什么？它和第一段有什么联系？明确：第二段利用时
间推移，抓住朝暮及四季特点，描绘了对比鲜明的晦明变化图及四季风光图，写出了其中的“乐亦无穷”。第二段是第一段“山水之乐”的具体化。3．第三段同样是写“乐”，但却是写的游人之乐，作者
此醉是为山水之乐而醉，更是为能与百姓同乐而醉。体现太守与百姓关系融洽，“政通人和”才能有这样的乐。5．第四段主要写了什么？明确：写宴会散、众人归的情景。目标导学五：深入解读，把握作

诊断性试验的评价指标

病的百分率
灵敏度 A 100% AC
假阴性率
◈假阴性率(false negative rate)(漏诊率、第二类错误) 即实际有病，但根据该筛检标准被定为非病者的百分率
假阴性率 C 100% AC
⒉特异度
◈特异度(specificity)(真阴性率) 实际无病按该诊断标准被患病率 (1 患病率)(1
特异度)
阴性预测值
特异度
特异度 (1 患病率) (1 患病率) (1 灵敏度) 患病率
患病率(prevalence,P)
经诊断性试验检测的全部病例中，真正“有病” 患者所占的比例。
P ab abcd
ROC的涵义与起源
ROC【receiver(relative) operating characteristic的缩写，译为“接受者工作特征”】
ROC曲线研究历史
1950’s
雷达信号观测能力评价
1960’s中期学
实验心理学、心理物理
1970’s末与1980’s初诊断医学
Test variable
灵敏度,特异度,假阴性率,假阳性率
ROC曲线是以1-特异性为横坐标，以敏感性为纵坐标所绘，又称受试者工作曲线。直观反映了灵敏度和特异度之间的关系。
验阴性者不患目标疾病的可能性
阴性预测值 D 100% CD
可靠性(reliability)
又称信度，指某一筛检方法在相同条件下重复测量同一受试者时，所获结果的一致性。
影响因素 ◈受试对象生物学变异 ◈观察者 ◈实验室条件
❖ 灵敏度越高，阴性预测值越高 ❖ 特异度越高，阳性预测值越高
阳性预测值
ROC曲线下面积是重要的试验准确度指标。

特异度（specificity）与灵敏度（sensitivity）

特异度（specificity）与灵敏度（sensitivity）前言在论文阅读的过程中，经常遇到使用特异性（specificity）和灵敏度（sensitivity）这两个指标来描述分类器的性能。

对这两个指标表示的含有一些模糊，这里查阅了相关资料后记录一下。

基础知识考虑一个二分类的情况，类别为1和0，我们将1和0分别作为正类（positive）和负类（negative），则实际分类的结果有4种，表格如下：从这个表格中可以引出一些其它的评价指标：- ACC：classification accuracy，描述分类器的分类准确率计算公式为：ACC=(TP+TN)/(TP+FP+FN+TN)- BER：balanced error rate计算公式为：BER=1/2*(FPR+FN/(FN+TP))- TPR：true positive rate，描述识别出的所有正例占所有正例的比例计算公式为：TPR=TP/ (TP+ FN)- FPR：false positive rate，描述将负例识别为正例的情况占所有负例的比例计算公式为：FPR= FP / (FP + TN)- TNR：true negative rate，描述识别出的负例占所有负例的比例计算公式为：TNR= TN / (FP + TN)- PPV：Positive predictive value计算公式为：PPV=TP / (TP + FP)- NPV：Negative predictive value计算公式：NPV=TN / (FN + TN)其中TPR即为敏感度（sensitivity），TNR即为特异度（specificity）。

维基百科的附图：实例解释下面以医学中糖尿病人的筛查为例对敏感度和特异度进行解释。

在这个例子中，我们只将病人血糖水平作为判断是否患有糖尿病的指标。

下图为正常人和糖尿病患者血糖水平的统计图：我们发现两个人群中有重叠的部分，这个时候判定标准定的不同，得到的结果就会不同。

等级医院评审材料检验科SOP文件检验试剂耗材仪器管理SOP

等级医院评审材料检验科SOP文件检验试剂耗材仪器管理SOPXXX中医院检验科项目试剂/耗材管理SOP文件编号：YCXZYYJYK_SOP_07页码：第- 1 -页，共7页版本：第2版，第1次修订生效日期：试剂/耗材管理SOP手册目录编号SOP_07-1SOP_07-2SOP_07-3名称试剂/耗材管理标准操作程序试剂/耗材管理制度仪器管理制度页面3-56-67-7XXX评审,日常检查都可用到,一页一元,物美价廉，求打赏加班费文件审批者：发布日期：编写者：XXX时间：审核者：XXX时间：批准者：XXX时间：XXX中医院检验科项目试剂/耗材管理SOP文件编号：YCXZYYJYK_SOP_07页码：第- 2 -页，共7页版本：第2版，第1次修订生效日期：操作者从事本项工作前，必须认真研究并掌握本手册的内容，严格按照操作规程操作！研究者:XXX订书册与增补步伐内容与日期：研究者：XXX订书册与增补程序内容与日期：研究者：编写者：XXX时间：审核者：XXX时间：核准者：XXX时间：XXX中病院检验科项目试剂/耗材管理SOP文件编号：YCXZYYJYK_SOP_07页码：第- 3 -页，共7页版本：第2版，第1次修订生效日期：SOP_07-1试剂/耗材管理标准操纵步伐一、目的：确保试剂的质量与检测结果的准确性和经济效益，严格检验质量标准，为临床提供及时、可靠的结果报告。

2、合用范围：仪器设备的购置与应用。

三、操作人员：XXX、XXX等。

四、操作步骤：1试剂选择：1.1首先应对试剂质量进行考察，必须符合质量控制（部颁标准）要求。

特殊试剂（酶标等）盒应有卫生部批批检标志，产品应有生产厂家、名称、批号、有效期、保存条件等。

1.2供应商应具备经营（工商管理）许可证、产品合格证、产品销售许可证。

1.3具体相识国内别的单位使用情况及供给商售后服务步伐。

1.4对于同品种同质量产品，应选择价格最低者。

2试剂管理：2.1申请：每月末对现存试剂盘点，根据需要制计划表送设备科。

灵敏度、特异度、Kappa值模板

确诊
确诊
确诊
确诊
确诊
确诊
确诊
确诊
确诊
确诊
确诊
确诊
确诊
排除
排除
排除
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
-
0
0
0
0
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
0
0
0
0
0
0
1
1
1
1
1
1
1
0
0