W10 偏误和效度 Bias and ValidityCN
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
默许偏误
倾向于同意采访者所说的一 切
极端偏误
倾向于给出极端的答案
由于在采访者的当面而影响 答案 由于认同研究主办方的知识 技能而影响答案 倾向于给出社会认同的答案 而不愿意给出自己真实想法
- 13 -
调查者偏误
赞助者偏误
社会意愿偏误
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
赞助单位偏误Auspices Bias
•
调查对象受到研究主办组织的影响而产生的偏误 Bias in
the responses of subjects caused by the respondents being influenced by the organization conducting the study.
- 18 -
Presentation and Discussion
由于所选择的样本偶然变 化导致的统计上的波动 随机抽样误差
总误差
由于采取了不合适的研究 设计导致的实际操作中的 错误
系统误差
© 刘和福 • 中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@ -4-
© 刘和福 •
Respondent error -- Response bias
•
调查者偏误Interviewer Bias 当采访者在场时而影响调查对象答案产生的偏误 A
response bias when the presence of the interviewer influences answers.
刘和福
LIU Hefu
第十周：偏误和效度
(Bias and Validity)
管理学院
School of Management . University of Science and Technology of China
中国科学技术大学
Last week
问卷中问题的基本特征 • focus集中, brevity简洁, and simplicity简单. 问卷设计的主要步骤
© 刘和福 •
Survey Errors
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
-3-
Tree Diagram of Total Survey Error
•
• • • •
粗心Carelessness
混淆Confusion 怠慢Neglect 疏忽Omission 其他的错误Some other blunder
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
- 12 -
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
Tree Diagram of Total Survey Error
Tree Diagram of Total Survey Error
由于未包含未回应调查对 象数据而造成的统计分析 上的差异。 无应答误差
回答误差
应答偏误 由于调查对象有意识或无意 识误解，而导致的误差
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
- 15 -
Respondent error -- Response bias
•
确定所要的信息；搜索已有的问卷/问题；小组讨论；起草新问题/修 订已有的问题；按顺序排好问题；翻译；给同行评价；自测试，再修 订；仔细考虑采访过程；修订/删除一些问题；准备预测试的调查说明 书；预测试 (10-20 cases)；根据调查对象和调查者的描述再修订/删减 问题；准备最后的调查说明书；实地调研
不回答的调查对象——那些拒绝Fra bibliotek作回答问题而影响结果的 人们
•
1. 对工作需求量的认知Perceived amount of work required
•
•
2. 对问题的固有兴趣Intrinsic interest of the topic
3. 样本的特点Characteristics of the sample
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
Administrative Errors
研究工作中不正确的管理或者执行导致的错误原因
Random Sampling vs. Systematic
项目 系统误差 随机抽样误差
产生原因 分类
固定因素，有时不存在 方法误差、主观误差
重现性、单向性（或周期 性）、可测性 准确度 校正
不定因素，总是存在 环境的变化因素、主观的 变化因素等
服从概率统计规律、不可 测性 精密度 增加测定的次数
- 11 -
Respondent error -- Response bias
• • • •
•
显示聪明 隐藏个人隐私 避免尴尬 对采访者反感 迎合采访者
•
有意造假
Deliberate Falsification
无意曲解
Unconscious Misrepresentation
• • • • •
提问格式或者内容 访谈环境 误解问题 忘记详细说明 意想不到的问题 难以表达想法
Tree Diagram of Total Survey Error
有意造假
人们为显示自己聪明，或为隐 藏个人信息，避免尴尬而给错 误答案。
应答偏误 无意曲解
© 刘和福 •
人们在作答时，由于问题内容 或者其他因素而不能真实回答 所导致的误差
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
•
社会意愿偏误Social Desirability Bias 调查对象有意识或者无意识的以后社会主流意识，而不是 自身真实情况反映所导致的偏误
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
- 16 -
Tree Diagram of Total Survey Error
数据处理误差
数据输入错误，电脑程序问 题或者其他分析过程的错误 不正确样本设计或者样本执 行过程中的错误 采访者工作中可能犯的错误
样本选择误差
访谈者误差 行政误差
访谈者欺诈
采访者对结果造假或者篡改 整个问卷
- 17 -
性质 影响 消除或减 小的方法
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
-7-
Tree Diagram of Total Survey Error
随机抽样误差 Random Sampling Error
样本统计量的固有变异性的大小 是样本统计量和总体参数之间的差距，是在选取样本时因机 遇造成的 No precision
7am 123
© 刘和福 •
9am 122
1pm 124.5
3pm 121
6pm 123
9pm 122.5
12pm 121.5
由研究设计中一些不正确的方面导致的，如样本选择的错误， 样本范围错误，或者没有响应的方面
•
不是由偶然因素波动导致的而是由研究者产生的 Precision but no validity
does not begin at zero
© 刘和福 •
Systematic error!
-6-
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
Respondent error -- Response bias
•
默许偏误Acquiescence Bias 一种倾向于同意所有或绝 大多数问题而导致的一种 反应偏误
极端偏误Extremity Bias
•
调查对象回答问题时倾向 于给出极端的答案
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@ - 14 -
Random error !
-5-
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
系统误差Systematic (non-sampling) Error
-9-
Respondent error -- Non response error
无应答误差就是实际的调查对象回答结果与 理论上100%的调查结果的差别
Non response error…statistical difference between actual respondents & a perfect,100% response rate
liuhfustceducntreediagramtotalsurveyerror倾向于同意采访者所说的一倾向于给出极端的答案由于在采访者的当面而影响答案由于认同研究主办方的知识技能而影响答案倾向于给出社会认同的答案而不愿意给出自己真实想法社会意愿偏误极端偏误调查者偏误赞助者偏误默许偏误email
社会科学研究方法 Social Science Research Methods
问卷中单一问题的表述
•
避免引导性问题；问题要具体、明确；避免术语、白话或俚语；避免 双载问题；避免要求应答者回答其它人的观点；避免双重否定问题； 明确选项的排他性；避免容易引起尴尬的问题
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@ -2-
由调查对象的反应偏差或者 没有回答导致的样本误差 回答误差
系统误差
行政误差 由研究者不适当的行为导致 的误差
© 刘和福 • 中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@ -8-
没有联系No contacts/Not-at-homes
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@ - 10 -
© 刘和福 •
倾向于同意采访者所说的一 切
极端偏误
倾向于给出极端的答案
由于在采访者的当面而影响 答案 由于认同研究主办方的知识 技能而影响答案 倾向于给出社会认同的答案 而不愿意给出自己真实想法
- 13 -
调查者偏误
赞助者偏误
社会意愿偏误
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
赞助单位偏误Auspices Bias
•
调查对象受到研究主办组织的影响而产生的偏误 Bias in
the responses of subjects caused by the respondents being influenced by the organization conducting the study.
- 18 -
Presentation and Discussion
由于所选择的样本偶然变 化导致的统计上的波动 随机抽样误差
总误差
由于采取了不合适的研究 设计导致的实际操作中的 错误
系统误差
© 刘和福 • 中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@ -4-
© 刘和福 •
Respondent error -- Response bias
•
调查者偏误Interviewer Bias 当采访者在场时而影响调查对象答案产生的偏误 A
response bias when the presence of the interviewer influences answers.
刘和福
LIU Hefu
第十周：偏误和效度
(Bias and Validity)
管理学院
School of Management . University of Science and Technology of China
中国科学技术大学
Last week
问卷中问题的基本特征 • focus集中, brevity简洁, and simplicity简单. 问卷设计的主要步骤
© 刘和福 •
Survey Errors
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
-3-
Tree Diagram of Total Survey Error
•
• • • •
粗心Carelessness
混淆Confusion 怠慢Neglect 疏忽Omission 其他的错误Some other blunder
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
- 12 -
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
Tree Diagram of Total Survey Error
Tree Diagram of Total Survey Error
由于未包含未回应调查对 象数据而造成的统计分析 上的差异。 无应答误差
回答误差
应答偏误 由于调查对象有意识或无意 识误解，而导致的误差
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
- 15 -
Respondent error -- Response bias
•
确定所要的信息；搜索已有的问卷/问题；小组讨论；起草新问题/修 订已有的问题；按顺序排好问题；翻译；给同行评价；自测试，再修 订；仔细考虑采访过程；修订/删除一些问题；准备预测试的调查说明 书；预测试 (10-20 cases)；根据调查对象和调查者的描述再修订/删减 问题；准备最后的调查说明书；实地调研
不回答的调查对象——那些拒绝Fra bibliotek作回答问题而影响结果的 人们
•
1. 对工作需求量的认知Perceived amount of work required
•
•
2. 对问题的固有兴趣Intrinsic interest of the topic
3. 样本的特点Characteristics of the sample
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
Administrative Errors
研究工作中不正确的管理或者执行导致的错误原因
Random Sampling vs. Systematic
项目 系统误差 随机抽样误差
产生原因 分类
固定因素，有时不存在 方法误差、主观误差
重现性、单向性（或周期 性）、可测性 准确度 校正
不定因素，总是存在 环境的变化因素、主观的 变化因素等
服从概率统计规律、不可 测性 精密度 增加测定的次数
- 11 -
Respondent error -- Response bias
• • • •
•
显示聪明 隐藏个人隐私 避免尴尬 对采访者反感 迎合采访者
•
有意造假
Deliberate Falsification
无意曲解
Unconscious Misrepresentation
• • • • •
提问格式或者内容 访谈环境 误解问题 忘记详细说明 意想不到的问题 难以表达想法
Tree Diagram of Total Survey Error
有意造假
人们为显示自己聪明，或为隐 藏个人信息，避免尴尬而给错 误答案。
应答偏误 无意曲解
© 刘和福 •
人们在作答时，由于问题内容 或者其他因素而不能真实回答 所导致的误差
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
•
社会意愿偏误Social Desirability Bias 调查对象有意识或者无意识的以后社会主流意识，而不是 自身真实情况反映所导致的偏误
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
- 16 -
Tree Diagram of Total Survey Error
数据处理误差
数据输入错误，电脑程序问 题或者其他分析过程的错误 不正确样本设计或者样本执 行过程中的错误 采访者工作中可能犯的错误
样本选择误差
访谈者误差 行政误差
访谈者欺诈
采访者对结果造假或者篡改 整个问卷
- 17 -
性质 影响 消除或减 小的方法
© 刘和福 •
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
-7-
Tree Diagram of Total Survey Error
随机抽样误差 Random Sampling Error
样本统计量的固有变异性的大小 是样本统计量和总体参数之间的差距，是在选取样本时因机 遇造成的 No precision
7am 123
© 刘和福 •
9am 122
1pm 124.5
3pm 121
6pm 123
9pm 122.5
12pm 121.5
由研究设计中一些不正确的方面导致的，如样本选择的错误， 样本范围错误，或者没有响应的方面
•
不是由偶然因素波动导致的而是由研究者产生的 Precision but no validity
does not begin at zero
© 刘和福 •
Systematic error!
-6-
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
Respondent error -- Response bias
•
默许偏误Acquiescence Bias 一种倾向于同意所有或绝 大多数问题而导致的一种 反应偏误
极端偏误Extremity Bias
•
调查对象回答问题时倾向 于给出极端的答案
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@ - 14 -
Random error !
-5-
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@
系统误差Systematic (non-sampling) Error
-9-
Respondent error -- Non response error
无应答误差就是实际的调查对象回答结果与 理论上100%的调查结果的差别
Non response error…statistical difference between actual respondents & a perfect,100% response rate
liuhfustceducntreediagramtotalsurveyerror倾向于同意采访者所说的一倾向于给出极端的答案由于在采访者的当面而影响答案由于认同研究主办方的知识技能而影响答案倾向于给出社会认同的答案而不愿意给出自己真实想法社会意愿偏误极端偏误调查者偏误赞助者偏误默许偏误email
社会科学研究方法 Social Science Research Methods
问卷中单一问题的表述
•
避免引导性问题；问题要具体、明确；避免术语、白话或俚语；避免 双载问题；避免要求应答者回答其它人的观点；避免双重否定问题； 明确选项的排他性；避免容易引起尴尬的问题
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@ -2-
由调查对象的反应偏差或者 没有回答导致的样本误差 回答误差
系统误差
行政误差 由研究者不适当的行为导致 的误差
© 刘和福 • 中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@ -8-
没有联系No contacts/Not-at-homes
中国科学技术大学管理学院 • School of Management, • University of Science and Technology of China • E-Mail: liuhf@ - 10 -
© 刘和福 •