社会研究方法 评价研究设计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
– 1、你如何设计干预试点项目，请列出 步骤及每一步骤期望的结果； – 2、你如何设计试点评价方案，请列出 步骤及每一步骤期望的结果。
利益相关者评价方法
• 确定利益相关者 • 澄清利益相关者的关注点 • 定义评价研究所要问答的问题 （研究课题） • 如何回答评价研究所要回答的问题 – 选择指标 – 选择评价设计 – 数据分析方案
新的教学符合成本效益吗 实施的难度大吗？ 有哪些新服务开展？What are new services provided? 服 务 的 质 量 高 吗 ？ What service quality are
服务的利用 Utilization of services
谁 利 用 卫 生 服 务 ？ Who services 服 务 成 本 效 益 吗 ？ Do service cost-effective?
• 类实验
– 内部效度要打折，而外部效度高
项目（干预）成功的两个基本条件
• 1、有效的项目设计
– 即：如果项目干预方案得到完全的实施，那 么，项目的目标就能实现，项目所要解决的 问题就能解决
• 2、项目实施
– 即：项目的方案得以按质、按量地实施、完 成
• 二者缺一不可
项目失败
项目理论失败
错误的项目设计
很好的项目实施
项目失败
项目实施失败
有效的项目设计
不好的项目实施
项目失败
有效的项目设计
很好的项目实施
项目成功
项目理论
• 建立项目理论、进行有效干预
• 基于项目理论、进行项目评价
项目理论的例子
• 60年代美国卫生部关注婴儿死亡率和婴儿智力低下， 拨经费开展干预项目 • 前提假设 – 婴儿死亡率及智力低下与低体重儿（早产）相关 – 低体重儿与孕妇孕期未及时治疗疾病和营养不良相关 – 这种情况可在某些人群中发现，如未成年怀孕，>35的 孕妇，多产孕妇，有早产史，或收入低下的家庭 • 基于上述相关关系。建立项目理论 – 如果找到高危母亲 – 如果能让她们参加项目 – 如果能将针对这些因素服务有效地提供给她们 – 那么，就能降低早产出生率 – 那么，就可以降低婴儿死亡率和智力低下
5. 项目干预值得吗？ 成本-效果分析
评价设计思路
评价设计思路
需求评估 方案论证 实施的评价 项目实施 项目产出
问题
项目设计
效果评价：项目解决了问题了吗
项目效果理论：执行和理论假设
项目执行
?
直接结果
?
项目最终 效果
执行假设
理论假设
再就业培训
?
提高了的职 业技能
?
提高就业
执行假设
理论假设
评价研究的目的
use
the
评价命题 Evaluation questions
Outcome Independent indicator indicator 按专业、分省，项目培养的人数 How many rural 分专业、分省， 参加项目 doctors trained by the project? By specialty, by 项 目 培 养 的 人 provinces? 数 多少受训人员达标 How many of them pass the 分专业、分省， 参加项目 national exam? 项目培养的通 过考试人数 教改 组 比非 教 改组 的 学生 解 决 问 题 的 能 力 高 模拟化病人考 是否参加教改干预， 吗？ 试分数 年龄、性别、工作经 验 教改组比非教改组的学生自学能力高吗？
• 评价研究的目的是
– 检验新的做法是否被实施 – 如果被实施，效果如何？ – 目标人群是否收益？ – 项目的效果是否可持续？ – 如何进一步改进、完善
评价的类型
• 过程评价
• 效果评价
基本评价设计
• 1、前后比较
• 1、 O X O • 2、干预组与对照组比较 • 2.1、 X O • O • 2.2、 O X O • O O • 3. 时间序列分析 • 3.1. O1 O2 O3 X O4 O5 O6 • 3.2. O1 O2 O3 X O4 O5 O6 • 3.3. O1 O2 O3 O4 O5 O6
变量的分类
项目目标变量、干预变量、控制变量
1. 因变量Y： – 早产儿出生率 – 婴儿死亡率，智力低下 2. 干预变量X：针对各种因素的服务干预
• 参加项目（是， 否）
3. 控制变量
• 年龄、教育、性别 • 当地经济增长 • 交通
利益相关者评价方法
• 确定利益相关者 • 澄清利益相关者的关注点 • 定义评价研究所要问答的问题 （研究课题） • 如何回答评价研究所要回答的问题 – 选择指标 – 选择评价设计 – 数据分析方案
利益相关者及其关注点和评价课题
利 益 相 关 者 stakeholders 卫生部科教片 司 Education department, MOH 关注 concerns 培 训 的 人 数 Number of rural health worker trained 评价命题 Evaluation questions 按专 业、 分省 ，项 目培 养 的 人数 How many rural doctors trained by the project? By specialty, by provinces? 多少受训人员达标 How many of them pass the national exam? 教 学 改 革 的 效 果 Innovation of curriculum 教改 组比 非教 改组 的学 生 解 决问题的能力高吗？ 教改 组比 非教 改组 的学 生 自 学能力高吗？ 教学 改革 的政 策意 义有 多大？Policy implication 医政司 Medical Administration 农村 卫生 服务 的改 进 Improvement of rural health services
新的教学符合成本效益吗 实施的难度大吗？ 有 哪 些 新 服 务 开 展 ？ What are new services 开 展 的 服 务 项 项目地区 provided? 目数 服务的质量高吗？What are service quality 谁利用卫生服务？Who use services 服务成本效益吗？Do the service cost-effective?
效果评价的任务
• 如何估计完全是由于项目干预所 带来的效果？
项目净效益
Y 项目前 项目干预 项目后 α1 α2
项目干预组
对照组
= 项目后(yepre ) — 项目前（yepost ）= α1 _ = 对照组的变化(Δyc ) = 项目后(ycpre ) 项目前（ycpost ） α2 项目组的变化(Δye ) = 项目后(yepre ) _ 项目前（yepost ）= α1 项目净效益 = α2 — α1 利用回归模型控制混杂因素，估算项目效益 项目效益Y
前 后 、 对照 OXO O O
新的教学符合成本效益吗 实施的难度大吗？ 有 哪 些 新 服 务 开 展 ？ What are new services 开 展 的 服 务 项 项目地区 provided? 目数 服务的质量高吗？What are service quality 谁利用卫生服务？Who use services 服务成本效益吗？Do the service cost-effective?
选择评价指标
• 评价评价指标
– 必须明确测量真正要测量的， 测量的结果是可靠得住的 – 评估有效性、可靠性
• 试调查
制定调查问卷
• 选择的区域 – 结果指标的测量 – 干预指标及研究指标的测量 – 背景指标的测量 • 问卷内容 • 提问的用词、语序、语气 – 简短、直接和非直接提问（敏感问题）、 – 无诱导 • 提问的种类 – 开放式问题和封闭式问题 • 场景式提问
抽样
• 抽样方法
– 概率抽样
• 简单概率抽样 • 系统抽样 • 分层抽样 • 多步整体抽样
– 非概率抽样
• 目的性抽样 • 限额（按比例）抽样
• 样本大小
评价设计的有效性
• 有效性与评价设计相联系 • 内部有效性 – 所谓评价设计是内部有效的，那么，项目 评价人员则能自信地说评价的结果是正确 的。 • 外部有效性 – 指评价的结果能推广到其它地方的程度 • 内部有效性对于评价来说是至关重要的，如 果没有内部有效性，就不能说效果是项目带 来的还是其它因素造成的。
高血压试点效果评价
利益相关者 关注点
评价命题
结果指标
自变量指标 评价设 计
选择评价指标
• 明确概念 • 初选评价指标 • 评价评价指标
选择评价指标
• 明确概念
– 明确各种不同的概念定义 – 确定概念的定义 – 明确概念的不同角度
选择评价指标
• 初选评价指标
– 选择多少指标 – 如何制定指标 – 如何将指标转化成调查表
评价命题 Evaluation questions
结 果 指 标 自 变 量 指 标 评 价 设 Outcome Independent 计 indicator indicator 按专业、分省，项目培养的人数 How many rural 分专业、分省， 参加项目 自 身 前 doctors trained by the project? By specialty, by 项 目 培 养 的 人 后比较 provinces? OXO 数 多少受训人员达标 How many of them pass the 分专业、分省， 参加项目 national exam? 项目培养的通 过考试人数 教改组比非教改组的学生解决问题的能力高 模拟化病人考 是否参加教改 吗？ 试分数 干预，年龄、 性别、工作经 验 教改组比非教改组的学生自学能力高吗？ OXO O O
社会问题及干预
社会问题
贫穷 疾病 失业 犯罪
项 目 效 果
项目干预设 计 需求评估 项目设计 项目评估
项目源自文库施
过程 评价
项目 产出
项目评价的基本问题
鉴定的问题
？
项目设计
？
项目实施
？
项目产出
项目效果？
1. 是问题吗？问题有多严重、范围有多大、影响谁？需求评估 2. 项目设计有效吗？项目论证（对设计进行评估） 3. 项目执行了吗？实施评估（过程评估） 4. 项目有效果吗？项目效果评估
利益相关者及其关注点和评价课题
利益相关者
农民
关注 能否看得起病？
评价命题
项目合作医疗是否会降低农民 用？ 看病的费 合作医疗对服务的质量是否 有所改进？
能不能看好病
卫生局、 政府
农村卫生服务的改进
有哪些新服务开展？ 服务的质量高吗？
服务的利用
谁利用卫生服务？ 服务成本效益吗？
-
讨论题
• 中关村地区高血压患病率较高，当地 卫生部门拟开展试点，寻求有效的、 经济的可持续的高血压干预方法，以 便在面上推广应用。
项目评价建议书
• • 10、批判性地评论项目是否 1、背景 有项目执行情况的监测，如 – 简介 果没有，提出并论述你的具 体建议。 – 陈述项目要解决的问题 • 11、描述评价设计（OXO） 2、评价命题 • 12、结果指标、干预指标及 3、描述项目干预 分析性指标 4、项目的预期效果 • 13、如何测量结果指标，论 5、原因分析及项目理论 述测量的可靠性、有效性 6、项目目的 • 14、如何测量控制性变量 7、项目目标 • 15、抽样方法 8、项目目标人群 • 16、分析方法 9、论述项目干预前的需求评 估，如果没有进行需求评估， • 17、详细讨论该评价设计的 内部有效性、外部有效性的 则论述在需求评估时应关注 影响因素。 的问题，以及相应的评估方 • 18、评价的意义 法
利益相关者评价方法的评价步骤
• 1. 确定利益相关者 • 2. 澄清利益相关者的关 注点 • 3. 定义评价研究所要问 答的问题（研究课题） • 4. 如何回答评价研究所 要回答的问题 – a. 选择指标 – b. 选择评价设计 – c. 数据分析方案 – d. 数据收集方案 • 5. 过程评价 – 澄清项目理论 – 澄清项目干预关键 流程 – 按照干预流程，检 查干预的实施 – 评价目标人群是否 得到干预服务 • 6. 项目效果评价 • 7. 撰写项目评价报告 • 8. 报告的散发
评价研究设计
实验的分类
• 实验
– 物理学研究 – 化学 – 动物实验
• 实验的长处和不足 • 类实验
– 无法完全控制实验条件
研究的两个效度
• 内部效度
– 针对于本研究的对象，研究结果的真实度
• 外部效度 研究的结果在多大程度上能推论（广） 到其他地方
实验、类实验与两个效度
• 实验
– 内部效度高，外部效度低
利益相关者评价方法的评价步骤
• 1. 确定利益相关者 • 2. 澄清利益相关者 的关注点 • 3. 定义评价研究所 要问答的问题（研 究课题） • 4. 如何回答评价研 究所要回答的问题 – a. 选择指标 – b. 选择评价设计 – c. 数据分析方案 – d. 数据收集方案 • 5. 过程评价 – 澄清项目理论 – 澄清项目干预关键 流程 – 按照干预流程，检 查干预的实施 – 评价目标人群是否 得到干预服务 • 6. 项目效果评价 • 7. 撰写项目评价报告 • 8. 报告的散发
利益相关者评价方法
• 确定利益相关者 • 澄清利益相关者的关注点 • 定义评价研究所要问答的问题 （研究课题） • 如何回答评价研究所要回答的问题 – 选择指标 – 选择评价设计 – 数据分析方案
新的教学符合成本效益吗 实施的难度大吗？ 有哪些新服务开展？What are new services provided? 服 务 的 质 量 高 吗 ？ What service quality are
服务的利用 Utilization of services
谁 利 用 卫 生 服 务 ？ Who services 服 务 成 本 效 益 吗 ？ Do service cost-effective?
• 类实验
– 内部效度要打折，而外部效度高
项目（干预）成功的两个基本条件
• 1、有效的项目设计
– 即：如果项目干预方案得到完全的实施，那 么，项目的目标就能实现，项目所要解决的 问题就能解决
• 2、项目实施
– 即：项目的方案得以按质、按量地实施、完 成
• 二者缺一不可
项目失败
项目理论失败
错误的项目设计
很好的项目实施
项目失败
项目实施失败
有效的项目设计
不好的项目实施
项目失败
有效的项目设计
很好的项目实施
项目成功
项目理论
• 建立项目理论、进行有效干预
• 基于项目理论、进行项目评价
项目理论的例子
• 60年代美国卫生部关注婴儿死亡率和婴儿智力低下， 拨经费开展干预项目 • 前提假设 – 婴儿死亡率及智力低下与低体重儿（早产）相关 – 低体重儿与孕妇孕期未及时治疗疾病和营养不良相关 – 这种情况可在某些人群中发现，如未成年怀孕，>35的 孕妇，多产孕妇，有早产史，或收入低下的家庭 • 基于上述相关关系。建立项目理论 – 如果找到高危母亲 – 如果能让她们参加项目 – 如果能将针对这些因素服务有效地提供给她们 – 那么，就能降低早产出生率 – 那么，就可以降低婴儿死亡率和智力低下
5. 项目干预值得吗？ 成本-效果分析
评价设计思路
评价设计思路
需求评估 方案论证 实施的评价 项目实施 项目产出
问题
项目设计
效果评价：项目解决了问题了吗
项目效果理论：执行和理论假设
项目执行
?
直接结果
?
项目最终 效果
执行假设
理论假设
再就业培训
?
提高了的职 业技能
?
提高就业
执行假设
理论假设
评价研究的目的
use
the
评价命题 Evaluation questions
Outcome Independent indicator indicator 按专业、分省，项目培养的人数 How many rural 分专业、分省， 参加项目 doctors trained by the project? By specialty, by 项 目 培 养 的 人 provinces? 数 多少受训人员达标 How many of them pass the 分专业、分省， 参加项目 national exam? 项目培养的通 过考试人数 教改 组 比非 教 改组 的 学生 解 决 问 题 的 能 力 高 模拟化病人考 是否参加教改干预， 吗？ 试分数 年龄、性别、工作经 验 教改组比非教改组的学生自学能力高吗？
• 评价研究的目的是
– 检验新的做法是否被实施 – 如果被实施，效果如何？ – 目标人群是否收益？ – 项目的效果是否可持续？ – 如何进一步改进、完善
评价的类型
• 过程评价
• 效果评价
基本评价设计
• 1、前后比较
• 1、 O X O • 2、干预组与对照组比较 • 2.1、 X O • O • 2.2、 O X O • O O • 3. 时间序列分析 • 3.1. O1 O2 O3 X O4 O5 O6 • 3.2. O1 O2 O3 X O4 O5 O6 • 3.3. O1 O2 O3 O4 O5 O6
变量的分类
项目目标变量、干预变量、控制变量
1. 因变量Y： – 早产儿出生率 – 婴儿死亡率，智力低下 2. 干预变量X：针对各种因素的服务干预
• 参加项目（是， 否）
3. 控制变量
• 年龄、教育、性别 • 当地经济增长 • 交通
利益相关者评价方法
• 确定利益相关者 • 澄清利益相关者的关注点 • 定义评价研究所要问答的问题 （研究课题） • 如何回答评价研究所要回答的问题 – 选择指标 – 选择评价设计 – 数据分析方案
利益相关者及其关注点和评价课题
利 益 相 关 者 stakeholders 卫生部科教片 司 Education department, MOH 关注 concerns 培 训 的 人 数 Number of rural health worker trained 评价命题 Evaluation questions 按专 业、 分省 ，项 目培 养 的 人数 How many rural doctors trained by the project? By specialty, by provinces? 多少受训人员达标 How many of them pass the national exam? 教 学 改 革 的 效 果 Innovation of curriculum 教改 组比 非教 改组 的学 生 解 决问题的能力高吗？ 教改 组比 非教 改组 的学 生 自 学能力高吗？ 教学 改革 的政 策意 义有 多大？Policy implication 医政司 Medical Administration 农村 卫生 服务 的改 进 Improvement of rural health services
新的教学符合成本效益吗 实施的难度大吗？ 有 哪 些 新 服 务 开 展 ？ What are new services 开 展 的 服 务 项 项目地区 provided? 目数 服务的质量高吗？What are service quality 谁利用卫生服务？Who use services 服务成本效益吗？Do the service cost-effective?
效果评价的任务
• 如何估计完全是由于项目干预所 带来的效果？
项目净效益
Y 项目前 项目干预 项目后 α1 α2
项目干预组
对照组
= 项目后(yepre ) — 项目前（yepost ）= α1 _ = 对照组的变化(Δyc ) = 项目后(ycpre ) 项目前（ycpost ） α2 项目组的变化(Δye ) = 项目后(yepre ) _ 项目前（yepost ）= α1 项目净效益 = α2 — α1 利用回归模型控制混杂因素，估算项目效益 项目效益Y
前 后 、 对照 OXO O O
新的教学符合成本效益吗 实施的难度大吗？ 有 哪 些 新 服 务 开 展 ？ What are new services 开 展 的 服 务 项 项目地区 provided? 目数 服务的质量高吗？What are service quality 谁利用卫生服务？Who use services 服务成本效益吗？Do the service cost-effective?
选择评价指标
• 评价评价指标
– 必须明确测量真正要测量的， 测量的结果是可靠得住的 – 评估有效性、可靠性
• 试调查
制定调查问卷
• 选择的区域 – 结果指标的测量 – 干预指标及研究指标的测量 – 背景指标的测量 • 问卷内容 • 提问的用词、语序、语气 – 简短、直接和非直接提问（敏感问题）、 – 无诱导 • 提问的种类 – 开放式问题和封闭式问题 • 场景式提问
抽样
• 抽样方法
– 概率抽样
• 简单概率抽样 • 系统抽样 • 分层抽样 • 多步整体抽样
– 非概率抽样
• 目的性抽样 • 限额（按比例）抽样
• 样本大小
评价设计的有效性
• 有效性与评价设计相联系 • 内部有效性 – 所谓评价设计是内部有效的，那么，项目 评价人员则能自信地说评价的结果是正确 的。 • 外部有效性 – 指评价的结果能推广到其它地方的程度 • 内部有效性对于评价来说是至关重要的，如 果没有内部有效性，就不能说效果是项目带 来的还是其它因素造成的。
高血压试点效果评价
利益相关者 关注点
评价命题
结果指标
自变量指标 评价设 计
选择评价指标
• 明确概念 • 初选评价指标 • 评价评价指标
选择评价指标
• 明确概念
– 明确各种不同的概念定义 – 确定概念的定义 – 明确概念的不同角度
选择评价指标
• 初选评价指标
– 选择多少指标 – 如何制定指标 – 如何将指标转化成调查表
评价命题 Evaluation questions
结 果 指 标 自 变 量 指 标 评 价 设 Outcome Independent 计 indicator indicator 按专业、分省，项目培养的人数 How many rural 分专业、分省， 参加项目 自 身 前 doctors trained by the project? By specialty, by 项 目 培 养 的 人 后比较 provinces? OXO 数 多少受训人员达标 How many of them pass the 分专业、分省， 参加项目 national exam? 项目培养的通 过考试人数 教改组比非教改组的学生解决问题的能力高 模拟化病人考 是否参加教改 吗？ 试分数 干预，年龄、 性别、工作经 验 教改组比非教改组的学生自学能力高吗？ OXO O O
社会问题及干预
社会问题
贫穷 疾病 失业 犯罪
项 目 效 果
项目干预设 计 需求评估 项目设计 项目评估
项目源自文库施
过程 评价
项目 产出
项目评价的基本问题
鉴定的问题
？
项目设计
？
项目实施
？
项目产出
项目效果？
1. 是问题吗？问题有多严重、范围有多大、影响谁？需求评估 2. 项目设计有效吗？项目论证（对设计进行评估） 3. 项目执行了吗？实施评估（过程评估） 4. 项目有效果吗？项目效果评估
利益相关者及其关注点和评价课题
利益相关者
农民
关注 能否看得起病？
评价命题
项目合作医疗是否会降低农民 用？ 看病的费 合作医疗对服务的质量是否 有所改进？
能不能看好病
卫生局、 政府
农村卫生服务的改进
有哪些新服务开展？ 服务的质量高吗？
服务的利用
谁利用卫生服务？ 服务成本效益吗？
-
讨论题
• 中关村地区高血压患病率较高，当地 卫生部门拟开展试点，寻求有效的、 经济的可持续的高血压干预方法，以 便在面上推广应用。
项目评价建议书
• • 10、批判性地评论项目是否 1、背景 有项目执行情况的监测，如 – 简介 果没有，提出并论述你的具 体建议。 – 陈述项目要解决的问题 • 11、描述评价设计（OXO） 2、评价命题 • 12、结果指标、干预指标及 3、描述项目干预 分析性指标 4、项目的预期效果 • 13、如何测量结果指标，论 5、原因分析及项目理论 述测量的可靠性、有效性 6、项目目的 • 14、如何测量控制性变量 7、项目目标 • 15、抽样方法 8、项目目标人群 • 16、分析方法 9、论述项目干预前的需求评 估，如果没有进行需求评估， • 17、详细讨论该评价设计的 内部有效性、外部有效性的 则论述在需求评估时应关注 影响因素。 的问题，以及相应的评估方 • 18、评价的意义 法
利益相关者评价方法的评价步骤
• 1. 确定利益相关者 • 2. 澄清利益相关者的关 注点 • 3. 定义评价研究所要问 答的问题（研究课题） • 4. 如何回答评价研究所 要回答的问题 – a. 选择指标 – b. 选择评价设计 – c. 数据分析方案 – d. 数据收集方案 • 5. 过程评价 – 澄清项目理论 – 澄清项目干预关键 流程 – 按照干预流程，检 查干预的实施 – 评价目标人群是否 得到干预服务 • 6. 项目效果评价 • 7. 撰写项目评价报告 • 8. 报告的散发
评价研究设计
实验的分类
• 实验
– 物理学研究 – 化学 – 动物实验
• 实验的长处和不足 • 类实验
– 无法完全控制实验条件
研究的两个效度
• 内部效度
– 针对于本研究的对象，研究结果的真实度
• 外部效度 研究的结果在多大程度上能推论（广） 到其他地方
实验、类实验与两个效度
• 实验
– 内部效度高，外部效度低
利益相关者评价方法的评价步骤
• 1. 确定利益相关者 • 2. 澄清利益相关者 的关注点 • 3. 定义评价研究所 要问答的问题（研 究课题） • 4. 如何回答评价研 究所要回答的问题 – a. 选择指标 – b. 选择评价设计 – c. 数据分析方案 – d. 数据收集方案 • 5. 过程评价 – 澄清项目理论 – 澄清项目干预关键 流程 – 按照干预流程，检 查干预的实施 – 评价目标人群是否 得到干预服务 • 6. 项目效果评价 • 7. 撰写项目评价报告 • 8. 报告的散发