项目计划实施与评价master44页PPT

评价指标：①项目活动执行率；②干预活动覆盖率；
③活动暴露率； ④有效指数； ⑤目标人群满意度
效应评价
效应评价：即近期和中期效果评价。 评估健康教育计划导致的人群 健康相关行为及其影响因素 的变化。
评价指标：行为危险因素（知识、信念、态度） 行为（行为改变率、行为流行率）
结局评价
结局评价：远期效果评价。 评价健康教育项目导致的人群 健康状态乃至生活质量的变化。
复合时间系列设计
设有对照组且进行多个时间点的观察
实验研究
将研究对象随机分组
一、不设对照组的前后测试方案
• 内容：常用评价方案中设计最为简单的一种， 通过比较目标人群在健康教育项目实施前与 实施后的相关知识、行为及健康状况的变化 情况，从而反映健康教育项目的效果。
不设对照组的前后测试方案
优点：该测试方案不设对照组，研究方案设计 简单，实际操作相对便捷，能较大地节省人力、 物力资源
行为干预项目主要步骤
相关理论和方法
项目实施与评价
周欢
讨论： • 干预活动实施的内容？
•实施准备 •现场执行
•实施准备工作基本环节
✓回顾目标、细分人群、确定干预场所 ✓制定实施时间表，对策略、活动、资源分配
进行整合 ✓建立实施计划的组织机构、网络和工作制度 ✓配备与培训工作人员 ✓传播材料制作 ✓配备和购置所需设备物件
其任务是评估计划设计是否符 合实际。 作 用：最大限度地降低项目失败的风 险，避免资源的浪费。
评价方式：专家评估或模拟试验。
过程评价
内 容：评估计划实际执行情况与计划要求之间的
差异。开始于健康教育项目实施启动之 时，贯穿于计划执行的全过程。
作 用：即时发现问题，为计划的调整提供科学
依据。
评价方式：定性与定量调查
缺点：前后测试方案无法控制影响结局的混杂 因素，从而会影响评价效果的准确性。
24
二、简单时间系列方案
• 内容：对健康教育目标人群在干预实施前与 实施后连续进行多次观察，比较目标人群在 干预前后的相关知识、行为及健康状况的变 化情况，从而反映健康教育项目的效果。
简单时间系列方案
• 优点：可发现目标人群的健康相关行为的自 然变化情况，并且有可能获得干预措施与行 为变化之间的“剂量反应”关系。
非抽样误差的控制
✓设计阶段 ✓调查阶段 ✓分析阶段
设计阶段的质量控制
非抽样误差的来源: ✓ 调查指标选择不当
（如：发病率与病死率） ✓ 调查对象的范围划分不当
如：某地居民患病率 ✓ 调查项目的定义不明确 ✓ 周岁年龄的计算不准确
调查阶段的质量控制
非抽样误差可能来自: ✓调查人员的工作态度、业务水平 ——
• 现场执行基本环节
✓ 根据实施计划展开各项活动 ✓ 对实施过程进行督导，归纳整理
档案资料 ✓ 对实施效果、效益进行评价
项目实施
进一步将干预计划具体化（分解干预计划）
建立组织网络
明确任务、责权利 建立管理制度
分级分类培训人员
基线调查
筛选/引进/制作传播材料
质量 控制
准备其他器材 动员各种力量参与
分小组准备： 健康教育行为干预 项目案例
可参看常用国内外健康教育相关网站
Thank you
客观因素：调查人员的熟练程度 调查者的诱导、暗示
控制方法：调查人员培训，统一调查内容、方式
主观因素：设计、实施和评价阶段均可出现 控制方法：建立更完善的外部评价体系；
加强科研道德、建立良好的学术风气； 盲法，等。
来自于实验工具的因素
实验工具的信度与效度 物理测量工具的信度与效度问题 调查表的信度与效度问题
调查员的选拔与培训 ✓调查对象因故不在、回避调查、拒绝回
答、有意隐瞒、记忆不清等 —— 开展广泛宣传，争取群众积极配合 敏感问题调查法，知情人帮助回忆等
分析阶段的质量控制
非抽样误差可能来自 编码、录入、汇总、计算等方面
—— 严格进行资料整理和检验
评价
形成评价
内 容：对项目计划本身进行的评价，
• 缺点 ：随机对照试验方案的设计、实施较为复杂， 实际操作难度较大，在实际现场操作过程中，不易 实现真正的随机化原则。
35
阅读材料并讨论
该项目运用了哪些干预策略/手段？是否 合理？
该项目在哪些方面做了质量控制？是否 足够？
该项目运用了哪些评价方法？有哪些评 价指标？是否合适？有哪些因素可能影 响了评价效果？
实施现场干预
质量控制
调查误差的种类
✓非抽样误差：由各种人为因素或偶然 因素造成的
✓抽样误差：在抽样调查中会产生抽样 误差，其误差是不可避免 的，但有一定规律，可以 控制，可作出估计
（增大样本含量降低抽样误差）
抽样误差的控制
主要在设计阶段 ✓力求使抽取的样本具有代表性 ✓具有一定数量的样本量 ✓在抽样时尽可能随机抽样
复合时间系列方案的优缺点
• 优点：同时具备了简单时间系列方案与非等 同比较组方案的优点，可在一定程度上排除 混杂因素的影响，也可以获得健康教育项目 干预与行为改变之间的“剂量反应”关系。
• 缺点：复合时间系列方案由于观察时点多， 延长了观察时间，不仅增加了人力物力资源 的消耗，也增加了干预组与对照组的目标人 群失访的可能性。
健康教育计划评价的种类与内容
计划设 计阶段
评 价 计划设 计 内 容 的合理性
项目实 施阶段
计划 实施 情况
项目结束阶段 中间目标 行为改 变 健康状态 生活质 量
行为影响因 健康 相 素（倾向、 关行为 促成、强 化）
健康 状态
生活 质量
评 价 科学性
指标
适宜性 可接受性
评价
干预活动次数 参与人数 干预活动暴露率
五、 随机对照试验方案
• 内容：引入随机化原则，目标人群被随机分为干预 组和对照组。通过比较干预组和对照组的目标人群 在健康教育项目干预实施前与实施后相关知识、行 为及健康状况的变化情况，来反映健康教育项目的 效果。
随机对照试验方案的优缺点
• 优点：随机化原则充分保证了干预组和对照组间的 一致性，避免了选择因素的影响。同时也避免了测 试或观察因素乃至回归因素的影响。
• 缺点：在非等同比较组设计中，当对照组选择不恰 当时，即对照组与干预组的主要特征不匹配，就会 产生选择偏倚，从而影响健康教育项目评价的真实 效果。
30
注意：
准确地评价项目干预活动的净效 应，一般需要设立对照组。
四、复合时间系列方案
• 内容：融合了简单时间系列方案与非等同比 较组方案，既设立对照组，又进行多时点观 察与测量。
指出项目的优缺点。
影响评价的主要因素
时间因素及沾染
时间因素：指在项目实施期间所发生的干预 之外的事件，导致参与者发生某 些可能对结果有影响的变化。
沾 染：由于设计不当，使对照组实验对象 接受了健康教育的干预，从而使干 预后实验组和对照组间的差异减少。 常常由于组间物理距离过分靠近造 成。
来自于测量者的因素
• 缺点：在干预实施前后需要进行多个观察点 的测试，需要较长的时间，对观察测试的稳 定性、可靠性要求很高，其结果容易受到失 访、观察测试水准不一致等因素的影响。同 时，因为时间跨度较大，要求观察测试的次 数多，故需要较大的人力、物力支持。
举例：评估两个不同县的资源分配的效果
增加对照组后……
三、非等同比较组方案
评价指标：① 健康状态 生理指标（身高、体重、血压等） 疾病与死亡指标（发病率、死亡率等） ② 生活质量 生活质量指数；日常活动量表； 生活满意度指数量表
总结评价
内容：指形成评价、过程评价、效应评价 和结局评价的综合以及对各方面资 料做出总结性概括。
作用：全面反映健康教育项目的成功与不足， 为今后的计划制定和项目决策提供依 据。
来自于实验对象的因素
霍桑效应：人们得知自己正在被研究或 观察而表现出的行为异乎寻 常的现象。
测量对象的成熟性：在项目进行过程中， 目标人群不断了解并关注项目的内容， 可能使测量的结果优于项目干预的真实 结果。
失访
当目标人群的失访率超过10%，可能会 影响评价结果。
措施：对应答者和失访者的主要特征 进行比较，以鉴别为是否为非随机失访， 从而是否会引起偏移及偏移程度。
知识知晓 率 态度转变率
有效指数
……
行为流行 率 生理指标 行为转变率 疾病指标 行为意向 死亡指标
……
物理环境 健康状态 心理状态
种类 形成评价 过程评价
照组的前后测试 简单时间系列设计 非等同比较组设计 （类实验设计）
为干预组选择一组匹配的对照组
• 内容：设置对照组，并保证对照组的健康教育目标 人群的主要特征与干预组目标人群的近似，通过比 较干预组与对照组的目标人群在干预前后的相关知 识、行为及健康状况的变化情况，从而反映健康教 育项目的效果。非等同比较组方案在本质上属于类 实验设计。
非等同比较组方案的优缺点
• 优点：通过设置对照组，在一定程度上排除了时间、 客观环境、观测等混杂因素的影响，从而更准确地 评价健康教育项目对目标人群相关知识、行为及健 康结局的影响。