15.北大版《公共管理研究方法》公共管理评估研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
百度文库
3．评估资料的性质。评估研究作为研究的 一种特例子，也存在质性评估、定量评估和 定性定量综合评估的区别。
5.根据评估问题的类型。 需求评估、项目理论评估、项目过程评估、 影响评估和效率评估。 6．评估内容的视角。评估内容是对一系列 相似或相近的评估问题的归类概括。从评估 内容的视角对评估进行分类，不同内容的评 估之间可能会有交叉和重叠，此处仅仅介绍 一些常见的评估。
三、整合评估范式 整合性评估范式尝试将实证主义和诠释主义 的观点结合起来，试图融合评估中的事实因 素和价值因素。 有代表性的整合评估范式包括
效用焦点评估 理论取向的评估 实践审议评估
第三节 公共管理评估研究的基本框架和 基本问题
一、评估研究的流程 二、评估研究的方法光谱 三、评估研究的问题类型和研究设计
第七步，沟通评估的发现。
完成正式的评估报告，需要和利益相关者、 媒体、潜在的使用者进行沟通，建立信任和 效果。促进评估报告的使用，扩大评估报告 的影响力。帮助评估使用者运用评估，以便 为项目改进服务。
第八步，进行元评估
元评估（Metaevaluation）即对评估本身进行评估。 20世纪以来，随着评估学发展成为社会科学研究的重要领域， 元评估（Meta-evaluation）研究亦逐渐成为推进评估学发展 的重要途径。 元评估的目的在于改进评估工作本身的理论与实务，主要完成 以下工作： 评估评估工作的品质、影响及利用； 探讨评估过程的性质； 纠正可能发生评估的误用； 提供并确保评估的绩效责任； 说明及控制评估实施时的偏差； 评估新的评估取向的实用性。
测量者、 实验者、 描述者、 参与者
一、实证主义评估范式
实证主义评估范式兴盛于 20 世纪 20 年代， 该范式坚持评估主体和评估客体的二分，评 估研究者在评估过程中保持价值中立，通过 科学主义的手段收集信息，形成对评估对象 客观状态的认识。 该范式主要包括
测量取向的评估 描述取向的评估 判断取向的评估
评估范式的演变
实证主义评估 时间和代际 20 世纪 20 年代到 80 年 代 包括第一代和第三代评 估 主要理论取向或理论模 型 测量取向 描述取向 判断取向 核心问题 如何客观、 精确地测量评 估对象？找出预期目标 和结果的差距。 评估者价值 评估者角色 评估焦点和内容 评估获得事实的性质 客观中立 判断者 测量数据、 因果关系、决 策过程、结果 科学主义的客观事实 建构的社会价值 事实和价值的互动 多元价值及其整合 事实、价值和批判 目标中立评估 回应性建构主义评估 参与评估 方案从制定、 执行到终结 的利益相关者的参与如 何重新建构评估的价值 标准？ 深度参与，诠释建构 政策的理论基础和政策 过程的因果机制？ 评估的经验基础和规范 基础如何整合？ 实践性的批判者 对话者 以理论为基础的评估 实际的审慎思辩 第四代评估 诠释主义评估 20 世纪 80 年代兴起 整合评估 20 世纪 80 年代
二、评估研究的方法光谱
第二步，建立评估的组织网络。
评估的领导者（Facilitators）发起、领导、 促进和监督评估的顺利开展。评估领导者的 评估前期准备工作包括
确定参加评估的人员 确定评估活动的目的和目标 确定评估活动日程
第三步，确定评估动机。
（1）项目改进。前置评估、形成评估、总 结评估和影响评估都可以发挥项目优化和改 进的作用。 （2）责任承担。为项目的问责和资源的再 分配提供了科学合理的依据。 （3）知识再生产。为科学知识的增长提供 了基础。 （4）隐秘目的。
形成性评估 关心对象 资料搜集重点 评估者角色 方法论 数据搜集频率 报告过程 报告频率 方案管理者、实务工作者 厘清目标、执行过程 互动 质量并重、重视质化 持续追踪 非正式讨论 整个过程
总结性评估 决策者、赞助者、社会大众 测量结果、确认结果 独立 重视量化 有限的次数 正式报告 评估完成
人们一般使用评估的逻辑模型来描述评估的 时间段和过程。评估的逻辑模型（Logic Model）使用直观的流程图的方式，展示社 会干预投入、产出、效果和环境等因素之间 的因果关系。
二、诠释主义评估范式
诠释主义评估范式又称作建构主义评估范式，该范式扎根于人 类学（anthropological）传统，通过与评估对象的深度观察 和深度访谈，形成对评估对象的全面深入理解。 该范式更多地依靠质性数据和资料，对社会规划从许多不同的 视角加以理解。 诠释主义评估范式有助于我们深入地理解环境因素和规划的复 杂性，有助于我们进行规划改进和项目管理方面的决策。 目标中立评估 回应性建构主义评估 参与式评估
2．评估时间段的视角。 前置（Front-End Evaluation）评估，需求评估、风险评估、 可行性评估等等都属于前置评估的范畴。 形成评估(formative evaluation)，实施评估、过程评估 (process evaluation)、监测评估(monitoring and evaluation)。 总结评估(summative evaluation)，总结评估与结果评估 (outcome evaluation)、绩效评估(performance evaluation)、效率评估、成本收益测量是接近的概念。 影响评估（impact evaluation），指在社会干预结束一段时 间之后，再来评估原先方案设定的结果或长期的影响程度。
应用性 综合性 多样性
4．评估研究的作用。 第一，描述和解释。 第二，必要性、合理性和可行性论证。 第三，监测。
服从 审计 会计 解释
第四，公信、问责和资源分配。 第五，改良和发展。
二、评估研究的类型
1．评估主体的视角。从评估主体的角度来 看，评估研究可以分为自我评估和异体评估。 自我评估是组织或者个体对自身进行的测量 和评价。异体评估则是与组织相关的组织和 个人对组织进行的评估。
过程 评估 公共 管理 评估 基本 要素
公共管理系统过程 环境与资 输入 转换设施 输出 反馈 源 和机制 一般环境、 耗 费 的 技术 产出（产品、 满意、 外 部 操 作 人、财、 管理 服 务 、 规 范 信任 环境、 物等 制度 等） 内部环境、 资源 环境评估、资源评估 管理能力评估、 质 量 评 估 、 满意度评估、公信 诉求评估、投入评估、 项目评估 效果评估 力评估 成本评估 流程评估 政策评估、公共部门绩效评估、政府能力评估、治理评估、发展评估等等 前置评估 形成评估 过程评估 效果评估 总结评估 资源 resource 投入 Input 成本 Cost 结构 Structure 流程 Process 技术 technology 产出 output 满意 公信力 Accountability
第十五章 公共管理评估研究
第十五章 公共管理评估研究
第一节 公共管理评估研究概述 第二节 评估研究的范式、途径和模型 第三节 公共管理评估研究的基本框架和基 本问题 第四节 公共管理评估研究的基本议题和例 文解析
第一节 公共管理评估研究概述
一、评估研究和公共管理评估的概念 二、评估研究的类型 三、评估研究兴起的历史背景
一、评估研究的流程
第一步，发现和选择评估的机会。 第二步，建立评估的组织网络。 第三步，确定评估动机。 第四步，确定评估问题。 第五步，进行评估设计。 第六步，评估资料的收集和分析。 第七步，沟通评估的发现。 第八步，进行元评估。
第一步，发现和选择评估的机会
评估机会往往产生于以下情境： （1）困境。个人、组织和项目处于困境，预定的目标无法达 成或者没有按照预定的计划达成的时候。 （2）监控。当需要了解项目和规划执行过程的详细信息，以 便监控项目和规划过程的时候。 （3）变革。当项目和组织需要变革的时候，亦是需要评估的 时候。 （4）竞争。当需要比较组织和项目的优劣的时候。 （5）创新。当需要引入新利力量和社会干预改变现状的时候。 （6）民主。当利益相关者需要了解社会干预的相关信息的时 候。
第五步，进行评估设计。
反馈 利益相关人 需求和价值 评估目标 评估内容焦点和问题
评估范式（实证主义、诠释主义等）
评估途径和模式
评估方法（收集资料和分析资料的具体方法）
评估指 标
样本和 抽样
数据分 析
报告撰 写
第六步，评估资料的收集和分析。
历史文献、档案、数据库、资料库、访谈、 观察和问卷调查等等都是获取评估资料的常 用方式。 社会指标、政策实验、调查研究、交叉影响 分析、目标达成矩阵等是常用的定量评估方 法。 深度访谈法、焦点团体法、参与观察法、人 种志研究和非介入性测量是常用的质性评估 资料收集和分析方法。
第四步，确定评估问题。
1.评估问题的特征。 首先，评估问题必须是合适的。 其次，评估问题必须是能够回答的。 最后，评估问题与评估标准结合。
项目发展阶段 1.确定社会问题和需求评估 2.确定目标 3.项目备选方案 4.方案选择 5.项目实施 6.项目运作 7.项目产出 8.项目效率
一、评估研究和公共管理评估的概念
1．评估研究的定义。评估研究实际上是“评估” 和“研究”两种社会行为的结合。评估是评估主体 依据一定的价值标准和事实标准对评估对象的事实、 行为、态度、价值等方面进行的测量、评价和判定。 2．评估三要素。评估至少包括三个要素，即标准 （criteria）、证据 (evidence)和判断 (judgment)。 3．评估研究的特点。
2.评估研究的繁荣。 1965年“政策分析和 评估研究”变成了研究领域的一个独立分支， 20 世纪70 年代评估研究已经成为社会科学 界的一个重要学术领域。 3.评估研究的国际化。
第二节 评估研究的范式、途径和模型
评估研究的范式是评估研究的哲学基础、理 论假定和操作规则。评估范式的差异源自评 估研究所依据的哲学基础的差异。 研究问题的复杂性和多样性决定了评估研究 范式、途径和模型的多样性。 评估模式则是评估要素、评估过程、评估方 法等因素形成的相对稳固的逻辑关系。
评估模式
假评估 公关授意 研究 政治操纵 研究 逢迎评估 文饰评估 评估伪装 下的授权 准评估 以目标为基础的评估 支 付 报 偿 研 究 (Accountability, Particularly Payment-by-Results Studies) 成功案例方法 目标测试方案 作为价值附加的产出评估 绩效测验 实验研究 管理信息系统 成本收益分析 听证（Clarification Hearing ） 案例研究评估 批判和鉴赏评估 以理论为基础的评估方案 混合方法研究 改进和问责 决策和问责 导向的评估 消费者导向 的评估 证明合格评 估 社会议程 回应性评估或委 托人导向的评估 建构主义评估审 议评估 折中 效用焦 点评估
评估 议题 和领 域 评估 时段
评估 指标
经济（economy） 效率(efficiency)
7．评估活动的规范性。按照评估活动程序 和内容的规范程度，可将评估分为正式评估 和非正式评估。
三、评估研究兴起的历史背景
1.评估研究兴起的历史背景。
（1）人类社会的进步。 （2）应用社会科学的发展。 （3）大政府时代的到来。
问题 在多大程度上满足社区需求和标准 怎样才能满足那些需求和标准？ 用什么样的服务来产生预期的变化？ 什么样的方案可能是最好的方案？ 如何实施项目？ 项目是否按计划运作？ 项目是否获得预期结果？ 项目的结果与成本比较是否合理？
评估功能 需求评估、问题描述 需求评估、服务需求 项目逻辑或理论 可行性研究、形成性评估 实施评估 过程评估、项目督导 产出评估 成本收益分析，成本绩效分析
3．评估资料的性质。评估研究作为研究的 一种特例子，也存在质性评估、定量评估和 定性定量综合评估的区别。
5.根据评估问题的类型。 需求评估、项目理论评估、项目过程评估、 影响评估和效率评估。 6．评估内容的视角。评估内容是对一系列 相似或相近的评估问题的归类概括。从评估 内容的视角对评估进行分类，不同内容的评 估之间可能会有交叉和重叠，此处仅仅介绍 一些常见的评估。
三、整合评估范式 整合性评估范式尝试将实证主义和诠释主义 的观点结合起来，试图融合评估中的事实因 素和价值因素。 有代表性的整合评估范式包括
效用焦点评估 理论取向的评估 实践审议评估
第三节 公共管理评估研究的基本框架和 基本问题
一、评估研究的流程 二、评估研究的方法光谱 三、评估研究的问题类型和研究设计
第七步，沟通评估的发现。
完成正式的评估报告，需要和利益相关者、 媒体、潜在的使用者进行沟通，建立信任和 效果。促进评估报告的使用，扩大评估报告 的影响力。帮助评估使用者运用评估，以便 为项目改进服务。
第八步，进行元评估
元评估（Metaevaluation）即对评估本身进行评估。 20世纪以来，随着评估学发展成为社会科学研究的重要领域， 元评估（Meta-evaluation）研究亦逐渐成为推进评估学发展 的重要途径。 元评估的目的在于改进评估工作本身的理论与实务，主要完成 以下工作： 评估评估工作的品质、影响及利用； 探讨评估过程的性质； 纠正可能发生评估的误用； 提供并确保评估的绩效责任； 说明及控制评估实施时的偏差； 评估新的评估取向的实用性。
测量者、 实验者、 描述者、 参与者
一、实证主义评估范式
实证主义评估范式兴盛于 20 世纪 20 年代， 该范式坚持评估主体和评估客体的二分，评 估研究者在评估过程中保持价值中立，通过 科学主义的手段收集信息，形成对评估对象 客观状态的认识。 该范式主要包括
测量取向的评估 描述取向的评估 判断取向的评估
评估范式的演变
实证主义评估 时间和代际 20 世纪 20 年代到 80 年 代 包括第一代和第三代评 估 主要理论取向或理论模 型 测量取向 描述取向 判断取向 核心问题 如何客观、 精确地测量评 估对象？找出预期目标 和结果的差距。 评估者价值 评估者角色 评估焦点和内容 评估获得事实的性质 客观中立 判断者 测量数据、 因果关系、决 策过程、结果 科学主义的客观事实 建构的社会价值 事实和价值的互动 多元价值及其整合 事实、价值和批判 目标中立评估 回应性建构主义评估 参与评估 方案从制定、 执行到终结 的利益相关者的参与如 何重新建构评估的价值 标准？ 深度参与，诠释建构 政策的理论基础和政策 过程的因果机制？ 评估的经验基础和规范 基础如何整合？ 实践性的批判者 对话者 以理论为基础的评估 实际的审慎思辩 第四代评估 诠释主义评估 20 世纪 80 年代兴起 整合评估 20 世纪 80 年代
二、评估研究的方法光谱
第二步，建立评估的组织网络。
评估的领导者（Facilitators）发起、领导、 促进和监督评估的顺利开展。评估领导者的 评估前期准备工作包括
确定参加评估的人员 确定评估活动的目的和目标 确定评估活动日程
第三步，确定评估动机。
（1）项目改进。前置评估、形成评估、总 结评估和影响评估都可以发挥项目优化和改 进的作用。 （2）责任承担。为项目的问责和资源的再 分配提供了科学合理的依据。 （3）知识再生产。为科学知识的增长提供 了基础。 （4）隐秘目的。
形成性评估 关心对象 资料搜集重点 评估者角色 方法论 数据搜集频率 报告过程 报告频率 方案管理者、实务工作者 厘清目标、执行过程 互动 质量并重、重视质化 持续追踪 非正式讨论 整个过程
总结性评估 决策者、赞助者、社会大众 测量结果、确认结果 独立 重视量化 有限的次数 正式报告 评估完成
人们一般使用评估的逻辑模型来描述评估的 时间段和过程。评估的逻辑模型（Logic Model）使用直观的流程图的方式，展示社 会干预投入、产出、效果和环境等因素之间 的因果关系。
二、诠释主义评估范式
诠释主义评估范式又称作建构主义评估范式，该范式扎根于人 类学（anthropological）传统，通过与评估对象的深度观察 和深度访谈，形成对评估对象的全面深入理解。 该范式更多地依靠质性数据和资料，对社会规划从许多不同的 视角加以理解。 诠释主义评估范式有助于我们深入地理解环境因素和规划的复 杂性，有助于我们进行规划改进和项目管理方面的决策。 目标中立评估 回应性建构主义评估 参与式评估
2．评估时间段的视角。 前置（Front-End Evaluation）评估，需求评估、风险评估、 可行性评估等等都属于前置评估的范畴。 形成评估(formative evaluation)，实施评估、过程评估 (process evaluation)、监测评估(monitoring and evaluation)。 总结评估(summative evaluation)，总结评估与结果评估 (outcome evaluation)、绩效评估(performance evaluation)、效率评估、成本收益测量是接近的概念。 影响评估（impact evaluation），指在社会干预结束一段时 间之后，再来评估原先方案设定的结果或长期的影响程度。
应用性 综合性 多样性
4．评估研究的作用。 第一，描述和解释。 第二，必要性、合理性和可行性论证。 第三，监测。
服从 审计 会计 解释
第四，公信、问责和资源分配。 第五，改良和发展。
二、评估研究的类型
1．评估主体的视角。从评估主体的角度来 看，评估研究可以分为自我评估和异体评估。 自我评估是组织或者个体对自身进行的测量 和评价。异体评估则是与组织相关的组织和 个人对组织进行的评估。
过程 评估 公共 管理 评估 基本 要素
公共管理系统过程 环境与资 输入 转换设施 输出 反馈 源 和机制 一般环境、 耗 费 的 技术 产出（产品、 满意、 外 部 操 作 人、财、 管理 服 务 、 规 范 信任 环境、 物等 制度 等） 内部环境、 资源 环境评估、资源评估 管理能力评估、 质 量 评 估 、 满意度评估、公信 诉求评估、投入评估、 项目评估 效果评估 力评估 成本评估 流程评估 政策评估、公共部门绩效评估、政府能力评估、治理评估、发展评估等等 前置评估 形成评估 过程评估 效果评估 总结评估 资源 resource 投入 Input 成本 Cost 结构 Structure 流程 Process 技术 technology 产出 output 满意 公信力 Accountability
第十五章 公共管理评估研究
第十五章 公共管理评估研究
第一节 公共管理评估研究概述 第二节 评估研究的范式、途径和模型 第三节 公共管理评估研究的基本框架和基 本问题 第四节 公共管理评估研究的基本议题和例 文解析
第一节 公共管理评估研究概述
一、评估研究和公共管理评估的概念 二、评估研究的类型 三、评估研究兴起的历史背景
一、评估研究的流程
第一步，发现和选择评估的机会。 第二步，建立评估的组织网络。 第三步，确定评估动机。 第四步，确定评估问题。 第五步，进行评估设计。 第六步，评估资料的收集和分析。 第七步，沟通评估的发现。 第八步，进行元评估。
第一步，发现和选择评估的机会
评估机会往往产生于以下情境： （1）困境。个人、组织和项目处于困境，预定的目标无法达 成或者没有按照预定的计划达成的时候。 （2）监控。当需要了解项目和规划执行过程的详细信息，以 便监控项目和规划过程的时候。 （3）变革。当项目和组织需要变革的时候，亦是需要评估的 时候。 （4）竞争。当需要比较组织和项目的优劣的时候。 （5）创新。当需要引入新利力量和社会干预改变现状的时候。 （6）民主。当利益相关者需要了解社会干预的相关信息的时 候。
第五步，进行评估设计。
反馈 利益相关人 需求和价值 评估目标 评估内容焦点和问题
评估范式（实证主义、诠释主义等）
评估途径和模式
评估方法（收集资料和分析资料的具体方法）
评估指 标
样本和 抽样
数据分 析
报告撰 写
第六步，评估资料的收集和分析。
历史文献、档案、数据库、资料库、访谈、 观察和问卷调查等等都是获取评估资料的常 用方式。 社会指标、政策实验、调查研究、交叉影响 分析、目标达成矩阵等是常用的定量评估方 法。 深度访谈法、焦点团体法、参与观察法、人 种志研究和非介入性测量是常用的质性评估 资料收集和分析方法。
第四步，确定评估问题。
1.评估问题的特征。 首先，评估问题必须是合适的。 其次，评估问题必须是能够回答的。 最后，评估问题与评估标准结合。
项目发展阶段 1.确定社会问题和需求评估 2.确定目标 3.项目备选方案 4.方案选择 5.项目实施 6.项目运作 7.项目产出 8.项目效率
一、评估研究和公共管理评估的概念
1．评估研究的定义。评估研究实际上是“评估” 和“研究”两种社会行为的结合。评估是评估主体 依据一定的价值标准和事实标准对评估对象的事实、 行为、态度、价值等方面进行的测量、评价和判定。 2．评估三要素。评估至少包括三个要素，即标准 （criteria）、证据 (evidence)和判断 (judgment)。 3．评估研究的特点。
2.评估研究的繁荣。 1965年“政策分析和 评估研究”变成了研究领域的一个独立分支， 20 世纪70 年代评估研究已经成为社会科学 界的一个重要学术领域。 3.评估研究的国际化。
第二节 评估研究的范式、途径和模型
评估研究的范式是评估研究的哲学基础、理 论假定和操作规则。评估范式的差异源自评 估研究所依据的哲学基础的差异。 研究问题的复杂性和多样性决定了评估研究 范式、途径和模型的多样性。 评估模式则是评估要素、评估过程、评估方 法等因素形成的相对稳固的逻辑关系。
评估模式
假评估 公关授意 研究 政治操纵 研究 逢迎评估 文饰评估 评估伪装 下的授权 准评估 以目标为基础的评估 支 付 报 偿 研 究 (Accountability, Particularly Payment-by-Results Studies) 成功案例方法 目标测试方案 作为价值附加的产出评估 绩效测验 实验研究 管理信息系统 成本收益分析 听证（Clarification Hearing ） 案例研究评估 批判和鉴赏评估 以理论为基础的评估方案 混合方法研究 改进和问责 决策和问责 导向的评估 消费者导向 的评估 证明合格评 估 社会议程 回应性评估或委 托人导向的评估 建构主义评估审 议评估 折中 效用焦 点评估
评估 议题 和领 域 评估 时段
评估 指标
经济（economy） 效率(efficiency)
7．评估活动的规范性。按照评估活动程序 和内容的规范程度，可将评估分为正式评估 和非正式评估。
三、评估研究兴起的历史背景
1.评估研究兴起的历史背景。
（1）人类社会的进步。 （2）应用社会科学的发展。 （3）大政府时代的到来。
问题 在多大程度上满足社区需求和标准 怎样才能满足那些需求和标准？ 用什么样的服务来产生预期的变化？ 什么样的方案可能是最好的方案？ 如何实施项目？ 项目是否按计划运作？ 项目是否获得预期结果？ 项目的结果与成本比较是否合理？
评估功能 需求评估、问题描述 需求评估、服务需求 项目逻辑或理论 可行性研究、形成性评估 实施评估 过程评估、项目督导 产出评估 成本收益分析，成本绩效分析