第11章 评价研究方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1、标准的强度与频率。评价标准要求的规范行为所表现的程度或相对次数。 2、标号。不同强度和频率的标记符号。 3、标度。 测量的单位标准。 （二）标准体系的特征： 1、完整性 2、协调性 3、比例性
（三）标准的形式
1、描述式标准 运用文字描述每个不同要素的等级,并赋给每个等级分值. 表11-2 描述式标准的形式 指标 标准 分值 4 3
数字卫星 (1)已收集全部教育资源并妥善保存 地面站的 (2)只把系统课程(中师或师专课程)以及部分教学参考资源收录保存 资料收集 保存状况 (3)有计划地收集其中部分资源作为参考资料 (4)无目的、无计划、临时性收集其中部分资料 2、期望评语量表式标准形式
等级 期望评语 4 非常满意 3 满意 √ √ √ 2 基本满意 1
（2）统计加权 设计一项重要程度意见表，让一部分有关人员对各项指标的重要程度进行投票，把 投票结果按统计公式计算，以确定权数值。 例，对于多媒体教学软件综合评判共有教育性、科学性、技术性、艺术性四项结构 指标，我们邀请N=24名对教学软件开发有丰富经验的人员进行投票，其结果如表11=9 所示。 赞成 重要性程度 票人数 评价指标 (1)教育性 (2)科学性 (3)技术性 (4)艺术性 9 4 3 8 8 5 5 6 5 11 5 3 2 4 11 7 0.300 0.237 0.200 0.263 第一 位4 第二位 3 第三 位2 第四 位1 权重Wi
第二节 评价指标体系的设计
一、指标体系设计的原则
1、与目标的一致性 2、直接的可测性 3、体系内指标的相互独立性 4、指标体系的整体完备性 5、指标的可比性 6、可接受性
二、目标可被分解为三个基本层次：
1、总体指标 2、结构指标（一级指标） 3、单项指标（二级指标）
三、评价标准的建立 概念： 标准：衡量事物的准则 （一）评价标准的构成：
我们可以利用排序指数公式进行运算.根据: ∑ aj×nij Wi=—————— N∑aj 按表11-9共有4个指标，则∑aj=4+3+2+1=10;nij为对某一指标、对某重要程度的 投票人数；把表11-9的数据代入公式便分别得到4项指标的权重： W1=4×9+3 ×8+2×5+2/(24 ×10)=0.300 W2=4 ×4+3 ×5+2×11+4/(24 ×10)=0.237 W3=4 ×3+3 ×5+2×5+11/(24 ×10)=0.200 W4=4 ×8+3 ×6+2×3+7/(24 ×10)=0.263
表11-8 教师科学研究成果评价表
姓名
指标体系 优4 （1）科研项目获奖 （2）论文公开发表 （3）论文获奖 总得分 √ √ √ 等级（aj） 良3
×××
中2 差1 单项加 得分 权（Wi） （Fi） 0.4 0.3 0.3 4 1.6 1.2 1.2
（三）权数的获得 1、两种加权方法： （1）经验加权 由富有经验的专家和有关研究人员商定，把人们长期的工作 经验和丰富的学识作为指派权数的依据。
第十一章 评价研究方法
本章学习要点 评价研究要依据明确的目的和目标，测量对象的功能、品质和属性，对评价对象 做出价值性的判断。评价研究主要由评价对象、评价指标体系和评判者三个要素组成。 根据事物发展的进程中不同时期的目的和重点不同，可以将评价分为诊断型评价、形 成型评价、总结型评价三类。本章介绍了评价研究的特征、要素、基本步骤及其类型 等基本概念。具体从指标体系设计的原则、目标分解、评价标准的建立、指标加权等 方面论述了评价指标体系的设计。以“网络教学的评价模型”为案例说明评价研究法 在教育技术研究中的具体应用。 通过本章的学习，应了解评价研究的基本概念，明确评价指标体系的设计，并能 够运用评价研究法，分析解决教育技术研究中的具体问题。
（一）加权的意义 1、评价研究的指标加权：根据不同的测评目的、测评对象、测评时间和 测评角度，将对不同的指标指派不同的比例系数，这就是评价研究的指标加 权。 2、两种权数： （1）自重权数。以权数作为指标的分值（或分数），或者以权数直 接作为等级的分值。 （2）加重权数。在各指标的已知分值（即自重权数）前设立的权数。
指标满分值
F1=a1×F0 F2=a2×F0 F3=a3×F0 F4=a4×F0
表11-7中，F0是指总体满分值。假定全部评价满分时，总体分值为100分，则 F0=100，指标权数ai以百分数或小数表示
3、单项加权。直接对指标内各要素加权，即对第二级指标加权。 单项权数可以是自重权数，也可以是加重权数；可以是先派到结构， 再派到要素。单项加权只对有关要素负责，但它影响到结构乃至总体的 得分。 表11-8是某学校对教师科研成果评价表，对指标内各因素采用单项 加权。各单项得分为Fi=aj×Wi
本章内容结构
评价研究的 基本概念 评价研究的特征 评价研究的要素 评价研究的基本步骤 评价研究的类型 指标体系设计的原则 案例—网络 目标分解 教学的 评价标准的建立 评价模型 评价指标体系 网络教学评价模型的建立 网络教学的评价要素 网络教学评价中评价者与评价要素的关系 网络教学的评价过程
评价指标 体系的设计
综合评价
四、评价的类型 1、诊断性评价 3、总结性评价
类型 实验目的 实施时期 评价目的
2、形成wk.baidu.com评价
形成性评价 事物发展进程之中 监督事物发展，收 集反馈信息
评价研究的基本步骤
总结性评价 事物发展某阶段之后 评价整体效果，提供评 价成绩
诊断性评价 事物发展新阶段之前 了解条件、基础、诊 断原因
评价三种类型各自特点
五、评价指标体系
评价指标体系又称评判表，它是评判人员进行评判活动的依据，评判总表 通常包括几个基本项目： 1、结构指标项 2、单项指标项 3、权重系数 4、评判等级 5、评判得分 （书上286页，比如多媒体课件大赛评价标准，就是这么做出来的）
2、局部加权。对系统的结构指标，即对第一级指标的加权。 例如，对于教育技术水平评价的四项一级指标中，并非是完全平均的，而是 有所侧重，各项一级指标的重要程度就体现在局部加权的各项权数上， 如表11-7所示
一级指标
（1）工作条件 （2）管理状况 （3）实施状态与行为 （4）实施效果
权数
a1 a2 a3 a4
评价研究的要素及其关系
三、评价研究的基本步骤 1、建立评价指标体系 建立评价指标体系 要素、标准、权重 （1）评价要素，反映被评对象特征的各个成分； （2）评价标准，衡量事物特征各个成分的比较基准； （3）指标权重，指各个成分在总体中所具有的重要程度的标志。 资料的收集 2、资料的收集 （1）访问调查 （2）个案调查 资料的鉴别 （3）问卷调查 （4）量表测量（专家评判） 3、资料的鉴别 4、价值判别 比较 判断 5、评价结果的综述
表11-5 加重权数的例子
项目 （多媒体教学软件）
（1）符合教学大纲 （2）解决教学得点难点 （3）符合教学原则 （4）利于培养学生世界观
等级（aj）
优秀4 √ √ √ √ 良好3 一般2 较差1
权重 （bi）
1.5 2 1 1.5
得分 （Fi）
6 6 4 4.5
在这种情况下，项目评判得分Fi应为： Fi=bi· aj Bi为项目加权得数，aj为等级分值即自得权重数
第一节 评价研究的基本步概念
评价，指依据明确的目标，按照一定的标准，采用科学方法，测量对象的功能、品 质和属性，并对评价对象做出价值性的判断。 一、评价研究的特征 1、评价的目标性 （一）评价活动期望达到的结果类型： (1)比较评等（a>b或a<b） (2)达标衡量（a≥a0） (3)发展比较（a2≥a1） (二) 评价目标做评价结论的依据: (1)条件水平：拥有教学环境和资源的数量和质量。 (2)品质水平:教育性；科学性；技术性；艺术性。 (3)效果水平：如教学效果。 (4)管理水平：如对教学资源的管理。 2、评价研究的价值判断性 目标分解 对象 评判者 二、评价研究的要素 测量 1、评价对象 考察 分析 2、评价指标体系（评价要素、评价标准、指标权重） 指标体系 3、评判者
（二）加权的方式 1、总体加权。对评价的总分加权。
表11-6总体加权的方法 类型 前测后 测加权 法 类别加 权法 原来总分 前测F1 后测F2 领导评价E1 同行评价E2 学生评价E3 自我评价E4 权数 a1 a2 b1 b2 b3 b4 加权总分 F’1=a1F1 F’2=a2F2 E’1=b1E1 E’2=b2E2 E’3=b3E3 E’4=b4E4 特点 两次评价存在时间间隔 上的差异 同时评价，但存在对评 价对象了解程度的差异
2
1
不满意
（1）讲授概念准确、条理清楚
（2）抓住了重点难点 （3）能联系实际，有独到见解 （4）讲述生动有启发性
√
（5）态度认真，学风严谨
：
√
3、客观可数等级式标准形式
学校拥有的教育技术设备数 量（台（或间）/每百名学生
计算机（台） 多媒体计算机网络教室（间） 多媒体课堂教学平台（套）
4
*
3
2
1
四、指标加权
（三）标准的形式
1、描述式标准 运用文字描述每个不同要素的等级,并赋给每个等级分值. 表11-2 描述式标准的形式 指标 标准 分值 4 3
数字卫星 (1)已收集全部教育资源并妥善保存 地面站的 (2)只把系统课程(中师或师专课程)以及部分教学参考资源收录保存 资料收集 保存状况 (3)有计划地收集其中部分资源作为参考资料 (4)无目的、无计划、临时性收集其中部分资料 2、期望评语量表式标准形式
等级 期望评语 4 非常满意 3 满意 √ √ √ 2 基本满意 1
（2）统计加权 设计一项重要程度意见表，让一部分有关人员对各项指标的重要程度进行投票，把 投票结果按统计公式计算，以确定权数值。 例，对于多媒体教学软件综合评判共有教育性、科学性、技术性、艺术性四项结构 指标，我们邀请N=24名对教学软件开发有丰富经验的人员进行投票，其结果如表11=9 所示。 赞成 重要性程度 票人数 评价指标 (1)教育性 (2)科学性 (3)技术性 (4)艺术性 9 4 3 8 8 5 5 6 5 11 5 3 2 4 11 7 0.300 0.237 0.200 0.263 第一 位4 第二位 3 第三 位2 第四 位1 权重Wi
第二节 评价指标体系的设计
一、指标体系设计的原则
1、与目标的一致性 2、直接的可测性 3、体系内指标的相互独立性 4、指标体系的整体完备性 5、指标的可比性 6、可接受性
二、目标可被分解为三个基本层次：
1、总体指标 2、结构指标（一级指标） 3、单项指标（二级指标）
三、评价标准的建立 概念： 标准：衡量事物的准则 （一）评价标准的构成：
我们可以利用排序指数公式进行运算.根据: ∑ aj×nij Wi=—————— N∑aj 按表11-9共有4个指标，则∑aj=4+3+2+1=10;nij为对某一指标、对某重要程度的 投票人数；把表11-9的数据代入公式便分别得到4项指标的权重： W1=4×9+3 ×8+2×5+2/(24 ×10)=0.300 W2=4 ×4+3 ×5+2×11+4/(24 ×10)=0.237 W3=4 ×3+3 ×5+2×5+11/(24 ×10)=0.200 W4=4 ×8+3 ×6+2×3+7/(24 ×10)=0.263
表11-8 教师科学研究成果评价表
姓名
指标体系 优4 （1）科研项目获奖 （2）论文公开发表 （3）论文获奖 总得分 √ √ √ 等级（aj） 良3
×××
中2 差1 单项加 得分 权（Wi） （Fi） 0.4 0.3 0.3 4 1.6 1.2 1.2
（三）权数的获得 1、两种加权方法： （1）经验加权 由富有经验的专家和有关研究人员商定，把人们长期的工作 经验和丰富的学识作为指派权数的依据。
第十一章 评价研究方法
本章学习要点 评价研究要依据明确的目的和目标，测量对象的功能、品质和属性，对评价对象 做出价值性的判断。评价研究主要由评价对象、评价指标体系和评判者三个要素组成。 根据事物发展的进程中不同时期的目的和重点不同，可以将评价分为诊断型评价、形 成型评价、总结型评价三类。本章介绍了评价研究的特征、要素、基本步骤及其类型 等基本概念。具体从指标体系设计的原则、目标分解、评价标准的建立、指标加权等 方面论述了评价指标体系的设计。以“网络教学的评价模型”为案例说明评价研究法 在教育技术研究中的具体应用。 通过本章的学习，应了解评价研究的基本概念，明确评价指标体系的设计，并能 够运用评价研究法，分析解决教育技术研究中的具体问题。
（一）加权的意义 1、评价研究的指标加权：根据不同的测评目的、测评对象、测评时间和 测评角度，将对不同的指标指派不同的比例系数，这就是评价研究的指标加 权。 2、两种权数： （1）自重权数。以权数作为指标的分值（或分数），或者以权数直 接作为等级的分值。 （2）加重权数。在各指标的已知分值（即自重权数）前设立的权数。
指标满分值
F1=a1×F0 F2=a2×F0 F3=a3×F0 F4=a4×F0
表11-7中，F0是指总体满分值。假定全部评价满分时，总体分值为100分，则 F0=100，指标权数ai以百分数或小数表示
3、单项加权。直接对指标内各要素加权，即对第二级指标加权。 单项权数可以是自重权数，也可以是加重权数；可以是先派到结构， 再派到要素。单项加权只对有关要素负责，但它影响到结构乃至总体的 得分。 表11-8是某学校对教师科研成果评价表，对指标内各因素采用单项 加权。各单项得分为Fi=aj×Wi
本章内容结构
评价研究的 基本概念 评价研究的特征 评价研究的要素 评价研究的基本步骤 评价研究的类型 指标体系设计的原则 案例—网络 目标分解 教学的 评价标准的建立 评价模型 评价指标体系 网络教学评价模型的建立 网络教学的评价要素 网络教学评价中评价者与评价要素的关系 网络教学的评价过程
评价指标 体系的设计
综合评价
四、评价的类型 1、诊断性评价 3、总结性评价
类型 实验目的 实施时期 评价目的
2、形成wk.baidu.com评价
形成性评价 事物发展进程之中 监督事物发展，收 集反馈信息
评价研究的基本步骤
总结性评价 事物发展某阶段之后 评价整体效果，提供评 价成绩
诊断性评价 事物发展新阶段之前 了解条件、基础、诊 断原因
评价三种类型各自特点
五、评价指标体系
评价指标体系又称评判表，它是评判人员进行评判活动的依据，评判总表 通常包括几个基本项目： 1、结构指标项 2、单项指标项 3、权重系数 4、评判等级 5、评判得分 （书上286页，比如多媒体课件大赛评价标准，就是这么做出来的）
2、局部加权。对系统的结构指标，即对第一级指标的加权。 例如，对于教育技术水平评价的四项一级指标中，并非是完全平均的，而是 有所侧重，各项一级指标的重要程度就体现在局部加权的各项权数上， 如表11-7所示
一级指标
（1）工作条件 （2）管理状况 （3）实施状态与行为 （4）实施效果
权数
a1 a2 a3 a4
评价研究的要素及其关系
三、评价研究的基本步骤 1、建立评价指标体系 建立评价指标体系 要素、标准、权重 （1）评价要素，反映被评对象特征的各个成分； （2）评价标准，衡量事物特征各个成分的比较基准； （3）指标权重，指各个成分在总体中所具有的重要程度的标志。 资料的收集 2、资料的收集 （1）访问调查 （2）个案调查 资料的鉴别 （3）问卷调查 （4）量表测量（专家评判） 3、资料的鉴别 4、价值判别 比较 判断 5、评价结果的综述
表11-5 加重权数的例子
项目 （多媒体教学软件）
（1）符合教学大纲 （2）解决教学得点难点 （3）符合教学原则 （4）利于培养学生世界观
等级（aj）
优秀4 √ √ √ √ 良好3 一般2 较差1
权重 （bi）
1.5 2 1 1.5
得分 （Fi）
6 6 4 4.5
在这种情况下，项目评判得分Fi应为： Fi=bi· aj Bi为项目加权得数，aj为等级分值即自得权重数
第一节 评价研究的基本步概念
评价，指依据明确的目标，按照一定的标准，采用科学方法，测量对象的功能、品 质和属性，并对评价对象做出价值性的判断。 一、评价研究的特征 1、评价的目标性 （一）评价活动期望达到的结果类型： (1)比较评等（a>b或a<b） (2)达标衡量（a≥a0） (3)发展比较（a2≥a1） (二) 评价目标做评价结论的依据: (1)条件水平：拥有教学环境和资源的数量和质量。 (2)品质水平:教育性；科学性；技术性；艺术性。 (3)效果水平：如教学效果。 (4)管理水平：如对教学资源的管理。 2、评价研究的价值判断性 目标分解 对象 评判者 二、评价研究的要素 测量 1、评价对象 考察 分析 2、评价指标体系（评价要素、评价标准、指标权重） 指标体系 3、评判者
（二）加权的方式 1、总体加权。对评价的总分加权。
表11-6总体加权的方法 类型 前测后 测加权 法 类别加 权法 原来总分 前测F1 后测F2 领导评价E1 同行评价E2 学生评价E3 自我评价E4 权数 a1 a2 b1 b2 b3 b4 加权总分 F’1=a1F1 F’2=a2F2 E’1=b1E1 E’2=b2E2 E’3=b3E3 E’4=b4E4 特点 两次评价存在时间间隔 上的差异 同时评价，但存在对评 价对象了解程度的差异
2
1
不满意
（1）讲授概念准确、条理清楚
（2）抓住了重点难点 （3）能联系实际，有独到见解 （4）讲述生动有启发性
√
（5）态度认真，学风严谨
：
√
3、客观可数等级式标准形式
学校拥有的教育技术设备数 量（台（或间）/每百名学生
计算机（台） 多媒体计算机网络教室（间） 多媒体课堂教学平台（套）
4
*
3
2
1
四、指标加权