设计并进行形成性评价
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
到了修正，主要集中在重要的入门能力及评价学习环境 的可行性上。 实地评价效果： 在预期学习情况下教学能使学习者产生要求达到的学习 成果和态度。 要收集的信息： • 学习者成就，态度，教师教学过程，态度，资源，如时 间，花费，空间，设备
应用环境下的形成性评价
必要性：教学最终关注的是学习者是否能在实际环境下应用 所学技能。因此对教学材料进行形成性评价时有必要进 行应用环境下的形成性评价。应用环境下的形成性评价 可在形成性评价的任何一个阶段后进行。
应用环境下的形成性评价
评价问题，信息来源及搜集方式
问题
对象
方法
1. 所学技能是否得以迁移？
学习者 访谈
2. 技能的使用情况如何（频繁程度，应用场景）？ 同事
问卷
3. 在物资设施、人际和管理上都有那些因素有助于 下级
技能的应用和迁移？
管理者
观察 分析
4. 在物资设施，人际和管理上都有那些因素阻碍了 顾客
• 评价量表:要评价的要点是否可观察；对评价要点的 解释是否清楚；评价要点的次序安排是否有效
• 评价者的打分表 ：区分标准和所区分的等级数是否 合理，为评价者所留观察，判断，记录时间是否充 足
• 评价者判断的可靠性：可以在有时间间隔下两次或 多次评价同一行为或产品
• 评价策略：看看所获数据是否符合逻辑，可解释
需要增加其它测试或态度问卷。
评价过程类似于场景评价
对教师引导型教学的形成性评价
对教师引导型的教学进行形成性评价的目的和自学材料的基 本相同，即确定教学是否有效以及如何改进。当然，也基 本没有时间进行一对一甚至是小规模评价。评价过程和场 景评价阶段最为接近。
对选定材料和教师引导型教学的场景评价经常是交织在一起 的。选定材料的使用经常需要教师的交互作用，同样，教 师指导也与一些准备好的教学材料离不开。在这两种情况 下，会进行大致相同的场景评价程序并进行类似的修订。
过程：
在形成性评价的任一阶段结束后，告知学习者以后某个 时间会再和他们联系了解这次学习及其作用。等待一段 时间后再联系学习者，进行应用环境下的形成性评价。
搜集信息：
• 直接观察 • 查看工作表现记录 • 学习者工作机构内上级，同事或下级的观点 应用环境形成性评价的效果：
• 教学在促进技能迁移上的优缺点 • 迁移和技能使用上可以得到更好支持的地方 • 解决阻碍运用技能于实际场景的地方。
工作经验不到一年的
一对一评价
过程：设计者向学习者进行必要说明，学习者使用材料，学习者 和设计者交流
特点： 1. 设计者要与学习者建立友好信任关系 2. 进行有效互动
数据信息来源：学习者标注，测试成绩，态度问卷，评价者记录
一对一评价的标准： 1 清晰度：对于学习者个体而言，信息或者呈现给他们
的教学内容是否明了、清楚？ 2 影响力：教学对于学习者个体的态度和达到教学目标
目的：
1 学习者是否认识到所学新技能在工作中的作用并加以应用？ 2 如果已经使用，对所在机构有何作用？ 3 学习者及其同事对改进教学有何建议？ 对象：
1 参加一对一评价的全部学习者（在阶段一结束后进行） 2 参加小组及场景评价的部分学习者 3 所选学习者所在机构的上级，同事或下级
应用环境下的形成性评价
小组评价后应达到的效果： 能在最终教学环境中适合大部分目标人群
小组评价信息收集
• 通常是学习者在前测和后测中的分数，前测 （入门能力，教学目标能力），后测（教学最 终目标和阶段目标）
• 对教学的态度的问卷（有时还有后续的访谈） • 搜集的关于教学可行性信息包括：要求学习者
完成学习和测试的时间；按预计形式在预计环 境中实施教学的可行性和花费；实施和管理教 学者的态度
公司
技能的应用和迁移？
公司记录 记录
5. 应用所学技能后是否有助于解决最初问题？怎样
解决的？有何说明？
6. 培训还可以怎样改善，提高？
形成性评价的设计框架
组成部分
学前活动 动机激发 教学目标 入门能力
内容呈现 顺序安排 单元大小 内容 实例
学生参与 练习 反馈
评测 前测 后测 应用环境
来源
途径
学习类型
小组评价
目的： 1. 确定在一对一评价后所作的改动是否有效，找出学习者在
学习中仍然存在的问题 2. 确定学习者在不和教师交互的情况下使用教学材料的情况wenku.baidu.com
选择学习者：尽量代表目标人群各种类型，大概8－20人。 类型维度：学业水平（高，一般，低）；
习惯的学习方式； 学习者成熟度；
小组评价
过程： 评价者（或教师）首先向学习者说明教学材料处 于开发的形成性评价阶段，需要获得学习者的反 馈。然后按照教学材料设计的实际使用方式组织 学习者使用。在整个过程中，尽可能减少教师的 参与。
内容
清晰度
学习理论专家 领域专家
核查表 访谈
核查表 访谈
学习者#
观察 考试 材料
学习动机
学习者 观察 访谈 考试
施行
学习者 教师 观察 访谈
形成性评价的主要问题
• 学习材料是否适合特定类型的学习？ • 材料是否完整包括了所需学习的各个技能，
各个技能的学习顺序安排是否合逻辑？ • 材料表述是否清晰，易理解？ • 材料是否能激发学习者的学习动机？ • 材料所采用的媒体形式是否能有效施行？
目的： • 确定该材料是否适合于特定环境中的特定人群。 • 找出该材料需要增删之处以及教学步骤中需要变动的地方，
以提高材料的使用效果。 评价前准备： • 分析材料开发过程的记录； • 特定人群使用材料的效果； • 特别是要研究一下材料在场景评价中的使用过程；研究对
材料使用程序的描述； • 对材料附带的测试要分析其与行为目标的关系，分析是否
形成性评价的概念
形成性评价：
教学设计者搜集数据信息以改进教学，提高教学效率 效果的的过程
形成性评价的重点：
搜集数据，分析数据，改进教学
形成性评价的三个基本阶段：
1 一对一评价 2 小组评价 3 场景评价
形成性评价可用专家
在这三个阶段之前，征求不直接参与教学开发过程但有兴 趣的相关专家的意见： • 领域专家（SME）：主要评价教学内容的精确性和时新性 • 特定类型学习方面的专家：可以就提高该类型学习效果方 面对教学策略提出建议。 • 学习者专家：可以从目标人群的视角和反应看教学，从最 终的应用环境来看材料是否合适。
设计并进行形成性评价
•形成性评价的几个阶段 •形成性评价工具
迪克和凯里模型
进行教学 分析
修改教学
评价需求 确定目的
编写绩 效目标
分析学习 者和环境
开发评 价方案
开发教 学策略
开发和筛 选教学材
料
设计并实施 教学的形成
性评价
设计并实施 总结性评价
背景
30年前情况：
直接将最初版本转化为成品，并直接应用于目标人群。
一对一评价注意事项
注意： • 不要把特定学习者的反应过于一般化。 • 确定学习时间是一对一评价关注的一个方面，但这个从中得
到的时间只是大概的，因为包含了学习者和设计者的交流时 间，可以按估计减去，但比较不准确。
一对一评价后达到的效果： • 教学在词汇、语言复杂度、举例、解释等方面适合学习者； • 能够使学习者具有正确态度，基本达到学习目标； • 适合学习者，现有资源及环境，具有可行性。
理想状态下在实施教学前要进行三个阶段的形成性评价，但常常由 于时间和资金原因无法做到。在这样情况下设计者应该怎样做？
1 确定在正式实施教学前，是否有条件实施某个阶段的形成性评价。 2 如果教学不经任何形成性评价就应用于目标人群，尽可能利用目
标人群搜集 一些信息以改进教学。
所搜集的数据信息
• 学习者的入门能力测试，前测，后测结果以及实际 应用环境表现
• 学习者在材料上有困难地方所做的标记，评论 • 学习者在态度问卷，访谈中表现的对教学内容和教
学过程的看法 • 学习者完成教学各个步骤所需的时间 • 领域专家的意见 • 学习者所在机构管理者对技能实际运用情况的看法
对选定材料的形成性评价
影响形成性评价的一些因素
关于环境：
1 所有技术设备都要有效运行。 2 在形成性评价早期阶段，尤其是一对一评价中环境比较安静有
助于学习者集中注意力。
关于学习者：
1 在形成性评价的任何阶段选择学习者时，都要避免完全依赖教 师确定学习者的入门知识。进行入门知识测试以确定被试是 否为该教学材料的目标人群十分必要。
相关内容 教学过程
背景 实例 类比 图解 示范 回顾 总结
顺序安排 教学块大小 教学块过渡 节奏快慢 变化
成绩
学习者在各个教学目标的 学习成果
资源
时间 设施 环境
一对一评价质量保证
• 卷面测试：在每一项后都询问学习者做出特定反应 的原因
• 操作指示:要保证学习者能够明白指示内容并能根据 指示操作。
有没有影响？ 3 可行性：如果得到所需的资源（如时间、教学情境），
教学的可行性多大？
一对一评价信息搜集
标准 清晰度（合适）
对学习者的影响力 可行性
教学内容
词语表达 句型 导入 具体阐述 结论 过渡
态度
是否有用(relevance) 难度如何(confidence） 学习后满意程度
对学习者
成熟度 独立性 动机水平
2 关于怎样对待那些已经掌握部分教学内容或不具备入门技能的 学习者？是否要将其从形成性评价的学习者中去除？
影响形成性评价的一些因素
关于评价结果：
1 做好接受否定结果的心理准备：经过了这样深入的教学设 计过程，材料并不像你认为的那样有效。
2 正确认识正面反馈的意义。 3 扮演“局外人” 关于形成性评价的实施：
后果：
由于初稿的不完善，教师教学和学生学习都出现了很多问题。
当时的“评价”概念：
将新设计的材料与已有成品比较其有效性。在这种比较下，研 究者经常发现使用新课程材料的学生学习效果较差。
Cronbach and Scriven提出形成性评价的概念：
在教学开发过程中从目标人群中搜集关于教学材料使用及效果 的数据和信息，用以提高教学效果。
场景评价
场景评价在与最终教学环境尽可能相像的环境下进行。 目的：
1. 小组评价后的修改是否有效 2. 是否可在最终教学环境下使用
选择学习者： 尽量挑选一个能代表目标人群的典型单位人群 （30人左右）
场景评价
过程：类似于小组评价，不同在于： 1. 设计者角色只能是观察者，教学必须由教师组织，因此
设计者要对教师进行适当指导使其了解如何组织进行。 2. 测试的减少。经过小规模评价后，前测和后测都已经得
一对一评价
目的：确定并消除教学中存在的最明显的不足之处，了解学 习者对学习材料的最初反应和表现特点。
选择学习者：学习者是目标人群中的3个左右的典型代表。根 据与学习成就高度相关的影响因素来选择。
• 知识准备：高于平均水平；处于中等；低于平均水平 • 学习态度：积极态度的；一般态度的；消极态度的 • 经历：有10年以上工作经验的；有2到5年工作经验的；
应用环境下的形成性评价
必要性：教学最终关注的是学习者是否能在实际环境下应用 所学技能。因此对教学材料进行形成性评价时有必要进 行应用环境下的形成性评价。应用环境下的形成性评价 可在形成性评价的任何一个阶段后进行。
应用环境下的形成性评价
评价问题，信息来源及搜集方式
问题
对象
方法
1. 所学技能是否得以迁移？
学习者 访谈
2. 技能的使用情况如何（频繁程度，应用场景）？ 同事
问卷
3. 在物资设施、人际和管理上都有那些因素有助于 下级
技能的应用和迁移？
管理者
观察 分析
4. 在物资设施，人际和管理上都有那些因素阻碍了 顾客
• 评价量表:要评价的要点是否可观察；对评价要点的 解释是否清楚；评价要点的次序安排是否有效
• 评价者的打分表 ：区分标准和所区分的等级数是否 合理，为评价者所留观察，判断，记录时间是否充 足
• 评价者判断的可靠性：可以在有时间间隔下两次或 多次评价同一行为或产品
• 评价策略：看看所获数据是否符合逻辑，可解释
需要增加其它测试或态度问卷。
评价过程类似于场景评价
对教师引导型教学的形成性评价
对教师引导型的教学进行形成性评价的目的和自学材料的基 本相同，即确定教学是否有效以及如何改进。当然，也基 本没有时间进行一对一甚至是小规模评价。评价过程和场 景评价阶段最为接近。
对选定材料和教师引导型教学的场景评价经常是交织在一起 的。选定材料的使用经常需要教师的交互作用，同样，教 师指导也与一些准备好的教学材料离不开。在这两种情况 下，会进行大致相同的场景评价程序并进行类似的修订。
过程：
在形成性评价的任一阶段结束后，告知学习者以后某个 时间会再和他们联系了解这次学习及其作用。等待一段 时间后再联系学习者，进行应用环境下的形成性评价。
搜集信息：
• 直接观察 • 查看工作表现记录 • 学习者工作机构内上级，同事或下级的观点 应用环境形成性评价的效果：
• 教学在促进技能迁移上的优缺点 • 迁移和技能使用上可以得到更好支持的地方 • 解决阻碍运用技能于实际场景的地方。
工作经验不到一年的
一对一评价
过程：设计者向学习者进行必要说明，学习者使用材料，学习者 和设计者交流
特点： 1. 设计者要与学习者建立友好信任关系 2. 进行有效互动
数据信息来源：学习者标注，测试成绩，态度问卷，评价者记录
一对一评价的标准： 1 清晰度：对于学习者个体而言，信息或者呈现给他们
的教学内容是否明了、清楚？ 2 影响力：教学对于学习者个体的态度和达到教学目标
目的：
1 学习者是否认识到所学新技能在工作中的作用并加以应用？ 2 如果已经使用，对所在机构有何作用？ 3 学习者及其同事对改进教学有何建议？ 对象：
1 参加一对一评价的全部学习者（在阶段一结束后进行） 2 参加小组及场景评价的部分学习者 3 所选学习者所在机构的上级，同事或下级
应用环境下的形成性评价
小组评价后应达到的效果： 能在最终教学环境中适合大部分目标人群
小组评价信息收集
• 通常是学习者在前测和后测中的分数，前测 （入门能力，教学目标能力），后测（教学最 终目标和阶段目标）
• 对教学的态度的问卷（有时还有后续的访谈） • 搜集的关于教学可行性信息包括：要求学习者
完成学习和测试的时间；按预计形式在预计环 境中实施教学的可行性和花费；实施和管理教 学者的态度
公司
技能的应用和迁移？
公司记录 记录
5. 应用所学技能后是否有助于解决最初问题？怎样
解决的？有何说明？
6. 培训还可以怎样改善，提高？
形成性评价的设计框架
组成部分
学前活动 动机激发 教学目标 入门能力
内容呈现 顺序安排 单元大小 内容 实例
学生参与 练习 反馈
评测 前测 后测 应用环境
来源
途径
学习类型
小组评价
目的： 1. 确定在一对一评价后所作的改动是否有效，找出学习者在
学习中仍然存在的问题 2. 确定学习者在不和教师交互的情况下使用教学材料的情况wenku.baidu.com
选择学习者：尽量代表目标人群各种类型，大概8－20人。 类型维度：学业水平（高，一般，低）；
习惯的学习方式； 学习者成熟度；
小组评价
过程： 评价者（或教师）首先向学习者说明教学材料处 于开发的形成性评价阶段，需要获得学习者的反 馈。然后按照教学材料设计的实际使用方式组织 学习者使用。在整个过程中，尽可能减少教师的 参与。
内容
清晰度
学习理论专家 领域专家
核查表 访谈
核查表 访谈
学习者#
观察 考试 材料
学习动机
学习者 观察 访谈 考试
施行
学习者 教师 观察 访谈
形成性评价的主要问题
• 学习材料是否适合特定类型的学习？ • 材料是否完整包括了所需学习的各个技能，
各个技能的学习顺序安排是否合逻辑？ • 材料表述是否清晰，易理解？ • 材料是否能激发学习者的学习动机？ • 材料所采用的媒体形式是否能有效施行？
目的： • 确定该材料是否适合于特定环境中的特定人群。 • 找出该材料需要增删之处以及教学步骤中需要变动的地方，
以提高材料的使用效果。 评价前准备： • 分析材料开发过程的记录； • 特定人群使用材料的效果； • 特别是要研究一下材料在场景评价中的使用过程；研究对
材料使用程序的描述； • 对材料附带的测试要分析其与行为目标的关系，分析是否
形成性评价的概念
形成性评价：
教学设计者搜集数据信息以改进教学，提高教学效率 效果的的过程
形成性评价的重点：
搜集数据，分析数据，改进教学
形成性评价的三个基本阶段：
1 一对一评价 2 小组评价 3 场景评价
形成性评价可用专家
在这三个阶段之前，征求不直接参与教学开发过程但有兴 趣的相关专家的意见： • 领域专家（SME）：主要评价教学内容的精确性和时新性 • 特定类型学习方面的专家：可以就提高该类型学习效果方 面对教学策略提出建议。 • 学习者专家：可以从目标人群的视角和反应看教学，从最 终的应用环境来看材料是否合适。
设计并进行形成性评价
•形成性评价的几个阶段 •形成性评价工具
迪克和凯里模型
进行教学 分析
修改教学
评价需求 确定目的
编写绩 效目标
分析学习 者和环境
开发评 价方案
开发教 学策略
开发和筛 选教学材
料
设计并实施 教学的形成
性评价
设计并实施 总结性评价
背景
30年前情况：
直接将最初版本转化为成品，并直接应用于目标人群。
一对一评价注意事项
注意： • 不要把特定学习者的反应过于一般化。 • 确定学习时间是一对一评价关注的一个方面，但这个从中得
到的时间只是大概的，因为包含了学习者和设计者的交流时 间，可以按估计减去，但比较不准确。
一对一评价后达到的效果： • 教学在词汇、语言复杂度、举例、解释等方面适合学习者； • 能够使学习者具有正确态度，基本达到学习目标； • 适合学习者，现有资源及环境，具有可行性。
理想状态下在实施教学前要进行三个阶段的形成性评价，但常常由 于时间和资金原因无法做到。在这样情况下设计者应该怎样做？
1 确定在正式实施教学前，是否有条件实施某个阶段的形成性评价。 2 如果教学不经任何形成性评价就应用于目标人群，尽可能利用目
标人群搜集 一些信息以改进教学。
所搜集的数据信息
• 学习者的入门能力测试，前测，后测结果以及实际 应用环境表现
• 学习者在材料上有困难地方所做的标记，评论 • 学习者在态度问卷，访谈中表现的对教学内容和教
学过程的看法 • 学习者完成教学各个步骤所需的时间 • 领域专家的意见 • 学习者所在机构管理者对技能实际运用情况的看法
对选定材料的形成性评价
影响形成性评价的一些因素
关于环境：
1 所有技术设备都要有效运行。 2 在形成性评价早期阶段，尤其是一对一评价中环境比较安静有
助于学习者集中注意力。
关于学习者：
1 在形成性评价的任何阶段选择学习者时，都要避免完全依赖教 师确定学习者的入门知识。进行入门知识测试以确定被试是 否为该教学材料的目标人群十分必要。
相关内容 教学过程
背景 实例 类比 图解 示范 回顾 总结
顺序安排 教学块大小 教学块过渡 节奏快慢 变化
成绩
学习者在各个教学目标的 学习成果
资源
时间 设施 环境
一对一评价质量保证
• 卷面测试：在每一项后都询问学习者做出特定反应 的原因
• 操作指示:要保证学习者能够明白指示内容并能根据 指示操作。
有没有影响？ 3 可行性：如果得到所需的资源（如时间、教学情境），
教学的可行性多大？
一对一评价信息搜集
标准 清晰度（合适）
对学习者的影响力 可行性
教学内容
词语表达 句型 导入 具体阐述 结论 过渡
态度
是否有用(relevance) 难度如何(confidence） 学习后满意程度
对学习者
成熟度 独立性 动机水平
2 关于怎样对待那些已经掌握部分教学内容或不具备入门技能的 学习者？是否要将其从形成性评价的学习者中去除？
影响形成性评价的一些因素
关于评价结果：
1 做好接受否定结果的心理准备：经过了这样深入的教学设 计过程，材料并不像你认为的那样有效。
2 正确认识正面反馈的意义。 3 扮演“局外人” 关于形成性评价的实施：
后果：
由于初稿的不完善，教师教学和学生学习都出现了很多问题。
当时的“评价”概念：
将新设计的材料与已有成品比较其有效性。在这种比较下，研 究者经常发现使用新课程材料的学生学习效果较差。
Cronbach and Scriven提出形成性评价的概念：
在教学开发过程中从目标人群中搜集关于教学材料使用及效果 的数据和信息，用以提高教学效果。
场景评价
场景评价在与最终教学环境尽可能相像的环境下进行。 目的：
1. 小组评价后的修改是否有效 2. 是否可在最终教学环境下使用
选择学习者： 尽量挑选一个能代表目标人群的典型单位人群 （30人左右）
场景评价
过程：类似于小组评价，不同在于： 1. 设计者角色只能是观察者，教学必须由教师组织，因此
设计者要对教师进行适当指导使其了解如何组织进行。 2. 测试的减少。经过小规模评价后，前测和后测都已经得
一对一评价
目的：确定并消除教学中存在的最明显的不足之处，了解学 习者对学习材料的最初反应和表现特点。
选择学习者：学习者是目标人群中的3个左右的典型代表。根 据与学习成就高度相关的影响因素来选择。
• 知识准备：高于平均水平；处于中等；低于平均水平 • 学习态度：积极态度的；一般态度的；消极态度的 • 经历：有10年以上工作经验的；有2到5年工作经验的；