基于模糊层次分析法的全过程高职课程教学质量评价研究

基于模糊层次分析法的全过程高职课程教学质量评价研究
作者：肖振泉陈鑫洋金星赵博宁
来源：《广西教育·C版》2024年第01期
摘要：融合CIPP模型与模糊层次分析法的评价方法能够提高高职课程教学评价质量，因此高职院校应利用CIPP模型，建立课程全过程评价框架，根据FAHP理论，优化求解判断矩阵，计算评价指标的权值向量，确定评价指标的隶属度矩阵，运用模糊算子，进行多级模糊运算，获得课程教学质量的定量评价结果。

关键词：高职课程；CIPP+FAHP；权值向量；隶属度；模糊算子
中图分类号：G64 文献标识码：A 文章编号：0450-9889（2024）03-0032-07
2020年10月，中共中央、国务院印发的《深化新时代教育评价改革总体方案》指出：“坚持科学有效，改进结果评价，强化过程评价，探索增值评价，健全综合评价；完善评价结果运
用，综合发挥评价的导向、鉴定、诊断、调控和改进作用。

”各职业院校，尤其是高职院校纷纷大力推进教学质量评价模式改革，着力提升教学质量。

课程是教学活动的关键节点，是学生形成职业素养的重要途径，而在课程教学评价实践中依然存在不少问题，亟需改进。

近年来，考虑到CIPP（背景评价-Context、输入评价-Input、过程评价Process-Input、结果评价-Product）提倡的全过程评价理念、FAHP（Fuzzy Analytic Hierarchy Process）关于定量评价客观事物的特点，相关学者纷纷将上述两种理论融入课程教学评价中，取得了一定的研究成果，但是也存在着以下不足之处，一是将CIPP、FAHP理念同时应用于教学质量评价，但是对高职课程教学质量评价的研究尚较少，研究的深度也较为欠缺；二是大部分学者仅是简单套用现有模糊评价算子，而现有模糊评价算子并不完全适用于教学活动中复杂多层次的指标体系，较难对课程教学质量给出客观评价。

针对上述不足之处，笔者借助CIPP模型，构建高职课程全过程评价框架，有机融入FAHP方法，计算CIPP评价指标的权值向量和隶属度矩阵，通过相应模糊算子，定量评价高职课程教学质量。

一、基于CIPP+FAHP的高职课程教学质量评价的理论内涵
（一）基于CIPP的评价框架建立策略
CIPP模型由美国学者斯塔弗尔比姆（Stufflebeam）于1966年首次提出，主要借助背景、输入、过程、结果4个评价手段，全过程跟踪、监控评价对象，从而对决策产生引导与改进作用。

根据当前课程评价改革要求，教学评价要能够提高课程活动成效，以体现其改进性作用，这与CIPP模型特点高度一致。

因此，可以借鉴CIPP模型，构建课程全过程评价框架：①背景评价——主要对课程是否有必要开设进行评价，其评价指标主要描述课程在整个课程体系的作用、能够提高学生哪些素养等；②输入评价——主要对课程教学方案是否恰当进行评价，其评价指标主要描述课程软硬件资源是否满足要求、课程标准是否切合专业人才培养方案、课程内容是否体现学生发展需求等；③过程评价——主要对课程实施是否完善进行评价，其评价指标主要描述教师教案是否体现教学实际情况、是否充分利用教学资源、学生是否积极主动学习等；④结果评价——主要对课程目标达成度进行评价，其评价指标主要描述学生职业素养的提升情况等。

综上所述，基于CIPP的评价框架如图1所示。

（二）基于FAHP的评价结果计算
模糊层次分析法是一种将模糊综合评价法（FCE）和层次分析法（AHP）有机融合，兼具定性分析和定量计算的评价方法。

因此，FAHP综合了FCE和AHP的优点，具体实施步骤可以概括如下。

首先，利用AHP理论使人类语言判断定量化，形成判断矩阵，进而求解评价指标的权值向量；其次，根据FCE理论确定评价指标的隶属度矩阵，选取适当的模糊算子；最后，对权值向量和隶属度矩阵进行模糊运算，最终得到评价对象的定量评估结果。

根据上述FAHP评价步骤，分别对CIPP框架中的4个阶段，进行评价结果计算，具体如下。

1.权值向量的计算
针对每一个阶段的多层评价指标体系，设要计算某一层次n个子指标X=（x1，x2…xn）相对于上一级父指标Y的权值向量，主要流程分为以下两步。

第一步，初步建立区间判断矩阵。

设初步建立的区间判断矩阵A=（[ψij]）mxm，[ψij]为某一取值区间，表示子指标xi和xj对父指标Y的相对重要性之比，且ψij=1/[ψji]，具体可参考表1。

第二步，优化计算权值向量。

首先，根据区间判断矩阵，在取值区间内初选判断矩阵各元素数值aij。

然后，对于一阶、二阶判断矩阵A=（aij）mxm（m=1、2），由于其完全满足下列一致性条件：①aij=1、②aij=1/aji、③aij=aik/ajk（i，j，k=1，2，…，m），可以直接得到最终数值判断矩阵，进而判断矩阵最大特征值对应的归一化特征向量即为所求权值向量ω；对于三阶及三阶以上判断矩阵A=（aij）mxm（m≥3），不完全满足上述一致性条件，为了保证其具有较好的一致性，需要利用如下模型进行迭代优化计算，确定最终数值判断矩阵及其权值向量ω。

式中：aik、ωk（或ωi）分别为迭代计算期间数值判断矩阵元素值、权值向量（最大特征值对应的归一化特征向量）的分量。

2.隶属度矩阵的确定
在FAHP评价中，通常为评价指标选定多级评语，即评语集V=（V1，V2…Vp），p表示评语等级数。

在此基础上，可以计算评价指标体系中底层指标对各级评语的隶属度，具体步骤如下。

第一步，指标评分计算。

指标分为定性和定量指标。

其中，在确定定性指标时，首先邀请m位教学活动参与者对底层指标进行区间评分［ai，bi］（ai、bi分别为第i位参与者评分区间的上下限），最高分为1，最低分为0；然后，利用式（2）计算评分值。

而定量指标的评分值f=F/100，F为指标分数（百分制）。

第二步，进行指标隶属度计算。

首先，选用适当的隶属度函数，如正态分布、梯形分布和岭型分布等，将上一步计算得到的评分值f代入隶属度函数，求得底层指标对评语的隶属度向量Ri=（ri1，ri2，…rip），其中，rij（1≤j≤p）表示第i个底层指标对第j级评语的隶属度；然
后，将属于同一个父指标的底层指标的隶属度向量组合起来，即可得到隶属度矩阵R=
（R1R2…Rn）T，其中n为属于同一个父指标的底层指标数目。

3.模糊算子的选取
针对1、2求得的权值向量ω和隶属度矩阵R，需要运用相应模糊算子进行模糊运算。

在FAHP评价中，常用的4种模糊算子如下表所示。

4种算子都有自己的优点和缺点：M（∧，∨）只考虑主要因素，不考虑其他次要因素，这会忽略许多重要信息，导致计算结果不准确；M（g，∨）和M（∧，⊕）在M（∧，∨）基础上，细化了具体计算过程，不仅突出了主要因素，也考虑了次要因素；M（g，⊕）既考虑了各元素的权重，又充分利用了隶属度矩阵的信息，其评估结果综合衡量了被评对象的整体特征，比较适合于整体指标的优化。

因此，在高职课程教学质量评价中，背景评价、输入评价和结果评价可统一运用M（g，⊕）算子。

过程评价指标具有多层次结构，指标权值差异较大，为了重点突出主要指标影响，又兼顾隶属度信息，单独运用以上任何一个算子均不能满足要求。

因此，需要运用如下基于M（g，⊕）改进的模糊算子M（△）：
式中：bi為评价结果向量B=（b1，b2…bp）的分量，rji、rki、rqi为隶属度矩阵R的元素，ωj为权值向量ω分量中最大值，ωk为权值向量ω分量中最小值，std（ω）表示权值向量ω的标准差，R（ω）表示权值向量ω的极差；α、β既可表征权值的不均衡程度，又可表征权值的增益程度。

运用该算子时遵循以下原则：首先通过考察权值向量R（ω）与α、std（ω）与β的大小关系，判断权值分配的均衡性。

若权值分配均匀，该算子退化为M（g，⊕）算子；否则，便提高该算子的最高权值，减少最低权值，以突出主要因素的影响，并且保留M（g，⊕）算子，以兼顾隶属度矩阵信息。

在不同课程评价中，可取不同的α、β值，从而调节权值的不均衡和增益程度。

4.多级模糊运算
首先进行单级模糊运算，算式如下：
B1=ωοR （4）
式中B1表示单级模糊评价结果，ω表示底层指标权值向量，R表示对应的隶属度矩阵，ο表示模糊算子。

得出B1的值后开展多级模糊运算。

以单级模糊评价结果B1作为输入，参照（4）式进行二级、三级、四级模糊运算直至得到最终评价结果。

多级模糊运算可用下式表示：
Bn+1=ωnοBn（n=1，2，3，…）（5）
式中，Bn+1表示第n+1级的模糊评价结果，ωn表示第n层指标权值向量，ο表示模糊算子，Bn表示第n级模糊评价结果。

基于最大隶属度原则，最终结果：max（Bn+1）=max
（b1，b2…bp）。

（三）基于CIPP+FAHP的教学质量评价计算流程
按照课程一般教学实施周期，运用FAHP法分阶段依次开展背景评价、输入评价、过程评价和结果评价，获得课程教学的定量评价结果。

最终，建立基于CIPP、FAHP理念的高职课程教学质量评价方法流程，如图2所示。

二、实例验证
数控设备装调与维修课程是高职机械制造及自动化专业的核心课之一，为典型的理实一体化课程，面向数控设备维护管理岗位，注重培养学生典型数控设备的安装、调试及维护能力，主要采用项目（任务）式和探究式教学方法。

以下，以数控设备装调与维修课程为例，开展图2所示流程的实例验证。

（一）背景评价
在背景评价阶段，主要对数控设备装调与维修课程开设的必要性进行评估。

背景评价指标体系的3层结构如图3所示，评语集V={不合格，合格，中，良，优}。

基于FAHP的背景评价实施过程如下所示，输入、过程和结果评价实施过程可以参考背景评价，不再详述。

根据表1的区间判断矩阵元素赋值标准，分别建立Ⅲ层指标相对于Ⅱ层指标、Ⅱ层指标相对于Ⅰ层指标的区间判断矩阵。

其中“课程性质合理性”“与其他课程衔接性”相对于“课程地位”的区间判断矩阵为二阶矩阵，可根据“课程性质合理性”和“与其他课程衔接性”之间的相对重要程度，直接确定最终数值判断矩阵，进而计算权值向量，计算结果如表3所示。

其余区间判断矩阵则运用相应优化算法，求解式（1）对应模型，得到最终数值判断矩阵和权值向量，具体如表4、表5所示。

由于Ⅲ层指标皆为定性指标，因此邀请3位教学活动参与者进行区间评分（由于Ⅱ层的“课程作用”没有子指标，所以也要对其进行区间评分），代入式（2）得到具体评分值，结果如表6所示。

为了体现隶属度非线性变化的特点，选用如图4所示的岭型分布作为隶属度函数（具体函数表达式可参考文献12），将表6指标评分值代入，求得“课程性质合理性”隶属度向量：（0，0，0，0，1）、“与其他课程衔接性”隶属度向量：（0，0，0.095 5，0.904 5，0）、“知识目标”隶属度向量：（0，0，0.124 9，0.875 1，0）、“技能目标”隶属度向量：（0，0，0，0.054 5，0.945 5）、“素养目标”隶属度向量：（0，0，0，0.958 9，0.041 1）、“课程作用”隶属度向量（“课程作用”没有子指标，此处求得的隶属度向量即为评价结果向量）：（0，0，1，0，0）。

将上述隶属度向量组合得到“课程性质合理性”+“与其他课程衔接性”隶属度矩阵：[00001000.095 50.904 50]、“知识目标”+“技能目标”+“素养目标”隶属度矩阵：[000.124 90.875 100000.054 50.945 50000.958 90.041 1]。

运用M（g，⊕）算子，将上述隶属度矩阵分别与表3、4对应的权值向量进行单级模糊运算，求得“课程地位”评价结果：（0，0，0.031 8，0.301 5，0.666 7）、“课程目标”评价结果：（0，0，0.011 8，0.429 6，0.558 6）；将“课程地位”“课程作用”和“课程目标”评价结果向量组合得到“课程地位”+“课程作用”+“课程目标”隶属度矩阵：[000.031 80.301 50.666 700100000.011 80.429 60.558 6]，与表5对应的权值向量进行二级模糊运算，最终得到背景评价结果：（0，0，0.145 3，0.287 7，0.567 0），以56.7%概率属于优，说明该课程具有较高的开设必要性，可以开展下一阶段的课程活动。

第二步，进行指标隶属度计算。

首先，选用适当的隶属度函数，如正态分布、梯形分布和岭型分布等，将上一步计算得到的评分值f代入隶属度函数，求得底层指标对评语的隶属度向量Ri=（ri1，ri2，…rip），其中，rij（1≤j≤p）表示第i个底层指标对第j级评语的隶属度；然后，将属于同一个父指标的底层指标的隶属度向量组合起来，即可得到隶属度矩阵R=
（R1R2…Rn）T，其中n为属于同一个父指标的底层指标数目。

3.模糊算子的选取
针对1、2求得的权值向量ω和隶属度矩阵R，需要运用相应模糊算子进行模糊运算。

在FAHP评价中，常用的4种模糊算子如下表所示。

4种算子都有自己的优点和缺点：M（∧，∨）只考虑主要因素，不考虑其他次要因素，这会忽略许多重要信息，导致计算结果不准确；M（g，∨）和M（∧，⊕）在M（∧，∨）基础上，细化了具体计算过程，不仅突出了主要因素，也考虑了次要因素；M（g，⊕）既考虑了各元素的权重，又充分利用了隶属度矩阵的信息，其评估结果综合衡量了被评对象的整体特征，比较适合于整体指标的优化。

因此，在高职课程教学质量评价中，背景评价、输入评价和结果评价可统一运用M（g，⊕）算子。

过程评价指标具有多层次结构，指标权值差异较大，为了重点突出主要指标影响，又兼顾隶属度信息，单独运用以上任何一个算子均不能满足要求。

因此，需要运用如下基于M（g，⊕）改进的模糊算子M（△）：
式中：bi为评价结果向量B=（b1，b2…bp）的分量，rji、rki、rqi为隶属度矩阵R的元素，ωj为权值向量ω分量中最大值，ωk为权值向量ω分量中最小值，std（ω）表示权值向量ω的标准差，R（ω）表示权值向量ω的极差；α、β既可表征权值的不均衡程度，又可表征权值的增益程度。

运用该算子时遵循以下原则：首先通过考察权值向量R（ω）与α、std（ω）与β的大小关系，判断权值分配的均衡性。

若权值分配均匀，该算子退化为M（g，⊕）算子；否则，便提高该算子的最高权值，减少最低权值，以突出主要因素的影响，并且保留M（g，⊕）算子，以兼顾隶属度矩阵信息。

在不同课程评价中，可取不同的α、β值，从而调节权值的不均衡和增益程度。

4.多级模糊运算
首先进行单级模糊运算，算式如下：
B1=ωοR （4）
式中B1表示单级模糊评价结果，ω表示底层指标权值向量，R表示对应的隶属度矩阵，ο表示模糊算子。

得出B1的值后开展多级模糊运算。

以单级模糊评价结果B1作为输入，参照（4）式进行二级、三级、四级模糊运算直至得到最终评价结果。

多级模糊运算可用下式表示：
Bn+1=ωnοBn（n=1，2，3，…）（5）
式中，Bn+1表示第n+1级的模糊评价结果，ωn表示第n层指标权值向量，ο表示模糊算子，Bn表示第n级模糊评价结果。

基于最大隶属度原则，最终结果：max（Bn+1）=max
（b1，b2…bp）。

（三）基于CIPP+FAHP的教學质量评价计算流程
按照课程一般教学实施周期，运用FAHP法分阶段依次开展背景评价、输入评价、过程评价和结果评价，获得课程教学的定量评价结果。

最终，建立基于CIPP、FAHP理念的高职课程教学质量评价方法流程，如图2所示。

二、实例验证
数控设备装调与维修课程是高职机械制造及自动化专业的核心课之一，为典型的理实一体化课程，面向数控设备维护管理岗位，注重培养学生典型数控设备的安装、调试及维护能力，主要采用项目（任务）式和探究式教学方法。

以下，以数控设备装调与维修课程为例，开展图2所示流程的实例验证。

（一）背景评价
在背景评价阶段，主要对数控设备装调与维修课程开设的必要性进行评估。

背景评价指标体系的3层结构如图3所示，评语集V={不合格，合格，中，良，优}。

基于FAHP的背景评价实施过程如下所示，输入、过程和结果评价实施过程可以参考背景评价，不再详述。

根据表1的区间判断矩阵元素赋值标准，分别建立Ⅲ层指标相对于Ⅱ层指标、Ⅱ层指标相对于Ⅰ层指标的区间判断矩阵。

其中“课程性质合理性”“与其他课程衔接性”相对于“课程地位”的区间判断矩阵为二阶矩阵，可根据“课程性质合理性”和“与其他课程衔接性”之间的相对重要程度，直接确定最终数值判断矩阵，进而计算权值向量，计算结果如表3所示。

其余区间判断矩阵则运用相应优化算法，求解式（1）对应模型，得到最终数值判断矩阵和权值向量，具体如表4、表5所示。

由于Ⅲ层指标皆为定性指标，因此邀请3位教学活动参与者进行区间评分（由于Ⅱ层的“课程作用”没有子指标，所以也要对其进行区间评分），代入式（2）得到具体评分值，结果如表6所示。

为了体现隶属度非线性变化的特点，选用如图4所示的岭型分布作为隶属度函数（具体函数表达式可参考文献12），将表6指标评分值代入，求得“课程性质合理性”隶属度向量：（0，0，0，0，1）、“与其他课程衔接性”隶属度向量：（0，0，0.095 5，0.904 5，0）、“知识目标”隶属度向量：（0，0，0.124 9，0.875 1，0）、“技能目标”隶属度向量：（0，0，0，0.054 5，0.945 5）、“素养目标”隶属度向量：（0，0，0，0.958 9，0.041 1）、“课程作用”隶属度向量（“课程作用”没有子指标，此处求得的隶属度向量即为评价结果向量）：（0，0，1，0，0）。

将上述隶属度向量组合得到“课程性质合理性”+“与其他课程衔接性”隶属度矩阵：[00001000.095 50.904 50]、“知识目标”+“技能目标”+“素养目标”隶属度矩阵：[000.124 90.875 100000.054 50.945 50000.958 90.041 1]。

运用M（g，⊕）算子，将上述隶属度矩阵分别与表3、4对应的权值向量进行单级模糊运算，求得“课程地位”评价结果：（0，0，0.031 8，0.301 5，0.666 7）、“课程目标”评价结果：（0，0，0.011 8，0.429 6，0.558 6）；将“课程地位”“课程作用”和“课程目标”评价结果向量组合得到“课程地位”+“课程作用”+“课程目标”隶属度矩阵：[000.031 80.301 50.666 700100000.011 80.429 60.558 6]，与表5对应的权值向量进行二级模糊运算，最终得到背景评价结果：（0，0，0.145 3，0.287 7，0.567 0），以56.7%概率属于优，说明该课程具有较高的开设必要性，可以开展下一阶段的课程活动。