德尔菲法的应用及其难点
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
一 德尔菲法环节应用 根据德尔菲法覆盖的环节 可分为 单环节应用和双环节应用两类 单环节 应用是指德尔菲法仅覆盖一个环节 在 具体的评价实践中 组织者经常使用德 尔菲法完成第 2 环节或第 3 环节 双环节应用是指综合评价的两个环节 采用德尔菲法来实现评价任务 由于一 次特定评价的目标和最后的评价结果的评 估检验一般由组织者来完成 不使用德 尔菲法 所以双环节应用主要有以下两 种形式 第一种是第 2 3 两环节实现德 尔菲过程 即组织者选择若干专家并告 知评价总目标 要求各位专家确立评价 指标体系 选定合理的评价方法并给出
较之德尔菲法环节应用 德尔菲法 全程应用应该是一相对松散的组织形 式 由于评价过程的主体环节交由专家 们完成 德尔菲法全程应用呈现出如下 特点 1 从参与评价的专家来看 主观能动性在开放型全程应用中得到最 大限度的发挥 为专家们发挥各自的优 势提供了前提 2 从评价的组织者 来看 工作量相应减少而工作技术要求 明显提高 无论是限制型全程应用和开 放型全程应用 评价的主体工作让渡给 专家减轻了组织者的工作强度 组织者 仅需完成德尔菲法环节的意见反馈和意 见合成工作 但在全程应用中 组织者 如何面对专家们形式各异的评价方法
CHINA STATISTICS
57
2006.9
统计科普
POPULAR STATISTICS
完成强约束环节应用中属于自已的部分 工作 在限制型全程应用中 专家的自 由度同样较小 组织者提供的关键信息 已经限定了专家们进行评价判断的范 围
开放型全程应用是指组织者选择一 个专家组 不提供评价过程中的关键信 息而只告知某些辅助信息 如只告知评 价的目的和有关最终返回结果的说明 或部分评价指标信息等 要求专家们根 据自己的理解独立确立评价指标 选择 评价方法并实施评价 组织者根据几轮 反馈调整 得到较统一的结论 开放型 全程应用为参加评价的专家提供了最广 阔的发挥余地 可以最大限度地集众人 之长
学位 研究方向 特长 从事工作 等 专家的特殊信息 代表性研究成 果 承担课题情况 获奖情况等 基 本信息是整个专家库的核心部分 特殊 信息是辅助部分 基本信息应尽可能使 用统一的信息语言 特殊信息部分较灵 活 可根据不同专家具体情况描述 专 家库最大的特点就是具有归并 检索功 能 可根据不同的检索要求灵活作出反 应 并能输出库中所有满足检索要求的 专家 例如 我们对专家库的基本信息 部分进行第一次检索 输入检索词 特 长 后 输出的结果就是以各种特长为 分类依据的专家组 这样我们就可在各 类别的专家组中进行挑选组合 当然一 个全能型的专家可能在分类中出现数 次 只要在具体挑选时加以注意即可
关于综合评价中德尔菲法应用的 类型
一般而言 一个完整的综合评价包 含如下 5 个环节 一 确定评价目的
二 确立评价指标体系 三 确 定评价方法 模型和权数 四 搜 集数据 实施综合评价 五 对评 价结果进行评估检验 若将德尔菲法应 用在综合评价的某一环节或某两个环节 可称之为德尔菲法环节应用 若将德尔 菲法同时应用在综合评价的中间三个环 节 可称之为德尔菲法全程应用
相应权数 经过几次反馈修改 最终一 次性输出 2 3 环节的评价结果 第二 种是第 3 4 两环节实现德尔菲过程 即 组织者选择若干专家并告知评价目标和 具体的评价指标体系 希望专家们提供 各自认为最合理的评价方法并直接实施 各自方法的评价结果 经过几次反馈过 程 输出最终的评价结果
根据专家组成员所受约束的强弱 德尔菲环节应用又可细分为强约束环节 应用和弱约束环节应用两类 强约束环 节应用是指组织者明确提供具体细致的 规则 要求专家的一切评估判断依规则 办事 专家们主观能动性发挥相对较 少 如对第 3 环节实现德尔菲单环节应 用时 组织者明确告知各位专家使用 A H P 法得出各子目标和指标的权重 此 时专家的反馈结果形式上较统一 即为 基于某一规则的判断矩阵的权数解 弱 约束环节应用是指组织者只规定大致要 求 留给各位专家们一定的发挥余地 如同样对第 3 环节实现德尔菲单环节应 用 组织者仅要求各位专家返回各子目 标及指标的权重而不限制具体方法 此 时各位专家则可任意选择构权方法 只 要方法合理均可应用
由于评价环节本身所呈现的阶段性 和局部性 德尔菲法环节应用不可避免 地表现出如下特点 1 从参与评价 的专家来看 难以最大限度地发挥各自 的优势 组织者wk.baidu.com定的准则给专家们设 定了重重约束 专家们所做出的判断必 须严格符合这些规则 即便这些规则并 不合理 特别是强约束环节应用
2 从评价的组织者来看 虽然处于
关于德尔菲法专家组的选择
评价是人的价值判断过程 是否选 择有代表性的专家组是德尔菲法的关键 所在
一 专家组成员的选择 一般来说 对某一特殊活动领域精 通的人均可被泛称为专家 他们当中有 些精通于现象的综合描述 有些熟谙于 现象的趋势预测 有些擅长于理论 有 些侧重方法应用 专家不是万能的 在 形成专家组的过程中 要充分考虑专家 各自的特长 以及德尔菲法的应用类 型 在环节应用中 环节功能是专家类 型选择的基础 在单环节应用中选择与 该环节任务相关的专家为宜 如针对第
面对规模较大的个别组 如以 特 长 为检索词对基本信息部分进行第一 次检索之后 发现 擅长现象描述 的 专家组规模很大 而我们想从中选择若 干专家形成专家组来完成评价指标体系的 确立 那么可作如下两种处理 一是从 中随机抽取若干个专家形成专家组 二 是对特殊信息部分进行再检索
2006.9
统计科普
POPULAR STATISTICS
德尔菲法的应用 及其 难点
文∕徐蔼婷
众所周知 德尔菲 Delphi 法是 一种综合多名专家经验与主观判断的方 法 该法自 20 世纪 60 年代由美国兰德公 司提出以来 被广泛地应用到各个领域 的综合评价实践中 但作为应用的方法 论 该法仍存在许多问题值得讨论 本 文主要讨论以下三个问题
尤其是开放型全程应用 甚至是相 关度不高的评价指标体系所得到的评价 结果 进行结果集成 反馈和分析 提 出了更高的技术要求 3 从专家和 评价组织者的协调关系来看 德尔菲法 全程应用较环节应用简单 4 从德 尔菲法在整个评价过程的贡献来看 专 家们的评价决定了最终的评价结果 其 贡献度远远大于德尔菲法环节应用 而 开放型全程应用的贡献又显然大于限制 型全程应用
主动地位但工作量较大 由于德尔菲法 仅用于部分环节 一般不会超过 2 个环 节 评价过程的大部分工作仍需由组 织者完成 若组织者选择专家组 A 实现 某个环节的德尔菲过程 选择专家组 B 实现另一个环节的德尔菲过程 这种异 专家组德尔菲法环节应用会给组织者带 来更大的工作量 3 从专家和评价 组织者的协调关系来看 德尔菲法环节 应用呈现相对复杂的协调关系 尤其在 双环节应用过程中 组织者可以选择不 同的专家组来完成不同环节的德尔菲过 程 环节任务的不同和专家组性质的差 异使得组织者和专家之间需要更多的时 间和精力进行沟通和协调 4 从德 尔菲法在整个评价过程的贡献来看 由 于只涉及到部分环节 专家的判断意见 涉及面相对较小 其贡献为单环节应用 小于多环节应用 强约束性应用小于弱 约束性应用
2 在考虑指标体系变动会对权数产 生影响的前提下 如何将专家给出的重 要性权数集结 若组织者未提供关键信 息 则对组织者而言又会扩增以下两个 难点 一是如何识别各构权方法的合理 性 二是如何将不同方法的价值标准进 行统一
双环节应用的第二种形式 多为弱 约束环节应用类型 组织者一般不会限 定具体的评价方法 要求专家们自行选 择 并将按这种方法实施评价结果反馈 给组织者 对组织者而言 这一形式相 当于组合评价的思想 将不同评价方 法所得到的结果通过几轮意见反馈调整 之后集成一个新的评价结论 具体来 讲 应用过程中的难点可归纳为以下几 个方面 1 如何设定评价方法的可 行集 2 如何优化评价方法的可行 集 3 如何分析基于不同方法的评 价结果 4 如何将不同的评价结果 进行集成
量表现进行抽象 通过几轮意见反馈调 整之后做出整体性判断 形成一种新的 评价结论
我们认为 在开放型德尔菲法全程 应用过程中 要解决以下难点 1 如何识别和检验专家所设计的指标体系 的一致性 2 如何设定和优化评价 方法的可行集 3 如何分析基于不 同方法的评价结果 4 如何解释不 同类型的评价结果 5 如何将不同 的评价结果进行集成
关于综合评价中德尔菲法应用的 难点
一 德尔菲法环节应用中的难点 在德尔菲法环节应用中 不同的应 用环节和组织者提供的信息类型 我们 将组织者提供的信息分为关键信息和辅
助信息两类 决定了不同的难点问题 鉴于单环节应用难点可包含于双环节应 用难点分析中 故我们仅对德尔菲法双 环节应用难点进行分析
在双环节应用的第一种形式中 组 织者一般想通过德尔菲法确立评价指标 体系和获得重要性权数 若组织者限定 了关键信息 如列明了评价客体的不同 评价侧面 但并未给出具体的指标体 系 限定了构权方法等 此时应属强约 束环节应用类型 则应用过程中的难 点集中于以下两个方面 1 如何将 各专家给出的指标体系归并 优化
三 公共难点 无论是环节应用还是全程应用 德 尔菲法有其本身的公共难点 主要有 1 专家组的形成问题 选择强代表 性的专家组是德尔菲法在综合评价中成 功应用的首要前提 这涉及到专家组的 选择 专家意见的公正性判断等问题 2 调查轮次的确定问题 确定合理 的调查轮次是德尔菲法在综合评价中有 效率应用的关键 这涉及到专家意见一 致性的识别 阀值的事先有效确定等问 题 3 信息反馈技术的控制问题 使用正确的意见反馈技术是德尔菲法在 综合评价应用中准确应用的条件 这涉 及到离群意见的识别和表达 反馈意见 表达形式的选择等问题 4 专家意 见调查形式的组织问题 选取科学的专 家意见调查形式是德尔菲法在综合评价 中成功应用的保障 这涉及到 背靠 背 设计的具体化形式的选择 各种信 息交流机制的优劣识别等问题
如果说在环节应用中专家的选择注 重 精深化 那么在全程应用中专家 的选择就要相对 广泛化 尤其是开 放型全程应用 要求专家群组的技术较 全面
二 专家库的形成 所谓专家库就是所有专家的集合 建立一个完备的评价专家库是形成德尔 菲法专家组的前提 专家库同时又是一 个信息库 可由以下两部分信息构成 专家的基本信息 姓名 年龄 学历
5 8 CHINA STATISTICS
2006.9
统计科普
POPULAR STATISTICS
2 第 3 环节应用的专家组 应多选择 精通现象描述的专家 在双环节应用 中 同样需考虑该环节在整个评价过程 中所起的作用 如针对第 3 4 双环节 应用的专家组 应选择精通现象分析和 熟谙评价方法应用的专家
二 德尔菲法全程应用 德尔菲法全程应用是双环节应用的 一个延伸 同样 根据专家组所受约束 的强弱 德尔菲法全程应用可细分为两 种类型 限制型全程应用和开放型全程 应用 限制型全程应用是指组织者选择 一个专家组并提供评价过程中的关键信 息 如给出具体的指标体系 权数的确 定方法等 要求专家们根据这些信息完 成评价过程的中间三个环节 直接得出 各自的评价结果 组织者可根据专家们 给出结果的情况进行几轮反馈 最后收 敛于较统一的结论 本质上看 限制型 全程应用是强约束环节应用前伸或后续 工作的结合 是组织者借助专家力量来
二 德尔菲法全程应用中的难点 德尔菲法全程应用为参与评价的各 位专家提供了最大的自由度 以致于可 将对评价过程的主体环节视作 黑箱 化 处理 但同时也给组织者带来了最 大的难度 鉴于限制型全程应用过程中 的难点可视作开放型全程应用的一部 分 我们仅对后者的难点进行讨论 在开放型德尔菲法全程应用中 各 位专家虽同属于一个专家组但完全自成 体系 专家们可以选择互不相同的评价 方法 甚至可以构造较不统一的指标体 系给出自己的评价结果 因此 开放型 德尔菲法全程应用实质上就是一种群组 评价 由群组对评价对象各方面的数
较之德尔菲法环节应用 德尔菲法 全程应用应该是一相对松散的组织形 式 由于评价过程的主体环节交由专家 们完成 德尔菲法全程应用呈现出如下 特点 1 从参与评价的专家来看 主观能动性在开放型全程应用中得到最 大限度的发挥 为专家们发挥各自的优 势提供了前提 2 从评价的组织者 来看 工作量相应减少而工作技术要求 明显提高 无论是限制型全程应用和开 放型全程应用 评价的主体工作让渡给 专家减轻了组织者的工作强度 组织者 仅需完成德尔菲法环节的意见反馈和意 见合成工作 但在全程应用中 组织者 如何面对专家们形式各异的评价方法
CHINA STATISTICS
57
2006.9
统计科普
POPULAR STATISTICS
完成强约束环节应用中属于自已的部分 工作 在限制型全程应用中 专家的自 由度同样较小 组织者提供的关键信息 已经限定了专家们进行评价判断的范 围
开放型全程应用是指组织者选择一 个专家组 不提供评价过程中的关键信 息而只告知某些辅助信息 如只告知评 价的目的和有关最终返回结果的说明 或部分评价指标信息等 要求专家们根 据自己的理解独立确立评价指标 选择 评价方法并实施评价 组织者根据几轮 反馈调整 得到较统一的结论 开放型 全程应用为参加评价的专家提供了最广 阔的发挥余地 可以最大限度地集众人 之长
学位 研究方向 特长 从事工作 等 专家的特殊信息 代表性研究成 果 承担课题情况 获奖情况等 基 本信息是整个专家库的核心部分 特殊 信息是辅助部分 基本信息应尽可能使 用统一的信息语言 特殊信息部分较灵 活 可根据不同专家具体情况描述 专 家库最大的特点就是具有归并 检索功 能 可根据不同的检索要求灵活作出反 应 并能输出库中所有满足检索要求的 专家 例如 我们对专家库的基本信息 部分进行第一次检索 输入检索词 特 长 后 输出的结果就是以各种特长为 分类依据的专家组 这样我们就可在各 类别的专家组中进行挑选组合 当然一 个全能型的专家可能在分类中出现数 次 只要在具体挑选时加以注意即可
关于综合评价中德尔菲法应用的 类型
一般而言 一个完整的综合评价包 含如下 5 个环节 一 确定评价目的
二 确立评价指标体系 三 确 定评价方法 模型和权数 四 搜 集数据 实施综合评价 五 对评 价结果进行评估检验 若将德尔菲法应 用在综合评价的某一环节或某两个环节 可称之为德尔菲法环节应用 若将德尔 菲法同时应用在综合评价的中间三个环 节 可称之为德尔菲法全程应用
相应权数 经过几次反馈修改 最终一 次性输出 2 3 环节的评价结果 第二 种是第 3 4 两环节实现德尔菲过程 即 组织者选择若干专家并告知评价目标和 具体的评价指标体系 希望专家们提供 各自认为最合理的评价方法并直接实施 各自方法的评价结果 经过几次反馈过 程 输出最终的评价结果
根据专家组成员所受约束的强弱 德尔菲环节应用又可细分为强约束环节 应用和弱约束环节应用两类 强约束环 节应用是指组织者明确提供具体细致的 规则 要求专家的一切评估判断依规则 办事 专家们主观能动性发挥相对较 少 如对第 3 环节实现德尔菲单环节应 用时 组织者明确告知各位专家使用 A H P 法得出各子目标和指标的权重 此 时专家的反馈结果形式上较统一 即为 基于某一规则的判断矩阵的权数解 弱 约束环节应用是指组织者只规定大致要 求 留给各位专家们一定的发挥余地 如同样对第 3 环节实现德尔菲单环节应 用 组织者仅要求各位专家返回各子目 标及指标的权重而不限制具体方法 此 时各位专家则可任意选择构权方法 只 要方法合理均可应用
由于评价环节本身所呈现的阶段性 和局部性 德尔菲法环节应用不可避免 地表现出如下特点 1 从参与评价 的专家来看 难以最大限度地发挥各自 的优势 组织者wk.baidu.com定的准则给专家们设 定了重重约束 专家们所做出的判断必 须严格符合这些规则 即便这些规则并 不合理 特别是强约束环节应用
2 从评价的组织者来看 虽然处于
关于德尔菲法专家组的选择
评价是人的价值判断过程 是否选 择有代表性的专家组是德尔菲法的关键 所在
一 专家组成员的选择 一般来说 对某一特殊活动领域精 通的人均可被泛称为专家 他们当中有 些精通于现象的综合描述 有些熟谙于 现象的趋势预测 有些擅长于理论 有 些侧重方法应用 专家不是万能的 在 形成专家组的过程中 要充分考虑专家 各自的特长 以及德尔菲法的应用类 型 在环节应用中 环节功能是专家类 型选择的基础 在单环节应用中选择与 该环节任务相关的专家为宜 如针对第
面对规模较大的个别组 如以 特 长 为检索词对基本信息部分进行第一 次检索之后 发现 擅长现象描述 的 专家组规模很大 而我们想从中选择若 干专家形成专家组来完成评价指标体系的 确立 那么可作如下两种处理 一是从 中随机抽取若干个专家形成专家组 二 是对特殊信息部分进行再检索
2006.9
统计科普
POPULAR STATISTICS
德尔菲法的应用 及其 难点
文∕徐蔼婷
众所周知 德尔菲 Delphi 法是 一种综合多名专家经验与主观判断的方 法 该法自 20 世纪 60 年代由美国兰德公 司提出以来 被广泛地应用到各个领域 的综合评价实践中 但作为应用的方法 论 该法仍存在许多问题值得讨论 本 文主要讨论以下三个问题
尤其是开放型全程应用 甚至是相 关度不高的评价指标体系所得到的评价 结果 进行结果集成 反馈和分析 提 出了更高的技术要求 3 从专家和 评价组织者的协调关系来看 德尔菲法 全程应用较环节应用简单 4 从德 尔菲法在整个评价过程的贡献来看 专 家们的评价决定了最终的评价结果 其 贡献度远远大于德尔菲法环节应用 而 开放型全程应用的贡献又显然大于限制 型全程应用
主动地位但工作量较大 由于德尔菲法 仅用于部分环节 一般不会超过 2 个环 节 评价过程的大部分工作仍需由组 织者完成 若组织者选择专家组 A 实现 某个环节的德尔菲过程 选择专家组 B 实现另一个环节的德尔菲过程 这种异 专家组德尔菲法环节应用会给组织者带 来更大的工作量 3 从专家和评价 组织者的协调关系来看 德尔菲法环节 应用呈现相对复杂的协调关系 尤其在 双环节应用过程中 组织者可以选择不 同的专家组来完成不同环节的德尔菲过 程 环节任务的不同和专家组性质的差 异使得组织者和专家之间需要更多的时 间和精力进行沟通和协调 4 从德 尔菲法在整个评价过程的贡献来看 由 于只涉及到部分环节 专家的判断意见 涉及面相对较小 其贡献为单环节应用 小于多环节应用 强约束性应用小于弱 约束性应用
2 在考虑指标体系变动会对权数产 生影响的前提下 如何将专家给出的重 要性权数集结 若组织者未提供关键信 息 则对组织者而言又会扩增以下两个 难点 一是如何识别各构权方法的合理 性 二是如何将不同方法的价值标准进 行统一
双环节应用的第二种形式 多为弱 约束环节应用类型 组织者一般不会限 定具体的评价方法 要求专家们自行选 择 并将按这种方法实施评价结果反馈 给组织者 对组织者而言 这一形式相 当于组合评价的思想 将不同评价方 法所得到的结果通过几轮意见反馈调整 之后集成一个新的评价结论 具体来 讲 应用过程中的难点可归纳为以下几 个方面 1 如何设定评价方法的可 行集 2 如何优化评价方法的可行 集 3 如何分析基于不同方法的评 价结果 4 如何将不同的评价结果 进行集成
量表现进行抽象 通过几轮意见反馈调 整之后做出整体性判断 形成一种新的 评价结论
我们认为 在开放型德尔菲法全程 应用过程中 要解决以下难点 1 如何识别和检验专家所设计的指标体系 的一致性 2 如何设定和优化评价 方法的可行集 3 如何分析基于不 同方法的评价结果 4 如何解释不 同类型的评价结果 5 如何将不同 的评价结果进行集成
关于综合评价中德尔菲法应用的 难点
一 德尔菲法环节应用中的难点 在德尔菲法环节应用中 不同的应 用环节和组织者提供的信息类型 我们 将组织者提供的信息分为关键信息和辅
助信息两类 决定了不同的难点问题 鉴于单环节应用难点可包含于双环节应 用难点分析中 故我们仅对德尔菲法双 环节应用难点进行分析
在双环节应用的第一种形式中 组 织者一般想通过德尔菲法确立评价指标 体系和获得重要性权数 若组织者限定 了关键信息 如列明了评价客体的不同 评价侧面 但并未给出具体的指标体 系 限定了构权方法等 此时应属强约 束环节应用类型 则应用过程中的难 点集中于以下两个方面 1 如何将 各专家给出的指标体系归并 优化
三 公共难点 无论是环节应用还是全程应用 德 尔菲法有其本身的公共难点 主要有 1 专家组的形成问题 选择强代表 性的专家组是德尔菲法在综合评价中成 功应用的首要前提 这涉及到专家组的 选择 专家意见的公正性判断等问题 2 调查轮次的确定问题 确定合理 的调查轮次是德尔菲法在综合评价中有 效率应用的关键 这涉及到专家意见一 致性的识别 阀值的事先有效确定等问 题 3 信息反馈技术的控制问题 使用正确的意见反馈技术是德尔菲法在 综合评价应用中准确应用的条件 这涉 及到离群意见的识别和表达 反馈意见 表达形式的选择等问题 4 专家意 见调查形式的组织问题 选取科学的专 家意见调查形式是德尔菲法在综合评价 中成功应用的保障 这涉及到 背靠 背 设计的具体化形式的选择 各种信 息交流机制的优劣识别等问题
如果说在环节应用中专家的选择注 重 精深化 那么在全程应用中专家 的选择就要相对 广泛化 尤其是开 放型全程应用 要求专家群组的技术较 全面
二 专家库的形成 所谓专家库就是所有专家的集合 建立一个完备的评价专家库是形成德尔 菲法专家组的前提 专家库同时又是一 个信息库 可由以下两部分信息构成 专家的基本信息 姓名 年龄 学历
5 8 CHINA STATISTICS
2006.9
统计科普
POPULAR STATISTICS
2 第 3 环节应用的专家组 应多选择 精通现象描述的专家 在双环节应用 中 同样需考虑该环节在整个评价过程 中所起的作用 如针对第 3 4 双环节 应用的专家组 应选择精通现象分析和 熟谙评价方法应用的专家
二 德尔菲法全程应用 德尔菲法全程应用是双环节应用的 一个延伸 同样 根据专家组所受约束 的强弱 德尔菲法全程应用可细分为两 种类型 限制型全程应用和开放型全程 应用 限制型全程应用是指组织者选择 一个专家组并提供评价过程中的关键信 息 如给出具体的指标体系 权数的确 定方法等 要求专家们根据这些信息完 成评价过程的中间三个环节 直接得出 各自的评价结果 组织者可根据专家们 给出结果的情况进行几轮反馈 最后收 敛于较统一的结论 本质上看 限制型 全程应用是强约束环节应用前伸或后续 工作的结合 是组织者借助专家力量来
二 德尔菲法全程应用中的难点 德尔菲法全程应用为参与评价的各 位专家提供了最大的自由度 以致于可 将对评价过程的主体环节视作 黑箱 化 处理 但同时也给组织者带来了最 大的难度 鉴于限制型全程应用过程中 的难点可视作开放型全程应用的一部 分 我们仅对后者的难点进行讨论 在开放型德尔菲法全程应用中 各 位专家虽同属于一个专家组但完全自成 体系 专家们可以选择互不相同的评价 方法 甚至可以构造较不统一的指标体 系给出自己的评价结果 因此 开放型 德尔菲法全程应用实质上就是一种群组 评价 由群组对评价对象各方面的数