第9章 现代优化设计方法

第一代专家系统（ 第一代专家系统（dendral、macsyma等）以高度专业化、 、 等 以高度专业化、 求解专门问题的能力强为特点。但在体系结构的完整性、 求解专门问题的能力强为特点。但在体系结构的完整性、可 移植性等方面存在缺陷，求解问题的能力弱。 移植性等方面存在缺陷，求解问题的能力弱。第二代专家系 统（mycin、casnet、prospector、hearsay等）属单学科专业 、 、 、 等 应用型系统，其体系结构较完整， 型、应用型系统，其体系结构较完整，移植性方面也有所改 而且在系统的人机接口、解释机制、知识获取技术、 善，而且在系统的人机接口、解释机制、知识获取技术、不 确定推理技术、 确定推理技术、增强专家系统的知识表示和推理方法的启发 通用性等方面都有所改进。 性、通用性等方面都有所改进。第三代专家系统属多学科综 合型系统，采用多种人工智能语言， 合型系统，采用多种人工智能语言，综合采用各种知识表示 方法和多种推理机制及控制策略，并开始运用各种知识工程 方法和多种推理机制及控制策略， 语言、 语言、骨架系统及专家系统开发工具和环境来研制大型综合 专家系统。第四代专家系统是当前正在研究的， 专家系统。第四代专家系统是当前正在研究的，是采用大型 多专家协作系统、多种知识表示、综合知识库、 多专家协作系统、多种知识表示、综合知识库、自组织解题 机制、多学科协同解题与并行推理、专家系统工具与环境、 机制、多学科协同解题与并行推理、专家系统工具与环境、 人工神经网络知识获取及学习机制等最新人工智能技术来实 现具有多知识库、多主体的专家系统。 现具有多知识库、多主体的专家系统。
对专家系统可以按不同的方法分类。通常， 对专家系统可以按不同的方法分类。通常，可 以按应用领域、知识表示方法、控制策略、 以按应用领域、知识表示方法、控制策略、任 务类型等分类。如按任务类型来划分， 务类型等分类。如按任务类型来划分，常见的 有解释型、预测型、诊断型、调试型、维护型、 有解释型、预测型、诊断型、调试型、维护型、 规划型、设计型、监督型、控制型、教育型等。 规划型、设计型、监督型、控制型、教育型等。 专家系统与传统的计算机程序系统有着完 全不同的体系结构，通常它由知识库、推理机、 全不同的体系结构，通常它由知识库、推理机、 综合数据库、知识获取机制、 综合数据库、知识获取机制、解释机制和人机 接口等几个基本的、独立的部分所组成， 接口等几个基本的、独立的部分所组成，其中 尤以知识库与推理机相互分离而别具特色。专 尤以知识库与推理机相互分离而别具特色。 家系统的体系结构随专家系统的类型、 家系统的体系结构随专家系统的类型、功能和 规模的不同，而有所差异。 规模的不同，而有所差异。
如果优化问题的目标函数对应于某HNN系统的能量 系统的能量 如果优化问题的目标函数对应于某 函数， 函数，那么该优化问题就可通过 HNN系统从初始 系统从初始 状态趋向稳定的过程来实现从初始点向最优点的逼 算法的提出显著提高了ANN的知识 近。1985年BP算法的提出显著提高了 年 算法的提出显著提高了 的知识 表达与学习能力。 表达与学习能力。它对目标函数的性态没有严格要 因而是一种有发展前景的工程优化方法。 求，因而是一种有发展前景的工程优化方法。ANN 优化方法的缺点在于容易陷入局部最优解， 优化方法的缺点在于容易陷入局部最优解，尤其当 初始点离某个局部最优点较近时很可能收敛到这一 局部最优点上。 局部最优点上。于是人们把它与其他搜索策略组合 使用，以求有更多进入全局最优解域的机会。 使用，以求有更多进入全局最优解域的机会。比如 网络的工作原理出发， 从BP网络的工作原理出发，利用多水平正交表选取 网络的工作原理出发 BP神经网络训练样本，通过正向传播和误差反向传 神经网络训练样本， 神经网络训练样本 播建立BP网络的拓扑结构 并对二级减速器BP网 网络的拓扑结构， 播Baidu Nhomakorabea立 网络的拓扑结构，并对二级减速器 网 络模型进行结构修正与优化计算。 络模型进行结构修正与优化计算。
为了使计算机能运用专家的领域知识， 为了使计算机能运用专家的领域知识，必须要采用一定的方 式表示知识。目前常用的知识表示方式有产生式规则、 式表示知识。目前常用的知识表示方式有产生式规则、语义 网络、框架、状态空间、逻辑模式、脚本、过程、 网络、框架、状态空间、逻辑模式、脚本、过程、面向对象 等。基于规则的产生式系统是目前实现知识运用最基本的方 产生式系统由综合数据库、知识库和推理机3个主要部 法。产生式系统由综合数据库、知识库和推理机 个主要部 分组成， 分组成，综合数据库包含求解问题的世界范围内的事实和断 知识库包含所有用“如果： 前提〉 于是： 结果〉 言。知识库包含所有用“如果：〈前提〉，于是：〈结果〉” 形式表达的知识规则。推理机（又称规则解释器） 形式表达的知识规则。推理机（又称规则解释器）的任务是 运用控制策略找到可以应用的规则。 运用控制策略找到可以应用的规则。正向链的策略是寻找出 前提可以同数据库中的事实或断言相匹配的那些规则， 前提可以同数据库中的事实或断言相匹配的那些规则，并运 用冲突的消除策略， 用冲突的消除策略，从这些都可满足的规则中挑选出一个执 从而改变原来数据库的内容。这样反复地进行寻找， 行，从而改变原来数据库的内容。这样反复地进行寻找，直 到数据库的事实与目标一致即找到解答， 到数据库的事实与目标一致即找到解答，或者到没有规则可 以与之匹配时才停止。逆向链的策略是从选定的目标出发， 以与之匹配时才停止。逆向链的策略是从选定的目标出发， 寻找执行后果可以达到目标的规则； 寻找执行后果可以达到目标的规则；如果这条规则的前提与 数据库中的事实相匹配，问题就得到解决； 数据库中的事实相匹配，问题就得到解决；否则把这条规则 的前提作为新的子目标，并对新的子目标寻找可以运用的规 的前提作为新的子目标， 执行逆向序列的前提， 则，执行逆向序列的前提，直到最后运用的规则的前提可以 与数据库中的事实相匹配，或者直到没有规则再可以应用时， 与数据库中的事实相匹配，或者直到没有规则再可以应用时， 系统便以对话形式请求用户回答并输入必需的事实。 系统便以对话形式请求用户回答并输入必需的事实。
§9.2 蚂蚁算法
模仿蚁群的协同学习机制， 模仿蚁群的协同学习机制，以较小的时间复杂度代价获得 问题的全局最优解。蚁群受到食物气味的吸引， 问题的全局最优解。蚁群受到食物气味的吸引，能借助协 同学习机制搜索到由洞穴（出发点）到食物（目的地） 同学习机制搜索到由洞穴（出发点）到食物（目的地）之 间的最短路径。在每个蚂蚁朝目的地奔走的时候，借随机 间的最短路径。在每个蚂蚁朝目的地奔走的时候， 搜索方式找到较短路径，就在该路径注入蚁激素， 搜索方式找到较短路径，就在该路径注入蚁激素，若多数 蚂蚁借自己体验也认可该路径，也仿此注入自己的蚁激素， 蚂蚁借自己体验也认可该路径，也仿此注入自己的蚁激素， 这样其余的蚂蚁就能在各路径分差点选择激素气味浓的路 径朝目的地走，少走弯路， 径朝目的地走，少走弯路，最后获得一条最短路径供蚁群 使用。 使用。
§9.5 专家系统算法
专家系统(expert system)是一个智能计算机程 专家系统 是一个智能计算机程 序系统， 序系统，其内部含有大量的某个领域专家水平 的知识与经验， 的知识与经验，能够利用人类专家的知识和解 决问题的方法来处理该领域问题。也就是说， 决问题的方法来处理该领域问题。也就是说， 专家系统是一个具有大量的专门知识与经验的 程序系统，它应用人工智能技术和计算机技术， 程序系统，它应用人工智能技术和计算机技术， 根据某领域一个或多个专家提供的知识和经验， 根据某领域一个或多个专家提供的知识和经验， 进行推理和判断，模拟人类专家的决策过程， 进行推理和判断，模拟人类专家的决策过程， 以便解决那些需要人类专家处理的复杂问题， 以便解决那些需要人类专家处理的复杂问题， 简而言之， 简而言之，专家系统是一种模拟人类专家解决 领域问题的计算机程序系统。 领域问题的计算机程序系统。
第9章 现代优化设计方法 章
§9.1遗传算法 遗传算法 §9.2 蚁群算法 §9.3 模拟退火算法 §9.4 神经网络算法 §9.5 专家系统算法 §9.6 基于知识的广义优化算法 无序中寻求有序， 无序中寻求有序，随机中寻求必然
§9.1 遗传算法
把优化问题的一组基本可行解（染色体）用二进制（ 把优化问题的一组基本可行解（染色体）用二进制（或十 进制）字符串进行编码。 进制）字符串进行编码。其中一位或几位字符组合称为一 个基因（元素）。取若干染色体作为种群， 个基因（元素）。取若干染色体作为种群，根据自然界遗 ）。取若干染色体作为种群 传规律，进行基因的交换、变异，不断杂交和不断选择适 传规律，进行基因的交换、变异， 应度好的染色体，实现种群向更优的种群转换（进化）。 应度好的染色体，实现种群向更优的种群转换（进化）。 特点：多点搜索、不采用导数信息、采用编码方法、 特点：多点搜索、不采用导数信息、采用编码方法、以概 率原则指导搜索。 率原则指导搜索。 适应于求解不连续、多峰、高维、具有凹凸性的问题。 适应于求解不连续、多峰、高维、具有凹凸性的问题。 于求解不连续 盲目性。对于低维、连续、单峰等简单问题， 盲目性。对于低维、连续、单峰等简单问题，不显优越
运用特定领域的专门知识， 运用特定领域的专门知识，通过推理来模拟通常 由人类专家才能解决的各种复杂的、具体的问题， 由人类专家才能解决的各种复杂的、具体的问题， 达到与专家具有同等解决问题能力的计算机智能 程序系统。它能对决策的过程作出解释， 程序系统。它能对决策的过程作出解释，并有学 习功能，即能自动增长解决问题所需的知识。 习功能，即能自动增长解决问题所需的知识。 专家系统实现了人工智能从理论研究走向实 际应用、 际应用、从一般推理策略探讨转向运用专门知识 的重大突破。 世纪 年代初， 世纪60年代初 的重大突破。20世纪 年代初，出现了运用逻辑 学和模拟心理活动的一些通用问题求解程序， 学和模拟心理活动的一些通用问题求解程序，它 们可以证明定理和进行逻辑推理。 们可以证明定理和进行逻辑推理。但是这些通用 方法无法解决大的实际问题， 方法无法解决大的实际问题，很难把实际问题改 造成适合于计算机解决的形式， 造成适合于计算机解决的形式，并且对于解题所 需的巨大的搜索空间也难于处理。 需的巨大的搜索空间也难于处理。
§9.4 神经网络算法
人工神经网络 ANN (artificial neutral network)由大量神经元广泛互连而成，其 由大量神经元广泛互连而成， 由大量神经元广泛互连而成 特性主要取决于网络的拓扑结构， 特性主要取决于网络的拓扑结构，神经元 间的连接权重及每个神经元的特性， 间的连接权重及每个神经元的特性，人工 神经网络是对生物神经网络的模拟。 神经网络是对生物神经网络的模拟。ANN 以大量非线性处理单元并行作业实现计算 功能，具有较高的并行处理效率。 功能，具有较高的并行处理效率。1982年 年 模型后， 出现了 HopfieldNN (HNN)模型后，ANN 模型后 技术开始应用于优化。 技术开始应用于优化。
§9.3 模拟退火算法
Simulated Annealing 源于固体退火原理。 源于固体退火原理。将固体加温至充分 再让其徐徐冷却，加温时， 高，再让其徐徐冷却，加温时，固体内 部粒子承受温升变为无序状，内能增大， 部粒子承受温升变为无序状，内能增大， 而徐徐冷却时粒子渐趋有序， 而徐徐冷却时粒子渐趋有序，在每个温 度都达到平衡态， 度都达到平衡态，最后在常温时达到基 则内能减为最小。 态，则内能减为最小。
1965年，f.a.费根鲍姆等人在总结通用问题求 年 费根鲍姆等人在总结通用问题求 解系统的成功与失败经验的基础上， 解系统的成功与失败经验的基础上，结合化学 领域的专门知识， 领域的专门知识，研制了世界上第一个专家系 统dendral，可以推断化学分子结构。20多年 ，可以推断化学分子结构。 多年 知识工程的研究， 来，知识工程的研究，专家系统的理论和技术 不断发展，应用渗透到几乎各个领域，包括化 不断发展，应用渗透到几乎各个领域， 数学、物理、生物、医学、农业、气象、 学、数学、物理、生物、医学、农业、气象、 地质勘探、军事、工程技术、法律、商业、 地质勘探、军事、工程技术、法律、商业、空 间技术、自动控制、 间技术、自动控制、计算机设计和制造等众多 领域，开发了几千个的专家系统， 领域，开发了几千个的专家系统，其中不少在 功能上已达到， 功能上已达到，甚至超过同领域中人类专家的 水平，并在实际应用中产生了巨大的经济效益。 水平，并在实际应用中产生了巨大的经济效益。