智能优化算法概述
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
本 栏 目 责 任 编 辑 :李 桂 瑾
人工智能及识别技术
智能优化算法概述
蒋腾旭 ( 九江职业大学计算机系, 江西 九江 332000)
摘要: 本文简要介绍了几种常见的智能优化算法, 并给出了不同智能优化算法的优缺点及在优化应用领域的使用情况, 指出了不同 智能优化算法的发展趋势。
关键词: 人工智能; 软计算; 智能优化算法; 优化技术 中图分类号: TP 18 文献标识码: A 文章编号: 1009- 3044(2007)08- 20507- 02
1 引言
智能计算也称之为“软计算”, 是人们受自然界或生 物 界 规 律 的启发, 根据自然界或生物界的原理, 模仿其规律而设计的求解 问题的算法。自然界一直是人类创造力的丰富源泉, 人类认识事 物的能力来源于自然界的相互作用之中, 自然界的许多自适应优 化现象不断给人类以启示。近几十年来, 一些与经典的数学规划 原理截然不同的、试图通过模拟自然生态系统机制以求解复 杂 优 化问题的仿生智能优化算法相继被提出和研究, 这方面的内容很 多 , 如 模 拟 退 火 算 法 、遗 传 算 法 、人 工 神 经 网 络 技 术 、人 工 免 疫 算 法和群智能算法等。这些算法大大丰富了现代优化技术, 也为那 些传统优化技术难以处理的组合优化问题提供了切实可行的解 决方案。以下对几种常用的智能优化算法作简要的概述。
4 人工神经网络
人工神经网络[3] (Artificial Neural Network, ANN)是在对人脑 组织结构和运行机制的认识理解基础之上模拟其结构和智能行 为的一种工程系统。早在二十世纪四十年代初期, 心理学家 Mc- Culloch、数学家 Pitts 就提出了人工神经网络的第一个数学模型, 从此开创了神经科学理论的研究时代。
SA 的 迭 代 搜 索 过 程 以 Boltzmann 分 布 概 率 接 受 目 标 函 数 的 “劣化解”, 所以 SA 具有脱离局部最优陷阱的能力, 而且具有高 效、鲁棒、通用、灵活的优点。但其参数难以控制, 如初始温度 T 的 设置太大, 算法要花费大量的时间, 设置太小, 则全局搜索性能可 能受到影响。还有退火速度问题, 也要做合理的设置。
ANN 解决问题的方式与传统统计方法完全不同, 它是模拟人 脑的思维, 把大量的神经元连成一个复杂的网络, 利用已知样本 对网络进行训练, 由于人工神经网络中神经元个数众多以及整个 网络存储信息容量的巨大, 使得它具有很强的不确定性信息处理 能力。即使输入信息不完全、不准确或模糊不清, 只要输入的模式 接近于训练样本, 系统就能给出正确的推理结论。ANN 只有当神 经元对所有输入信号的综合处理结果超过某一门限值后才输出 一个信号, 因此 ANN 是一种具 有 高 度 非 线 性 的 超 大 规 模 连 续 时 间动力学系统, 它突破了传统的以线性处理为基础的数字电子计 算机的局限, 标志着人们智能信息处理能力和模拟人脑智能行为 能力的一大飞跃。
3 遗传算法
遗 传 算 法[2] (Genetic Algorithm, GA)是 一 类 借 鉴 生 物 界 自 然 选择和自然遗传机制的随机化搜索算法, 它是由美国 Michigan 大 学的 J.Holland 教授于 1975 年首先提出的。遗传算法模拟生物进 化的基本过程, 用数码串来类比生物中的染色个体 , 通 过 选 择 、交 叉 、变 异 等 遗 传 算 子 来 仿 真 生 物 的 基 本 进 化 过 程 , 利 用 适 应 度 函 数来表示染色体所蕴涵问题解的质量的优劣, 通过种群的不断 “更 新 换 代 ”, 从 而 提 高 每 代 种 群 的 平 均 适 应 度 , 通 过 适 应 度 函 数 引导种群的进化方向, 并在此基础上, 使得最优个体所代表的问 题解逼近问题的全局最优解。GA 求解问题的基本思想是维 持 由 一群个体组成的种群 p(t) (t 代表遗传代 数), 每 一 个 体 均 代 表 问 题 的一个潜在解, 每一个体都被评价优劣并得到其适应值。个体通 过遗传算子产生新的个体, 新产生的个体继续被评价优劣, 从父 代 种 群 和 子 代 种 群 中 选 择 比 较 优 秀 的 个 体 形 成 新 的 种 群 。在 若 干 代以后, 算法收敛到一个最优个体, 该个体很可能代表着问题的 最优解或次优解。
ANN 是 生 物 神 经 网 络 的 一 种 模 拟 和 近 似 , 它 从 结 构 、实 现 机 理和功能上模拟生物神经网络。ANN 是由大量与自然神经细胞类 似的人工神经元互联而成的网络, 这种由许多神经元组成的信息 处理网络具有并行分布结构。每个神经元具有单一输出, 并且能 够与其它神经元连接。网络中存在多重输出连接方法, 每种连接 方法对应一个连接权系数。我们可以把 ANN 看成是以处理单元 PE(processing element) 为节点, 用加权有向弧(链)相互连接 而 成 的 有向图。ANN 以加权值控制结点参与工作的程度, 正权值相当于 神经元突触受到刺激而兴奋, 负权值相当于受到抑制而使神经元 麻痹直到完全不工作。
目前, 随着各种神经网络理论模型和学习算法的提出, 神经 网络理论已日趋成熟, 其应用已渗透到了生 物 学 、物 理 学 、地 质 学 等诸多领域, 并在智能控制、模式识别、非 线 性 优 化 等 方 面 取 得 了 令人鼓舞的进展。
ANN 的 特 点 和 优 越 性 , 主 要 表 现 在 三 个 方 面 : 一 是 具 有 自 学 习功能。例如实现图像识别时, 只要先把许多不同的图像样本和 对应的应识别的结果输入人工神经网络, 网络就会通过自学习功 能, 慢慢学会识别类似的图像。二是具有联想存储功能。三是具有 高速寻找优化解的能力。寻找一个复杂问题的优化解, 往往需要 很大的计算量, 利用一个针对某问题而设计的反馈型人工神经网 络, 发挥计算机的高速运算能力, 可能很快找到优化解。
A S ummary of Intelligence Optimum Algorithm JIANG Teng- xu
(Computer Department, Jiujiang Vocational university, Jiujiang 332000,China) Abs tract:Some kinds of familiar intelligence optimum algorithm is introduced briefly in this paper. The author introduces advantages and disadvantages of different intelligence optimum algorithm, as well as applications in some optimization fields. Meanwhile, the development trend of each intelligence optimum algorithm is pointed in the paper too. Key words :artificial intelligence; soft computation; intelligence optimum algorithm; optimization techniques
常见的几种典型人工神经网络有多层感知网络 (误差逆传播 神经网络)、竞争型(KOHONEN)神经网络、Hopfield 神经网络等。其 中 Hopfield 神经网络应用得较广, 基本的 Hopfield 神经网络是一 个 由 非 线 性 元 件 构 成 的 全 连 接 型 单 层 反 馈 系 统 , Hopfield 神 经 网 络的能量函数是朝着梯度减小的方向变化, 它的缺点是一旦能量 函数陷入到局部极小值, 它将不能自动跳出局部极小点而到达全 局最小点, 因而无法求得网络最优解。
GA 是具有“生成+检测”(generate- and- test)的迭代过程的搜索 算法, 遗传操作算子使 GA 具有了与传统的其他搜索算法如爬山 法、分支界定法、禁忌搜索算法等不同的工作机理 , 当 遇 到 较 大 规 模的问题时, GA 有着不可替代的优异性: 如 GA 并不是对问题的 待优化参数本身进行操作, 而是通过由这些参数所编码形成的染 色体进行交叉、变异和选择等操作。GA 操作的对象不限于一个, 而 是对由大量对象形成的种群进行操作, 这种做法使得参与操作的 信息量大, 速度快, 效果好, 使得整个优化过程容易跳出局部最优。 GA 不依赖于问题领域的信息来指导搜索, GA 实现简单, 效果良 好, 通用性好, 鲁棒性强等。虽然 GA 具有上述优点, 但由于 GA 本 质 上 是 一 种 基 于 概 率 的 启 发 式 随 机 搜 索 方 法 , GA 也 有 自 身 的 缺 陷: 如 GA 是 对 种 群 进 行 概 率 性 操 作 , 所 以 , 在 全 局 寻 优 上 效 果 良 好, 而在局部寻优上存在不足; 在算法进行的前期搜索效果良好, 而在算法进行的后期搜索速度缓慢; GA 虽然实现简单, 但实现的 效果很大程度上取决于问题的多种参数, 如果这些参数设置不好, 此时的 GA 类似随机搜索算法, 甚至会出现“早熟收敛”现象。
模 拟 退 火 算 法 的 应 用 很 广 泛 , 在 求 解 最 大 截 问 题 (Max Cut Problem)、0- 1 背 包 问 题(Zero One Knapsack Problem)、图 着 色 问 题 (Graph Colouring Problem)、调度问题(Scheduling Problem)等方面效 率较高。
收稿日期: 2007- 02- 23 作者简介: 蒋腾旭( 1970- ) , 男, 江西九江人, 讲师, 硕士, 研究方向: 软件技术、数据挖掘、智能优化算法。
507
人工智能及识别技术
专 家 系 统 、作 业 调 度 与 排 序 、可 靠 性 设 计 、车 辆 路 径 选 择 与 调 度 、 成 组பைடு நூலகம்技 术 、设 备 布 置 与 分 配 等 等 。
与传统方法相比, 遗传算法具有隐式并行性和全局搜索性两 大主要特点, 作为强有力且应用广泛的随机搜索和优化方法, 遗 传算法可能是当今影响最广泛的进化计算方法之一。近十几年 来, 遗传算法主要在复杂优化问题求解和工业工程领域应用方 面, 取得了一些令人信服的结果, 遗传算法成功的应用包括: 函数 优化、机器学习、组合优化、人工神经元网络训练、自 动 程 序 设 计 、
2 模拟退火算法
模 拟 退 火 算 法 [1]( Simulated Annealing ,SA) 是 1983 年 由 Kirkpatrick 首次提出的一种组合优化算法。该算法来源于固体退 火原理, 将固体加温至充分高, 再让其徐徐冷却, 加温时, 固体内 部粒子随温度上升变为无序状态, 内能增大。而徐徐冷却时粒子 渐趋有序, 在每个温度都达到平衡态, 最后在常温时达到基态, 内 能减为最小。SA 算法借鉴热力学中的 能 量 方 程 , 同 时 又 引 入 了 Metropolis 准则, 粒子在温度 T 时趋于平衡的概率为 e- ΔE/(kT), 其 中 E 为温度 T 时的内能, ΔE 为其改变量, k 为 Boltzmann 常数。算 法的基本思想是从一给定解开始, 从邻域中随机产生另一个解, 接受准则允许目标函数在有限范围内变坏, 以一定概率接受较差 的解。用固体退火模拟组合优化问题, 将内能 E 模拟为目标函数 值 f , 温度 T 演化成控制参数 t, 即得到解组合优化问题的模拟退 火 算 法 : 由 初 始 解 i 和 控 制 参 数 初 值 t 开 始 , 对 当 前 解 重 复 “产 生 新解→计算目标 函 数 差→接 受 或 舍 弃 ”的 迭 代 , 并 逐 步 衰 减 t 值 , 算 法 终 止 时 的 当 前 解 即 为 所 得 近 似 最 优 解 , SA 已 经 被 证 明 是 一 种依概率 1 收敛于全局最优解的优化方法。
人工智能及识别技术
智能优化算法概述
蒋腾旭 ( 九江职业大学计算机系, 江西 九江 332000)
摘要: 本文简要介绍了几种常见的智能优化算法, 并给出了不同智能优化算法的优缺点及在优化应用领域的使用情况, 指出了不同 智能优化算法的发展趋势。
关键词: 人工智能; 软计算; 智能优化算法; 优化技术 中图分类号: TP 18 文献标识码: A 文章编号: 1009- 3044(2007)08- 20507- 02
1 引言
智能计算也称之为“软计算”, 是人们受自然界或生 物 界 规 律 的启发, 根据自然界或生物界的原理, 模仿其规律而设计的求解 问题的算法。自然界一直是人类创造力的丰富源泉, 人类认识事 物的能力来源于自然界的相互作用之中, 自然界的许多自适应优 化现象不断给人类以启示。近几十年来, 一些与经典的数学规划 原理截然不同的、试图通过模拟自然生态系统机制以求解复 杂 优 化问题的仿生智能优化算法相继被提出和研究, 这方面的内容很 多 , 如 模 拟 退 火 算 法 、遗 传 算 法 、人 工 神 经 网 络 技 术 、人 工 免 疫 算 法和群智能算法等。这些算法大大丰富了现代优化技术, 也为那 些传统优化技术难以处理的组合优化问题提供了切实可行的解 决方案。以下对几种常用的智能优化算法作简要的概述。
4 人工神经网络
人工神经网络[3] (Artificial Neural Network, ANN)是在对人脑 组织结构和运行机制的认识理解基础之上模拟其结构和智能行 为的一种工程系统。早在二十世纪四十年代初期, 心理学家 Mc- Culloch、数学家 Pitts 就提出了人工神经网络的第一个数学模型, 从此开创了神经科学理论的研究时代。
SA 的 迭 代 搜 索 过 程 以 Boltzmann 分 布 概 率 接 受 目 标 函 数 的 “劣化解”, 所以 SA 具有脱离局部最优陷阱的能力, 而且具有高 效、鲁棒、通用、灵活的优点。但其参数难以控制, 如初始温度 T 的 设置太大, 算法要花费大量的时间, 设置太小, 则全局搜索性能可 能受到影响。还有退火速度问题, 也要做合理的设置。
ANN 解决问题的方式与传统统计方法完全不同, 它是模拟人 脑的思维, 把大量的神经元连成一个复杂的网络, 利用已知样本 对网络进行训练, 由于人工神经网络中神经元个数众多以及整个 网络存储信息容量的巨大, 使得它具有很强的不确定性信息处理 能力。即使输入信息不完全、不准确或模糊不清, 只要输入的模式 接近于训练样本, 系统就能给出正确的推理结论。ANN 只有当神 经元对所有输入信号的综合处理结果超过某一门限值后才输出 一个信号, 因此 ANN 是一种具 有 高 度 非 线 性 的 超 大 规 模 连 续 时 间动力学系统, 它突破了传统的以线性处理为基础的数字电子计 算机的局限, 标志着人们智能信息处理能力和模拟人脑智能行为 能力的一大飞跃。
3 遗传算法
遗 传 算 法[2] (Genetic Algorithm, GA)是 一 类 借 鉴 生 物 界 自 然 选择和自然遗传机制的随机化搜索算法, 它是由美国 Michigan 大 学的 J.Holland 教授于 1975 年首先提出的。遗传算法模拟生物进 化的基本过程, 用数码串来类比生物中的染色个体 , 通 过 选 择 、交 叉 、变 异 等 遗 传 算 子 来 仿 真 生 物 的 基 本 进 化 过 程 , 利 用 适 应 度 函 数来表示染色体所蕴涵问题解的质量的优劣, 通过种群的不断 “更 新 换 代 ”, 从 而 提 高 每 代 种 群 的 平 均 适 应 度 , 通 过 适 应 度 函 数 引导种群的进化方向, 并在此基础上, 使得最优个体所代表的问 题解逼近问题的全局最优解。GA 求解问题的基本思想是维 持 由 一群个体组成的种群 p(t) (t 代表遗传代 数), 每 一 个 体 均 代 表 问 题 的一个潜在解, 每一个体都被评价优劣并得到其适应值。个体通 过遗传算子产生新的个体, 新产生的个体继续被评价优劣, 从父 代 种 群 和 子 代 种 群 中 选 择 比 较 优 秀 的 个 体 形 成 新 的 种 群 。在 若 干 代以后, 算法收敛到一个最优个体, 该个体很可能代表着问题的 最优解或次优解。
ANN 是 生 物 神 经 网 络 的 一 种 模 拟 和 近 似 , 它 从 结 构 、实 现 机 理和功能上模拟生物神经网络。ANN 是由大量与自然神经细胞类 似的人工神经元互联而成的网络, 这种由许多神经元组成的信息 处理网络具有并行分布结构。每个神经元具有单一输出, 并且能 够与其它神经元连接。网络中存在多重输出连接方法, 每种连接 方法对应一个连接权系数。我们可以把 ANN 看成是以处理单元 PE(processing element) 为节点, 用加权有向弧(链)相互连接 而 成 的 有向图。ANN 以加权值控制结点参与工作的程度, 正权值相当于 神经元突触受到刺激而兴奋, 负权值相当于受到抑制而使神经元 麻痹直到完全不工作。
目前, 随着各种神经网络理论模型和学习算法的提出, 神经 网络理论已日趋成熟, 其应用已渗透到了生 物 学 、物 理 学 、地 质 学 等诸多领域, 并在智能控制、模式识别、非 线 性 优 化 等 方 面 取 得 了 令人鼓舞的进展。
ANN 的 特 点 和 优 越 性 , 主 要 表 现 在 三 个 方 面 : 一 是 具 有 自 学 习功能。例如实现图像识别时, 只要先把许多不同的图像样本和 对应的应识别的结果输入人工神经网络, 网络就会通过自学习功 能, 慢慢学会识别类似的图像。二是具有联想存储功能。三是具有 高速寻找优化解的能力。寻找一个复杂问题的优化解, 往往需要 很大的计算量, 利用一个针对某问题而设计的反馈型人工神经网 络, 发挥计算机的高速运算能力, 可能很快找到优化解。
A S ummary of Intelligence Optimum Algorithm JIANG Teng- xu
(Computer Department, Jiujiang Vocational university, Jiujiang 332000,China) Abs tract:Some kinds of familiar intelligence optimum algorithm is introduced briefly in this paper. The author introduces advantages and disadvantages of different intelligence optimum algorithm, as well as applications in some optimization fields. Meanwhile, the development trend of each intelligence optimum algorithm is pointed in the paper too. Key words :artificial intelligence; soft computation; intelligence optimum algorithm; optimization techniques
常见的几种典型人工神经网络有多层感知网络 (误差逆传播 神经网络)、竞争型(KOHONEN)神经网络、Hopfield 神经网络等。其 中 Hopfield 神经网络应用得较广, 基本的 Hopfield 神经网络是一 个 由 非 线 性 元 件 构 成 的 全 连 接 型 单 层 反 馈 系 统 , Hopfield 神 经 网 络的能量函数是朝着梯度减小的方向变化, 它的缺点是一旦能量 函数陷入到局部极小值, 它将不能自动跳出局部极小点而到达全 局最小点, 因而无法求得网络最优解。
GA 是具有“生成+检测”(generate- and- test)的迭代过程的搜索 算法, 遗传操作算子使 GA 具有了与传统的其他搜索算法如爬山 法、分支界定法、禁忌搜索算法等不同的工作机理 , 当 遇 到 较 大 规 模的问题时, GA 有着不可替代的优异性: 如 GA 并不是对问题的 待优化参数本身进行操作, 而是通过由这些参数所编码形成的染 色体进行交叉、变异和选择等操作。GA 操作的对象不限于一个, 而 是对由大量对象形成的种群进行操作, 这种做法使得参与操作的 信息量大, 速度快, 效果好, 使得整个优化过程容易跳出局部最优。 GA 不依赖于问题领域的信息来指导搜索, GA 实现简单, 效果良 好, 通用性好, 鲁棒性强等。虽然 GA 具有上述优点, 但由于 GA 本 质 上 是 一 种 基 于 概 率 的 启 发 式 随 机 搜 索 方 法 , GA 也 有 自 身 的 缺 陷: 如 GA 是 对 种 群 进 行 概 率 性 操 作 , 所 以 , 在 全 局 寻 优 上 效 果 良 好, 而在局部寻优上存在不足; 在算法进行的前期搜索效果良好, 而在算法进行的后期搜索速度缓慢; GA 虽然实现简单, 但实现的 效果很大程度上取决于问题的多种参数, 如果这些参数设置不好, 此时的 GA 类似随机搜索算法, 甚至会出现“早熟收敛”现象。
模 拟 退 火 算 法 的 应 用 很 广 泛 , 在 求 解 最 大 截 问 题 (Max Cut Problem)、0- 1 背 包 问 题(Zero One Knapsack Problem)、图 着 色 问 题 (Graph Colouring Problem)、调度问题(Scheduling Problem)等方面效 率较高。
收稿日期: 2007- 02- 23 作者简介: 蒋腾旭( 1970- ) , 男, 江西九江人, 讲师, 硕士, 研究方向: 软件技术、数据挖掘、智能优化算法。
507
人工智能及识别技术
专 家 系 统 、作 业 调 度 与 排 序 、可 靠 性 设 计 、车 辆 路 径 选 择 与 调 度 、 成 组பைடு நூலகம்技 术 、设 备 布 置 与 分 配 等 等 。
与传统方法相比, 遗传算法具有隐式并行性和全局搜索性两 大主要特点, 作为强有力且应用广泛的随机搜索和优化方法, 遗 传算法可能是当今影响最广泛的进化计算方法之一。近十几年 来, 遗传算法主要在复杂优化问题求解和工业工程领域应用方 面, 取得了一些令人信服的结果, 遗传算法成功的应用包括: 函数 优化、机器学习、组合优化、人工神经元网络训练、自 动 程 序 设 计 、
2 模拟退火算法
模 拟 退 火 算 法 [1]( Simulated Annealing ,SA) 是 1983 年 由 Kirkpatrick 首次提出的一种组合优化算法。该算法来源于固体退 火原理, 将固体加温至充分高, 再让其徐徐冷却, 加温时, 固体内 部粒子随温度上升变为无序状态, 内能增大。而徐徐冷却时粒子 渐趋有序, 在每个温度都达到平衡态, 最后在常温时达到基态, 内 能减为最小。SA 算法借鉴热力学中的 能 量 方 程 , 同 时 又 引 入 了 Metropolis 准则, 粒子在温度 T 时趋于平衡的概率为 e- ΔE/(kT), 其 中 E 为温度 T 时的内能, ΔE 为其改变量, k 为 Boltzmann 常数。算 法的基本思想是从一给定解开始, 从邻域中随机产生另一个解, 接受准则允许目标函数在有限范围内变坏, 以一定概率接受较差 的解。用固体退火模拟组合优化问题, 将内能 E 模拟为目标函数 值 f , 温度 T 演化成控制参数 t, 即得到解组合优化问题的模拟退 火 算 法 : 由 初 始 解 i 和 控 制 参 数 初 值 t 开 始 , 对 当 前 解 重 复 “产 生 新解→计算目标 函 数 差→接 受 或 舍 弃 ”的 迭 代 , 并 逐 步 衰 减 t 值 , 算 法 终 止 时 的 当 前 解 即 为 所 得 近 似 最 优 解 , SA 已 经 被 证 明 是 一 种依概率 1 收敛于全局最优解的优化方法。