人工智能原理2章搜索技术下
合集下载
人工智能问题求解基本原理及搜索技术51页PPT
5、教导儿童服从真理、服从集体，养 成儿童 自觉的 纪律性 ，这是 儿童道 德教育 最重要 的部分 。—— 陈鹤琴
66、节制使快乐增加并使享受加强。 ——德 谟克利 特 67、今天应做的事没有做，明天再早也 是耽误 了。——裴斯 泰洛齐 68、决定一个人的一生，以及整个命运 的，只 是一瞬 之间。 ——歌 德 69、懒人无法享受休息之乐。——拉布 克 70、浪费时间是一桩大罪过。——卢梭、纪律是管理关系的形式。——阿法 纳西耶 夫 2、改革如果不讲纪律，就难以成功。
3、道德行为训练，不是通过语言影响 ，而是 让儿童 练习良 好道德 行为， 克服懒 惰、轻 率、不 守纪律 、颓废 等不良 行为。 4、学校没有纪律便如磨房里没有水。 ——夸 美纽斯
人工智能原理PrinciplesofArtificialIntelligence
搜索(2)
什么是搜索
▪ 根据问题的实际情况不断寻找可利用的知识,构造出一条代价较少的推 理路线,使问题得到圆满解决的过程称为搜索 包括两个方面： --- 找到从初始事实到问题最终答案的一条推理路径 --- 找到的这条路径在时间和空间上复杂度最小
搜索分两大类:
▪ 盲目搜索:也称为无信息搜索，即只按预定的控制策略进行 搜索,在搜索过程中获得的中间信息不用来改进控制策略
() ((1,1)) ((1,1) (2,3)) ((1,1) (2,4)) ((1,1) (2,4) (3.2))
人工智能原理
Principles of AI-----Wang Wenjie PrinciplesofArtificialIntelligence
Searching: 20
© Graduate School , Chinese academy of Sciences.
() ((1,1)) ((1,1) (2,3)) ((1,1) (2,4)) ((1,1) (2,4) (3.2))
Q Q
人工智能原理
Principles of AI-----Wang Wenjie PrinciplesofArtificialIntelligence
Searching: 18
© Graduate School , Chinese academy of Sciences.
() ((1,1)) ((1,1) (2,3)) ((1,1) (2,4)) ((1,1) (2,4) (3.2))
Q Q
Q
人工智能原理
Principles of AI-----Wang Wenjie PrinciplesofArtificialIntelligence
《人工智能原理》-03-对抗搜索
每个囚徒只有二选一的机会：揭发对方并证明其犯罪，或者保持沉
默。可能的选项如下：
1）若囚徒A和B彼此揭发对方，则每个囚徒被监禁2年；
2）若囚徒A揭发B、而B保持沉默，则A被释放而B被监禁3年，反
之亦然；
3）若A和B都保持沉默，则他们仅被监禁1年。
囚徒困境源于1950年梅里尔·弗拉德（Merrill Flood）等人的相关困境理论。
v ← −∞
for each a in ACTIONS(state) do v ← MAX(v, MIN-VALUE(RESULT(state, a)))
return v
20
最小最大算法
(a)
(b)
(c)
(d)
双人对抗博弈搜索树：
❖ 正方形MAX方，圆形MIN方。
❖ 每个分支都是某一方的决策。
❖ 双方都基于Minimax算法。
启发式搜索算法，用于某些问题的决策过程；
• 与最小最大算法一样，每个节点对应了一个博弈状态；
• 与最小最大算法不一样，节点的值通过蒙特卡罗仿真来估计：
)
Q
(
v
动作 a 的值
ln
N
(
v
)
+c
N (v )
N (v )
其中：v 是 v 的父节点，Q(v ) 表示 v 的质量，N (v ) 表示访问 v 的次数，
用计算机ENIAC编写了相应的程序。
这些保密工作需要一个代号，尼古拉斯·梅特罗波利斯
（Nicholas Metropolis）建议使用摩纳哥蒙特卡罗赌场的名
字，因为乌拉姆的叔叔经常去那里赌博。
约翰·冯·诺依曼
斯塔尼斯拉夫·乌拉姆
30
蒙特卡罗树搜索
默。可能的选项如下：
1）若囚徒A和B彼此揭发对方，则每个囚徒被监禁2年；
2）若囚徒A揭发B、而B保持沉默，则A被释放而B被监禁3年，反
之亦然；
3）若A和B都保持沉默，则他们仅被监禁1年。
囚徒困境源于1950年梅里尔·弗拉德（Merrill Flood）等人的相关困境理论。
v ← −∞
for each a in ACTIONS(state) do v ← MAX(v, MIN-VALUE(RESULT(state, a)))
return v
20
最小最大算法
(a)
(b)
(c)
(d)
双人对抗博弈搜索树：
❖ 正方形MAX方，圆形MIN方。
❖ 每个分支都是某一方的决策。
❖ 双方都基于Minimax算法。
启发式搜索算法，用于某些问题的决策过程；
• 与最小最大算法一样，每个节点对应了一个博弈状态；
• 与最小最大算法不一样，节点的值通过蒙特卡罗仿真来估计：
)
Q
(
v
动作 a 的值
ln
N
(
v
)
+c
N (v )
N (v )
其中：v 是 v 的父节点，Q(v ) 表示 v 的质量，N (v ) 表示访问 v 的次数，
用计算机ENIAC编写了相应的程序。
这些保密工作需要一个代号，尼古拉斯·梅特罗波利斯
（Nicholas Metropolis）建议使用摩纳哥蒙特卡罗赌场的名
字，因为乌拉姆的叔叔经常去那里赌博。
约翰·冯·诺依曼
斯塔尼斯拉夫·乌拉姆
30
蒙特卡罗树搜索
人工智能原理及其应用 ppt课件
知识的属性真假性与相对性不确定性矛盾性和相容性可表示性与可利用性第二章知识表示叙述性知识如问题当前状态和目标状态等过程性知识如引起状态改变的操作算子等控制性知识如从多个操作中选择最佳操作的知识等第二章知识表示叙述性知识过程性知识控制性知识例
ARTIFICIAL INTELLIGENCE
人工智能原理及其应用
1. 1990年至今：又一个低潮期 乐观派和反对派 挑战
第二章 知识表示
知识是一切智能行为的基础。知 识表示方法是人工智能的中心内容之一。 知识、知识表示的概念 各种知识表示方法及其特点
1、状态空间法 2、谓词表示法 3、产生式表示法 4、语义网络法 5、框架表示法 6、脚本表示法 7、过程表示法 8、面向对象表示法
1) 连接主义 起源于仿生学，特别是人脑模型的研究。 从神经元开始进而研究神经网络模型和 脑模型，目前比较热门。
第一章 人工智能概述
1) 行为主义 源于控制论。早期的研究工作重点是模 拟人在控制过程中的智能行为和作用， 后来偏重于智能控制和智能机器人系统 的研究。代表作是布鲁克斯(Brooks)的 六足机器人。
第二章 知识表示
1) 表示能力 2) 可利用性 3) 可组织性与可维护性 4) 可实现性 5) 自然性与可理解性
第二章 知识表示
1. 知识表示观点 1) 陈述性观点 2) 过程性观点
第二章 知识表示
1) 表示能力 2) 可利用性 3) 可组织性与可维护性 4) 可实现性 5) 自然性与可理解性
第一章 人工智能概述
一、研究目标
1. 计算机与人脑（硅脑与碳脑） 人脑可以通过自学习、自组织、自适应来
不断提高信息处理能力；而存储程序式计算 机的所有能力都是人们通过编制程序赋予它 的，与人脑相比是机械的、死板的和无法自 我提高的。
ARTIFICIAL INTELLIGENCE
人工智能原理及其应用
1. 1990年至今：又一个低潮期 乐观派和反对派 挑战
第二章 知识表示
知识是一切智能行为的基础。知 识表示方法是人工智能的中心内容之一。 知识、知识表示的概念 各种知识表示方法及其特点
1、状态空间法 2、谓词表示法 3、产生式表示法 4、语义网络法 5、框架表示法 6、脚本表示法 7、过程表示法 8、面向对象表示法
1) 连接主义 起源于仿生学，特别是人脑模型的研究。 从神经元开始进而研究神经网络模型和 脑模型，目前比较热门。
第一章 人工智能概述
1) 行为主义 源于控制论。早期的研究工作重点是模 拟人在控制过程中的智能行为和作用， 后来偏重于智能控制和智能机器人系统 的研究。代表作是布鲁克斯(Brooks)的 六足机器人。
第二章 知识表示
1) 表示能力 2) 可利用性 3) 可组织性与可维护性 4) 可实现性 5) 自然性与可理解性
第二章 知识表示
1. 知识表示观点 1) 陈述性观点 2) 过程性观点
第二章 知识表示
1) 表示能力 2) 可利用性 3) 可组织性与可维护性 4) 可实现性 5) 自然性与可理解性
第一章 人工智能概述
一、研究目标
1. 计算机与人脑（硅脑与碳脑） 人脑可以通过自学习、自组织、自适应来
不断提高信息处理能力；而存储程序式计算 机的所有能力都是人们通过编制程序赋予它 的，与人脑相比是机械的、死板的和无法自 我提高的。
第2章人工智能技术基本原理2.2回归算法-高中教学同步《信息技术-人工智能初步》(教案
《信息技术-人工智能初步》教案
课题
第2章人工智能技术基本原理2.2回归算法
课型
班课
课时
1
授课班级
高一1班
学习目标
理解回归算法的基本概念及其在学习中的应用，包括一元回归和多元回归、线性回归和非线性回归的区别。
掌握回归分析的适用场景，能够区分连续值预测问题与离散值分类问题。
学习回归算法的一般流程，包括数据收集、算法训练、测试和应用。
培养技能：训练学生的数据处理和软件操作能力。
活动四：
巩固练习
素质提升
布置练习题：给出一些与回归分析相关的练习题，如使用其他数据集来练习回归分析。
讨论与反馈：组织课堂讨论，回顾学到的知识，并给予学生反馈。
独立练习：独立完成教师布置的练习题，应用所学知识。
知识回顾：参与讨论，回顾本节课的重点和难点。
巩固知识：通过练习加深对回归算法流程和类型的理解。
文本材料：包括教材、PPT课件和打印的讲义，这些材料中包含有关回归算法的详细说明、公式、实例和应用案例，是传递理论知识的主要媒介。
数据分析工具：如果课程中包含实践操作，可能会使用到数据分析软件（如Excel、Python等），通过实际操作来训练算法并测试结果。
实例数据表：表2.2.2作为一个具体的数据集例子，用于在课堂上展示如何从实际数据中探索变量间的关系。
观察数据：学生先观察表格数据，尝试找出尺寸与价格之间可能存在的关系。
讨论可能的方法：分小组讨论如何使用这些数据来预测未知尺寸的蛋糕价格。
激发兴趣：通过实际问题引起学生的兴趣和好奇心。
引导思考：促使学生从生活实例出发，思考变量间的关系，培养数据分析意识。
活动二：
调动思维
探究新知
课题
第2章人工智能技术基本原理2.2回归算法
课型
班课
课时
1
授课班级
高一1班
学习目标
理解回归算法的基本概念及其在学习中的应用，包括一元回归和多元回归、线性回归和非线性回归的区别。
掌握回归分析的适用场景，能够区分连续值预测问题与离散值分类问题。
学习回归算法的一般流程，包括数据收集、算法训练、测试和应用。
培养技能：训练学生的数据处理和软件操作能力。
活动四：
巩固练习
素质提升
布置练习题：给出一些与回归分析相关的练习题，如使用其他数据集来练习回归分析。
讨论与反馈：组织课堂讨论，回顾学到的知识，并给予学生反馈。
独立练习：独立完成教师布置的练习题，应用所学知识。
知识回顾：参与讨论，回顾本节课的重点和难点。
巩固知识：通过练习加深对回归算法流程和类型的理解。
文本材料：包括教材、PPT课件和打印的讲义，这些材料中包含有关回归算法的详细说明、公式、实例和应用案例，是传递理论知识的主要媒介。
数据分析工具：如果课程中包含实践操作，可能会使用到数据分析软件（如Excel、Python等），通过实际操作来训练算法并测试结果。
实例数据表：表2.2.2作为一个具体的数据集例子，用于在课堂上展示如何从实际数据中探索变量间的关系。
观察数据：学生先观察表格数据，尝试找出尺寸与价格之间可能存在的关系。
讨论可能的方法：分小组讨论如何使用这些数据来预测未知尺寸的蛋糕价格。
激发兴趣：通过实际问题引起学生的兴趣和好奇心。
引导思考：促使学生从生活实例出发，思考变量间的关系，培养数据分析意识。
活动二：
调动思维
探究新知
人工智能原理与技术智慧树知到课后章节答案2023年下同济大学
人工智能原理与技术智慧树知到课后章节答案2023年下同济大学第一章测试1.若计算机需通过图灵测试，以下哪个能力不是计算机必需的？( )A:计算机视觉 B:机器学习 C:知识表示 D:自动推理答案:计算机视觉2.由心理学途径产生，认为人工智能起源于数理逻辑的研究学派是（）A:行为主义学派 B:符号主义学派 C:连接主义学派答案:符号主义学派3.解决一个实例所需时间是否会随实例规模成指数级增长，研究的是问题的（）A:可操作性 B:可计算性 C:易处理性 D:可判定性答案:易处理性4.在德国汉诺威CeBIT展会开幕式上，阿里巴巴集团执行主席马云发布并现场演示了人脸识别支付技术。
其中利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合的方法主要属于人工智能的分支学科（）A:神经网络 B:模式识别 C:机器学习 D:数据挖掘答案:模式识别5.在人工智能发展早期，麦约翰·卡锡于历史性的1958年做出了多项至关重要的贡献，不包括（）A:发表题为“有常识的程序”的论文 B:建造几何定理证明器 C:发明分时技术 D:定义高级语言Lisp 答案:建造几何定理证明器6.人工智能中逻辑主义流派存在的主要障碍包括：( )A:通常情况下逻辑推导的结果是不确定的。
B: 获取非形式的知识并用逻辑表示法要求的形式术语来陈述之是不容易的。
C:原则上可解一个问题与实际上解决该问题是不同的。
D:利用逻辑进行推导的推导过程是复杂的。
答案: 获取非形式的知识并用逻辑表示法要求的形式术语来陈述之是不容易的。
;原则上可解一个问题与实际上解决该问题是不同的。
7.近年来，HMMs(隐马尔可夫模型)大量应用于语音识别领域主要是由于以下哪些原因？( )A:HMM可通过大量真实语音数据上的训练过程生成。
B:HMM最适合用于表示语音信息 C:HMM基于严格的数学理论基础。
答案:HMM可通过大量真实语音数据上的训练过程生成。
人工智能原理 北京大学 2 PartIBasicsChapter2IntelligentAg (2.1.1)
Artificial IntelligenceSchool of Electronic and Computer EngineeringPeking UniversityWang WenminArtificial Intelligence Contents:☐Part 1. Basics☐Part 2. Searching☐Part 3. Reasoning☐Part 4. Planning☐Part 5. LearningPart 1. Basics Contents:☐1. Introduction☐2. Intelligent Agents2. Intelligent Agents Objectives 教学目的⏹Overview several approaches for AI.纵览AI的各种研究途径。
⏹Discuss the nature of intelligent agents, the diversity ofenvironments, and the resulting menagerie of agent types.讨论智能体的性质、环境的多样性、以及由此产生的各种类型的智能体。
2. Intelligent Agents Contents:☐2.1. Approaches for Artificial Intelligence☐2.2. Rational Agents☐2.3. Task Environments☐2.4. Intelligent Agent Structure☐2.5. Category of Intelligent Agents2.1. Approaches for Artificial Intelligence Contents:☐2.1.1. Cybernetics and Brain Simulation☐2.1.2. Symbolic vs. Sub-symbolic☐2.1.3. Logic-based vs. Anti-logic☐2.1.4. Symbolism vs. Connectionism☐2.1.5. Statistical Approach☐2.1.6. Intelligent Agent Paradigm☐In 1940s and 1950s, a number of researchers explored the connection between neurology, information theory, and cybernetics.1940年代至1950年代，许多研究者探索神经学、信息论和控制论之间的关系。
人工智能原理之搜索技术(PPT-77页)全
参见p60图3.11)
29
第2章 搜索技术
2.2.2 深度优先搜索和深度有限搜索
• 深度优先搜索过程：
• 总是扩展搜索树的当前扩展分支(边缘)中最 深的节点
• 搜索直接伸展到搜索树的最深层，直到那里 的节点没有后继节点
• 那些没有后继节点的节点扩展完毕就从边缘 中去掉
• 然后搜索算法回退下一个还有未扩展后继节 点的上层节点继续扩展
• 描述：设每个状态为(a1, a2, a3, …, an), ai=1, 2, 3—表示第i个盘子在第1/2/3根柱 子上
13
第2章 搜索技术
河内塔(2)
• 递归定义：{(a1, a2, a3, …, an)}为n阶河内 塔的状态集合，则{(a1, a2, a3, …, an, 1), (a1, a2, a3, …, an, 2), (a1, a2, a3, …, an, 3)} 是n+1阶河内塔的状态集合
• 约束规则：不使离开既定位置的数字数增加
10
第2章 搜索技术
八数码游戏的搜索树
既定位置=终态
Begin 1 5 2
4
3
678
152 43
678
*1
2
453
678
*1 5 2 43 678
152
473
6
8
*
12 453 678
12 453 678
*
15 432 678
152 438 67
*1 2 3 45 678
8
第2章 搜索技术
2.1.2 问题实例
• 玩具问题
• 八数码游戏(九宫图) • 河内塔 • 八皇后问题 • 真空吸尘器世界
• 现实问题
29
第2章 搜索技术
2.2.2 深度优先搜索和深度有限搜索
• 深度优先搜索过程：
• 总是扩展搜索树的当前扩展分支(边缘)中最 深的节点
• 搜索直接伸展到搜索树的最深层，直到那里 的节点没有后继节点
• 那些没有后继节点的节点扩展完毕就从边缘 中去掉
• 然后搜索算法回退下一个还有未扩展后继节 点的上层节点继续扩展
• 描述：设每个状态为(a1, a2, a3, …, an), ai=1, 2, 3—表示第i个盘子在第1/2/3根柱 子上
13
第2章 搜索技术
河内塔(2)
• 递归定义：{(a1, a2, a3, …, an)}为n阶河内 塔的状态集合，则{(a1, a2, a3, …, an, 1), (a1, a2, a3, …, an, 2), (a1, a2, a3, …, an, 3)} 是n+1阶河内塔的状态集合
• 约束规则：不使离开既定位置的数字数增加
10
第2章 搜索技术
八数码游戏的搜索树
既定位置=终态
Begin 1 5 2
4
3
678
152 43
678
*1
2
453
678
*1 5 2 43 678
152
473
6
8
*
12 453 678
12 453 678
*
15 432 678
152 438 67
*1 2 3 45 678
8
第2章 搜索技术
2.1.2 问题实例
• 玩具问题
• 八数码游戏(九宫图) • 河内塔 • 八皇后问题 • 真空吸尘器世界
• 现实问题
人工智能原理2
30
状态空间搜索
2、启发式搜索 局部择优搜索 全局择优搜索 有序搜索 A*算法
31
状态空间盲目搜索
1、特点： 1)搜索按规定的路线进行，不使用与问题有关的 启发性信息 2)适用于其状态空间图是树状结构的问题求解。 2、搜索过程： 一般都要用两个表，这就是OPEN表和CLOSED 表。 OPEN表用于待考察的节点。CLOSED表用于存放已 考察的节点。
1、盲目搜索 盲目搜索是按预定的搜索方向进行搜索。 由于盲目搜索总是按预先规定的路线进行， 没有考虑到问题本身的特性，所以这种搜 索效率不高。 2、启发式搜索 启发式搜索是在搜索中加入了与问题有 关的启发性信息，用以指导搜索朝着最有 希望的推理方向前进，加速问题的求解过 程并找到最优解。
5
问题求解过程的形式表示
问题归约:
含义: 把复杂问题转换为若干需要同时处理的较 为简单的子问题后再加以分别求解的策略,可以 递归地进行,直到把问题转换为本原问题的集合. 方法: 分解,变换
15
与/或树表示法
1、分解 把一个复杂问题分解为若干个较为简单 的子问题，每个子问题又可继续分解为若 干个更为简单的子问题。重复此过程，直 到不需要在分解或者不能再分解为止。然 后对每个子问题分别进行求解，最后把各 子问题的解复合起来就得到原问题的解。
4
283 14 765
5
283 164 7 5
6
7
8
83 214 765
14 8 3 214 765 22 83 214 765 23 813 2 4 765 24 283 7 4 615
283 714 65
15 283 714 6 5 25 283 714 65
【2024版】《人工智能原理》PPT课件
Step 6. 对于每一个子节点 SON SUBNODES，计算 f(SON)，并设置 SON 指向 BESTNODE 的指针；
Step 7. 将 BESTNODE 移出 OPEN 并移入 CLOSED；将 SUBNODES 的成员放入 OPEN；
Step 8. 转向 Step 2。
第4章 状态空间法
(2)知识表达：用一阶谓词逻辑表达相关知识， 构造公理系统A; （3）谓词演算：利用归结原理求解问题，求证 定理T。
四、用归结原理进行答案提取
答案提取的一般步骤：
（1）把问题的已知条件用谓词公式表示出来， 并化为相应的子句集；
（2）把代求解的目标问题用谓词公式表示出 来，并进行否定。然后把否定后的目标问题化 为子句集。
化简分为8个步骤
一、子句及其化简
几点注意： 化简后的子句之间是合取关系，即
与的关系，所以只要有一个子句是假的， 则整个子句集就是不可满足的。
空子句是不可满足的，所以一个子 句集中只要含有一个空子句，则子句集 就是不可满足的。
二、归结原理的基本思想及步骤
基本思想： 有一个二元组<A,T>，其中 A: 由一阶谓词逻辑表达的公理系统 T: 一阶谓词逻辑表达的待证明的定理或命题。 要证明T是A的逻辑结论，即 A T 。 采用的思想是： 如果要证明T是A的逻辑结论，则证明T的否定T
一、一阶谓词逻辑表达知识
3、选择合适逻辑运算符：
符号名称 运算符
与（合取）
或（析取）
非
蕴含
等价
二、语义网络表达知识
1.基本定义： 语义网络是一种用实体及其语义关系
来表达知识的有向图。其基本要素是： （1）结点：描述实体，表示各种事物、 概念、情况、属性、状态等。 （2）有向弧：描述事物间的关系。
Step 7. 将 BESTNODE 移出 OPEN 并移入 CLOSED；将 SUBNODES 的成员放入 OPEN；
Step 8. 转向 Step 2。
第4章 状态空间法
(2)知识表达：用一阶谓词逻辑表达相关知识， 构造公理系统A; （3）谓词演算：利用归结原理求解问题，求证 定理T。
四、用归结原理进行答案提取
答案提取的一般步骤：
（1）把问题的已知条件用谓词公式表示出来， 并化为相应的子句集；
（2）把代求解的目标问题用谓词公式表示出 来，并进行否定。然后把否定后的目标问题化 为子句集。
化简分为8个步骤
一、子句及其化简
几点注意： 化简后的子句之间是合取关系，即
与的关系，所以只要有一个子句是假的， 则整个子句集就是不可满足的。
空子句是不可满足的，所以一个子 句集中只要含有一个空子句，则子句集 就是不可满足的。
二、归结原理的基本思想及步骤
基本思想： 有一个二元组<A,T>，其中 A: 由一阶谓词逻辑表达的公理系统 T: 一阶谓词逻辑表达的待证明的定理或命题。 要证明T是A的逻辑结论，即 A T 。 采用的思想是： 如果要证明T是A的逻辑结论，则证明T的否定T
一、一阶谓词逻辑表达知识
3、选择合适逻辑运算符：
符号名称 运算符
与（合取）
或（析取）
非
蕴含
等价
二、语义网络表达知识
1.基本定义： 语义网络是一种用实体及其语义关系
来表达知识的有向图。其基本要素是： （1）结点：描述实体，表示各种事物、 概念、情况、属性、状态等。 （2）有向弧：描述事物间的关系。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 如果高度对应于目标函数，则目标是找到全 局最大值，即图中最高峰
• 如果存在解，则完备的局部搜索算法能够找 到解
• 而最优的局部搜索算法能够找到全局最大或 最小值
8
第2章 搜索技术
局部搜索算法
• 本节简要介绍以下4种局部搜索算法 / 介绍其算法思想
• 爬山法搜索
• 模拟退火搜索
• 局部剪枝搜索
• 遗传算法
• 从搜索的角度看遗传算法也是搜索假设空间 的一种方法(学习问题归结为搜索问题)—生 成后继假设的方式
9
第2章 搜索技术
2.4.2 爬山法搜索
• 爬山法(hill-climbing)—就是向值增加的方向持 续移动—登高过程 / 如果相邻状态中没有比它 更高的值，则算法结束于顶峰
• 爬山法搜索算法思想：
2.5.5 关于失败变量的启发式
第2章 搜索技术
2.5.1 约束满足问题的定义
• 约束满足问题(Constraint Satisfying Problem, CSP)由一个变量集合{X1~Xn}和一个约束集 合{C1~Cm}定义
• 每个变量都有一个非空可能值域Di • 每个约束指定了包含若干变量的一个子集内各
• CSP问题具有一个性质：可交换性—变量 赋值的顺序对结果没有影响 / 所有CSP搜 索算法生成后继节点时，在搜索树每个 节点上只考虑单个变量的可能赋值
• CSP问题的求解使用深度优先的回溯搜索 • 算法思想：
• 每次给一个变量赋值，当没有合法赋值(不 满足约束时)就要推翻前一个变量的赋值， 重新给其赋值，这就是回溯
(1)令初始状态S0为当前状态
(2)若当前状态已经达标，则算法运行结束，搜索成 功
(3)若存在一个动作可以作用于当前状态以产生一个
新状态，使新状态的估计值优于当前状态的估计
值，则放弃当前状态，并令刚产生的新状态为当
前状态，转(2)
(4)取当前状态为相对最优解，停止执行算法
10
第2章 搜索技术
爬山法搜索的局限
13
第5章 搜索技术
模拟退火的解决思路(1)
• 思路—开始使劲晃动(先高温加热)然后 慢慢降低摇晃的强度(逐渐降温)[退火过 程]
• 算法的核心—移动选择
• 选择随机移动，如果评价值改善，则移动被 接受，否则以某个小于1的概率接受
• 概率按照移动评价值变坏的梯度ΔE而呈指
数级下降 / 同时也会随着作为控制的参 数—“温度”T的降低(数值减小)而降低
• 所谓有用的砖块，就是几个结合起来可以构 造问题的解—参见书中的八皇后问题举例
21
第2章 搜索技术
遗传算法的模式
• 遗传算法上述特点可以用模式(schema)来 解释—模式是某些位置上的数字尚未确 定的一个状态子串
• 能够匹配模式的字符串称为该模式的实例 • 如果一个模式的实例的平均适应值超过均值，
5
第2章 搜索技术
2.4.1 局部搜索与最优化问题
• 局部搜索算法的优点：
• 只使用很少的内存(通常是一个常数) • 经常能在不适合系统化算法的很大或无限的
状态空间中找到合理的解
• 最优化问题—根据一个目标函数找到最佳 状态 / 只有目标函数，而不考虑(没有) “目标测试”和“路径耗散”
• 局部搜索算法适用于最优化问题
• 接受概率=eΔE/T(注意此时ΔE <0)
14
第5章 搜索技术
模拟退火的解决思路(2)
• 温度T是时间的函数，按照模拟退火的思 想，数值应该逐渐减小(降温)
• 因为接受概率=eΔE/T且ΔE <0，所以当温
度高时，接受概率较大(接近1) / 而T越
来越低时，ΔE/T变大，因而接受概率降
低 • 可以证明，如果T下降得足够慢，则算法
6
第2章 搜索技术
状态空间地形图(1)
目标函 数
全局最大 值
山肩
局部最大 值
“平坦”局部最大 值
当前状 态
状态空 间
7
第2章 搜索技术
状态空间地形图(2)
• 在状态图中，既有“位置”(用状态表示) 又有“高度”(用耗散值或目标函数值表 示)
• 如果高度对应于耗散值，则目标是找到全局 最小值，即图中最低点
变量的赋值范围
• CSP的一个状态—对一些或全部变量的赋值 {Xi=vi, Xj=vj, …}
24
第2章 搜索技术
CSP问题的解
• 一个不违反任何约束的对变量的赋值称 为相容赋值或合法赋值
• 对每个变量都进行赋值称为完全赋值 • 一个(一组)既是相容赋值又是完全赋值的
对变量的赋值就是CSP问题的解
• 变异—在新生成的串中各个位置都会按 照一个独立的小概率随机变异
19
第2章 搜索技术
遗传算法简要描述
(1)定义问题和目标函数 (2)选择候选解作为初始种群，每个解作为个体用
二进制串表示(个体相当于染色体，其中的元素 相当于基因) (3)根据目标函数，对于每个个体计算适应函数值 (4)为每个个体指定一个与其适应值成正比的被选 择概率(繁殖概率) (5)根据概率选择个体，所选个体通过交叉/变异 等操作产生新一代种群
• 若CSP问题的任何一个变量的最大值域为 d，那么可能的完全赋值数量为O(dn)
• 有限值域CSP问题包括布尔CSP问题—其 中有一些NP完全问题，如3SAT问题(命 题逻辑语句的可满足性) / 最坏情况下不 会指望低于指数级时间复杂性解决该问 题
32
第2章 搜索技术
2.5.2 CSP的回溯搜索
33
第2章 搜索技术
简单回溯法生成的搜索树
• 澳大利亚地图染色问题的搜索树
WA=red
WA=green
WA=red NT=green
人工智能原理2章搜索技术下
第2章 搜索技术
本章内容
2.1 搜索与问题求解 2.2 无信息搜索策略 2.3 启发式搜索策略 2.4 局部搜索算法 2.5 约束满足问题 2.6 博弈搜索 参考书目
附录 A*算法可采纳性的证明
第2章 搜索技术
局部搜索算法的应用
• 集成电路设计 • 工厂场地布局 • 车间作业调度 • 自动程序设计 • 电信网络优化 • 车辆寻径 • 文件夹管理
塔斯马尼亚
27
第5章 搜索技术
例1：澳大利亚地图染色问题(2)
• 对应于澳大利亚地图的约束图,相互关联的节点 用边连接
•西澳大利亚 – WA
•北领地 – NT
NT Q
•南澳大利亚 – SA
WA
•昆士兰 – Q •新南威尔士 – NSW
SA
NSW
•维多利亚 – V
V
•塔斯马尼亚 – T
•一组满足约束的完全赋值
• 爬山法是一种局部贪婪搜索，不是最优解 算法(或是不完备的) / 其问题是：
• 局部极大值—比其邻居状态都高的顶峰，但是 小于全局最大值(参照状态空间地形图)
• 山脊—一系列的局部极大值 • 高原—评价函数平坦的一块区域(或者山肩)
11
第2章 搜索技术
爬山法搜索的变形
• 爬山法的变形
• 随机爬山法—随机选择下一步 • 首选爬山法—随机选择直到有优于当前节点的
找到全局最优解的概率接近1
15
第2章 搜索技术
2.4.4 局部剪枝搜索
• 基本思想—与只从一个单独的起始状态 出发不同，局部剪枝搜索从k个随机生成 的状态开始，每步生成全部k个状态的所 有后继状态 / 如果其中之一是目标状态， 算法停止；否则从全部后继状态中选择 最佳的k个状态继续搜索
• 在局部剪枝搜索过程中，有用的信息在k 个并行的搜索线程之间传递—算法会很 快放弃没有成果的搜索而把资源放在取 得最大进展的搜索上
• CSP问题常常可以可视化，表示为约束图， 更直观地显示问题，帮助思考问题的答 案
25
第2章 搜索技术
从搜索角度看待CSP问题
• CSP看作搜索问题的形式化
• 初始状态—空赋值集合，所有变量都是未赋 值的
• 后继函数—给未赋值的变量一个赋值，要求 该赋值与先前的变量赋值不冲突
• 目标测试—测试当前的赋值(组)是否是完全 赋值
(线性约束/非线性约束)
• 变量—连续值域
• 如哈勃望远镜实验日程安排 / 线性规划问题
• 约束的类型
• 一元约束—只限制一个变量的取值 • 二元约束与2个变量相关 • 高阶约束—涉及3个或更多变量
31
第2章 搜索技术
CSP问题求解的复杂度
• 搜索相容的完全赋值，最朴素的想法是 依次取变量的赋值组合并检查其是否满 足约束条件指数级计算量
下一步 • 随机重新开始爬山法—随机生成初始状态，进
行一系列爬山法搜索—这时算法是完备的概率 接近1
12
第2章 搜索技术
2.4.3 模拟退火搜索
• 将爬山法(停留在局部山峰)和随机行走 以某种方式结合，以同时获得完备性和 效率
• 模拟退火的思想
• 想象在不平的表面上如何使一个乒乓球掉到 最深的裂缝中—如果只让其在表面滚动，则 它只会停留在局部极小点 / 如果晃动平面， 可以使乒乓球弹出局部极小点 / 技巧是晃 动足够大使乒乓球弹出局部极小点，但又不 能太大把它从全局极小点中赶出
则种群内这个模式的实例数量会随时间而增 长
• 遗传算法在模式和解的有意义成分相对应时 才会工作得最好
• 遗传算法有很多应用，但是在什么情况 下它会达到好效果，还有很多研究要做
22
第2章 搜索技术
2.5 约束满足问题
2.5.1 约束满足问题的定义 2.5.2 CSP的回溯搜索
2.5.3 变量赋值次序的启发式 2.5.4 变量约束的启发式
价值(适应值) • 随后的操作包括—选择/杂交/变异
• 如果存在解，则完备的局部搜索算法能够找 到解
• 而最优的局部搜索算法能够找到全局最大或 最小值
8
第2章 搜索技术
局部搜索算法
• 本节简要介绍以下4种局部搜索算法 / 介绍其算法思想
• 爬山法搜索
• 模拟退火搜索
• 局部剪枝搜索
• 遗传算法
• 从搜索的角度看遗传算法也是搜索假设空间 的一种方法(学习问题归结为搜索问题)—生 成后继假设的方式
9
第2章 搜索技术
2.4.2 爬山法搜索
• 爬山法(hill-climbing)—就是向值增加的方向持 续移动—登高过程 / 如果相邻状态中没有比它 更高的值，则算法结束于顶峰
• 爬山法搜索算法思想：
2.5.5 关于失败变量的启发式
第2章 搜索技术
2.5.1 约束满足问题的定义
• 约束满足问题(Constraint Satisfying Problem, CSP)由一个变量集合{X1~Xn}和一个约束集 合{C1~Cm}定义
• 每个变量都有一个非空可能值域Di • 每个约束指定了包含若干变量的一个子集内各
• CSP问题具有一个性质：可交换性—变量 赋值的顺序对结果没有影响 / 所有CSP搜 索算法生成后继节点时，在搜索树每个 节点上只考虑单个变量的可能赋值
• CSP问题的求解使用深度优先的回溯搜索 • 算法思想：
• 每次给一个变量赋值，当没有合法赋值(不 满足约束时)就要推翻前一个变量的赋值， 重新给其赋值，这就是回溯
(1)令初始状态S0为当前状态
(2)若当前状态已经达标，则算法运行结束，搜索成 功
(3)若存在一个动作可以作用于当前状态以产生一个
新状态，使新状态的估计值优于当前状态的估计
值，则放弃当前状态，并令刚产生的新状态为当
前状态，转(2)
(4)取当前状态为相对最优解，停止执行算法
10
第2章 搜索技术
爬山法搜索的局限
13
第5章 搜索技术
模拟退火的解决思路(1)
• 思路—开始使劲晃动(先高温加热)然后 慢慢降低摇晃的强度(逐渐降温)[退火过 程]
• 算法的核心—移动选择
• 选择随机移动，如果评价值改善，则移动被 接受，否则以某个小于1的概率接受
• 概率按照移动评价值变坏的梯度ΔE而呈指
数级下降 / 同时也会随着作为控制的参 数—“温度”T的降低(数值减小)而降低
• 所谓有用的砖块，就是几个结合起来可以构 造问题的解—参见书中的八皇后问题举例
21
第2章 搜索技术
遗传算法的模式
• 遗传算法上述特点可以用模式(schema)来 解释—模式是某些位置上的数字尚未确 定的一个状态子串
• 能够匹配模式的字符串称为该模式的实例 • 如果一个模式的实例的平均适应值超过均值，
5
第2章 搜索技术
2.4.1 局部搜索与最优化问题
• 局部搜索算法的优点：
• 只使用很少的内存(通常是一个常数) • 经常能在不适合系统化算法的很大或无限的
状态空间中找到合理的解
• 最优化问题—根据一个目标函数找到最佳 状态 / 只有目标函数，而不考虑(没有) “目标测试”和“路径耗散”
• 局部搜索算法适用于最优化问题
• 接受概率=eΔE/T(注意此时ΔE <0)
14
第5章 搜索技术
模拟退火的解决思路(2)
• 温度T是时间的函数，按照模拟退火的思 想，数值应该逐渐减小(降温)
• 因为接受概率=eΔE/T且ΔE <0，所以当温
度高时，接受概率较大(接近1) / 而T越
来越低时，ΔE/T变大，因而接受概率降
低 • 可以证明，如果T下降得足够慢，则算法
6
第2章 搜索技术
状态空间地形图(1)
目标函 数
全局最大 值
山肩
局部最大 值
“平坦”局部最大 值
当前状 态
状态空 间
7
第2章 搜索技术
状态空间地形图(2)
• 在状态图中，既有“位置”(用状态表示) 又有“高度”(用耗散值或目标函数值表 示)
• 如果高度对应于耗散值，则目标是找到全局 最小值，即图中最低点
变量的赋值范围
• CSP的一个状态—对一些或全部变量的赋值 {Xi=vi, Xj=vj, …}
24
第2章 搜索技术
CSP问题的解
• 一个不违反任何约束的对变量的赋值称 为相容赋值或合法赋值
• 对每个变量都进行赋值称为完全赋值 • 一个(一组)既是相容赋值又是完全赋值的
对变量的赋值就是CSP问题的解
• 变异—在新生成的串中各个位置都会按 照一个独立的小概率随机变异
19
第2章 搜索技术
遗传算法简要描述
(1)定义问题和目标函数 (2)选择候选解作为初始种群，每个解作为个体用
二进制串表示(个体相当于染色体，其中的元素 相当于基因) (3)根据目标函数，对于每个个体计算适应函数值 (4)为每个个体指定一个与其适应值成正比的被选 择概率(繁殖概率) (5)根据概率选择个体，所选个体通过交叉/变异 等操作产生新一代种群
• 若CSP问题的任何一个变量的最大值域为 d，那么可能的完全赋值数量为O(dn)
• 有限值域CSP问题包括布尔CSP问题—其 中有一些NP完全问题，如3SAT问题(命 题逻辑语句的可满足性) / 最坏情况下不 会指望低于指数级时间复杂性解决该问 题
32
第2章 搜索技术
2.5.2 CSP的回溯搜索
33
第2章 搜索技术
简单回溯法生成的搜索树
• 澳大利亚地图染色问题的搜索树
WA=red
WA=green
WA=red NT=green
人工智能原理2章搜索技术下
第2章 搜索技术
本章内容
2.1 搜索与问题求解 2.2 无信息搜索策略 2.3 启发式搜索策略 2.4 局部搜索算法 2.5 约束满足问题 2.6 博弈搜索 参考书目
附录 A*算法可采纳性的证明
第2章 搜索技术
局部搜索算法的应用
• 集成电路设计 • 工厂场地布局 • 车间作业调度 • 自动程序设计 • 电信网络优化 • 车辆寻径 • 文件夹管理
塔斯马尼亚
27
第5章 搜索技术
例1：澳大利亚地图染色问题(2)
• 对应于澳大利亚地图的约束图,相互关联的节点 用边连接
•西澳大利亚 – WA
•北领地 – NT
NT Q
•南澳大利亚 – SA
WA
•昆士兰 – Q •新南威尔士 – NSW
SA
NSW
•维多利亚 – V
V
•塔斯马尼亚 – T
•一组满足约束的完全赋值
• 爬山法是一种局部贪婪搜索，不是最优解 算法(或是不完备的) / 其问题是：
• 局部极大值—比其邻居状态都高的顶峰，但是 小于全局最大值(参照状态空间地形图)
• 山脊—一系列的局部极大值 • 高原—评价函数平坦的一块区域(或者山肩)
11
第2章 搜索技术
爬山法搜索的变形
• 爬山法的变形
• 随机爬山法—随机选择下一步 • 首选爬山法—随机选择直到有优于当前节点的
找到全局最优解的概率接近1
15
第2章 搜索技术
2.4.4 局部剪枝搜索
• 基本思想—与只从一个单独的起始状态 出发不同，局部剪枝搜索从k个随机生成 的状态开始，每步生成全部k个状态的所 有后继状态 / 如果其中之一是目标状态， 算法停止；否则从全部后继状态中选择 最佳的k个状态继续搜索
• 在局部剪枝搜索过程中，有用的信息在k 个并行的搜索线程之间传递—算法会很 快放弃没有成果的搜索而把资源放在取 得最大进展的搜索上
• CSP问题常常可以可视化，表示为约束图， 更直观地显示问题，帮助思考问题的答 案
25
第2章 搜索技术
从搜索角度看待CSP问题
• CSP看作搜索问题的形式化
• 初始状态—空赋值集合，所有变量都是未赋 值的
• 后继函数—给未赋值的变量一个赋值，要求 该赋值与先前的变量赋值不冲突
• 目标测试—测试当前的赋值(组)是否是完全 赋值
(线性约束/非线性约束)
• 变量—连续值域
• 如哈勃望远镜实验日程安排 / 线性规划问题
• 约束的类型
• 一元约束—只限制一个变量的取值 • 二元约束与2个变量相关 • 高阶约束—涉及3个或更多变量
31
第2章 搜索技术
CSP问题求解的复杂度
• 搜索相容的完全赋值，最朴素的想法是 依次取变量的赋值组合并检查其是否满 足约束条件指数级计算量
下一步 • 随机重新开始爬山法—随机生成初始状态，进
行一系列爬山法搜索—这时算法是完备的概率 接近1
12
第2章 搜索技术
2.4.3 模拟退火搜索
• 将爬山法(停留在局部山峰)和随机行走 以某种方式结合，以同时获得完备性和 效率
• 模拟退火的思想
• 想象在不平的表面上如何使一个乒乓球掉到 最深的裂缝中—如果只让其在表面滚动，则 它只会停留在局部极小点 / 如果晃动平面， 可以使乒乓球弹出局部极小点 / 技巧是晃 动足够大使乒乓球弹出局部极小点，但又不 能太大把它从全局极小点中赶出
则种群内这个模式的实例数量会随时间而增 长
• 遗传算法在模式和解的有意义成分相对应时 才会工作得最好
• 遗传算法有很多应用，但是在什么情况 下它会达到好效果，还有很多研究要做
22
第2章 搜索技术
2.5 约束满足问题
2.5.1 约束满足问题的定义 2.5.2 CSP的回溯搜索
2.5.3 变量赋值次序的启发式 2.5.4 变量约束的启发式
价值(适应值) • 随后的操作包括—选择/杂交/变异