计算理论概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
复杂性的应用
-密码学（难的妙用） -密钥 -公钥密码系统 -单向函数 -天窗函数
计算理论的地位和作用
• 计算机学科的基石 • 令人着迷、引人入胜的领域 • 受到优秀的数学家、哲学家、逻辑学家和物
理学家等的青睐 • 起源于上世纪30年代，成型于70年代，现在
依然充满活力 • 计算机科学领域其他学科和方向的思想源泉、
内容提要
• 什么是计算 • 什么是计算理论 • 计算理论的核心问题 • 计算理论的主要内容 • 计算理论的地位和作用 • 现代问题求解方法 • 展望
什么是计算
--两类典型的计算问题
• 从计数到计算
实算物筹-计运数算-技屈巧指（计古数代-结中绳国刘计称徽数术-）刻符-算计术数祖（-冲整发之数明运数算字）-数亚 多制里德数士系
数值计算问题求解 计算方法
• 从逻辑到计算
古希腊哲学家和数学家发展逻辑学和逻辑演绎方法 十九世纪数理逻辑问世将逻辑与计算联系起来 通过计算进行逻辑演绎，通过逻辑推理实现计算-符号运算 非数值计算问题求解 组合优化方法
什么是计算
--不只是工匠
• 算法与计算
欧几里得
算法（Algorithm)一词来源于古阿拉伯一本数学名著的书名， 指的是一种计算过程—问题的求解过程，具有如下性质：
（1）通用性-适用于某类问题的求解
（2）能行性-有明确的求解步骤
（3）确定性-每个步骤都是机械的、明确的，无歧义
（4）有穷性-对某些输入在有限步内结束，并给出结果
（5）离散性-输入输出是离散的符号（数字和字母）
问题的求解是计算，求解算法中的每个步骤是计算
计算的过程是算法，算法又由计算步骤构成 计算的目的由算法实现，算法的执行由计算完成
• 自然计算方法
演化计算、蚁群算法、粒子群优化方法、人工免 疫系统、模糊计算
蚁群算法概述
• 受蚂蚁觅食行为的的启发，90年代Dorigo提出蚁群优化算法 (Ant Colony Optimization，ACO)求解TSP问题
• 设计虚拟的“蚂蚁”，摸索不同路线，并留下会随时间挥发 的虚拟“信息素”
理论基础和方法之本 • 多学科交叉的纽带，新兴学科方向的拐点
现代问题求解方法
—源于复杂性
复杂问题求解
实际 应用领域 的需求
复杂系统
面临困境 与挑战
复杂信息处理
信息时代的呼唤
•工业时代
能量资源-创造动力的工具获得能量
•物理学、化学
创造动力工具的理论基础
•信息时代
信息资源-创造智能的工具获得智能
•智能计算理论
• 从自然与社会系统中获得灵感
如蚂蚁算法、禁忌搜索和粒子群优化方法，模糊计算及模糊 系统、粗造集及其系统
相互关系
计算智能与人工智能的界限并非十分明显，1992年Bezdek给出了一 个有趣的关系图，其中 NN—神经网络，PR—模式识别，I—智能 • A－Artificial， 表示人工的（非生物的），即人造的 • B－Biological， 表示物理的＋化学的＋（？？）＝生物的 • C－Computational， 表示数学＋计算机
图灵机-跳不出的如来佛手心 递归函数-以有穷构造无穷的必由之路 λ演算-严格的函数运算 乔姆斯基范型-语言与文法 计算机（物化的计算模型）、算法与高级语言
什么是计Βιβλιοθήκη Baidu理论
问题求解
计算复杂性理论
问题描述
问题模型
是
否
可解？
可计算性理论
计算模型、算法、 程序、复杂性
计算理论
问题特征、分类 不可解证明
计算理论的核心问题
ABC的关系图 计算智能是一种智力方式的低层认知，传统人工智能 是中层认知，中层系统含有知识，当一个智能计算系 统以非数值方式加上知识值，则为人工智能系统
自然计算
• 自然计算的含义
学习、运用自然规律，模拟自然系统乃至社会系 统的演变过程的智能计算方法，借鉴自然科学学 科的原理和理论进行问题的求解方法
什么是计算
--从工匠到设计师 • 计算机械化与现代化
计算技术发展：个人的才智与技能-大众技能-计算工具 -自动化-现代化 早期工具：算筹-算盘-计算尺-手摇计算机（早期发报机） 现代工具：电子计算机（器）-超级计算机-网络 无处不在的计算：计算网格与云计算-物联网与普适计算
• 计算模型-万变不离其中
斯蒂芬 库克
-P类问题与NP类问题的定义（图灵机）
NP完全理论
-NP完全问题的定义
-库克（Cook）定理及其证明（1971）
-库克定理的意义、可归约性方法
空间复杂性及其定义
难解性与层次定理-问题难度的分类与层次
• 复杂性理论高级专题
近似算法
-局部搜索法 -概率算法 -现代启发式算法 -自然与演化计算方法
相 • 计算模型及其计算能力
相
互
辅
关 • 问题是否可解-可计算性 相
联 • 问题是否难解-计算复杂性 成
计算理论的主要内容
• 丘奇-图灵论题
图灵
图灵-图灵机（TM）
丘奇-λ演算—递归函数论
算法可计算函数都是递归函数，也是图灵机可计算 函数，可称为计算公理—从直观到严格的数学定义
从计算能力考查—
各计算模型是等价的 图灵机的各种变形是等价的
• 根据“信息素较浓，则路径更短”的原则，每只蚂蚁每次随 机选择要走的路径，但倾向于信息素比较浓的路径
• 算法利用了正反馈机制，使得较短的路径能够有较大的机会 得到选择
• ACO已成功用于解决其他组合优化问题 图的着色(Graph Coloring)问题 最短超串(Shortest Common Supersequence)问题 网络路由问题
蚁群觅食原理
蚂蚁从蚁穴出发觅食，可沿AC找到食物，也可沿ABC找到，如右图。 每个蚂蚁找到食物后沿原路返回，并在路上留下外激素。
歌德尔
算法求解问题的能力与图灵机一样
单机与超级计算机等价
• 可计算性理论
可判定性 可判定性的定义（图灵机） 有不可判定的问题吗？ -停机问题 -怎样证明 怎样证明其他问题的不可判定性？ -可归约性方法
可计算性理论的数学背景 -不可计算的根源
康托 罗素
• 计算复杂性理论
时间复杂性及其定义 P与NP理论
创造智能工具的理论基础
现代启发式计算-回归自然
• 自下而上的研究思路
传统人工智能研究思路是自上而下，现代智能计算方法强调 通过计算实现生物内在的智能行为，也称为计算智能
• 从简单到复杂的演化进程
智能的获得不是一蹴而就，是渐进式的积累过程，简单中孕 育复杂，平凡中蕴含智慧
• 在传统学科中寻找算法
如生命科学（遗传算法）、物理学（模拟退火算法）和化学 （DNA计算）等
-密码学（难的妙用） -密钥 -公钥密码系统 -单向函数 -天窗函数
计算理论的地位和作用
• 计算机学科的基石 • 令人着迷、引人入胜的领域 • 受到优秀的数学家、哲学家、逻辑学家和物
理学家等的青睐 • 起源于上世纪30年代，成型于70年代，现在
依然充满活力 • 计算机科学领域其他学科和方向的思想源泉、
内容提要
• 什么是计算 • 什么是计算理论 • 计算理论的核心问题 • 计算理论的主要内容 • 计算理论的地位和作用 • 现代问题求解方法 • 展望
什么是计算
--两类典型的计算问题
• 从计数到计算
实算物筹-计运数算-技屈巧指（计古数代-结中绳国刘计称徽数术-）刻符-算计术数祖（-冲整发之数明运数算字）-数亚 多制里德数士系
数值计算问题求解 计算方法
• 从逻辑到计算
古希腊哲学家和数学家发展逻辑学和逻辑演绎方法 十九世纪数理逻辑问世将逻辑与计算联系起来 通过计算进行逻辑演绎，通过逻辑推理实现计算-符号运算 非数值计算问题求解 组合优化方法
什么是计算
--不只是工匠
• 算法与计算
欧几里得
算法（Algorithm)一词来源于古阿拉伯一本数学名著的书名， 指的是一种计算过程—问题的求解过程，具有如下性质：
（1）通用性-适用于某类问题的求解
（2）能行性-有明确的求解步骤
（3）确定性-每个步骤都是机械的、明确的，无歧义
（4）有穷性-对某些输入在有限步内结束，并给出结果
（5）离散性-输入输出是离散的符号（数字和字母）
问题的求解是计算，求解算法中的每个步骤是计算
计算的过程是算法，算法又由计算步骤构成 计算的目的由算法实现，算法的执行由计算完成
• 自然计算方法
演化计算、蚁群算法、粒子群优化方法、人工免 疫系统、模糊计算
蚁群算法概述
• 受蚂蚁觅食行为的的启发，90年代Dorigo提出蚁群优化算法 (Ant Colony Optimization，ACO)求解TSP问题
• 设计虚拟的“蚂蚁”，摸索不同路线，并留下会随时间挥发 的虚拟“信息素”
理论基础和方法之本 • 多学科交叉的纽带，新兴学科方向的拐点
现代问题求解方法
—源于复杂性
复杂问题求解
实际 应用领域 的需求
复杂系统
面临困境 与挑战
复杂信息处理
信息时代的呼唤
•工业时代
能量资源-创造动力的工具获得能量
•物理学、化学
创造动力工具的理论基础
•信息时代
信息资源-创造智能的工具获得智能
•智能计算理论
• 从自然与社会系统中获得灵感
如蚂蚁算法、禁忌搜索和粒子群优化方法，模糊计算及模糊 系统、粗造集及其系统
相互关系
计算智能与人工智能的界限并非十分明显，1992年Bezdek给出了一 个有趣的关系图，其中 NN—神经网络，PR—模式识别，I—智能 • A－Artificial， 表示人工的（非生物的），即人造的 • B－Biological， 表示物理的＋化学的＋（？？）＝生物的 • C－Computational， 表示数学＋计算机
图灵机-跳不出的如来佛手心 递归函数-以有穷构造无穷的必由之路 λ演算-严格的函数运算 乔姆斯基范型-语言与文法 计算机（物化的计算模型）、算法与高级语言
什么是计Βιβλιοθήκη Baidu理论
问题求解
计算复杂性理论
问题描述
问题模型
是
否
可解？
可计算性理论
计算模型、算法、 程序、复杂性
计算理论
问题特征、分类 不可解证明
计算理论的核心问题
ABC的关系图 计算智能是一种智力方式的低层认知，传统人工智能 是中层认知，中层系统含有知识，当一个智能计算系 统以非数值方式加上知识值，则为人工智能系统
自然计算
• 自然计算的含义
学习、运用自然规律，模拟自然系统乃至社会系 统的演变过程的智能计算方法，借鉴自然科学学 科的原理和理论进行问题的求解方法
什么是计算
--从工匠到设计师 • 计算机械化与现代化
计算技术发展：个人的才智与技能-大众技能-计算工具 -自动化-现代化 早期工具：算筹-算盘-计算尺-手摇计算机（早期发报机） 现代工具：电子计算机（器）-超级计算机-网络 无处不在的计算：计算网格与云计算-物联网与普适计算
• 计算模型-万变不离其中
斯蒂芬 库克
-P类问题与NP类问题的定义（图灵机）
NP完全理论
-NP完全问题的定义
-库克（Cook）定理及其证明（1971）
-库克定理的意义、可归约性方法
空间复杂性及其定义
难解性与层次定理-问题难度的分类与层次
• 复杂性理论高级专题
近似算法
-局部搜索法 -概率算法 -现代启发式算法 -自然与演化计算方法
相 • 计算模型及其计算能力
相
互
辅
关 • 问题是否可解-可计算性 相
联 • 问题是否难解-计算复杂性 成
计算理论的主要内容
• 丘奇-图灵论题
图灵
图灵-图灵机（TM）
丘奇-λ演算—递归函数论
算法可计算函数都是递归函数，也是图灵机可计算 函数，可称为计算公理—从直观到严格的数学定义
从计算能力考查—
各计算模型是等价的 图灵机的各种变形是等价的
• 根据“信息素较浓，则路径更短”的原则，每只蚂蚁每次随 机选择要走的路径，但倾向于信息素比较浓的路径
• 算法利用了正反馈机制，使得较短的路径能够有较大的机会 得到选择
• ACO已成功用于解决其他组合优化问题 图的着色(Graph Coloring)问题 最短超串(Shortest Common Supersequence)问题 网络路由问题
蚁群觅食原理
蚂蚁从蚁穴出发觅食，可沿AC找到食物，也可沿ABC找到，如右图。 每个蚂蚁找到食物后沿原路返回，并在路上留下外激素。
歌德尔
算法求解问题的能力与图灵机一样
单机与超级计算机等价
• 可计算性理论
可判定性 可判定性的定义（图灵机） 有不可判定的问题吗？ -停机问题 -怎样证明 怎样证明其他问题的不可判定性？ -可归约性方法
可计算性理论的数学背景 -不可计算的根源
康托 罗素
• 计算复杂性理论
时间复杂性及其定义 P与NP理论
创造智能工具的理论基础
现代启发式计算-回归自然
• 自下而上的研究思路
传统人工智能研究思路是自上而下，现代智能计算方法强调 通过计算实现生物内在的智能行为，也称为计算智能
• 从简单到复杂的演化进程
智能的获得不是一蹴而就，是渐进式的积累过程，简单中孕 育复杂，平凡中蕴含智慧
• 在传统学科中寻找算法
如生命科学（遗传算法）、物理学（模拟退火算法）和化学 （DNA计算）等