第 1 章 智能信息处理课程概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
IIP’2012-2013(1)
25
模糊计算技术—粗糙集理论
粗糙集理论是一种新的处理模糊和不确定性知识的数学工具。 其主要思想就是在保持分类能力不变的前提下，通过知识约 简，导出问题的决策或分类规则。 当今社会已经进入了网络信息时代，计算机与网络信息技术 的飞速发展使得各个领域的数据和信息急剧增加（信息爆 炸），并且由于人类的参与使数据与信息系统中的不确定性 更加显著（复杂系统）。 如何从大量的、杂乱无章的、强干扰的数据（海量数据）中 挖掘潜在的、有利用价值的信息（有用知识）, 这给人类的 智能信息处理能力提出了前所未有的挑战。
模糊理论的基本出发点：从而引出一个极其简单 而又重要的思想：任何事情都离不开隶属程度这 样一个概念。
IIP’2012-2013(1)
24
Biblioteka Baidu
模糊计算技术—模糊集合和模糊理论
模糊理论源于美国，但长期以来受学派之争的束缚，实际应用 进展缓慢。 到20世纪80年代后期，在日本以家用电器广泛使用模糊控制 作为突破口，使模糊逻辑的实际应用获得迅速发展。 20世纪90年代初，美国已醒悟到“美国人的理论却让日本人 赚钱”的教训，工业界也已行动起来。
IIP’2012-2013(1)
5
智能ABC
由数学方法和计算机 实现的，CI的来源是 数值计算和传感器
C(数值）
计算智能 (Computational Intelligence，CI） 人工智能(Artifical Intelligence,AI)
是非物质的，是人造的， 常用符号表示，AI的来 源是人的知识精华和传 感器数据） 由人脑的物理化学 过程反映出来,人 脑是有机物,它是 智能的物质基础
18
神经计算技术—神经网络
传统的符号主义与其不同。
符号主义认为，认知的基本元素是符号，认知过 程是对符号表示的运算。
人类的语言、文字、思维均可用符号来描述，而 且思维过程只不过是这些符号的存储、变换和输 入、输出而已。 以这种方法实现的系统具有串行、线性、准确、 易于表达的特点，体现了逻辑思维的基本特性。 20世纪70年代的专家系统和80年代日本的第五代 计算机研制计划就体现了典型的符号主义思想。
IIP’2012-2013(1)
16
神经计算技术—神经网络
5) 神经网络具有鲁棒性，即信息分布于整个网络各 个权重变换之中，某些单元的障碍不会影响网络 的整体信息处理功能。
6) 神经网络具有较好的容错性，即在只有部分输入 条件，甚至包含了错误输入条件的情况下，网络 也能给出正确的解。
7) 神经网络在处理自然语言理解、图像识别、智能 机器人控制等疑难问题方面具有独到的优势。
13
IIP’2012-2013(1)
神经计算技术—脑神经系统
脑神经系统是以离子电流机构为基础的由神经细 胞组成的非线性的(Nonlinear)、适应的 (Adaptive)、并行的(Parallel)和模拟的(Analog) 网络(Network)，简称NAPAN。 在脑神经系统中，信息的收集、处理和传送都在 细胞上进行。 各个细胞基本上只有兴奋与抑制两种状态。 神经细胞的响应速度是毫秒级，比半导体器件要 慢得多。
IIP’2012-2013(1)
7
智能计算的两个重要特征
1） 智能计算与传统人工智能不同，主要依赖的是 生产者提供的数字材料，而不是依赖于知识；它主 要借助数学计算方法(特别是与数值相联系的计算方 法)的使用。
一方面，具有明显的数值计算信息处理特征；
另一方面，强调用“计算”的方法来研究和处理智能 问题。 CI中计算的概念在内涵上已经加以拓广和加深。一般 地，在解空间进行搜索的过程都被称为计算。
IIP’2012-2013(1)
2
1.1 智能信息处理的产生及发展
测量技术 传感技术
网络技术
智能技术
信息 获取
信息 传输
信息 处理
信息 应用
智能 感知
IIP’2012-2013(1)
图1.1 信息技术的四个组成部分及其信息链
可靠 传递
智能 思维
智能 行为
3
信息
• 信息（Information），一般可理解为消息、情报 或知识。例如，
IIP’2012-2013(1)
19
神经计算技术—神经网络
基于符号主义的传统人工智能和基于联接主义的 神经网络分别描述了人脑左、右半脑的功能(逻 辑思维、形象思维)， 反映了人类智能的两重性：
一方面是精确处理，对应认知过程的理性方面。
另一方面是非精确处理，对应认知过程的感性方面。
两者的关系是互补的，不能相互替代。 理想的智能系统及其表现的智能行为应是两者相 互结合的结果。
构造具有脑智能的人工智能信息处理系统，可以解决传统方法所不 能或难以解决的问题（大脑是人的智能、思维、意识等一切高级活 动的物质基础）。 以联接机制为基础的神经网络具有大量的并行性、巨量的互连性、 存储的分布性、高度的非线性、高度的容错性、结构的可变性、计 算的非精确性等特点。
基于神经计算的智能信息处理是模拟人类形象思维、联想记 忆等高级精神活动的人工智能信息处理系统。
这种智能实际上体现了人类的逻辑思维方式，主要应用串 行工作程序按照一些推理规则一步一步进行计算和操作， 目前应用领域很广。 其发展速度已不太适应社会信息数量增长速度的需求，因 而促使人们注意到新型智能信息处理系统的研究。
IIP’2012-2013(1)
11
基于神经计算的智能信息处理
ANN是模仿延伸人脑认知功能的新型智能信息处理系统。
IIP’2012-2013(1)
4
智能
智能就是智慧和能力，是个体有目的的行为，合理 的思维，以及有效的适应环境的综合性能力 个体认识客观事务和运用知识解决问题的能力。
人们常把传感器比作人的感官，计算机比作人的大脑。 从信息化角度出发，“智能”应体现在三个方面，即： 感知，信息的获取； 思维，信息的处理； 行为，信息的利用。
在这一理论中发展出的支持向量机方法是一种新 的通用学习机器，较以往方法表现出很多理论和 实践上的优势。
IIP’2012-2013(1)
22
模糊计算技术—模糊集合和模糊理论
1965年，美国加州大学伯克莱分校L．Zadeh教授 发表了著名的论文“Fuzzy Sets”(模糊集)，开 创了模糊理论。 经历近三十年的曲折，这一领域已取得长足的进 步，Zadeh也被国际上誉为“模糊之父”。 最近十年来，模糊理论又在实际应用中获得重大 突破，作为一种高新技术还在迅速发展，
IIP’2012-2013(1)
14
神经计算技术—神经网络
人工神经网络是对真实脑神经系统构造和功能予 以极端简化的模型。
神经网络的主要特征是大规模的并行处理、分布 式的信息存储、良好的自适应性、自组织性以及 很强的学习功能、联想功能和容错功能。
与冯·诺依曼计算机相比，神经网络的信息处理 模式更加接近人脑。 主要表现在以下几个方面：
IIP’2012-2013(1)
15
神经计算技术—神经网络
1) 能够处理连续的模拟信号(例如连续变换的图像 信号)。 2) 能够处理不精确的、不完全的模糊信息。 3) 冯·诺依曼计算机给出的是精确解，神经网络给 出的是次最优的逼近解。 4) 神经网络并行分布工作，各组成部分同时参与运 算；单个神经元的动作速度不快，但网络总体的 处理速度极快。
– 语言文字是社会信息； – 商品报导是经济信息； – 遗传密码是生物信息等。
• 从物理学观点出发来考察，信息是物质所固有的， 是其客观存在或运动状态的特征。
– 信息本身不是物质，不具有能量，但信息的传输却依靠 物质能量。 – 一般来说，传输信息的载体称为信号（Signal），信息 蕴涵于信号之中。
能联想记忆和从部分信息中获得全部信息。分布式存储和自组织性， 而使系统连接线即使被破坏了50％，它仍能处在优化工作状态，这 在军事电子系统设备中有着特别重要的意义。
IIP’2012-2013(1)
12
1.2 智能信息处理的主要技术
神经计算技术
神经网络(Artifical Neural Network,ANN) 主元分析(Principal Component Analysis, PCA) 支持向量机(Support Vector Machine, SVM)
IIP’2012-2013(1)
21
神经计算技术—支持向量机
支持向量机（support vector machine, SVM）是 建立统计学习理论基础上的一种新型的神经网络。 统计学习理论是针对小样本情况研究统计学习规 律的理论，是传统统计学的重要发展和补充，为 研究有限样本情况下机器学习的理论和方法提供 了理论框架，其核心思想是通过控制学习机器的 容量实现对推广能力的控制。
IIP’2012-2013(1)
8
智能计算的两个重要特征
2） 智能计算的积极意义在于：
促进基于计算的或基于计算和基于符号物理相结合 的各种智能理论、模型、方法的综合集成，
以便在智能计算这个主题下发展思想更先进、功能 更强大、能够解决更复杂问题的大系统的智能科学 成果。
IIP’2012-2013(1)
IIP’2012-2013(1)
20
神经计算技术—主元分析
主元分析（principal component analysis, PCA）就是这样的一种降维技术。 是神经计算中近些年来发展的一种方法，通过把 数据投影到能够准确表征过程状态的低维空间， 降维技术可以简化和改进过程监控过程。 它以某种方式产生低维表示，这种方式保留了过 程变量间的关系结构，按获取数据的变化度来说 是最优的。
预计21世纪它将成为信息科学中的核心技术之一。
IIP’2012-2013(1)
23
模糊计算技术—模糊集合和模糊理论
Zadeh教授当初曾提出过一个著名的不相容原理： “随着系统复杂性增加，人们对系统进行精确而 有效地描述的能力会降低，直至一个阈值，精确 和有效成为互斥”。
其实质在于：真实世界中的问题，概念往往没有 明确的界限，而传统数学的分类总试图定义清晰 的界限，这是一种矛盾，一定条件下会变成对立 的东西。
美国IEEE分别自1992年和1993年开始，专门针对“模糊系统” 主题定期举行国际会议和出版学术期刊。
中国从事模糊数学的研究比较早，并处于国际前列。但由于 众所周知的原因，应用仍有一定差距。 模糊技术有许多诱人的优越性，应用前景看好，但毕竟还是 新兴技术，尚不成熟，有许多问题需要研究和解决。
IIP’2012-2013(1)
17
神经计算技术—神经网络
神经网络以联接主义为基础，是人工智能研究领 域的一个分支。 它从微观出发，认为符号是不存在的，认知的基 本元素就是神经细胞。
认知过程是大量神经细胞的连接引起神经细胞不 同兴奋状态和系统表现出的总体行为。
IIP’2012-2013(1)
A(符号）
B(有机）
IIP’2012-2013(1)
生物智能(Biological Intelligence,BI)
6
智能计算
目前国际上提出智能计算就是以人工神经网络为 主导，与模糊逻辑系统、进化计算以及信号与信 息处理学科的综合集成。
新一代的智能计算信息处理技术是神经网络、模 糊系统、进化计算、混沌动力学、分形理论、小 波变换、人工生命等交叉学科的综合集成。
智能信息处理概述
School of Information Science & Technology Dalian Maritime University 2011-09-14
目录
1.1 智能信息处理的产生及发展 1.1.2 智能计算的产生与发展 1.2 智能信息处理的主要技术 1.3 智能技术的综合集成
模糊计算技术
模糊理论(Fuzzy Sets, Fuzzy Theory) 粗糙集理论(Rough Set Theory)
进化计算技术
遗传算法(Genetic Algorithm) 进化策略(Evolution Strategy) 进化规划(Evolutionary Programming) 蚁群优化(Ant Colony Optimization, ACO) 微粒群算法(Particle Sarm Optimization，PSO)
9
两类智能信息处理
基于传统计算机的智能信息处理
基于神经计算的智能信息处理
IIP’2012-2013(1)
10
基于传统计算机的智能信息处理
包括智能仪器、自动跟踪监测仪器系统、自动控制制导系 统、自动故障诊断系统等。
在人工智能系统中，它们具有模仿或代替与人的思维有关 的功能，通过逻辑符号处理系统的推理规则来实现自动诊 断、问题求解以及专家系统的智能。
25
模糊计算技术—粗糙集理论
粗糙集理论是一种新的处理模糊和不确定性知识的数学工具。 其主要思想就是在保持分类能力不变的前提下，通过知识约 简，导出问题的决策或分类规则。 当今社会已经进入了网络信息时代，计算机与网络信息技术 的飞速发展使得各个领域的数据和信息急剧增加（信息爆 炸），并且由于人类的参与使数据与信息系统中的不确定性 更加显著（复杂系统）。 如何从大量的、杂乱无章的、强干扰的数据（海量数据）中 挖掘潜在的、有利用价值的信息（有用知识）, 这给人类的 智能信息处理能力提出了前所未有的挑战。
模糊理论的基本出发点：从而引出一个极其简单 而又重要的思想：任何事情都离不开隶属程度这 样一个概念。
IIP’2012-2013(1)
24
Biblioteka Baidu
模糊计算技术—模糊集合和模糊理论
模糊理论源于美国，但长期以来受学派之争的束缚，实际应用 进展缓慢。 到20世纪80年代后期，在日本以家用电器广泛使用模糊控制 作为突破口，使模糊逻辑的实际应用获得迅速发展。 20世纪90年代初，美国已醒悟到“美国人的理论却让日本人 赚钱”的教训，工业界也已行动起来。
IIP’2012-2013(1)
5
智能ABC
由数学方法和计算机 实现的，CI的来源是 数值计算和传感器
C(数值）
计算智能 (Computational Intelligence，CI） 人工智能(Artifical Intelligence,AI)
是非物质的，是人造的， 常用符号表示，AI的来 源是人的知识精华和传 感器数据） 由人脑的物理化学 过程反映出来,人 脑是有机物,它是 智能的物质基础
18
神经计算技术—神经网络
传统的符号主义与其不同。
符号主义认为，认知的基本元素是符号，认知过 程是对符号表示的运算。
人类的语言、文字、思维均可用符号来描述，而 且思维过程只不过是这些符号的存储、变换和输 入、输出而已。 以这种方法实现的系统具有串行、线性、准确、 易于表达的特点，体现了逻辑思维的基本特性。 20世纪70年代的专家系统和80年代日本的第五代 计算机研制计划就体现了典型的符号主义思想。
IIP’2012-2013(1)
16
神经计算技术—神经网络
5) 神经网络具有鲁棒性，即信息分布于整个网络各 个权重变换之中，某些单元的障碍不会影响网络 的整体信息处理功能。
6) 神经网络具有较好的容错性，即在只有部分输入 条件，甚至包含了错误输入条件的情况下，网络 也能给出正确的解。
7) 神经网络在处理自然语言理解、图像识别、智能 机器人控制等疑难问题方面具有独到的优势。
13
IIP’2012-2013(1)
神经计算技术—脑神经系统
脑神经系统是以离子电流机构为基础的由神经细 胞组成的非线性的(Nonlinear)、适应的 (Adaptive)、并行的(Parallel)和模拟的(Analog) 网络(Network)，简称NAPAN。 在脑神经系统中，信息的收集、处理和传送都在 细胞上进行。 各个细胞基本上只有兴奋与抑制两种状态。 神经细胞的响应速度是毫秒级，比半导体器件要 慢得多。
IIP’2012-2013(1)
7
智能计算的两个重要特征
1） 智能计算与传统人工智能不同，主要依赖的是 生产者提供的数字材料，而不是依赖于知识；它主 要借助数学计算方法(特别是与数值相联系的计算方 法)的使用。
一方面，具有明显的数值计算信息处理特征；
另一方面，强调用“计算”的方法来研究和处理智能 问题。 CI中计算的概念在内涵上已经加以拓广和加深。一般 地，在解空间进行搜索的过程都被称为计算。
IIP’2012-2013(1)
2
1.1 智能信息处理的产生及发展
测量技术 传感技术
网络技术
智能技术
信息 获取
信息 传输
信息 处理
信息 应用
智能 感知
IIP’2012-2013(1)
图1.1 信息技术的四个组成部分及其信息链
可靠 传递
智能 思维
智能 行为
3
信息
• 信息（Information），一般可理解为消息、情报 或知识。例如，
IIP’2012-2013(1)
19
神经计算技术—神经网络
基于符号主义的传统人工智能和基于联接主义的 神经网络分别描述了人脑左、右半脑的功能(逻 辑思维、形象思维)， 反映了人类智能的两重性：
一方面是精确处理，对应认知过程的理性方面。
另一方面是非精确处理，对应认知过程的感性方面。
两者的关系是互补的，不能相互替代。 理想的智能系统及其表现的智能行为应是两者相 互结合的结果。
构造具有脑智能的人工智能信息处理系统，可以解决传统方法所不 能或难以解决的问题（大脑是人的智能、思维、意识等一切高级活 动的物质基础）。 以联接机制为基础的神经网络具有大量的并行性、巨量的互连性、 存储的分布性、高度的非线性、高度的容错性、结构的可变性、计 算的非精确性等特点。
基于神经计算的智能信息处理是模拟人类形象思维、联想记 忆等高级精神活动的人工智能信息处理系统。
这种智能实际上体现了人类的逻辑思维方式，主要应用串 行工作程序按照一些推理规则一步一步进行计算和操作， 目前应用领域很广。 其发展速度已不太适应社会信息数量增长速度的需求，因 而促使人们注意到新型智能信息处理系统的研究。
IIP’2012-2013(1)
11
基于神经计算的智能信息处理
ANN是模仿延伸人脑认知功能的新型智能信息处理系统。
IIP’2012-2013(1)
4
智能
智能就是智慧和能力，是个体有目的的行为，合理 的思维，以及有效的适应环境的综合性能力 个体认识客观事务和运用知识解决问题的能力。
人们常把传感器比作人的感官，计算机比作人的大脑。 从信息化角度出发，“智能”应体现在三个方面，即： 感知，信息的获取； 思维，信息的处理； 行为，信息的利用。
在这一理论中发展出的支持向量机方法是一种新 的通用学习机器，较以往方法表现出很多理论和 实践上的优势。
IIP’2012-2013(1)
22
模糊计算技术—模糊集合和模糊理论
1965年，美国加州大学伯克莱分校L．Zadeh教授 发表了著名的论文“Fuzzy Sets”(模糊集)，开 创了模糊理论。 经历近三十年的曲折，这一领域已取得长足的进 步，Zadeh也被国际上誉为“模糊之父”。 最近十年来，模糊理论又在实际应用中获得重大 突破，作为一种高新技术还在迅速发展，
IIP’2012-2013(1)
14
神经计算技术—神经网络
人工神经网络是对真实脑神经系统构造和功能予 以极端简化的模型。
神经网络的主要特征是大规模的并行处理、分布 式的信息存储、良好的自适应性、自组织性以及 很强的学习功能、联想功能和容错功能。
与冯·诺依曼计算机相比，神经网络的信息处理 模式更加接近人脑。 主要表现在以下几个方面：
IIP’2012-2013(1)
15
神经计算技术—神经网络
1) 能够处理连续的模拟信号(例如连续变换的图像 信号)。 2) 能够处理不精确的、不完全的模糊信息。 3) 冯·诺依曼计算机给出的是精确解，神经网络给 出的是次最优的逼近解。 4) 神经网络并行分布工作，各组成部分同时参与运 算；单个神经元的动作速度不快，但网络总体的 处理速度极快。
– 语言文字是社会信息； – 商品报导是经济信息； – 遗传密码是生物信息等。
• 从物理学观点出发来考察，信息是物质所固有的， 是其客观存在或运动状态的特征。
– 信息本身不是物质，不具有能量，但信息的传输却依靠 物质能量。 – 一般来说，传输信息的载体称为信号（Signal），信息 蕴涵于信号之中。
能联想记忆和从部分信息中获得全部信息。分布式存储和自组织性， 而使系统连接线即使被破坏了50％，它仍能处在优化工作状态，这 在军事电子系统设备中有着特别重要的意义。
IIP’2012-2013(1)
12
1.2 智能信息处理的主要技术
神经计算技术
神经网络(Artifical Neural Network,ANN) 主元分析(Principal Component Analysis, PCA) 支持向量机(Support Vector Machine, SVM)
IIP’2012-2013(1)
21
神经计算技术—支持向量机
支持向量机（support vector machine, SVM）是 建立统计学习理论基础上的一种新型的神经网络。 统计学习理论是针对小样本情况研究统计学习规 律的理论，是传统统计学的重要发展和补充，为 研究有限样本情况下机器学习的理论和方法提供 了理论框架，其核心思想是通过控制学习机器的 容量实现对推广能力的控制。
IIP’2012-2013(1)
8
智能计算的两个重要特征
2） 智能计算的积极意义在于：
促进基于计算的或基于计算和基于符号物理相结合 的各种智能理论、模型、方法的综合集成，
以便在智能计算这个主题下发展思想更先进、功能 更强大、能够解决更复杂问题的大系统的智能科学 成果。
IIP’2012-2013(1)
IIP’2012-2013(1)
20
神经计算技术—主元分析
主元分析（principal component analysis, PCA）就是这样的一种降维技术。 是神经计算中近些年来发展的一种方法，通过把 数据投影到能够准确表征过程状态的低维空间， 降维技术可以简化和改进过程监控过程。 它以某种方式产生低维表示，这种方式保留了过 程变量间的关系结构，按获取数据的变化度来说 是最优的。
预计21世纪它将成为信息科学中的核心技术之一。
IIP’2012-2013(1)
23
模糊计算技术—模糊集合和模糊理论
Zadeh教授当初曾提出过一个著名的不相容原理： “随着系统复杂性增加，人们对系统进行精确而 有效地描述的能力会降低，直至一个阈值，精确 和有效成为互斥”。
其实质在于：真实世界中的问题，概念往往没有 明确的界限，而传统数学的分类总试图定义清晰 的界限，这是一种矛盾，一定条件下会变成对立 的东西。
美国IEEE分别自1992年和1993年开始，专门针对“模糊系统” 主题定期举行国际会议和出版学术期刊。
中国从事模糊数学的研究比较早，并处于国际前列。但由于 众所周知的原因，应用仍有一定差距。 模糊技术有许多诱人的优越性，应用前景看好，但毕竟还是 新兴技术，尚不成熟，有许多问题需要研究和解决。
IIP’2012-2013(1)
17
神经计算技术—神经网络
神经网络以联接主义为基础，是人工智能研究领 域的一个分支。 它从微观出发，认为符号是不存在的，认知的基 本元素就是神经细胞。
认知过程是大量神经细胞的连接引起神经细胞不 同兴奋状态和系统表现出的总体行为。
IIP’2012-2013(1)
A(符号）
B(有机）
IIP’2012-2013(1)
生物智能(Biological Intelligence,BI)
6
智能计算
目前国际上提出智能计算就是以人工神经网络为 主导，与模糊逻辑系统、进化计算以及信号与信 息处理学科的综合集成。
新一代的智能计算信息处理技术是神经网络、模 糊系统、进化计算、混沌动力学、分形理论、小 波变换、人工生命等交叉学科的综合集成。
智能信息处理概述
School of Information Science & Technology Dalian Maritime University 2011-09-14
目录
1.1 智能信息处理的产生及发展 1.1.2 智能计算的产生与发展 1.2 智能信息处理的主要技术 1.3 智能技术的综合集成
模糊计算技术
模糊理论(Fuzzy Sets, Fuzzy Theory) 粗糙集理论(Rough Set Theory)
进化计算技术
遗传算法(Genetic Algorithm) 进化策略(Evolution Strategy) 进化规划(Evolutionary Programming) 蚁群优化(Ant Colony Optimization, ACO) 微粒群算法(Particle Sarm Optimization，PSO)
9
两类智能信息处理
基于传统计算机的智能信息处理
基于神经计算的智能信息处理
IIP’2012-2013(1)
10
基于传统计算机的智能信息处理
包括智能仪器、自动跟踪监测仪器系统、自动控制制导系 统、自动故障诊断系统等。
在人工智能系统中，它们具有模仿或代替与人的思维有关 的功能，通过逻辑符号处理系统的推理规则来实现自动诊 断、问题求解以及专家系统的智能。