人工智能PPTchapter5_333.pptx
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
❖ 连接权值构成的矩阵是非负对角元的对称矩 阵，该网络就具有串行稳定性；
❖ 若该矩阵为非负矩阵，则该网络就具有并行 稳定性。
5
人工智能及其应用
连续型Hopfield网络
1984年，Hopfield又提出了连续时间的神经网络，在 这种神经网络中，各节点可在0到1的区间内取任一实数 值。连续型Hopfield网络神经元电路模型:
❖ 通过能量函数，使得Hopfield具有自动求极小值 的计算功能。
7
人工智能及其应用
5.4 知识发现与Agent技术
➢ 知识发现的过程 ➢ 知识发现的方法 ➢ 知识发现中的数据挖掘技术 ➢ Agent技术
8
人工智能及其应用
5.4.1 知识发现的过程
❖ 简史：
❖ 知识发现是1989年8月在美国底特律举行的第11届 国际人工智能联合会议上提出来的。
Ii Rij 1/ wij
vj
Ri
ui
Ci
vi
vi
6
人工智能及其应用
连续型Hopfield网络
❖ 连续型Hopfield网络的特征:
❖ 神经元的传输特性具有S特性；
❖ 细胞具有时空整体作用；
❖ 神经元之间存在的兴奋和抑制性联结通过反馈来实 现；
❖ 既有代表产生动作电位的神经元，又有代表按渐进 方式工作的神经元的能力，准确地保留了生物神经网 络的动态和非线性特征，有助于理解大量神经元之间 的协同作用是如何产生巨大的计算能力的。
❖ 粗糙集 ：由波拉克(Pawlak)在1982年提出，用于处 理含糊性和不确定性问题。与模糊集一样，它常与规 则归纳、分类和聚类方法结合起来使用，很少单独使 用。
13
人工智能及其应用
2.机器学习方法
❖ 规则归纳：规则反映数据项中某些属性或数据集中某些 数据项之间的统计相关性。
❖ 决策树：决策树的每一个非终端叶结点表示所考虑数据 项的测试或决策。一个确定分枝的选择取决于测试的结 果。为了对数据集分类，从根结点开始，根据判定自顶 向下，趋向终端叶结点。当到达终端叶结点时，决策树 生成。
9
人工智能及其应用
5.4.1 知识发现的过程
❖ 定义:
从大量数据集中辨识出有效的、新颖的、潜在有用 的、并可被理解的模式的高级处理过程。
❖ 知识发现过程：
原始 数据 目标 数据 预处理 数据 变换后 数据 提取 知识 有用 数据 选择 数据 预处理 后数据 变换 数据 挖掘 信息 评价 知识
10
人工智能及其应用
12
人工智能及其应用
1.统计方法
❖ 模糊集：表示和处理不确定性数据的重要方法，它不 仅可以处理不完全数据、含噪或不精确数据，而且在 开发数据的不确定性模型方面十分有效，性能比传统 方法更灵巧、更平滑。
❖ 支持向量机：建立在钟聲挚习理结构风险最小化原则 之上的，其主要思想是针对两类分类问题，在高维空 间中寻找一个超平面作为两类的分割，以保证最小的 分类错误率。SVM的一个重要优点是可以处理线性不 可分的情况。
2
人工智能及其应用
Hopfield神经网络
Hopfield神经网络无论是是离散型，还是连续型， 都是反馈网络结构。下图给出了一个简单的反馈神 经网络图。
3
人工智能及其应用
离散型Hopfield神经网络
离散网络模型是一个离散时间系统，每个神经元只有
两个状态，可以用1和0来表示，由连接权值Ｗij所构成的 矩阵是一个对角线为0的对称矩阵。离散型Hopfield神经网
4.可视化方法
❖ 可视化( Visualization)就是把数据、信息和知识转化为 可视表示的过程。快速图形处理器和高分辨率彩色显示 器的发展更提高了人们对信息可视化的兴趣和信心。使 用有效的可视化界面，可以快速、高效地与大量数据打 交道，以发现其中隐藏的特征、关系、模式和趋势等。
络的结构：
y1
y2
y3
yn
1
2
3
n
4
人工智能及其应用
x1
x2
x3
xn
离散型HoБайду номын сангаасfield神经网络
❖ 网络的稳定性：由于在反馈网络中，网络的输出要 反复地作为输入再送入网络中，这就使得网络具有 了动态性，网络的状态在不断的改变之中，因而就 提出了网络的稳定性问题。所谓一个网络是稳定的 是指从某一时刻开始，网络的状态不再改变。
❖ 范例推理：直接使用过去的经验或解法来求解给定问题。
❖ 科学发现：在实验环境下发现科学定律。
❖ 遗传算法：在问题求解过程中，通过最好解的选择和彼 此组合，使期望解的集合越来越好。在数据挖掘中，遗 传算法用来形成变量间依赖关系的假设。
14
人工智能及其应用
3.神经计算方法
❖ 神经网络的并行分布式信息处理与学习能力，可以作为 知识发现的手段。常用的神经计算模型有多层感知机、 BP网络模型和Hopfield网络等。
第五章 知 识 学 习
内容提要：
知识学习概念、原理及分类 神经网络学习 神经网络模型 知识发现与Agent技术
1
人工智能及其应用
Hopfield神经网络
1982年和1984年，美国加州理工学院物理学家霍普菲 尔德(J.J.Hopfield)在神经网络建 模 及应用方面取得了开 创性研究成果，先后提出了离散型Hopfield神经网络和 连续型Hopfield神经网络，引入“计算能量函数”的概念， 给出了网络稳定性判据，尤其是给出了Hopfield神经网 络的电子电路实现，为神经计算机的研究奠定了基础， 同时开拓了神经网络用于联想记忆和优化计算的新途径， 从而有力地推动了神经网络的研究。这两种模型是目前 最重要的神经优化计算模型之一。
❖ 1991、1993和1994年又举行了KDD专题讨论会。 从1995年以来，每年举办一次KDD国际会议。
❖ 1997年，国际专业杂志《Knowledge Discovery and Data Mining》问世。
❖ 随着互联网的发展，网上已设立了不少研究KDD的 网站、论坛和新闻报导。在这些研究的基础上，产生 了一些KDD产品和应用系统，并引起企业界的关注。
5.4.2 知识发现的方法
❖ 统计方法： ❖ 机器学习方法 ❖ 神经计算方法 ❖ 可视化方法
11
人工智能及其应用
1.统计方法
从事物数量上的外在表现去推断该事物的可能规律性： ❖ 传统方法：主要研究渐近理论，即当样本趋向于无穷
多时的统计性质。主要考虑测试预想的假设是否与数 据模型拟合，它依赖于显式的基本概率模型。处理过 程分三个阶段： ❖ 搜集数据：采样、实验设计。 ❖ 分析数据：建模、知识发现、可视化。 ❖ 进行推理：预测、分类。 常用方法有回归分析、判别分析、聚类分析及探索性 分。
❖ 若该矩阵为非负矩阵，则该网络就具有并行 稳定性。
5
人工智能及其应用
连续型Hopfield网络
1984年，Hopfield又提出了连续时间的神经网络，在 这种神经网络中，各节点可在0到1的区间内取任一实数 值。连续型Hopfield网络神经元电路模型:
❖ 通过能量函数，使得Hopfield具有自动求极小值 的计算功能。
7
人工智能及其应用
5.4 知识发现与Agent技术
➢ 知识发现的过程 ➢ 知识发现的方法 ➢ 知识发现中的数据挖掘技术 ➢ Agent技术
8
人工智能及其应用
5.4.1 知识发现的过程
❖ 简史：
❖ 知识发现是1989年8月在美国底特律举行的第11届 国际人工智能联合会议上提出来的。
Ii Rij 1/ wij
vj
Ri
ui
Ci
vi
vi
6
人工智能及其应用
连续型Hopfield网络
❖ 连续型Hopfield网络的特征:
❖ 神经元的传输特性具有S特性；
❖ 细胞具有时空整体作用；
❖ 神经元之间存在的兴奋和抑制性联结通过反馈来实 现；
❖ 既有代表产生动作电位的神经元，又有代表按渐进 方式工作的神经元的能力，准确地保留了生物神经网 络的动态和非线性特征，有助于理解大量神经元之间 的协同作用是如何产生巨大的计算能力的。
❖ 粗糙集 ：由波拉克(Pawlak)在1982年提出，用于处 理含糊性和不确定性问题。与模糊集一样，它常与规 则归纳、分类和聚类方法结合起来使用，很少单独使 用。
13
人工智能及其应用
2.机器学习方法
❖ 规则归纳：规则反映数据项中某些属性或数据集中某些 数据项之间的统计相关性。
❖ 决策树：决策树的每一个非终端叶结点表示所考虑数据 项的测试或决策。一个确定分枝的选择取决于测试的结 果。为了对数据集分类，从根结点开始，根据判定自顶 向下，趋向终端叶结点。当到达终端叶结点时，决策树 生成。
9
人工智能及其应用
5.4.1 知识发现的过程
❖ 定义:
从大量数据集中辨识出有效的、新颖的、潜在有用 的、并可被理解的模式的高级处理过程。
❖ 知识发现过程：
原始 数据 目标 数据 预处理 数据 变换后 数据 提取 知识 有用 数据 选择 数据 预处理 后数据 变换 数据 挖掘 信息 评价 知识
10
人工智能及其应用
12
人工智能及其应用
1.统计方法
❖ 模糊集：表示和处理不确定性数据的重要方法，它不 仅可以处理不完全数据、含噪或不精确数据，而且在 开发数据的不确定性模型方面十分有效，性能比传统 方法更灵巧、更平滑。
❖ 支持向量机：建立在钟聲挚习理结构风险最小化原则 之上的，其主要思想是针对两类分类问题，在高维空 间中寻找一个超平面作为两类的分割，以保证最小的 分类错误率。SVM的一个重要优点是可以处理线性不 可分的情况。
2
人工智能及其应用
Hopfield神经网络
Hopfield神经网络无论是是离散型，还是连续型， 都是反馈网络结构。下图给出了一个简单的反馈神 经网络图。
3
人工智能及其应用
离散型Hopfield神经网络
离散网络模型是一个离散时间系统，每个神经元只有
两个状态，可以用1和0来表示，由连接权值Ｗij所构成的 矩阵是一个对角线为0的对称矩阵。离散型Hopfield神经网
4.可视化方法
❖ 可视化( Visualization)就是把数据、信息和知识转化为 可视表示的过程。快速图形处理器和高分辨率彩色显示 器的发展更提高了人们对信息可视化的兴趣和信心。使 用有效的可视化界面，可以快速、高效地与大量数据打 交道，以发现其中隐藏的特征、关系、模式和趋势等。
络的结构：
y1
y2
y3
yn
1
2
3
n
4
人工智能及其应用
x1
x2
x3
xn
离散型HoБайду номын сангаасfield神经网络
❖ 网络的稳定性：由于在反馈网络中，网络的输出要 反复地作为输入再送入网络中，这就使得网络具有 了动态性，网络的状态在不断的改变之中，因而就 提出了网络的稳定性问题。所谓一个网络是稳定的 是指从某一时刻开始，网络的状态不再改变。
❖ 范例推理：直接使用过去的经验或解法来求解给定问题。
❖ 科学发现：在实验环境下发现科学定律。
❖ 遗传算法：在问题求解过程中，通过最好解的选择和彼 此组合，使期望解的集合越来越好。在数据挖掘中，遗 传算法用来形成变量间依赖关系的假设。
14
人工智能及其应用
3.神经计算方法
❖ 神经网络的并行分布式信息处理与学习能力，可以作为 知识发现的手段。常用的神经计算模型有多层感知机、 BP网络模型和Hopfield网络等。
第五章 知 识 学 习
内容提要：
知识学习概念、原理及分类 神经网络学习 神经网络模型 知识发现与Agent技术
1
人工智能及其应用
Hopfield神经网络
1982年和1984年，美国加州理工学院物理学家霍普菲 尔德(J.J.Hopfield)在神经网络建 模 及应用方面取得了开 创性研究成果，先后提出了离散型Hopfield神经网络和 连续型Hopfield神经网络，引入“计算能量函数”的概念， 给出了网络稳定性判据，尤其是给出了Hopfield神经网 络的电子电路实现，为神经计算机的研究奠定了基础， 同时开拓了神经网络用于联想记忆和优化计算的新途径， 从而有力地推动了神经网络的研究。这两种模型是目前 最重要的神经优化计算模型之一。
❖ 1991、1993和1994年又举行了KDD专题讨论会。 从1995年以来，每年举办一次KDD国际会议。
❖ 1997年，国际专业杂志《Knowledge Discovery and Data Mining》问世。
❖ 随着互联网的发展，网上已设立了不少研究KDD的 网站、论坛和新闻报导。在这些研究的基础上，产生 了一些KDD产品和应用系统，并引起企业界的关注。
5.4.2 知识发现的方法
❖ 统计方法： ❖ 机器学习方法 ❖ 神经计算方法 ❖ 可视化方法
11
人工智能及其应用
1.统计方法
从事物数量上的外在表现去推断该事物的可能规律性： ❖ 传统方法：主要研究渐近理论，即当样本趋向于无穷
多时的统计性质。主要考虑测试预想的假设是否与数 据模型拟合，它依赖于显式的基本概率模型。处理过 程分三个阶段： ❖ 搜集数据：采样、实验设计。 ❖ 分析数据：建模、知识发现、可视化。 ❖ 进行推理：预测、分类。 常用方法有回归分析、判别分析、聚类分析及探索性 分。