人工智能导论 课件 PPT -第4章 人工神经网络与深度学习
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Fra Baidu bibliotek
人工神经网络
人工神经网络结构
所有结点都是分层的，每一层结点都可以通过有向弧指向下一层结点，但是同一层结点之间没有弧 互相连接，而且每一个结点不能越过下一层连接到下下层的结点上。每一条弧上有一个值，称为权 重或者权值。根据这些值，可以用一个非常简单的公式算出它们所指向结点的值，比如结点Y1的值 取决于X1 和X2的值，以及相应有向弧上的权值W11和W21。虽然这里只画了三层结点，但是在理论 上，人工神经网络的层数可以是任意的。
人工神经网络发展概况
这里添加标题
20世纪80年代
Hopfield神经网络、Kohonen神经网络 等的出现,特别是BP网络及算法的提出, 将神经网络推向第二次发展高潮
20世纪60年代
由于各种预言的失败,研究经费被 大量削减甚至取消,人工智能进入 被称为“AI Winter”的人工智能之 冬
21世纪初
人工神经网络（Artificial neural network，简称ANN） 是一个用大量简单处理单元经广泛连接而组成的人工网 络，用以进行分布式并行信息处理的算法数学模型，在 工程与学术界也常直接简称为神经网络或类神经网络。
人工神经网络
人工神经网络特点
高度的并行性
人工神经网络有很多同样的简单处理单元并联组合而成，尽管每一个神经元的功能简单，但大量简单 神经元并行处理能力和效果，却十分惊人。
人工神经网络
BP神经网络
BP神经网络具有很强的学习能力，根据Kolmogorov（柯尔莫哥洛夫）定理，一个三层的BP神 经网络就可以逼近一个任意给定的连续函数f。但对多层BP神经网络，如何合理地选取BP网络 的隐层数及隐层的节点数，目前尚无有效的理论和方法。
人工神经网络
BP算法
人工神经网络
人工神经网络应用
本章内容
4.1 神经网络发展
概况
4.2 神经元
4.3 人工神经网络
4.4 深度学习
神经网络发展概况
众所周知，人脑是由几十多亿个高度互联的神经元组成 的复杂生物网络，也是人类分析、联想、记忆和逻辑推 理等能力的来源。模拟人脑中信息存储和处理的基本单 元——神经元而组成的人工神经网络模型具有自学习与 自组织等智能行为，能够使机器具有一定程度上的智能 水平。
人工神经网络
人工神经网络的学习
（1）监督式学习 神经网络利用一套输入-输出对进行训练。其目的是教会网络从给定的信息输入中识别出目标输出。 针对训练集合中每一个样例数据，网络接收一个输入，产生一个实际输出。每一次训练后，网络比 对实际输出和目标输出，通过微调相关权重值来纠正输出差异，直到实际输出结果与目标结果足够 相近，或者网络已经无法再改进其输出结果。
目前模拟人脑复杂的层次化认知特点的深度学习已经成 为类脑智能中的一个重要研究方向。通过增加网络层数 所构造的“深层神经网络”使机器能够获得“抽象概念” 能力，在诸多领域都取得了巨大的成功，又掀起了神经 网络研究和应用的一个新高潮。
神经元
神经元
生物神经元结构
神经元
人工神经元
神经元
感知机
1958年，Rosenblatt等人以M-P 模型为基础，成功研制出了名为Mark I的感知机（Perceptron），这 是历史上首个将神经网络的学习功能用于模式识别的装置，标志着神经网络进入了新的发展阶段。 简单来说，感知机就是最早的神经元模型。
图像和物体识别
电子游戏
语音生成和识别
艺术和风格的模仿
预测
网站设计修改
深度学习
随着人工神经网络研究和应用的深入，网络的层数也在 不断地增多，从而形成有多个隐层的深度神经网络，依 赖深度神经网络的机器学习被称为深度学习。
人工智能导论
人工神经网络与深度学习
作为机器学习的一种重要技术，人工神经网络是一个形式上非常简单，但分类功能非 常强大的机器学习工具。无论是在计算机科学、通信、生物统计和医学，还是在金融 和经济学（包括股市预测）中，大多数与“智能”有点关系的问题，都可以归结为一 个在多维空间进行模式分类的问题，而这些正是人工神经网络所擅长的模式分类。随 着计算机计算能力的提高和大数据时代的来临，对人工神经网络的研究进入了一个崭 新的时代，深度学习大概念被提出。深度学习的核心理念是通过增加网络的层数来让 机器自动地从数据中进行学习，可以凭借无标签的数据进行学习，而不需要依赖于监 督信息的支撑。目前，深度学习的研究和应用如火如荼，其成果也成为AI领域关注的 的焦点。
借助现代计算机计算能 力的提升,卷积神经网络 CNN 将神经网络推向第 三次发展高潮
20世纪40年代
M-P神经元和Hebb学习规则
20世纪50年代
Hodykin-Huxley 方 程 感 知 器 模 型与自适应滤波器
20世纪60年代
自组织映射网络、神经认知机、 自适应共振网络
人工神经网络发展概况
高度的非线性全局作用
人工神经网络每一个神经元接受大量其它神经元的输入，并通过并行网络产生输出，影响其它神经元， 网络之间的这样的互相制约和互相影响，实现了从输入状态到输出状态空间的非线性映射，从全局的 观点来看，网络总体性能不是网络局部性能的叠加，而表现出某种集体性的行为。
良好的自适应、自学习功能
人工神经网络通过学习训练获得网络的权值与结构，呈现出非常强的自学习能力和对环境的自适应能 力。这种自适应性依据所提供的数据，通过学习和训练，找出输入和输出之间的内在关系，从而求取 问题的解，而不是依据对问题的经验知识和规则。
（2）无监督式学习 有别于监督式学习，无监督式学习在学习时并不了解其分类结果是否正确，也就是说，没有受到监 督式增强。对无监督式学习网络提供输入数据，网络自动从输入数据中识别出潜在模式、规则。当 学习完毕并经过测试后，这些模式规则可以应用到新的应用案例上。在人工神经网络中，生成对抗 网络（GAN）、自组织映射（SOM）和适应性共振理论（ART）是最常用的无监督式学习。
感知机是一个二分类的线性分类模型，是最早的监督式训练算法，也是神经网络构建的基础。感知 机一定能将线性可分的数据集分开，所谓线性可分是：在二维平面上，线性可分意味着能用一条线 将正负样本分开；在三维空间中，线性可分意味着能用一个平面将正负样本分开。因此，通过感知 器就可以对新的实例实现准确预测。
人工神经网络
人工神经网络
人工神经网络结构
所有结点都是分层的，每一层结点都可以通过有向弧指向下一层结点，但是同一层结点之间没有弧 互相连接，而且每一个结点不能越过下一层连接到下下层的结点上。每一条弧上有一个值，称为权 重或者权值。根据这些值，可以用一个非常简单的公式算出它们所指向结点的值，比如结点Y1的值 取决于X1 和X2的值，以及相应有向弧上的权值W11和W21。虽然这里只画了三层结点，但是在理论 上，人工神经网络的层数可以是任意的。
人工神经网络发展概况
这里添加标题
20世纪80年代
Hopfield神经网络、Kohonen神经网络 等的出现,特别是BP网络及算法的提出, 将神经网络推向第二次发展高潮
20世纪60年代
由于各种预言的失败,研究经费被 大量削减甚至取消,人工智能进入 被称为“AI Winter”的人工智能之 冬
21世纪初
人工神经网络（Artificial neural network，简称ANN） 是一个用大量简单处理单元经广泛连接而组成的人工网 络，用以进行分布式并行信息处理的算法数学模型，在 工程与学术界也常直接简称为神经网络或类神经网络。
人工神经网络
人工神经网络特点
高度的并行性
人工神经网络有很多同样的简单处理单元并联组合而成，尽管每一个神经元的功能简单，但大量简单 神经元并行处理能力和效果，却十分惊人。
人工神经网络
BP神经网络
BP神经网络具有很强的学习能力，根据Kolmogorov（柯尔莫哥洛夫）定理，一个三层的BP神 经网络就可以逼近一个任意给定的连续函数f。但对多层BP神经网络，如何合理地选取BP网络 的隐层数及隐层的节点数，目前尚无有效的理论和方法。
人工神经网络
BP算法
人工神经网络
人工神经网络应用
本章内容
4.1 神经网络发展
概况
4.2 神经元
4.3 人工神经网络
4.4 深度学习
神经网络发展概况
众所周知，人脑是由几十多亿个高度互联的神经元组成 的复杂生物网络，也是人类分析、联想、记忆和逻辑推 理等能力的来源。模拟人脑中信息存储和处理的基本单 元——神经元而组成的人工神经网络模型具有自学习与 自组织等智能行为，能够使机器具有一定程度上的智能 水平。
人工神经网络
人工神经网络的学习
（1）监督式学习 神经网络利用一套输入-输出对进行训练。其目的是教会网络从给定的信息输入中识别出目标输出。 针对训练集合中每一个样例数据，网络接收一个输入，产生一个实际输出。每一次训练后，网络比 对实际输出和目标输出，通过微调相关权重值来纠正输出差异，直到实际输出结果与目标结果足够 相近，或者网络已经无法再改进其输出结果。
目前模拟人脑复杂的层次化认知特点的深度学习已经成 为类脑智能中的一个重要研究方向。通过增加网络层数 所构造的“深层神经网络”使机器能够获得“抽象概念” 能力，在诸多领域都取得了巨大的成功，又掀起了神经 网络研究和应用的一个新高潮。
神经元
神经元
生物神经元结构
神经元
人工神经元
神经元
感知机
1958年，Rosenblatt等人以M-P 模型为基础，成功研制出了名为Mark I的感知机（Perceptron），这 是历史上首个将神经网络的学习功能用于模式识别的装置，标志着神经网络进入了新的发展阶段。 简单来说，感知机就是最早的神经元模型。
图像和物体识别
电子游戏
语音生成和识别
艺术和风格的模仿
预测
网站设计修改
深度学习
随着人工神经网络研究和应用的深入，网络的层数也在 不断地增多，从而形成有多个隐层的深度神经网络，依 赖深度神经网络的机器学习被称为深度学习。
人工智能导论
人工神经网络与深度学习
作为机器学习的一种重要技术，人工神经网络是一个形式上非常简单，但分类功能非 常强大的机器学习工具。无论是在计算机科学、通信、生物统计和医学，还是在金融 和经济学（包括股市预测）中，大多数与“智能”有点关系的问题，都可以归结为一 个在多维空间进行模式分类的问题，而这些正是人工神经网络所擅长的模式分类。随 着计算机计算能力的提高和大数据时代的来临，对人工神经网络的研究进入了一个崭 新的时代，深度学习大概念被提出。深度学习的核心理念是通过增加网络的层数来让 机器自动地从数据中进行学习，可以凭借无标签的数据进行学习，而不需要依赖于监 督信息的支撑。目前，深度学习的研究和应用如火如荼，其成果也成为AI领域关注的 的焦点。
借助现代计算机计算能 力的提升,卷积神经网络 CNN 将神经网络推向第 三次发展高潮
20世纪40年代
M-P神经元和Hebb学习规则
20世纪50年代
Hodykin-Huxley 方 程 感 知 器 模 型与自适应滤波器
20世纪60年代
自组织映射网络、神经认知机、 自适应共振网络
人工神经网络发展概况
高度的非线性全局作用
人工神经网络每一个神经元接受大量其它神经元的输入，并通过并行网络产生输出，影响其它神经元， 网络之间的这样的互相制约和互相影响，实现了从输入状态到输出状态空间的非线性映射，从全局的 观点来看，网络总体性能不是网络局部性能的叠加，而表现出某种集体性的行为。
良好的自适应、自学习功能
人工神经网络通过学习训练获得网络的权值与结构，呈现出非常强的自学习能力和对环境的自适应能 力。这种自适应性依据所提供的数据，通过学习和训练，找出输入和输出之间的内在关系，从而求取 问题的解，而不是依据对问题的经验知识和规则。
（2）无监督式学习 有别于监督式学习，无监督式学习在学习时并不了解其分类结果是否正确，也就是说，没有受到监 督式增强。对无监督式学习网络提供输入数据，网络自动从输入数据中识别出潜在模式、规则。当 学习完毕并经过测试后，这些模式规则可以应用到新的应用案例上。在人工神经网络中，生成对抗 网络（GAN）、自组织映射（SOM）和适应性共振理论（ART）是最常用的无监督式学习。
感知机是一个二分类的线性分类模型，是最早的监督式训练算法，也是神经网络构建的基础。感知 机一定能将线性可分的数据集分开，所谓线性可分是：在二维平面上，线性可分意味着能用一条线 将正负样本分开；在三维空间中，线性可分意味着能用一个平面将正负样本分开。因此，通过感知 器就可以对新的实例实现准确预测。
人工神经网络