深度学习技术介绍讲课教案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
具有单层权重的感知器，只能逼近输入的线性函数，不能解决XOR类型的问题，这些 问题的判别式是非线性的。类似的，这种感知器也不能用于非线性回归。鉴于此， MLP可以实现非线性的判别。
9
后向传播算法(back propagation,1986)
这是在训练多层感知器时提出的一个概念。 训练多层感知器与训练感知器是一样的。唯一区别是现在的输出是输入的非线性函数
出变换的算法说明。 硬件实现(hardware implementation)是系统的实物物理实现。
6
什么是感知器(perceptron)
···
7
最简单的分离器设计
8
训练感知器
感知器定义了一个超平面，而神经网络感知器事不过是实现超平面的一种方法。给定 数据样本，权重可以离线计算，并且将其带入后，感知器就可以用来计算输出的值。
通俗来讲，机器学习是一种算法框架，通过此算法框架，需要让机器具有类似人类的 智慧，学会认识世界的一种方式；
为人类提供“大数据+简单模型”的实现方式。
1
2
纠正一个错误
论点：机器学习是要制造一个超级大脑，能够具有人类一样的智慧。 这是一个非常典型的错误。 机器学习是一个古老的计算机学科，而深度学习正是机器学习的一个狭窄领域，并非新生 事物。持此观点的人一般都是对此学科一知半解的人。 在工程上，深度学习的目的不是理解人脑的本质，也不是需要制造一个类人的生命体，而 是构建有用的机器。神经网络(artificial neural networks)能够帮助我们建立更好的计算机 系统，用以处理信息。 人脑也是一种处理信息的装置，具有非凡的鞥努力并且在视觉、语音、语义等方面都超过 了目前的工程产品，目前研究的方向是用形式算法定义人脑处理这些任务的解，并在计算 机上实现此过程。
5
理解人脑处理信息的过程
根据Marr(1982)年理论，理解一个信息处理系统，具有三个被称为分析层面的内容： 计算理论(computational theory)对应计算目标和任务的抽象定义。 表示和算法(representation and algorithm)是关于输人和输出如何表示和从输入到输
3
为什么说机器学习是一个古老的学科
1989年，计算机已经可以学习识别人类讲话，并且用到了神经网络学习方法和隐马尔 科夫模型学习方法；
1989年，机器学习方法已经被用于训练计算机控制车辆，实现无人驾驶； 1995年，决策树学习算法已经被NASA用来分类天体； 1995年，计算机已经可以通过学习，在博弈类游戏中击败人类。 人工神经网络的研究历史和数字计算机一样长。1943年，McCulloch和Pitts提出了人
11
具体应用-医学诊断
对于医学诊断(medical diagnosis)。输人是关于患者的信息，而类是疾病。输入包括 患者的年龄、性别、既往病史、目前症状等。当然，患者可能还没有做过某些检查， 因此这些输入将会缺失。检查需要时间，还可能要花很多钱，而目、也许还会给患者 带来不便。因此，除非我们确信检查将提供有价值的信息，否则我们将不对患者进行 检查。在医学诊断的情况下，错误的诊断结果可能会导致我们采取错误的治疗或根本 不进行治疗。在不能确信诊断结果的情况下，分类器最好还是放弃判定，而等待医学 专家来做决断。
工神经网络的第一个数学模型。1962年提出了感知器和学习算法。1969年有人指出了 单层感知器的局限性。1986年后，后向传播被发明，单层感知器局限性不复存在。
4
源自文库
和机器学习相关的学科
人工智能 贝叶斯方法 计算复杂性理论 控制论 信息论 哲学 心理学和神经生物学 统计学
在训练神经网络时，若果未提供全部样本，而是逐个提供实例，则我们通常使用在线 学习，并且在每个实例之后更新网络参数，让给网络缓慢的及时调整。这是目前比较 常见的一种训练方式。
对于在线学习，不需要全部样本而是需要单个实例上的误差函数。从随机初始权重开 始，每次迭代中，我们都对参数稍作调整，以最小化误差，而不是忘记先前学习的。 若误差函数可微，则可以使用梯度下降方法。
13
自然语言处理
在语音识别中，“语言模型”的集成是至关重要的，而且提供一语言模型的最好方法 仍然是从实例数据的大型一语料库中学习。机器学习在自然语言处理(natural language processing)方面的应用与日俱增。垃圾邮件过滤就是一种应用，其中垃圾 邮件的制造者为一方，过滤者为另一方，一直都在寻找越来越精巧的方法以便超越对 方，也许最吸引人的是机器翻译(machine translation)，经历了数十年手工编写翻译 规则的研究之后，最近人们认识到最有希望的办法是提供大量翻译文本实例对，并且 让程序自动地提取，一个字符串映射到另一个字符串的规则。
12
具体应用-语音识别
在语音识别(speech recognition) ,输人是语音，类是可以读出的词汇。这里要学习的 是从语音信号到某种语言的词汇的关联性。由于年龄、性别或口音方面的差异，相同 词汇的读音不同，这使得语音识别问题相当困难。语音识另的另一个特点是其输入信 号是时态的，词汇作为音素的序列实时读出，而且有些词汇的读音会较长一些。
，这要归咎于隐藏单元中的非线性偏倚函数。 在对于多层感知器，计算梯度时误差就向传回到输出一样，所以创造了这个术语。
10
具体应用-人脸识别
对于人脸识别(face recognition)。输入是人脸 图像，类是需要识别的人，并且学习程序应当 学习人脸图像与身份之间的关联性。人脸会有 更多的类，输入图像也更大一些，并且人脸是 三维的，不同的姿势和光线等都会导致图像的 显著变化。另外，对于特定人脸的输人也会出 现问题，比如说眼镜可能会把眼睛和眉毛遮住 ，胡子可能会把下巴盖住等。
深度学习技术介绍 Deep Learning Technology
什么是深度学习
深度学习是机器学习中表征学习方法的一类。一个观测值（例如一幅图像）可以使用 多种方式来表示，而某些特定的表示方法可以让机器学习算法更加容易进行学习。表 征学习的目标是寻求更好的表示方法并建立更好的模型来学习这些表示方法；
9
后向传播算法(back propagation,1986)
这是在训练多层感知器时提出的一个概念。 训练多层感知器与训练感知器是一样的。唯一区别是现在的输出是输入的非线性函数
出变换的算法说明。 硬件实现(hardware implementation)是系统的实物物理实现。
6
什么是感知器(perceptron)
···
7
最简单的分离器设计
8
训练感知器
感知器定义了一个超平面，而神经网络感知器事不过是实现超平面的一种方法。给定 数据样本，权重可以离线计算，并且将其带入后，感知器就可以用来计算输出的值。
通俗来讲，机器学习是一种算法框架，通过此算法框架，需要让机器具有类似人类的 智慧，学会认识世界的一种方式；
为人类提供“大数据+简单模型”的实现方式。
1
2
纠正一个错误
论点：机器学习是要制造一个超级大脑，能够具有人类一样的智慧。 这是一个非常典型的错误。 机器学习是一个古老的计算机学科，而深度学习正是机器学习的一个狭窄领域，并非新生 事物。持此观点的人一般都是对此学科一知半解的人。 在工程上，深度学习的目的不是理解人脑的本质，也不是需要制造一个类人的生命体，而 是构建有用的机器。神经网络(artificial neural networks)能够帮助我们建立更好的计算机 系统，用以处理信息。 人脑也是一种处理信息的装置，具有非凡的鞥努力并且在视觉、语音、语义等方面都超过 了目前的工程产品，目前研究的方向是用形式算法定义人脑处理这些任务的解，并在计算 机上实现此过程。
5
理解人脑处理信息的过程
根据Marr(1982)年理论，理解一个信息处理系统，具有三个被称为分析层面的内容： 计算理论(computational theory)对应计算目标和任务的抽象定义。 表示和算法(representation and algorithm)是关于输人和输出如何表示和从输入到输
3
为什么说机器学习是一个古老的学科
1989年，计算机已经可以学习识别人类讲话，并且用到了神经网络学习方法和隐马尔 科夫模型学习方法；
1989年，机器学习方法已经被用于训练计算机控制车辆，实现无人驾驶； 1995年，决策树学习算法已经被NASA用来分类天体； 1995年，计算机已经可以通过学习，在博弈类游戏中击败人类。 人工神经网络的研究历史和数字计算机一样长。1943年，McCulloch和Pitts提出了人
11
具体应用-医学诊断
对于医学诊断(medical diagnosis)。输人是关于患者的信息，而类是疾病。输入包括 患者的年龄、性别、既往病史、目前症状等。当然，患者可能还没有做过某些检查， 因此这些输入将会缺失。检查需要时间，还可能要花很多钱，而目、也许还会给患者 带来不便。因此，除非我们确信检查将提供有价值的信息，否则我们将不对患者进行 检查。在医学诊断的情况下，错误的诊断结果可能会导致我们采取错误的治疗或根本 不进行治疗。在不能确信诊断结果的情况下，分类器最好还是放弃判定，而等待医学 专家来做决断。
工神经网络的第一个数学模型。1962年提出了感知器和学习算法。1969年有人指出了 单层感知器的局限性。1986年后，后向传播被发明，单层感知器局限性不复存在。
4
源自文库
和机器学习相关的学科
人工智能 贝叶斯方法 计算复杂性理论 控制论 信息论 哲学 心理学和神经生物学 统计学
在训练神经网络时，若果未提供全部样本，而是逐个提供实例，则我们通常使用在线 学习，并且在每个实例之后更新网络参数，让给网络缓慢的及时调整。这是目前比较 常见的一种训练方式。
对于在线学习，不需要全部样本而是需要单个实例上的误差函数。从随机初始权重开 始，每次迭代中，我们都对参数稍作调整，以最小化误差，而不是忘记先前学习的。 若误差函数可微，则可以使用梯度下降方法。
13
自然语言处理
在语音识别中，“语言模型”的集成是至关重要的，而且提供一语言模型的最好方法 仍然是从实例数据的大型一语料库中学习。机器学习在自然语言处理(natural language processing)方面的应用与日俱增。垃圾邮件过滤就是一种应用，其中垃圾 邮件的制造者为一方，过滤者为另一方，一直都在寻找越来越精巧的方法以便超越对 方，也许最吸引人的是机器翻译(machine translation)，经历了数十年手工编写翻译 规则的研究之后，最近人们认识到最有希望的办法是提供大量翻译文本实例对，并且 让程序自动地提取，一个字符串映射到另一个字符串的规则。
12
具体应用-语音识别
在语音识别(speech recognition) ,输人是语音，类是可以读出的词汇。这里要学习的 是从语音信号到某种语言的词汇的关联性。由于年龄、性别或口音方面的差异，相同 词汇的读音不同，这使得语音识别问题相当困难。语音识另的另一个特点是其输入信 号是时态的，词汇作为音素的序列实时读出，而且有些词汇的读音会较长一些。
，这要归咎于隐藏单元中的非线性偏倚函数。 在对于多层感知器，计算梯度时误差就向传回到输出一样，所以创造了这个术语。
10
具体应用-人脸识别
对于人脸识别(face recognition)。输入是人脸 图像，类是需要识别的人，并且学习程序应当 学习人脸图像与身份之间的关联性。人脸会有 更多的类，输入图像也更大一些，并且人脸是 三维的，不同的姿势和光线等都会导致图像的 显著变化。另外，对于特定人脸的输人也会出 现问题，比如说眼镜可能会把眼睛和眉毛遮住 ，胡子可能会把下巴盖住等。
深度学习技术介绍 Deep Learning Technology
什么是深度学习
深度学习是机器学习中表征学习方法的一类。一个观测值（例如一幅图像）可以使用 多种方式来表示，而某些特定的表示方法可以让机器学习算法更加容易进行学习。表 征学习的目标是寻求更好的表示方法并建立更好的模型来学习这些表示方法；