深度学习技术介绍
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
什么是深度学习
深度学习是机器学习中表征学习方法的一类。一个观测值（例如一幅图像）可以使用 多种方式来表示，而某些特定的表示方法可以让机器学习算法更加容易进行学习。表 征学习的目标是寻求更好的表示方法并建立更好的模型来学习这些表示方法；
通俗来讲，机器学习是一种算法框架，通过此算法框架，需要让机器具有类似人类的 智慧，学会认识世界的一种方式；
自然语言处理
在语音识别中，“语言模型”的集成是至关重要的，而且 提供一语言模型的最好方法仍然是从实例数据的大型一语 料库中学习。机器学习在自然语言处理(natural language processing)方面的应用与日俱增。垃圾邮件过滤就是一种 应用，其中垃圾邮件的制造者为一方，过滤者为另一方， 一直都在寻找越来越精巧的方法以便超越对方，也许最吸 引人的是机器翻译(machine translation)，经历了数十年手 工编写翻译规则的研究之后，最近人们认识到最有希望的
生物测定学
生物则定学(biometrics)使用人的生理和行为特征来识别或 认证人的身份，需要集成来自不同形态的输人。生理特征 的例子是面部图像、指纹、虹膜和手掌；行为特征的例子 是签字的力度、嗓音、步态和击键。与通常的鉴别过程( 照片、印刷签名或门令)相反，会有许多不同的(不相关的) 输人，伪造(欺骗)更困难并且系统更准确，不会对用户太 不方便。机器学习既用于针对这些不同形态而构建不同的 识别器，也考虑这些不同数据源的可靠性，用于组合它们
机器学习的额外用途
从数据中学习规则也为知识抽取(knowledge extraction)提 供了可能性。规则是一种解释数据的简单模型，而观察该 模型我们能得到潜在数据处理的解释。例如，一旦我们学 会了区分低风险客户和高风险客户的判别式，我们就拥有 了关于低风险客户特性的知识。然后，我们就能够利用这 些知识，通过比如广告等方式，更有效地争取那些潜在的 低风险客户。
什么是感知器(perceptron)
···
最简单的分离器设计
训练感知器
感知器定义了一个超平面，而神经网络感知器事不过是实 现超平面的一种方法。给定数据样本，权重可以离线计算 ，并且将其带入后，感知器就可以用来计算输出的值。
在训练神经网络时，若果未提供全部样本，而是逐个提供 实例，则我们通常使用在线学习，并且在每个实例之后更 新网络参数，让给网络缓慢的及时调整。这是目前比较常 见的一种训练方式。
具体应用-语音识别
在语音识别(speech recognition) ,输人是语音，类是可以读 出的词汇。这里要学习的是从语音信号到某种语言的词汇 的关联性。由于年龄、性别或口音方面的差异，相同词汇 的读音不同，这使得语音识别问题相当困难。语音识另的 另一个特点是其输入信号是时态的，词汇作为音素的序列 实时读出，而且有些词汇的读音会较长一些。
对于在线学习，不需要全部样本而是需要单个实例上的误
后向传播算法(back propagation,1986)
这是在训练多层感知器时提出的一个概念。 训练多层感知器与训练感知器是一样的。唯一区别是现在
的输出是输入的非线性函数，这要归咎于隐藏单元中的非 线性偏倚函数。 在对于多层感知器，计算梯度时误差就向传回到输出一样 ，所以创造了这个术语。
为什么说机器学习是一个古老的 19学89科年，计算机已经可以学习识别人类讲话，并且用到了 神经网络学习方法和隐马尔科夫模型学习方法； 1989年，机器学习方法已经被用于训练计算机控制车辆， 实现无人驾驶； 1995年，决策树学习算法已经被NASA用来分类天体； 1995年，计算机已经可以通过学习，在博弈类游戏中击败 人类。 人工神经网络的研究历史和数字计算机一样长。1943年，
和机器学习相关的学科
人工智能 贝叶斯方法 计算复杂性理论 控制论 信息论 哲学 心理学和神经生物学 统计学
理解人脑处理信息的过程
根据Marr(1982)年理论，理解一个信息处理系统，具有三个 被称为分析层面的内容： 计算理论(computational theory)对应计算目标和任务的抽象 定义。 表示和算法(representation and algorithm)是关于输人和输 出如何表示和从输入到输出变换的算法说明。 硬件实现(hardware implementation)是系统的实物物理实现 。
机器学习还可以进行压缩(compression)。用规则拟合数据
案例-ALVINN系统
ALVINN系统是ANN学习的一个典型实例，这个系统使用一 个学习到的ANN以正常速度在高速公路上驾驶汽车。ANN 的输入是一个30*32像素的网格，像素的亮度来自于一个 安装在车辆上的前向摄像头。ANN的输出是车辆行进的方 向。这个ANN通过模仿驾驶时的操纵命令进行训练，持续 约5分钟。ALVINN用学到的网络在高速公路上以70英里的 时速成功行驶了90英里。
具体应用-人脸识别
对于人脸识别(face recognition) 。输入是人脸图像，类是需要 识别的人，并且学习程序应当 学习人脸图像与身份之间的关 联性。人脸会有更多的类，输 入图像也更大一些，并且人脸 是三维的，不同的姿势和光线 等都会导致图像的显著变化。
具体应用-医学诊断
对于医学诊断(medical diagnosis)。输人是关于患者的信息 ，而类是疾病。输入包括患者的年龄、性别、既往病史、 目前症状等。当然，患者可能还没有做过某些检查，因此 这些输入将会缺失。检查需要时间，还可能要花很多钱， 而目、也许还会给患者带来不便。因此，除非我们确信检 查将提供有价值的信息，否则我们将不对患者进行检查。 在医学诊断的情况下，错误的诊断结果可能会导致我们采 取错误的治疗或根本不进行治疗。在不能确信诊断结果的
为人类提供“大数据+简单模型”的实现方式。
深度学习的实际应用类型
语音识别 图像识别 自然语言处理
纠正一个错误
论点：机器学习是要制造一个超级大脑，能够具有人类一样 的智慧。 这是一个非常典wenku.baidu.com的错误。 机器学习是一个古老的计算机学科，而深度学习正是机器学 习的一个狭窄领域，并非新生事物。持此观点的人一般都是 对此学科一知半解的人。 在工程上，深度学习的目的不是理解人脑的本质，也不是需 要制造一个类人的生命体，而是构建有用的机器。神经网络
深度学习是机器学习中表征学习方法的一类。一个观测值（例如一幅图像）可以使用 多种方式来表示，而某些特定的表示方法可以让机器学习算法更加容易进行学习。表 征学习的目标是寻求更好的表示方法并建立更好的模型来学习这些表示方法；
通俗来讲，机器学习是一种算法框架，通过此算法框架，需要让机器具有类似人类的 智慧，学会认识世界的一种方式；
自然语言处理
在语音识别中，“语言模型”的集成是至关重要的，而且 提供一语言模型的最好方法仍然是从实例数据的大型一语 料库中学习。机器学习在自然语言处理(natural language processing)方面的应用与日俱增。垃圾邮件过滤就是一种 应用，其中垃圾邮件的制造者为一方，过滤者为另一方， 一直都在寻找越来越精巧的方法以便超越对方，也许最吸 引人的是机器翻译(machine translation)，经历了数十年手 工编写翻译规则的研究之后，最近人们认识到最有希望的
生物测定学
生物则定学(biometrics)使用人的生理和行为特征来识别或 认证人的身份，需要集成来自不同形态的输人。生理特征 的例子是面部图像、指纹、虹膜和手掌；行为特征的例子 是签字的力度、嗓音、步态和击键。与通常的鉴别过程( 照片、印刷签名或门令)相反，会有许多不同的(不相关的) 输人，伪造(欺骗)更困难并且系统更准确，不会对用户太 不方便。机器学习既用于针对这些不同形态而构建不同的 识别器，也考虑这些不同数据源的可靠性，用于组合它们
机器学习的额外用途
从数据中学习规则也为知识抽取(knowledge extraction)提 供了可能性。规则是一种解释数据的简单模型，而观察该 模型我们能得到潜在数据处理的解释。例如，一旦我们学 会了区分低风险客户和高风险客户的判别式，我们就拥有 了关于低风险客户特性的知识。然后，我们就能够利用这 些知识，通过比如广告等方式，更有效地争取那些潜在的 低风险客户。
什么是感知器(perceptron)
···
最简单的分离器设计
训练感知器
感知器定义了一个超平面，而神经网络感知器事不过是实 现超平面的一种方法。给定数据样本，权重可以离线计算 ，并且将其带入后，感知器就可以用来计算输出的值。
在训练神经网络时，若果未提供全部样本，而是逐个提供 实例，则我们通常使用在线学习，并且在每个实例之后更 新网络参数，让给网络缓慢的及时调整。这是目前比较常 见的一种训练方式。
具体应用-语音识别
在语音识别(speech recognition) ,输人是语音，类是可以读 出的词汇。这里要学习的是从语音信号到某种语言的词汇 的关联性。由于年龄、性别或口音方面的差异，相同词汇 的读音不同，这使得语音识别问题相当困难。语音识另的 另一个特点是其输入信号是时态的，词汇作为音素的序列 实时读出，而且有些词汇的读音会较长一些。
对于在线学习，不需要全部样本而是需要单个实例上的误
后向传播算法(back propagation,1986)
这是在训练多层感知器时提出的一个概念。 训练多层感知器与训练感知器是一样的。唯一区别是现在
的输出是输入的非线性函数，这要归咎于隐藏单元中的非 线性偏倚函数。 在对于多层感知器，计算梯度时误差就向传回到输出一样 ，所以创造了这个术语。
为什么说机器学习是一个古老的 19学89科年，计算机已经可以学习识别人类讲话，并且用到了 神经网络学习方法和隐马尔科夫模型学习方法； 1989年，机器学习方法已经被用于训练计算机控制车辆， 实现无人驾驶； 1995年，决策树学习算法已经被NASA用来分类天体； 1995年，计算机已经可以通过学习，在博弈类游戏中击败 人类。 人工神经网络的研究历史和数字计算机一样长。1943年，
和机器学习相关的学科
人工智能 贝叶斯方法 计算复杂性理论 控制论 信息论 哲学 心理学和神经生物学 统计学
理解人脑处理信息的过程
根据Marr(1982)年理论，理解一个信息处理系统，具有三个 被称为分析层面的内容： 计算理论(computational theory)对应计算目标和任务的抽象 定义。 表示和算法(representation and algorithm)是关于输人和输 出如何表示和从输入到输出变换的算法说明。 硬件实现(hardware implementation)是系统的实物物理实现 。
机器学习还可以进行压缩(compression)。用规则拟合数据
案例-ALVINN系统
ALVINN系统是ANN学习的一个典型实例，这个系统使用一 个学习到的ANN以正常速度在高速公路上驾驶汽车。ANN 的输入是一个30*32像素的网格，像素的亮度来自于一个 安装在车辆上的前向摄像头。ANN的输出是车辆行进的方 向。这个ANN通过模仿驾驶时的操纵命令进行训练，持续 约5分钟。ALVINN用学到的网络在高速公路上以70英里的 时速成功行驶了90英里。
具体应用-人脸识别
对于人脸识别(face recognition) 。输入是人脸图像，类是需要 识别的人，并且学习程序应当 学习人脸图像与身份之间的关 联性。人脸会有更多的类，输 入图像也更大一些，并且人脸 是三维的，不同的姿势和光线 等都会导致图像的显著变化。
具体应用-医学诊断
对于医学诊断(medical diagnosis)。输人是关于患者的信息 ，而类是疾病。输入包括患者的年龄、性别、既往病史、 目前症状等。当然，患者可能还没有做过某些检查，因此 这些输入将会缺失。检查需要时间，还可能要花很多钱， 而目、也许还会给患者带来不便。因此，除非我们确信检 查将提供有价值的信息，否则我们将不对患者进行检查。 在医学诊断的情况下，错误的诊断结果可能会导致我们采 取错误的治疗或根本不进行治疗。在不能确信诊断结果的
为人类提供“大数据+简单模型”的实现方式。
深度学习的实际应用类型
语音识别 图像识别 自然语言处理
纠正一个错误
论点：机器学习是要制造一个超级大脑，能够具有人类一样 的智慧。 这是一个非常典wenku.baidu.com的错误。 机器学习是一个古老的计算机学科，而深度学习正是机器学 习的一个狭窄领域，并非新生事物。持此观点的人一般都是 对此学科一知半解的人。 在工程上，深度学习的目的不是理解人脑的本质，也不是需 要制造一个类人的生命体，而是构建有用的机器。神经网络