深度学习论文解读..

目标概念的最佳近似 • • • delta法则的关键思想是，使用梯度下降来搜索可能的权向量的假设空间， 以找到最佳拟合训练样例的权向量 delta法则为反向传播算法提供了基础，而反向传播算法能够学习多个单 元的互连网络 把delta训练法则理解为训练一个无阈值的感知器
o( x ) w x
句法分析---研究现状
2.对于给定的语法体系，可能出现同一句子对应不同的句法 结构，如何进行消歧？
基于规则的消歧被基于统计模型消歧取代，统计建模的两个步骤：第一是构 建模型，也就是将设计的模型形式化表示出来。第二是模型参数估计，也就是从
树库中通过学习得到所需的参数
3.如何在有限的时间内得到句子的句法结构？
•
指定一个度量标准来衡量假设相对于训练样例的训练误差
1 E ( w) (td od ) 2 2 dD
神经网络---反向传播算法
• 用来学习多层网络的权值 • 采用梯度下降方法试图最小化网络输出值和目标值之 间的误差平方 • 网络的误差定义公式，对所有网络输出的误差求和
1 E ( w) (tkd okd ) 2 2 dD koutpus
卷积神经网络前言---深度学习
• 深度神经网络(deep neuralnetworks, DNN)由多个单层非 线性网络叠加而成的，常见的单层网络按照编码解码情况 分为3 类:只包含编码器部分、只包含解码器部分、既有编 码器部分也有解码器部分。
前馈深 度网络
卷积神经网络---基本结构
卷积神经网络(convolutional neural networks, CNN) 属于深度神经网络中前馈深度网络，在这种网络中,信息只沿一个方向流动, 从输入单元通过一个或多个隐层到达输出单元,在网络中没有封闭环路。 卷积神经网络是由多个单层卷积神经网络组成的，每个单层卷积神经网络包 括卷积、非线性变换和下采样 3 个阶段。
基于特征的卷积神经网络
• 摘要 • KMCNN(a convolutional neural network with k-max pooling layer)网络结构 • 实验分析
基于特征的卷积神经网络---摘要
描述了一种新的K-MAX汇集层卷积神经网络结构，能够 成功地恢复汉语句子的结构。这个网络可以捕获不可见部分 有效特征衡量该部分多大可能成为构成句子部分。给定一个 输入的句子，在所有可能部分的分数被计算后，一个有效的 动态规划算法被用来发现最优分析树。类似的网络被应用到 解析树每个节点预测语法分类。在与最新的方法在CTB-5上 做测试我们的方法具有优势。
句法分析研究现状
句法分析，就是在给定的语法体系下，对于给定的句子，自动推导出句子的语法结构， 将句子转化成相应语法结构的句法分析树，要解决以下三个问题。
1.用怎样的语法体系来对句法结构表示，选取时所需要衡量的因素是 什么？
例如： 汉语： “一个 穿黑衣服的 男人 在河边 走。 ” 英语： “A man dressed in black walk by the river.” 衡量的因素包括：语料库的构建成本，计算成本，应用需求，语言特点
步骤二：每个字只与周围字有关，通过卷积层计算特征
其中fwin是带有可训练参数 函数
w是训练权重， b是特征检测值
基于特征的卷积神经网络--步骤
步骤三：k-Max汇聚层产生下面矩阵
[ fcon ]i, j 是fcon第i行第j列
k max （）是具有最高 k值子序列
步骤四：选择sigmoid函数做仿射变换，抽取非线性特征，输出块分数
卷积神经网络---网络模型
• 将单层的卷积神经网络 进行多次堆叠，前一层 的输出作为后一层的输 入，便构成卷积神经网 络。其中每 2 个节点间 的连线，代表输入节点 经过卷积、非线性变换、 下采样 3 个阶段变为输 出节点，一般最后一层 的输出特征图后接一个 全连接层和分类器。 • 在训练卷积神经网络时, 最常用的方法是采用反 向传播法则以及有监督 的训练方式。
Character-based Parsing with Convolutional Neural Network
基于特征的卷积神经结构
• • • • • 句法分析 神经网络 卷积神经网络 基于特征的卷积神经网络 实验分析
句法分析---定义
• 图灵测试
卷积神经网络---应用及趋势
1.深度学习在大规模图像数据集中的应用 A. Krizhevsky 等 首次将卷积神经网络应用于 ImageNet 大规模视觉识别 挑战赛中，所训练的深度卷积神经网络在 ILSVRC—2012 挑战赛中，取得了图 像分类和目标定位任务的第一，其中，图像分类任务中错误率为 15. 3%，远低 于第 2 名的 26. 2% 的错误率。 2. 深度学习在人脸识别中的应用 采用基于卷积神经网络的学习方法，香港中文大学的 DeepID2 项目将人 脸识别率提高到了99.15%,超过目前所有领先的深度学习和非深度学习算法在 LFW 数据库上的识别率以及人类在该数据库的识别率。 3. 深度学习问题及趋势 单一的深度学习方法,往往并不能带来最好的效果，通常融合其他方法 或多种方法进行平均打分，会带来更高的精确率。因此,深度学习方法与其他方 法的融合，具有一定的研究意义。
卷积神经网络前言---深度学习
深度学习（deep learning）
深度学习是机器学习领域一个新的研究方向,近年来在语音识别、计算机视觉 等多类应用中取得突破性的进展，其动机在于建立模型模拟人类大脑的神经连接 结构,在处理图像、声音和文本这些信号时,通过多个变换阶段分层对数据特征进 行描述 ,进而给出数据的解释。 深度学习之所以被称为“深度”,是相对支撑向量机 ( support vector machine, SVM)、 提 升 方 法(boosting)、最大熵方法等“浅层学习”方法而言 的,深度学习所学得的模型中,非线性操作的层级数更多。
实验分析
实验对比 1.用基于字的思想修 改RNN算法，把字连接 成单词、单词连接成句子、 直到产生一个输入句子的 分析树，并与本算法做分 数对比。 2.在标签数据 （pipeline）做对比实验， 好于其他算法
总结
谢谢！！
基于特征的卷积神经网络--网络结构
输入=“政府鼓励...” 特征矩阵表 第一层卷积 第一层k-Max 第二层卷积 第二层k-Max 隐藏层
输出
基于特征的卷积神经网络--步骤
步骤一：把句子映射为二进制特征向量
c[1:n ]是句子，ci 是句子中一个字， D是字符词典， eki是二进制向量， M是矩阵
( y)
1 1 e y
基于特征的卷积神经网络--步骤
步骤五：动态规划解码---得到最优解析树 用上下文无关元组表示每 一棵解析树 例如：
( A BC, b, e, m)其中A, B, C是变量， b是开始点，e是结束点，m是分裂点
d (b, e)是从b到e的跨度
实验分析
• 超参数设置
如何在有限的时间内给出最优的句法分析树是句法分析算法所要考虑的问题， 研究者们针对这些问题做了大量的研究，其中应用动态规划方法到句法分析算法 中是最普遍的做法。
句法分析---语料库
语料库
大部分的句法分析模型都是通过有指导的学习方式从已标注好的语料库中学习模 型，参数标注规模和标注质量直接影响句法分析的性能。
•
句法分析的定义
给定相应的语法体系，自动推导出句子的语法结构，将句子转化成对应相应语法体系的 句法分析树，其中包含了句子中不同的句法单位以及之间的关系
句法分析---句法分析树
• 句法分析树
句子“政府鼓励民营企业 家投资国家基础设施”的句法 分析结果 (a) CTB中的句子分析树
(b) 二叉树
句法分析---研究现状
卷积神经网络---卷积阶段
• • 卷积阶段,通过提取信号的不同特征实现输入信号进行特定模式的观测，其观 测模式也称为卷积核，每个卷积核检测输入特征图上所有位置上的特定特征, 实现同一个输入特征图上的权值共享。 卷积阶段的输入是由 n 1 个 n 2 × n 3 大小的二维特征图构成的三维数组， 每个特征图记为 xi ，该阶段的输出 y 也是个三维数组,由 m 1 个 m 2 × m 3 大小的特征图构成
人工智能实现的关键在于对自然语言的分析和处理，而如何让计算机“理解”所接受
到的自然语言，并且根据“分析”生成相应的回答是人工智能所面临的两大挑战。
•
从语言学角度看
语言学家不得不面对着这样一个问题：到底人类头脑中的语法结构和语言知识是如何获
得的，一派是以乔姆斯基为代表的理性主义者；另一派是经验主义者，经验主义和统计自 然语言处理成为当前研究的主流。
汉 语 树 库 CTB (ChineseTreebank)
CTB6大约有80万个词。
神经网络---感知器训练法则
我们主要考虑两种算法 – 感知器法则 – delta法则
1.感知器训练法则
wi wi wi 其中 wi (t o) xi
神经网络---感知器训练法则
2. delta法则克服感应器法则的不足，在线性不可分的训练样本上，收敛到
在卷积阶段,连接输入特征图 x i 和 输出特征图 yj 的权值记为 wij ，即 可训练的卷积核，卷积核的大小为 k 2 ×k 3 。输出特征图为：
卷积神经网络---非线性变换阶段
• 非线性阶段,对卷积阶段得到的特征按照一定的原则进行 筛选,筛选原则通常采用非线性变换的方式,以避免线性 模型表达能力不够的问题. • 非线性阶段将卷积阶段提取的特征作为输入,进行非线性 映射 R = h(y)。 传统卷积神经网络中非线性操作采用 sigmoid、tanh 或 softsign 等饱和非线性(saturating nonlinearities)函数 ，如下为sigmoid函数图像及公式：