基于深度学习的自然语言处理

１ ． ２ ． ２ 区分性深度模 式 为提供 对模式 分类区分训练 的能力 ， 描述数 据后验实 现 的分布。 卷积神经网络 （ ｃ ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ １ Ｎｅ ｕ ｒ ａ ｌ Ｎｅ ｔ ｗｏ ｒ ｋ ． Ｃ ＮＮ） 属于 区分 性训练 ， 一个真正实践训练 多层成真的网络 结构算法， ＤＢ Ｎｓ 算法和它相反。 通过具有相同参 数神经元 作用于视觉系统结构启发， 在上一层 的不同位置生成一种不 变性的特 征。 于是Ｌ ｅ Ｃ ｕ ｎ 等沿着这种指导， 为了 Ｃ ＮＮ深度学 习框 架是为了满足最小化预处理 数据 的实践， 要求Ｂ Ｐ 算法 设计来生成Ｃ ＮＮ。 由早期 时间延迟神经 网络的指导影 响， Ｃ ＮＮ由早期时间延迟神经网络 的方法通过共享时域权值 的 大小来实现。 Ｃ Ｎ Ｎ是一种一般前 向的Ｂ Ｐ ｉ ） Ｉ Ｉ 练常用拓扑模型， 利用空间相对 的关系减少参数的数量来提高的， 而且在多个 实验 中取得不错 的效果。 通常用作局部感受区域图像小部分 最底层 的基本输入 ， 不同信息网络的逐层层次传递， 从而能 够实现在每一层 数据显著特征 ， 来 获得对平移 、 缩 放、 旋转 不变的观测。 １ ． ２ ． ３混合型模 型 混合型模型是区分更佳性的 目 标， 通常利用生成型结构 输出。 混合型结构模型学习—— 生成性部分与区分性部分。 区分 性任务经常用来现有典型生成性的单元， 应用于分类任 务， 预训练通过当有生成性模型结合其他典型的区分性学习 算法来 对优化进行所有权值。 一个顶层变 量通 过附加来为 训练集提供 的期望输出区分性寻优。 优化Ｄ Ｂ Ｎ的权值 用Ｂ Ｐ 算法来实现 ， 通过Ｒ Ｂ Ｍ和ＤＢ Ｎ初始权值预训练， 这 样一来 网络性能就会更加优越 ， 相对 于那些只通 过Ｂ Ｐ 算法单独训 练的网络， Ｂ Ｐ 对Ｄ Ｂ Ｎ ｓ 训练不但拥有完成 局部参数 空间搜索 的优 势， 而且和前馈型神经网络相 比， 加快了训练 效果和收 敛回馈时间的速 度。
第１ ０ 期
２ ０１ ７ 年５
无线 互联 科技
Ｎ ｏ ． １ ０
Ｍａｙ，２０１ ７
基于深度学习的自然语言处理
竺ｊ ＝ 宝 王 审 － ｉ ｖ 。 ● 张 丁 明 娜 ｐ
（ 河南城ห้องสมุดไป่ตู้建学院， 河南 平顶 山 ４ ６ ７ ０ ３ ６ ）
摘
要： 深度学习 是机 器学习中接近ＡＩ 的领域之一， 通过模 拟人 脑学习神经进行分析。 深度学习源于人工神经 网络的研究， 其
Ｂ ｏ ｌ ｔ ｚ ｍａ ｎ ｎ Ｍａ ｃ ｈ ｉ ｎ ｅ ， Ｒ Ｂ Ｍ） 单元 组合 成 的 ， Ｒ Ｂ Ｍ 通 过 非 常
典型的网络神经 ， 来使网络可视层和隐层单元相互连接 ， 通 过获取输入 为可视 单元高阶隐单元。 ＲＢ Ｍ权值相对会 比较 比较轻松， 与传统网络ｓ ｉ ｇ ｍｏ ｉ ｄ 的信度不同。 通过预训练获取 的生成性权值 ， 采用无监督贪心的模式逐层不停完成 。 在训 练 过程 中， 简单来说 ， 将可视向量 的值映射给 隐单元， 隐层 单元的重建由可视单元来完成； 最后次映射给隐单元就 由新 ２ 训 练 过 程 神经 网络模 式有指导 学习和 无指导学 习， 有指 导学习 可视单元来实现， 最终来完成隐单元 的更新。 一个Ｄ Ｂ Ｎ由自 下向上 的多个不 同的Ｒ Ｂ Ｍ构建组合。 将可用的隐单元通过 是主流的， 无 指导学 习用来聚集分析。 有 指导 的模式识别， 高斯一 伯努利ＲＢ Ｍ， 伯努利一伯努￣ ］ Ｒ Ｂ Ｍ结 构， 输 出作为 同类 样本通 过一种 适当的空 间划分方 法或边界在空间的分
作者简介： 竺宝宝 （ １ ９ ９ ３ 一 ） ， 男， 河南平顶山， 本科 ； 研 究方向： 计算机 。
深度学习是学习深层非线性网络 的一种结构， 通过展现 复杂函数逼近 ， 用输入数据 分布式来表示， 最终将数据样本 集 中学习数据集本质特点的能力展现 出来。 通 过含多隐层的 多层感知器 来进行深度学习。 深度学习可以更多地模拟神经 层神经活动 ， 使用组合 低层特征 来合成更 加抽象 的高层属 性特征类别， 来更好地展现 数据分布式特 性。 深度学习的理 论由Ｈｉ ｎ ｔ ｏ ｎ 等于２ ０ ０ ６ 年提出， 通过非监督贪心逐层训练深信 度网（ Ｄｅ ｅ ｐ Ｂ ｅ ｌ ｉ ｅ ｆ Ｎｅ ｔ ｗｏ ｒ ｋ ， Ｄ Ｂ Ｎ） 的算法 ， 为解决深层 结构 相关的优化难题带来更好的指导方向。 Ｌ ｅ ｃ ｕ ｎ 等提 出的是最 早的真正多层结构学习算法之一——卷积神经网络， 通过空 间关系的参数相对数量减少以减少训练误差。 １ ． ２深度学习结构模 型 深度学习按照模型和技术的应用把模 型归为３ 类。 １ ． ２ ． １生成性深度模 式 该模式通过讲述观测数据和相应类别的联合概率分布， 来展现数据的高阶相关特点， 同时， 区别于传 统型神经分 区 网络， 通过联合概率分布获取观测数据标 签的， 来更好地进 行先验概率和后验概率 的预测 ， 而区分型模型却不能对其进 行推测 。 Ｄ Ｂ Ｎ 恰 恰解决了传统多层 网络神经算法训练Ｂ Ｐ 的 难点： 大量含标签训练样本 集， 收敛速度 比较慢 ， 由不适 宜 的训练数据选择 陷入局部最佳。 ＤＢ Ｎ是 由一 组 系 列 的受 限波 尔 兹曼 机 （ Ｒｅ ｓ ｔ ｒ ｉ ｃ ｔ ｅ ｄ
对 比简单学习 来讲， 多数分类、 回归等学习算法归于简单机 器学习， 复杂函数运 算的表示能力和局限性与有限样本和计算单元
对有关， 泛化能力也受到复杂分类的一定限制。
关键词 ： 深度学习； 自 然语言； 非线 ｝ 生 网络结构
１ 深度学习 １ ． １深度学习的基本 概念
训练上层伯努利一伯努利Ｒ Ｂ Ｍ的导入和下层伯努利和伯努 利 的导出， 以此类推等等。