深度神经网络的发展现状

ｉ ｎ ｍｅ Ｂ ｒ ａ ｉ ｎ ＞ ）建立 了第 一 个 人 工神 经 网 络 数 Ｐ ｒ ｏ ｐ ａ ｇ ａ ｔ ｉ ｏ ｎ ） 算 法 的发 明更 是 带 来 了 Ａ Ｎ Ｎ 的 学 习热潮 ，但 由于理论分析 难度较大 ，训练方 大 ，这个时 期 ＡＮ Ｎ
学 模 型，１ ９ 世纪 ８ Ｏ年代 末 期反 向传 播 （ Ｂ ａ ｃ ｋ ２ ０ １ ２ 年 ｌ １ 月 ，百 度上 线 了第 一款 基 于 Ｄ Ｎ Ｎ
Ｍｏ ｄ ｅ ｌ ｆ ｏ ｒ Ｉ ｎｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ｓｔ ｏ ｒ ａ ｇ ｅ ｎｄ ａ Ｏｒ ｇ ａ ｎｉ ｚ ａ ｔ ｉ ｏｎ
ｒａ ｕ ｌ Ｍａ ｃ ｈ ｉ ｎ ｅ Ｔ ｒ ａ ｎ ｓ ｌ ａ ｔ ｉ ｏ ｎ ） ，大 幅提 高 了翻 译 ２ ０ ０ ９年 开 始 和 深度 学 习 专家 Ｇ ｅ ｏ ｆ ｅ ｒ ｙ Ｈｉ ｎ ｔ ｏ ｎ Ｎｅ 合 作 ，并 于 ２ ０ １ １年 宣布 推 出基 于 Ｄ ＮＮ 的 识 的精 确度 与流 畅度 。 别系统 ， 彻底改变 了语音识别 的原有技术框架 的 语 音搜 索系 统 ，成 为 最 早 采用 Ｄ ＮＮ技 术 进行 商业 语音 服 务的 公司之 一；２ ０ １ ６年微 软
可等价 为单隐层神经 网络 ，主要是进行浅层学
战。
图１
取 得 了 巨大 的成功 。２ ０ １ １ 年 微软 和谷 歌 的研 量 空 间 ， 然 后 用 ＡＮ Ｎ 来 表 示 Ｎ． Ｇ ｒ ａ ｍ模 型； 【 关键词 】深度神 经 网络 序 列到序 列网络 卷 究 员利 用 ＤＮ Ｎ 将 语 音 识别 的错 误率 降低 了 ２ ０ １ ４年 １ ０月 ＮＥ Ｃ美 国研 究院将 Ｄ Ｎ 用于自
Ｃｈｕ ｎｋｉ ｎｇ、 Ｎ ａ ｍｅ ｄ Ｅｎｔ ｉ ｔ ｙ Ｒｅｃ ｏｇｎｉ ｔ ｉ ｏｎ、
１深度神经 网络 起源
人工神 经网络 （ Ａ ｒ ｔ ｉ ｉ ｆ ｃ ｉ ａ ｌ Ｎｅ ｕ ｒ ａ ｌ Ｎｅ ｔ ｗｏ ｒ ｋ ｓ ，
Ｓ ｅ ｍａ ｎ ｔ ｉ ｃ Ｒ ｏ ｌ ｅ Ｌ ａ ｂ ｅ ｌ ｉ ｎ ｇ 等 四个 典 型 ＮＬ Ｐ问 题 ： 列到序列 ｆ ｓ ｅ ｑ ｕ ｅ ｎ ｃ ｅ ｔ ｏ ｓ ｅ ｑ ｕ ｅ ｎ ｃ ｅ ，ｓ ｅ ｑ ２ ｓ ｅ ｑ ） 网 络
接 从大量训练数据 中学习规律 Leabharlann Baidu其研 究最 早可
以追溯到 １ ９ ５ ７年 Ｆ ｒ ａ ｎ ｋ Ｒ ｏ ｓ ｅ ｎ ｂ ｌ ａ ｔ ｔ 提 出 的 感 知
机 模 型，他 在 （ （ Ｔ ｈ ｅ Ｐ ｅ ｒ ｃ ｅ ｐ ｔ ｒ ｏ ｎ ： Ａ Ｐ ｒ ｏ ｂ ａ ｂ ｉ ｌ ｉ ｓ ｔ ｉ ｃ
３ 深度 神经 网络 常见结构
ＤＮ Ｎ 能 够 在 各 领 域 取 得 巨 大 成 功 ， 与 其
模 型结构是密 不可分 的，现代 ＤＮ Ｎ 大都 可归
法及技巧 尚不成熟 ，计算机运 算能力还不够强 使用循 环神 经 网络语 言模型 （ Ｒ ｅ ｃ ｕ ｒ ｒ ｅ ｎ ｔ Ｎｅ ｕ ｒ ａ ｌ 纳为三种基本结构 ：序 列到序 列网络 、卷积 网
积 网络 对 抗 式 生 成 网路 ２ ０ ％～ ３ Ｏ ％ ；２ ０ １ ２年 在 Ｉ ｍａ ｇ ｅ Ｎｅ ｔ 图 像 识 别 挑 战 然语言处理 （ Ｎａ ｔ ｕ ｒ ａ ｌ ｌ ｎｇ ａ ｕ ａ ｇ ｅ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ，ＮＬ Ｐ 、
赛 （ Ｉ Ｌ Ｓ ＶＲ Ｃ２ ０ １ ２ ）中 Ｄ ＮＮ 更 是将 识 别错 误 率 从 ２ ６ ％ 降到 了 １ ５ ％：２ ０ １ ６年 ３月 Ｄｅ ｅ ｐ Ｍｉ ｎ ｄ 团 队研 发 的围 棋软 件 Ａ￣ｈ ａ ＧＯ以 ４ ： １的 巨大 优 势 战胜 了世 界 围棋冠 军 李 世石 ，２ ０ １ ７年 １
月 初 Ａｌ ｐ ｈ ａ ＧＯ 的 升 级 版 Ｍａ ｓ ｔ ｅ ｒ以 ６ ０ ： ０的战 绩
的研 究工 作，其研 究 员 Ｒ ｏ ｎ ａ ｎＣ ｏ ｌ ｌ ｏ ｂ ｅ ｒ ｔ 和 Ｊ ａ ｓ ｏ ｎ Ｗｅ ｓ ｔ ｏ ｎ从 ２ ０ ０ ８年开始采 用单词 嵌入技 术
和 多层 一 维 卷 积 的 结 构 ， 用 于 Ｐ ＯＳ Ｔ ａ ｇ ｇ ｉ ｎ ｇ 、
Ｎ ｅ ｔ ｗｏ ｒ ｋ Ｗｏ ｒ ｌ ｄ・ 网络天地
深度神经 网络 的发 展现状
文／ 胡 聪 丛 胡 桓 。
编码器 网络 （ Ｅ ｎ ｃ ｏ ｄ ｅ ｒ ）
解码器网络 （ Ｄ ｅ ｃ ｏ ｄ ｅ ｒ ）
深 度 神 经 网 络 已经 在 语 音 、
图像 、文 本等 信 息处 理领 域 取得 了 巨大 的成 果 ，本 文 简 述其起 源 及 成 果， 并介 绍现 代 深度 神 经 网 络 模 型 的三种 基 本 结构 ：序 列 到 序 列 神 经 网络 、卷 积神 经 网络 、 对 抗 式生 成 网络 ，最 后展 望 了深 度神 经 网络 研 究领 域 所 面临 的挑
ＡＮＮ） 研 究是 人工智 能领域 的一 个重要分 支， 在对 生物 神经 网 络结 构及 其机 制研 究 的基 础 上，构建类似 的人 工神经网络 ，使得机器 能直
击败 了数 十位 中 日韩 围棋高 手。 当前对 Ｄ ＮＮ ２ ０ １ ４年 Ｉ ｌ ｙ ａ Ｓ ｕ ｔ ｓ ｋ ｅ ｖ ｅ ｒ 提 出 了基 于 Ｌ Ｓ Ｔ Ｍ 的 序 的研 究主要集 中在 以下领域： ２ ． １语音识别领域 微 软研 究 院语音 识别 专家 邓 立和 俞栋 从 模 型，突破了传统网络的定长输入 向量 问题 ， 开 创 了语 言翻译 领域 的新 方向：２ ０ １ ６年谷 歌 宣布推出基于 ＤＮ Ｎ 的翻译 系统 ＧＮＭＴ （ Ｇｏ ｏ ｇ ｌ ｅ