卷积神经网络研究综述

摘 要 作 为 一 个 十 余 年 来 快 速 发 展 的崭 新 领 域 ，深 度 学 习 受 到 了 越 来 越 多 研 究 者 的关 注 ，它 在 特 征 提 取 和 建 模 上 都 有 着 相 较 于 浅 层 模 型 显 然 的优 势 ．深 度 学 习 善 于 从 原 始 输 入 数 据 中 挖 掘 越 来 越 抽 象 的特 征 表 示 ，而 这 些 表 示 具 有 良好 的 泛 化 能 力 ．它 克 服 了 过 去 人 工 智 能 中被 认 为 难 以 解 决 的 一 些 问 题 ．且 随 着 训 练 数 据 集 数 量 的显 著 增 长 以及 芯 片 处 理 能 力 的 剧 增 ，它在 目标 检 测 和 计 算 机 视 觉 、自然 语 言 处 理 、语 音 识 别 和 语 义 分 析 等 领 域 成 效 卓 然 ，因 此 也 促 进 了 人 工 智 能 的 发 展 ．深 度 学 习是 包 含 多 级 非 线 性 变 换 的层 级 机 器 学 习方 法 ，深 层 神 经 网 络 是 目前 的 主 要 形 式 ，其 神 经 元 问 的连 接 模 式 受 启 发 于 动 物视 觉皮 层 组 织 ，而 卷 积 神 经 网络 则 是 其 中一 种 经 典 而 广 泛 应 用 的结 构 ． 卷 积 神 经 网 络 的 局 部 连 接 、权 值 共 享 及 池 化操 作 等 特 性 使 之 可 以 有 效 地 降 低 网络 的 复 杂 度 ，减 少 训 练 参 数 的数 目 ， 使 模 型对 平 移 、扭 曲 、缩 放 具 有 一 定 程 度 的 不 变 性 ，并 具 有 强 鲁 棒 性 和 容 错 能 力 ，且 也 易 于 训 练 和 优 化 ．基 于 这 些 优 越 的特 性 ，它 在 各 种 信 号 和信 息 处 理 任务 中 的 性 能 优 于 标 准 的 全 连 接 神 经 网 络 ．该 文 首 先 概 述 了卷 积 神 经 网 络 的 发 展历 史 ，然 后 分 别 描 述 了 神经 元 模 型 、多 层 感 知 器 的 结 构 ．接 着 ，详 细 分 析 了 卷 积 神 经 网 络 的 结 构 ，包 括 卷 积 层 、 池 化 层 、全 连 接 层 ，它 们 发 挥 着 不 同的 作 用 ．然 后 ，讨 论 了 网 中 网模 型 、空 间 变 换 网 络 等 改 进 的 卷 积 神 经 网 络 ．同 时 ， 还 分 别 介 绍 了 卷 积 神 经 网 络 的 监 督 学 习 、无 监 督 学 习训 练 方 法 以 及 一 些 常 用 的 开 源 工 具 ．此 外 ，该 文 以 图 像 分 类 、 人 脸 识 别 、音 频 检 索 、心 电 图 分 类 及 目标 检 测 等 为 例 ，对 卷 积 神 经 网 络 的应 用 作 了 归 纳 ．卷 积 神 经 网 络 与 递 归 神 经 网 络 的 集成 是 一 个 途 径 ．为 了 给读 者 以尽 可 能 多 的 借 鉴 ，该 文 还 设 计 并 试 验 了 不 同 参 数 及 不 同 深 度 的 卷 积 神 经 网 络 来 分 析 各 参 数 间 的 相 互 关 系 及 不 同参 数 设 置 对 结 果 的 影 响 ．最 后 ，给 出 了卷 积 神 经 网 络 及 其 应 用 中 待 解 决 的 若 干 问 题 ．
关 键 词 卷 积 神 经 网 络 ；深 度 学 习 ；网 络 结 构 ；训 练 方 法 ；领 域 数 据
中 图 法 分 类 号 ＴＰ１８
ＤＯＩ号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１７．０１２２９
Ｒｅｖｉｅｗ ｏｆ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎ ｅｕｒａｌ Ｎ ｅｔｗ ｏｒｋ
ＺＨ ＯＵ Ｆｅｉ—Ｙａｎ ， ＪＩＮ Ｌｉｎ—Ｐｅｎｇ ＇ ＤＯＮＧ Ｊｕｎ
第 ４Ｏ卷 第 ６期 ２０１７年 ６月
计 算源自文库 机 学 报
ＣＨ ＩＮＥＳＥ ＪＯｕＲＮＡＬ ＯＦ ＣＯＭ ＰＵＴＥＲＳ
Ｖ ｏ１． ４０ Ｎ ｏ． ６ Ｊｕｎｅ ２０１７
卷 积 神 经 网 络 研 究 综 述
周飞燕” 金林鹏” 董 军”
ｌ （中 国科 学 院苏 州 纳 米 技 术 与 纳 米 仿 生 研 究 所 江 苏 苏 州 ２１５１２３） （中 国科 学 院大 学 北 京 １０００４９）
’（Ｓｕｚｈｏｕ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｎａｎｏ—Ｔｅｃｈ ａｎｄ Ｎａｎｏ—Ｂｉｏｎｉｃｓ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｓｕｚｈｏｕ，Ｊｉａｎｇｓｕ ２１５１２３） （Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ １０００４９）
Ａｂｓｔｒａｃｔ Ａｓ ａ ｎｅｗ ａｎｄ ｒａｐｉｄｌｙ ｇｒｏｗｉｎｇ ｆｉｅｌｄ ｆｏｒ ｍｏｒｅ ｔｈａｎ ｔｅｎ ｙｅａｒｓ，ｄｅｅｐ ｌｅａｒｎｉｎｇ ｈａｓ ｇａｉｎｅｄ ｍ ｏｒｅ ａｎｄ ｍｏｒｅ ａｔｔｅｎｔｉｏｎ ｆｒｏｍ ｄｉｆｆｅｒｅｎｔ ｒｅｓｅａｒｃｈｅｒｓ． Ｃｏｍｐａｒｅｄ ｗｉｔｈ ｓｈａｌｌｏｗ ａｒｃｈｉｔｅｃｔｕｒｅｓ，ｉｔ ｈａｓ ｇｒｅａｔ ａｄｖａｎｔａｇｅｓ ｉｎ ｂｏｔｈ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｎｇ ａｎｄ ｍｏｄｅｌ ｆｉｔｔｉｎｇ． Ａｎｄ ｉｔ ｉｓ ｖｅｒｙ ｇｏｏｄ ａｔ ｄｉｓｃｏｖｅｒｉｎｇ ｉｎｃｒｅａｓｉｎｇｌｙ ａｂｓｔｒａｃｔ ｆｅａｔｕｒｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｗ ｈｏｓｅ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ａｂｉｌｉｔｙ ｉｓ ｓｔｒｏｎｇ ｆｒｏｍ ｔｈｅ ｒａｗ ｉｎｐｕｔ ｄａｔａ． Ｉｔ ａｌｓｏ ｈａｓ ｓｕｃｃｅｓｓｆｕｌｌｙ ｓｏｌｖｅｄ ｓｏｍ ｅ ｐｒｏｂｌｅｍ ｓ ｗｈｉｃｈ ｗｅｒｅ ｃｏｎｓｉｄｅｒｅｄ ｄｉｆｆｉｃｕｌｔ ｔｏ ｓｏｌｖｅ ｉｎ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ｉｎ ｔｈｅ ｐａｓｔ． Ｆｕｒｔｈｅｒｍ ｏｒｅ，ｗｉｔｈ ｔｈｅ ｏｕｔｓｔａｎｄｉｎｇｌｙ ｉｎｃｒｅａｓｅｄ ｓｉｚｅ ｏｆ ｄａｔａ ｕｓｅｄ ｆｏｒ ｔｒａｉｎｉｎｇ ａｎｄ ｔｈｅ ｄｒａｓｔｉｃ ｉｎｃｒｅａｓｅｓ ｉｎ ｃｈｉｐ ｐｒｏｃｅｓｓｉｎｇ ｃａｐａｂｉｌｉｔｉｅｓ，ｉｔ ｈａｓ ｒｅｓｕｌｔｅｄ ｉｎ ｓｉｇｎｉｆｉ—