激活函数在卷积神经网络中的对比研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
计算 机系 统应 用 ＩＳＳＮ １００３．３２５４．ＣＯＤＥＮ ＣＳＡＯＢＮ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍｓ＆Ａｐｐｌｉｃａｔｉｏｎｓ，２０１８，２７（７）：４３－４９［ｄｏｉ：１０．１５８８８￣．ｃｎｋｉ．ｃｓａ．００６４６３］ ＠中 国科学 院软 件研 究所 版权 所 有．
Ｅ—ｍａｉｌ：ｃｓａ＠ｉｓｃａｓ．ａｃ．ｃｎ
引用格 式：田娟，李英 祥，李 彤岩．激活 函数在卷 积神经 网络 中的对 比研 究．计算 机系 统应用，２０１８，２７（７）：４３－４９．ｈｔｔｐ：／／ｗｗｗ－ｃ＿Ｓ－ａ．ｏｒｇ．ｃｎ／１００３－
３２５４／６４６３．ｈｔｍｌ
Ｃ ｏｎｔｒａｓｔｉｖｅ Ｓｔｕｄｙ ｏｆ Ａ ｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ ｉｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎ ｅｕｒａｌ Ｎຫໍສະໝຸດ Baiduｅｔｗ ｏｒｋ
模型 时只是根据标 准算法或改进算法直接搭建，而对算 法本身及影响模型性能 的因素不甚了解，致使在许多应用 中 或 多或少存 在盲 目套用现象．通过研究深度神经 网络 ，选 择其 中的重要影 响因素激 活函数进行深入研究．首先，分析 了激 活函数如 何影响深度 神经 网络 ；接 着对激 活函数 的发展现状 及不 同激 活函数 的原理性 能进 行 了分 析总结：最 后 ，基于 Ｃａｆｆｅ框 架用 ＣＮＮ 对 Ｍｎｉｓｔ数据集进 行分类识别 实验，对 ５种 常用 激活函数进行综合 分析 比较，为设计深 度神 经网络模型时选用激活 函数提供参考． 关键 词：卷积神经网络；激活 函数 ；Ｃａｆｆｅ；梯度 下降法；网络性 能
ｈｔｔｐ：／／ｗｗ ｗ ．Ｃ—Ｓ·ａ．ｏｒｇ．ｃｎ Ｔｅｌ：＋８６．１０．６２６６１０４ｌ
激 活 函数在卷积神经 网络 中的对 比研究①
田 娟，李英祥，李彤岩
（成 都 信 息 工 程 大 学 通 信 工 程 学 院 ，成 都 ６１０２２５） 通讯作者：田 娟，Ｅ－ｍａｉｌ：１８４９３３６４３８＠ｑｑ．ｃｏｍ 摘 要 ：近年，深度学 习的快速发展致使越来越 多的人从事相关 的研 究工作 ．但 是，许多研究者在搭建深度神经 网络
１ 引 言
近年，深度 学习 在计算机视 觉、语音识别 、 自然 语 言处 理、图形图像识别 等领 域的运用备受关注．与 浅层 神经 网络相 比，深度 神经 网络层 数 的增 加 意味着 其 学到 的特征越 紧密，表达 能力也 越强 ．但 是，训练 的
层数越 多，训练也就越 困难，主 要是 因为在反 向传播算 法 中残 差会 随着 网络传 播 的深度递 减，使得 底层 网络 因为 残差 过小而 无法 得到有 效训练 或无 法训 练．残 差 的衰减 与 网络模 型 中激 活函数 （ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）的 选用 密切 相关，更 好 的激 活 函数可 以抑制残 差在 网络
ＴＩＡＮ Ｊｕａｎ，ＬＩ Ｙｉｎｇ—Ｘｉａｎｇ，ＬＩ Ｔｏｎｇ－Ｙ ａｎ
（Ｓｃｈｏｏｌ ｏｆＣｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈｅｎｇｄｕ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＩｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｅｎｇｄｕ ６１０２２５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｒｅｃｅｎｔ ｙｅａｒｓ，ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｈａｓ ｌｅｄ ｍｏｒｅ ａｎｄ ｍ ｏｒｅ ｐｅｏｐｌｅ ｔｏ ｅｎｇａｇｅ ｉｎ ｒｅｌａｔｅｄ ｒｅｓｅａｒｃｈ ｗ ｏｒｋ．Ｈｏｗ ｅｖｅｒ，ｍ ａｎｙ ｒｅｓｅａｒｃｈｅｒｓ ｃｏｎｓｔｒｕｃｔ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗ ｏｒｋ ｍ ｏｄｅｌｓ ｂａｓｅｄ ｏｎ ｓｔａｎｄａｒｄ ａｌｇｏｒｉｔｈｍ ｓ ｏｒ ｉｍ ｐｒｏｖｅｄ ａｌｇｏｒｉｔｈｍ ｓ，ｂｕｔ ｄｏ ｎｏｔ ｕｎｄｅｒｓｔａｎｄ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｉｔｓｅｌｆ ａｎｄ ｔｈｅ ｆａｃｔｏｒｓ ｔｈａｔ ａｆｆｅｃｔ ｔｈｅ ｐｅｒｆｏｒｍ ａｎｃｅ ｏｆ ｔｈｅ ｍ ｏｄｅｌ， ｒｅｓｕｌｔｉｎｇ ｉｎ ｍｏｒｅ ｏｒ ｌｅｓｓ ｂｌｉｎｄ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｍ ａｎｙ ａｐｐｌｉｃａｔｉｏｎｓ．Ｂｙ ｓｔｕｄｙｉｎｇ ｔｈｅ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ｔｈｅ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ ｏｆ ｔｈｅ ｉｍ ｐｏｒｔａｎｔ ｉｎｆｌｕｅｎｃｉｎｇ ｆａｃｔｏｒｓ ｗａｓ ｓｔｕｄｉｅｄ．Ｆｉｒｓｔ，ｔｈｅ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ ｉｓ ａｎａｌｙｚｅｄ ｔｏ ｉｎｆｌｕｅｎｃｅ ｔｈｅ ｄｅｐｔｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ．Ｔｈｅｎ，ｔｈｅ ｄｅｖｅｌｏｐｍ ｅｎｔ ｏｆ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ ａｎｄ ｔｈｅ ｐｒｉｎｃｉｐｌｅ ａｎｄ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｄｉｆｆｅｒｅｎｔ ａｃｔｉｖａｔｉｏｎ ｆｕ ｎｃｔｉｏｎｓ ａｒｅ ａｎａｌｙｚｅｄ ａｎｄ ｓｕｍ ｍ ａｒｉｚｅｄ．Ｆｉｎａｌｌｙ，ｂａｓｅｄ ｏｎ ｔｈｅ Ｃａｆｆｅ ｆｒａｍ ｅｗ ｏｒｋ，ｔｈｅ ＣＮＮ ｉｓ ｕｓｅｄ ｔｏ ｃｌａｓｓｉｆｙ ａｎｄ ｉｄｅｎｔｉｆｙ Ｍ Ｎ ＩＳＴ ｄａｔａ ｓｅｔｓ．Ｆｉｖｅ ｋｉｎｄｓ ｏｆ ｃｏｍ ｍ ｏｎｌｙ ｕｓｅｄ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎｓ ａｒｅ ａｎａｌｙｚｅｄ ａｎｄ ｃｏｍｐａｒｅｄ ｃｏｍ ｐｒｅｈｅｎｓｉｖｅｌｙ ｔｏ ｐｒｏｖｉｄｅ ａ ｒｅｆｅｒｅｎｃｅ ｆｏｒ ｔｈｅ ｓｅｌｅｃｔｉｏｎ ｏｆ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ ｉｎ ｔｈｅ ｄｅｓｉｇｎ ｏｆ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗ ｏｒｋ ｍ ｏｄｅ１． Ｋ ｅｙ ｗ ｏｒｄｓ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗ ｏｒｋ；ａｃｔｉｖａｔｉｏｎ ｆｕ ｎｃｔｉｏｎ；Ｃａｆｆｅ；ｇｒａｄｉｅｎｔ ｍ ｅｔｈｏｄ；ｎｅｔｗ ｏｒｋ ｐｅｒｆｏｒｍ ａｎｃｅ
Ｅ—ｍａｉｌ：ｃｓａ＠ｉｓｃａｓ．ａｃ．ｃｎ
引用格 式：田娟，李英 祥，李 彤岩．激活 函数在卷 积神经 网络 中的对 比研 究．计算 机系 统应用，２０１８，２７（７）：４３－４９．ｈｔｔｐ：／／ｗｗｗ－ｃ＿Ｓ－ａ．ｏｒｇ．ｃｎ／１００３－
３２５４／６４６３．ｈｔｍｌ
Ｃ ｏｎｔｒａｓｔｉｖｅ Ｓｔｕｄｙ ｏｆ Ａ ｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ ｉｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎ ｅｕｒａｌ Ｎຫໍສະໝຸດ Baiduｅｔｗ ｏｒｋ
模型 时只是根据标 准算法或改进算法直接搭建，而对算 法本身及影响模型性能 的因素不甚了解，致使在许多应用 中 或 多或少存 在盲 目套用现象．通过研究深度神经 网络 ，选 择其 中的重要影 响因素激 活函数进行深入研究．首先，分析 了激 活函数如 何影响深度 神经 网络 ；接 着对激 活函数 的发展现状 及不 同激 活函数 的原理性 能进 行 了分 析总结：最 后 ，基于 Ｃａｆｆｅ框 架用 ＣＮＮ 对 Ｍｎｉｓｔ数据集进 行分类识别 实验，对 ５种 常用 激活函数进行综合 分析 比较，为设计深 度神 经网络模型时选用激活 函数提供参考． 关键 词：卷积神经网络；激活 函数 ；Ｃａｆｆｅ；梯度 下降法；网络性 能
ｈｔｔｐ：／／ｗｗ ｗ ．Ｃ—Ｓ·ａ．ｏｒｇ．ｃｎ Ｔｅｌ：＋８６．１０．６２６６１０４ｌ
激 活 函数在卷积神经 网络 中的对 比研究①
田 娟，李英祥，李彤岩
（成 都 信 息 工 程 大 学 通 信 工 程 学 院 ，成 都 ６１０２２５） 通讯作者：田 娟，Ｅ－ｍａｉｌ：１８４９３３６４３８＠ｑｑ．ｃｏｍ 摘 要 ：近年，深度学 习的快速发展致使越来越 多的人从事相关 的研 究工作 ．但 是，许多研究者在搭建深度神经 网络
１ 引 言
近年，深度 学习 在计算机视 觉、语音识别 、 自然 语 言处 理、图形图像识别 等领 域的运用备受关注．与 浅层 神经 网络相 比，深度 神经 网络层 数 的增 加 意味着 其 学到 的特征越 紧密，表达 能力也 越强 ．但 是，训练 的
层数越 多，训练也就越 困难，主 要是 因为在反 向传播算 法 中残 差会 随着 网络传 播 的深度递 减，使得 底层 网络 因为 残差 过小而 无法 得到有 效训练 或无 法训 练．残 差 的衰减 与 网络模 型 中激 活函数 （ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）的 选用 密切 相关，更 好 的激 活 函数可 以抑制残 差在 网络
ＴＩＡＮ Ｊｕａｎ，ＬＩ Ｙｉｎｇ—Ｘｉａｎｇ，ＬＩ Ｔｏｎｇ－Ｙ ａｎ
（Ｓｃｈｏｏｌ ｏｆＣｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈｅｎｇｄｕ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＩｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｅｎｇｄｕ ６１０２２５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｒｅｃｅｎｔ ｙｅａｒｓ，ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｈａｓ ｌｅｄ ｍｏｒｅ ａｎｄ ｍ ｏｒｅ ｐｅｏｐｌｅ ｔｏ ｅｎｇａｇｅ ｉｎ ｒｅｌａｔｅｄ ｒｅｓｅａｒｃｈ ｗ ｏｒｋ．Ｈｏｗ ｅｖｅｒ，ｍ ａｎｙ ｒｅｓｅａｒｃｈｅｒｓ ｃｏｎｓｔｒｕｃｔ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗ ｏｒｋ ｍ ｏｄｅｌｓ ｂａｓｅｄ ｏｎ ｓｔａｎｄａｒｄ ａｌｇｏｒｉｔｈｍ ｓ ｏｒ ｉｍ ｐｒｏｖｅｄ ａｌｇｏｒｉｔｈｍ ｓ，ｂｕｔ ｄｏ ｎｏｔ ｕｎｄｅｒｓｔａｎｄ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｉｔｓｅｌｆ ａｎｄ ｔｈｅ ｆａｃｔｏｒｓ ｔｈａｔ ａｆｆｅｃｔ ｔｈｅ ｐｅｒｆｏｒｍ ａｎｃｅ ｏｆ ｔｈｅ ｍ ｏｄｅｌ， ｒｅｓｕｌｔｉｎｇ ｉｎ ｍｏｒｅ ｏｒ ｌｅｓｓ ｂｌｉｎｄ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｍ ａｎｙ ａｐｐｌｉｃａｔｉｏｎｓ．Ｂｙ ｓｔｕｄｙｉｎｇ ｔｈｅ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ｔｈｅ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ ｏｆ ｔｈｅ ｉｍ ｐｏｒｔａｎｔ ｉｎｆｌｕｅｎｃｉｎｇ ｆａｃｔｏｒｓ ｗａｓ ｓｔｕｄｉｅｄ．Ｆｉｒｓｔ，ｔｈｅ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ ｉｓ ａｎａｌｙｚｅｄ ｔｏ ｉｎｆｌｕｅｎｃｅ ｔｈｅ ｄｅｐｔｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ．Ｔｈｅｎ，ｔｈｅ ｄｅｖｅｌｏｐｍ ｅｎｔ ｏｆ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ ａｎｄ ｔｈｅ ｐｒｉｎｃｉｐｌｅ ａｎｄ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｄｉｆｆｅｒｅｎｔ ａｃｔｉｖａｔｉｏｎ ｆｕ ｎｃｔｉｏｎｓ ａｒｅ ａｎａｌｙｚｅｄ ａｎｄ ｓｕｍ ｍ ａｒｉｚｅｄ．Ｆｉｎａｌｌｙ，ｂａｓｅｄ ｏｎ ｔｈｅ Ｃａｆｆｅ ｆｒａｍ ｅｗ ｏｒｋ，ｔｈｅ ＣＮＮ ｉｓ ｕｓｅｄ ｔｏ ｃｌａｓｓｉｆｙ ａｎｄ ｉｄｅｎｔｉｆｙ Ｍ Ｎ ＩＳＴ ｄａｔａ ｓｅｔｓ．Ｆｉｖｅ ｋｉｎｄｓ ｏｆ ｃｏｍ ｍ ｏｎｌｙ ｕｓｅｄ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎｓ ａｒｅ ａｎａｌｙｚｅｄ ａｎｄ ｃｏｍｐａｒｅｄ ｃｏｍ ｐｒｅｈｅｎｓｉｖｅｌｙ ｔｏ ｐｒｏｖｉｄｅ ａ ｒｅｆｅｒｅｎｃｅ ｆｏｒ ｔｈｅ ｓｅｌｅｃｔｉｏｎ ｏｆ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ ｉｎ ｔｈｅ ｄｅｓｉｇｎ ｏｆ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗ ｏｒｋ ｍ ｏｄｅ１． Ｋ ｅｙ ｗ ｏｒｄｓ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗ ｏｒｋ；ａｃｔｉｖａｔｉｏｎ ｆｕ ｎｃｔｉｏｎ；Ｃａｆｆｅ；ｇｒａｄｉｅｎｔ ｍ ｅｔｈｏｄ；ｎｅｔｗ ｏｒｋ ｐｅｒｆｏｒｍ ａｎｃｅ