专家展望未来5年深度学习技术的发展

专家展望未来5年深度学习技术的发展

2015年12月29日，美国科技资讯网Re-work发文，总结了多位深度学习专家对未来5年深度学习技术的发展预

（1）人工智能研究机构OpenAI的研究主任Ilya Sutskever：测。

我们可以期待看到更多更深的模型。与现有模型相比，这些

模型需要的训练案例更少。我们可以期待看到更精确和更有

用的语言与视觉识别系统。（2）波恩大学自动智能系统集团

教授及主管Sven Behnke：我希望深度学习方法能够被应用

到越来越多具有更多数据结构的多模态问题中，如机器人、

（3）谷歌高级科学家Christian Szegedy：数据挖掘和知识发现。

目前的深度学习算法和神经网络技术的表现远远低于其理

论上能够达到的性能。今天，仅仅通过改进网络结构和使用

更好的培训方法，我们设计出的视觉网络就可以比一年前使

用昂贵部件的系统便宜5-10倍、参数少15倍，却具有更好

的性能。我相信这只是一个开始：深度学习算法将会变得更

加有效，使它们可以运行在更廉价的移动设备上，甚至不需

要额外的硬件支持和高昂的存储开销。（4）斯坦福大学计算

机科学博士研究生、OpenAI研究所科学家：我看到的一个

趋势是系统架构正在迅速地变得更大更复杂。我们正向着构

建大型神经系统发展。这种系统允许我们添加和撤换神经部

件、在各种数据集上预训练网络的某个部分、添加新的模块、

联合调整任何内容，等等。例如，卷积网络曾是最大、最深的神经网络架构，但现在它已经被看作大多数更新架构里图标中的一个小盒子。接下来，很多这样的架构也会变成为未来新架构中的一个小盒子。（5）加州大学伯克利分校计算机科学副教授、Gradescope网联合创始人Pieter Abbeel：当前有很多基于深度监督学习和视频缩放技术的行业，正在努力使深度学习超越当前自然语言处理的方法，并在深度无监督学习和深度强化学习方面取得重大进展。（6）深度学习初创公司Deep Instinct的首席技术官Eli David：过去两年我们见证了深度学习技术在它的大多数应用领域取得了越来越大的成功。未来五年里，即使我们不能实现人类水平的认知这个“圣杯”（尽管这极有可能在我们的有生之年发生），我们也将在其他很多领域看到巨大的进步。特别地，我认为最有前途的领域是无监督学习，因为其中的数据是没有标签的，而我们的大脑新皮层也基本上是一个非常好的无监督学习盒。（7）Deep Instinct是第一个将深度学习技术应用到网络安全的公司，我预计未来几年能够看到更多利用这种技术的公司。然而，深度学习的门槛仍然很高，尤其是对那些不经常使用人工智能方法的网络安全公司（例如，很少看到使用典型机器学习技术的解决方案）。因此，还需要几年时间才能让深度学习技术成为网络安全领域中一种广泛使用的商品化技术。（8）情绪识别公司Affectiva的研究主任Daniel

McDuff：在计算机视觉、语音识别和其他一些领域，深度学习已经成为机器学习的主要形式。我预计基于一两个图形处理器建造精确识别系统的能力能够让研究者建造并部署现实世界的新软件。由于数据量会保持持续增长，我预计将看到无监督或半监督的训练算法得到更多关注。（9）加拿大高级研究所（CIFAR）学者J?rg Bornschein：预测未来总是很困难。我认为无监督、半监督和强化学习方法的作用将比现在大得多。如果我们把机器学习作为一个更大系统的一部分，例如机器人控制系统或者集中了很多计算资源的更大系统，就会很容易发现纯粹的监督学习模式对解决这类问题是远远不够的。（10）谷歌高级科学家Ian Goodfellow：我认为在五年内，我们能获得可以从视频剪辑中总结出事件并能够制造短视频的神经网络。神经网络已经成为视觉任务的标准解决方案，我期望它也能成为神经语言编程和机器人任务的标准解决方案。我还预计神经网络将成为另外一些科学领域的重要工具。例如，神经网络可以通过训练为基因、药物和蛋白质等建模，然后用来设计新的药物。（11）情感技术公司Sentient Technologies的首席技术官Nigel Duffy：目前大数据生态系统一直专注于海量数据的收集、管理和综合处理。很明显，在分析和预测方面也有了大量工作。但企业用户根本不关心这个问题，他们只关心结果，例如“这个数据会改变我的行为方式吗？它会改变我的决定吗？”我们认为这是

未来5年内要解决的关键问题，而且我们相信人工智能将成为数据和更好的决策之间的桥梁。显然，深度学习将在这个演化中扮演重要角色，但它将与其他人工智能方法相结合。在未来的五年中，我们将看到越来越多的混合系统。在其中，深度学习将被用来处理一些困难的感知任务，而其他人工智能技术和机器学习技术将被用来解决问题的其他部分，例如推理等。（12）谷歌DeepMind团队科学家Koray Kavukcuoglu 和Alex Graves：未来五年会发生很多事情。我们认为无监督学习和强化学习将变得更加重要。我们还期望看到多模态学习的增长和超越个人数据集的学习受到更多关注。（13）多伦多大学机械学习小组博士研究生Charlie Tang：深度学习算法将逐渐被用于更多任务并解决更多问题。例如五年前人脸识别算法的识别率通常比人眼识别率低，然而目前已经有基于主要的人脸识别数据集和标准图像分类数据集的超过人

眼性能的识别算法出现。在未来五年，一些越来越难的问题将被深度学习算法解决，如视频识别、医疗图像处理或文本处理等。我们也可以期待深度学习算法被用于商业产品，就像过去十年中人脸识别器被集成到消费级相机的过程。