人工智能若干挑战与前沿进展

人工智能若干挑战与前沿进展

人工智能的教育与科研

“教学没有科研做底蕴，就是一种没有观点的教育”。

著名科学家钱伟长

“Machine learning will become a calculus”

T om Mitchell

美国工程院院士

卡内基梅隆计算机学院院长

卡内基梅隆机器学习系创系主任

人工智能极简史

1956 1960s

1970s

1980s

1987-1993

1990s –今

人工智能技术分类

五大流派（主义）

❑符号主义、连接主义、行为主义、贝叶斯、演绎

三大阶段

❑知识驱动、统计学习、下一代

2B$ AI Next Champaign

知识驱动的符号模型

符号模型（Symbolic model）——知识驱动

新一代知识驱动的符号模型

其一是知识库中的知识表示变成多样化；其二是多推理机（Multi-Inference Engines）结构；其三是增加了大众知识（来自互联网）——IBM W atson系统

基于知识驱动的符号模型的局限

有很多人类行为（知识）并不能精确描述，例如常识；知识库总是有限的，它不能包含所有的信息；

知识是确定的；

它只能描述特定的领域；

大量知识不能做到定量化（例如质量）。

这种模型只能在宏观层面上用来模拟人类的某些行为

数据驱动的亚符号模型

典型代表神经网络（浅层、深层）、概率统计模型

深度学习主要解决特征提取的问题，结合概率统计的工具Leslie G. Valiant

2010年图灵奖获得者

Judea Pearl

2011年图灵奖获得者

数据驱动的AI（亚符号模型）

典型代表神经网络（浅层、深层）、概率统计模型

深度学习主要解决特征提取的问题，结合概率统计的工具

挑战1：世界充满了不确定性

不确定性的产生来自于物理世界的不确定性，数据不完整、噪声等路况交通行人行为

挑战2：世界可能是充满对抗的

对抗噪声（攻击）将会给 AI 系统带来严重的风险

AlexNet: lionfish，confidence 81.3%

VGG-16: lionfish，confidence 93.3%

ResNet-18: lionfish，confidence 95.6%

挑战3：数据使用的低效

无监督学习或自学习

vs.

挑战4：深度学习模型的可解释性

鸟

147#神经元

在V GG-16 pool5 中最

活跃的的神经元

1. 真实图像

2. 对抗图像

[Dong et al., T owards Interpretable Deep Neural Networks by Leveraging Adversarial Examples, arXiv 2017]

DARPA 2B$ AI Next Campaign, 2018

新能力（New Capabilities）

❑赋能重要部门，实现流程自动化

鲁棒的AI（Robust AI）

❑理解AI技术失效的原因。算法的效果更加可靠

对抗性AI（Adversarial AI）

❑输入噪声；网络攻击

高性能AI（High-performance AI）

❑在低功耗硬件上使用AI，减少对训练数据标签的需求

下一代AI（Next Generation AI）

❑将计算机从工具向解决问题的伙伴转化；使AI能够解释他们自己的行为，并且能够获取通过常识进行推理

不确定性建模和推断

不确定性建模和推理是智能系统的关键部分

1980s~ 机器学习

1970s & 1980s: 专家系统 1960s & 1970s: 自然语言处理系统

1950s & 1960s: 符号推理，搜索，知识表达

“Pearl 之前的AI 研究者聚焦于模仿人类智能的演绎能力，而Pearl 之后的研究者会则更加关注无法避免的不确定

性…以及对显性表示不确定性，从而处理不确定性的影响的需求” - - Michael I. Jordan

Judea Pearl

Turing Award Laureates

我们在概率建模与推理的探索

基础理论

❑后验正则化贝叶斯推理

NIPS 2011, JMLR 2014, NIPS 2016

高效算法

❑在线/随机学习

ICML 2014, NIPS 2016, JMLR 2017

❑分布式贝叶斯推理

NIPS 2013, NIPS 2014, V LDB 2016, ASPLOS 2017 概率编程库

❑珠算：贝叶斯深度学习的概率编程库

珠算：贝叶斯深度学习的GPU 库

ZhuSuan: A Library for Bayesian Deep Learning J. Shi , J. Chen , J. Zhu , S. Sun , Y . Luo , Y . Gu , Y . Zhou arXiv preprint, arXiv:1709.05870 , 2017

在线文档:

•http://zhusuan.readthedocs.io/

我们在GitHub 上开源了珠算: https:///thu-ml/zhusuan

算法与应用层面的相关论文 ❑

隐式变分推理 (Wang et al., ICLR2019; Shi et al., ICLR 2018; ICML 2018)

❑

面向图或流形的变分推理 (Zhuo et al., ICML 2018; Liu & Zhu, AAAI 2018)

❑

随机梯度 MCMC (Liu et al., NIPS 2016; Du et al., TNNLS 2017)

❑

半监督学习 (Li et al., NIPS 2015, PAMI 2017; Luo et al., CVPR 2018, NIPS 2018) ❑三元 GANs (Li et al., NIPS 2017) ❑教科书 QA (Li et al., CVPR 2018) ❑

手写字符风格转换 (Sun et al., IJCAI 2018)