浅谈深度学习中潜藏的稀疏表达

浅谈深度学习中潜藏的稀疏

表达

“王杨卢骆当时体，轻薄为文哂未休。尔曹身与名俱灭，不废江河万古流。”

—唐杜甫《戏为六绝句》（其二）

深度学习：概述和一孔之见

深度学习（DL），或说深度神经网络（DNN），作为传统机器学习中神经网络（NN）、感知机（perceptron）模型的扩展延伸，正掀起铺天盖地的热潮。DNN 火箭般的研究速度，在短短数年内带来了能“读懂” 照片内容的图像识别系统，能和人对话到毫无 PS 痕迹的语音助手，能击败围棋世界冠军、引发滔滔议论的AlphaGo……DNN 在众多应用领域的成功无可置疑。然而，在众多（负责任的和不负责任的）媒体宣传推波助澜下，一部分人过于乐观，觉得攻克智能奇点堡垒近在眼前；另一部分则惶惶不可终日，觉得天网统治人类行将实现。作者君对此的态度如下图所示：

∙小品里，黑土老大爷对头脑发热的白云大妈说过：“什么名人，不就是个人名？”

∙对于 DNN，作者君也想说：“什么怪力乱神，不就是个计算模型？”