为什么深度学习有效？（whydeeplearningworks）

为什么深度学习有效？（whydeeplearningworks）
总述：这篇⽂章是⼀次听讲座，吴⼤鹏教授做的why deep learning works，佛罗⾥达⼤学教授，很有名。

⾃⼰对该讲座做个理解。

⼀、深度学习的背景相关介绍
1、machine learning：⼀般的ml只针对线性分类，即只是⼀个linear methods。

2、neural networks：第⼆代神经⽹络，是对ml的⼀个发展，更好地⾮线性分类。

通过BP算法，调参数，以误差和真实值为导向，修改⼀系列参数，让误差趋近于0，逼近真实值。

但是⼀般的神经⽹络只能到3-5层，层数多了就不⾏了，⾼层的误差就不能传递到低层去了，在中间的时候，误差被消耗。

（the gradient becomes smaller and smaller in lower layers in back propagation）
3、kernel method：第三代就是核函数，这⾥最出名的就是⾼斯核函数了，对第⼀代的Ml算法，都加上核函数，效果要好的多。

3.5、deep learning：dp只能是第3.5代，还不能算成第四代，因为对⾥⾯的数学原理现在还没发强有⼒的解释。

a）dl是基于多层的神经⽹络
b) 是依赖kernel 和线性化的
c)更⾼层次的抽像能够帮助抓住相关和不变的特征。

capture relevant and invariant
⼆、why it works？
这涉及到微分⼏何⾥⾯的流⾏曲⾯。

以⼈脸识别为例，⼀个⼈的各种表情，⽐如哭，笑，这些照⽚在多维空间⾥就组合成⼀个流⾏曲⾯，这是距离就不能⽤欧⼏何来算了。

⽐如，从成都到北京，欧⼏何就是两点之间的距离，穿过地球，但是这时的距离应该是沿着地球表⾯经过的距离。

⼀系列的数学公式表⽰没看懂，⼤致的意思就是深度学习会将流⾏曲⾯的曲率降低，这样就便于分类。

⼀个形象的例⼦就是卷⼼菜被展平，这样就好分类了。

下图是⼀个结果图，⽤实验来证明曲率降低：
深度学习在训练的时候，先让数据⾃⼰学习⼀会⼉，⾃⼰学习就会抓住⼀些不变量和数据本质特征，然后监督学习在⾼层发挥其效果。

先⽤deeping learning 展平，在⽤pca线性分类器。