深度学习汇报

把上面的三个特征作为卷积核(我们这里是假设已经训练好了CNN，训练提出的特征就是上面三个，我们可以通过 这三个特征去分类 X )，去和输入的图像做卷积(特征的匹配)。
卷积神经网络
以上是一个具体的卷积过程，具体的结果填入新的矩阵如下图所示 t
卷积神经网络
最后，我们整张图用卷积核计算完成后：
卷积神经网络
了7x7的矩阵。池化就是缩减图像尺寸和像素关联性的操作，只保留我们感兴趣（对于分类有意义）的信息。常用的就是2x2的最大池。
卷积神经网络
池化层
在2x2的范围内，取最大值。因为最大池化 （max-pooling）保留了每一个小块内的最大 值，所以它相当于保留了这一块最佳的匹配结 果（因为值越接近1表示匹配越好）。这也就意 味着它不会具体关注窗口内到底是哪一个地方 匹配了，而只关注是不是有某个地方匹配上了。 CNN能够发现图像中是否具有某种特征，而不 用在意到底在哪里具有这种特征。这也就能够 帮助解决之前提到的计算机逐一像素匹配的死 板做法。
当把x_{2}输出的一个权重改为-1 时，x_{2}的形状直接倒置了，此 时激活函数用的是liner
当换成sigmoid时，没有黄色区域 了。因为sigmoid的值域是(0,1)
TensorFlow
输出 Output
黄色背景颜色都被归为黄点类，蓝色背景颜色都被归为蓝点类。深浅表示可能性的强弱。在上面的分类分布图中你 可以看到每一层通过上一层信息的组合所形成的。权重（那些连接线）控制了“如何组合”。 选定特征之后，我们神经网络每一层的每一个神经元都将对它们进行组合，来进行计算，而下一层神经网络的神经元， 会把这一层的输出再进行组合。组合时，根据上一次预测的准确性，我们会通过back propogation给每个组合不同 的weights（比重）。连接线越粗表示比重越大
THANK YOU
自然语言处理
深度学习在语言模型、机器翻译、词性标注、实体识别、情感分析、广告推荐 等方向取得了突出成就。
1.深度学习可以大幅度的提高翻译的质量 2.在谷歌的翻译长产品中，有8种语言是基于深度学习的翻译算法实现的
人机博弈
1997年，IBM的智能国际象棋系统深蓝击败了世界冠 军 2016年，谷歌开发的围棋人工智能系统ALphaGo以总 分4：1战胜了韩国棋手李世石
神经网络
分类
神经网络
神经元
多层网络
神经元结构模型
神经网络
大型神经网络
构造一个超大型卷积神经网络[1]，有9层，共65万个神经元，6千万个参数。 网络的输入是图片，输出是1000个类
第一层：识别颜色和简单纹理
第二层：识别更加细化的纹理，比如布 纹、刻度、叶纹
第三层：负责感受黑夜里的黄色烛光、 鸡蛋黄、高光
我们的机器学习classifier（分类器）其实是在试图画一条或多条线,,当我们改变参数时，其实就是在将这条线左右移动 第一张图中，如果x1作为我们的唯一特征，我们其实就是在画一条和x1轴垂直的线。
TensorFlow
连接线
连接线表示权重，蓝色表示用神经 元的原始输出，黄色表示用负输出。 深浅表示权重的绝对值大小。
即使只输入两个特征，通过增加神经网 络的层数和神经元的个数，我们也能很 快很完美的分离蓝色和黄色的点
TensorFlow
左侧是原始输入空间下的分类图，右侧是转换后的高维空间 下的扭曲图。 深层神经网络： 为什么更深的网络会更加容易识别，增加容纳变异体 （variation）（红苹果、绿苹果）的能力、鲁棒性（robust） 1.数学视角：变异体（variation）很多的分类的任务需要高 度非线性的分割曲线。 2.物理视角：通过对“抽象概念”的判断来识别物体，而非 细节。层数越深，这种概念就越抽象，所能涵盖的变异体就 越多
CNN
卷积神经网络
如何判断？
对图进行逐个像素点对比 图片发生变化，不是标准X，但是我们 能够判断它为X；但是对于计算机而言 它就是二维矩阵，不能逐个像素点对 比。
CNN
提取特征
卷积神经网络
计算机对于图像的认知是在矩阵上的，每一张 图片有rgb二维矩阵（不考虑透明度）所以，一 张图片，应该是3x高度x宽度的矩阵。而我们这 个例子就只有黑白，所以可以简单标记1为白， -1为黑。是个9x9的二维矩阵
TensorFlow
Test
输入七个特征，选择一层神经网络，能 够完美的分离黄色的点和蓝色的点
在分离黄蓝色的点的时候，提取特征不是难事，但是在我们处 理的问题越来越复杂的时候，提取特征就不那么容易。但是我 们的伟大神经网络能够有效的帮我们区分那些特征是有效的还 是无效的。大大提高了我们解决复杂机器学习问题的能力。
卷积神经网络
Relu是常用的激活函数，所做的工作就是max(0,x)， 就是输入大于零，原样输出，小于零输出零
3
TensorFlow
tensor（张量）的flow（流动），我们要讲的侧重点是阐 述的侧重点是“张量如何流动”。
TensorFlow
A.不同深度学习工具社区流行度指标比较
B.同深度学习工具社区参与度指标比较
卷积神经网络
全连接层
全连接层一般是为了展平数据，输出最终分类结 果前的归一化。 我们把上面得到的4x4矩阵再卷 积+池化，得到2x2的矩阵 全连接就是这样子，展开数据，形成1xn的'条' 型矩阵。
卷积神经网络
全连接层
全连接层连接到输出层。之前我们就说过，这里 的数值，越接近1表示关联度越大。
新的图像丢进我们的CNN了，根据卷积>池化> 卷积>池化>全连接的步骤，我们得到了新的全 连接数据，然后去跟我们的标准比对，得出相似 度，可以看到，相似度是X的为0.92 所以，我们 认为这个输入是X。
搜索围棋下子方法的复杂度是10^172，而国际象棋只 有10^46
1.ALphaGo由三部分组成：蒙特尔卡罗树搜索（MCTS）、估值网络和走棋网络 2.ALphaGo真正的大脑是估值网络和走棋网络；走棋网络能以57%的准确率预测对方围棋的下一步落子点。
2
卷积神经网络
我们应当把CNN当作一个黑盒子，不要关心为什么，只 关心结果。 神经网络的结构会对神经网络的准确率产生巨大的影响， 而卷积神经网络是一个非常常用的神经网络结构。
线性系统理论
目录
CONTENT 2
3
1
深度学习
卷积神经网络
TensorFlow Playground
4
参考文献
深度学习
深度学习的应用 1.计算机视觉 2.自然语言处理 3.人机博弈
参考文献： [1] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems (pp. 1097-1105). [2] Zeiler, M. D., & Fergus, R. (2013).Visualizing and understanding convolutional neural networks. arXiv preprint arXiv:1311.2901. [3] Haykin S. Neural Networks: A Comprehensive Foundation[J]. Neural Networks A Comprehensive Foundation, 1994:71-80. [4] Hagan M T, Beale M, Beale M. Neural network design[M]. China Machine Press, 2002.
不断地重复着上述过程，将卷积核（特征） 和图中每一块进行卷积操作。最后我们会 得到一个新的二维数组。其中的值，越接 近为1表示对应位置的匹配度高，越是接 近-1，表示对应位置与特征的反面更匹 配，而值接近0的表示对应位置没有什么 关联。
卷积神经网络
池化层
以上就是我们的卷积层，通过特征卷积，输出一个新的矩阵给下一层。 在图像经过以上的卷积层后，得到了一个新的矩阵，而矩阵的大小，则取决于卷积核的大小，和边缘的填充方式，总之，在样例中，我们得到
游乐场中的数据十分灵活。我们可以调整noise （干扰）的大小，还可以改变训练数据和测试数据 的比例多少
TensorFlow
特征提取 Feature extraction
从颜色就可以看出来，x_{1}左边是负，右边是正，x_{1}表示此点的横坐标值; 同理，x_{2}表示此点的纵坐标值。x_{1}^{2}是关于横 坐标值的“抛物线”信息. 每一个点都有x1和x2两个特征。除此之外，由这两个特征还可以衍生出许多其他特征.
除了TensorFlow，目前还有一些主流的深度学习开源工具。从上图数据看出，TensorFlow都要远远 超过其他深度学习工具，在未来具有更大的潜力。
TensorFlow
欢迎来到游乐场
TensorFlow
数据 Data
蓝色代表正值，黄色代表负值 每组数据，都是不同形态分布的一群点。每一个点，都与生俱来了2个特征：x1和x2，表示点的位置
参考文献： [5] JT Springenberg , A Dosovitskiy , T Brox , M Riedmiller . Striving for Simplicity: The All Convolutional Net [J].Eprint Arxiv,2014. [6] Yosinski J, Clune J, Bengio Y, et al. How transferable are features in deep neural networks?[J]. 2014, 27:3320-3328. [7] Razavian A S, Azizpour H, Sullivan J, et al. CNN Features Off-the-Shelf: An Astounding Baseline for Recognition[C]// Computer Vision and ຫໍສະໝຸດ Baiduattern Recognition Workshops. IEEE, 2014:512-519. [8] Donahue J, Jia Y, Vinyals O, et al. DeCAF: a deep convolutional activation feature for generic visual recognition[C]// International Conference on International Conference on Machine Learning. JMLR.org, 2014:I-647.
虽然单个神经元傻不拉叽， 但是65万个神经元能学到的 东西很深邃。
第四层：识别萌狗的脸、七星瓢虫和一堆圆形物 体的存在
第五层：可以识别出花、圆形屋顶、键 盘、鸟、黑眼圈动物
神经网络优化算法
计算机视觉
历年ILSVRC图像分类比赛最佳算法错误率
ILSVRC2013物体识别数据集中的样例图片
1.在人脸识别数据集上LFW（Labeled Faces in the Wild）上，基于深度学习算法系统DeepID2可以达到99.47%的 识别率 2.光学字符识别（ORC）是使用深度学习比较早的领域之一。在MNIST手写体数字识别数据集上，深度学习算法可以达 到99.77%的正确率