“深度学习“学习笔记
HALCON20.11：深度学习笔记（5）
HALCON20.11：深度学习笔记（5）HALCON 20.11.0.0中，实现了深度学习方法。
关于超参数的有关设置内容如下：不同的DL方法被设计用于不同的任务，它们的构建方式也会有所不同。
它们都有一个共同点，即在模型的训练过程中都面临着一个最小化问题。
训练网络或子网络，一个目标是努力使适当的损失函数最小化，参见“网络和训练过程”一节。
为此，有一组进一步的参数，这些参数是在开始训练之前设置的，在训练期间未进行优化。
我们将这些参数称为超参数。
对于DL模型，您可以设置更改策略，指定您希望在培训期间何时以及如何更改这些超参数。
在本节中，我们将解释不同超参数的概念。
注意，某些方法有额外的超参数，你可以在它们各自的章节中找到更多的信息。
如前所述，损失比较来自网络的预测与图像内容的给定信息。
损失决定惩罚偏差。
训练网络以这样的方式更新滤波器权值，使损失受到的惩罚更少，从而使损失结果得到优化。
为此，需要从训练数据集中获取一定数量的数据。
对于这个子集，计算损失的梯度，并修改网络以更新其相应的滤波权重。
现在，对下一个数据子集重复这一过程，直到整个训练数据被处理。
这些训练数据的子集被称为批，这些子集的大小，即“batch_size”，决定了一个批处理的数据数量，并作为结果一起处理。
对整个训练数据的完整迭代称为epoch。
对训练数据进行多次迭代是有益的。
迭代次数由“epochs”定义。
因此，“epochs”决定了算法在训练集上循环多少次。
一些模型(如异常检测)一次训练使用整个数据集。
对于其他模型，数据集按批处理，为了做到这一点，使用了随机梯度下降算法SGD （Stochastic Gradient Descent）。
这涉及到更多的参数，将在下面解释。
在每次计算损失梯度后，滤波器权值被更新。
对于这个更新，有两个重要的超参数：'learning_rate'，它决定更新的损失函数参数(过滤器权重)上的梯度的权重，以及间隔内的'momentum'，它指定以前更新的影响。
2021学年Oracle深度学习笔记ORACLE审计
27.Oracle深度学习笔记——ORACLE审计审计（Audit)用于监视用户所执行的数据库操作，并且Oracle会将审计跟踪结果存放到OS文件（默认位置为$ ORACLE_BASE/admin/$ORACLE_SID/adump/）或数据库（存储在system 表空间中的SYS.AUD$表中不管是否打开数据库的审计功能，用管理员权限连接Instance；启动数据库；关闭数据库都会被记录。
1.相关参数：audit_sys_operations12C默认TRUE当设置为true时，所有sys用户（包括以sysdba,sysoper身份登录的用户）的操作都会被记录，audit trail不会写在aud$表中，这个很好理解，如果数据库还未启动aud$不可用，那么像conn /as sysdba这样的连接信息，只能记录在其它地方。
如果是windows平台，audti trail会记录在windows的事件管理中，如果是linux/unix平台则会记录在audit_file_dest参数指定的文件中。
audit_trail12C默认DBDB：将audit trail 记录在数据库的审计相关表中，如aud$，审计的结果只有连接信息；DB,Extended：这样审计结果里面除了连接信息还包含了当时执行的具体语句；OS：将audit trail 记录在操作系统文件中，文件名由audit_file_dest参数指定；None：不做审计；2.审计级别开启审计功能后，可在三个级别对数据库进行审计：Statement(语句)、Privilege（权限）、object（对象）。
Statement按语句审计，如audit table 会审计数据库中所有的create table,drop table,truncate table语句Privilege按权限来审计，当用户使用了该权限则被审计，如执行grant select any table to a，当执行了audit select any table语句后，当用户 a 访问了用户b的表时（如select * fromb.t）会用到select any table权限，故会被审计。
《深度学习全书 公式 推导 代码 TensorFlow全程案》读书笔记思维导图
架构
3
3-3 张量运算
4
3-4 自动微分
5
3-5 神经网络 层
4-1 撰写第一个神 经网络程序
4-2 Keras模型种类
4-3 神经层 4-4 激活函数
4-5 损失函数 4-6 优化器
4-7 效果衡量指标 4-8 超参数调校
5-1 特征转换
5-2 模型存盘与加 载
5-3 模型汇总与结 构图
5-4 回调函数
内容简介
第一篇 深度学习导论
第1章 深度学 习导论
第2章 神经网 络原理
1
1-1 人工智能 的三波浪潮
2
1-2 AI的学习 地图
3
1-3 机器学习 应用领域
4
1-4 机器学习 开发流程
5
1-5 开发环境 安装
2-1 必备的数学与 统计知识
2-2 线性代数
2-3 微积分 2-4 概率与统计
2-6 普通最小二乘 法与最大似然估计
06
15-6 动态 规划
05
15-5 Gym 扩充功能
15-7 值循环 15-8 蒙特卡洛
15-9 时序差分 15-10 其他算法
15-12 木棒小车
15-11 井字游戏
15-13 总结
谢谢观看
3
7-3 采用部分 模型
4
7-4 转移学习
5 7-5 Batch
Normalizat. ..
第三篇 进阶的影像应用
第9章 进阶的影像 应用
第8章 目标检测
第10章 生成对抗 网络
01
8-1 图像 辨识模型的 发展
02
8-2 滑动 窗口
03
8-3 方向 梯度直方图
《python深度学习》笔记---6.1-2、wordembedding-利用Embedd。。。
《python深度学习》笔记---6.1-2、wordembedding-利⽤Embedd。
《python深度学习》笔记---6.1-2、word embedding-利⽤Embedding 层学习词嵌⼊⼀、总结⼀句话总结：> 【考虑到仅查看每条评论的前 20 个单词】：得到的验证精度约为 76%，考虑到仅查看每条评论的前 20 个单词，这个结果还是相当不错的。
> 【没有考虑单词之间的关系和句⼦结构】：但请注意，仅仅将嵌⼊序列展开并在上⾯训练⼀个 Dense 层，会导致模型对输⼊序列中的每个单词单独处理，⽽没有考虑单词之间的关系和句⼦结构（举个例⼦，这个模型可能会将 this movie is a bomb和this movie is the bomb两条都归为负⾯评论）。
> 【添加循环层或⼀维卷积层】：更好的做法是在嵌⼊序列上添加循环层或⼀维卷积层，将每个序列作为整体来学习特征。
> model.add(Embedding(10000, 8, input_length=maxlen))from tensorflow.keras.models import Sequentialfrom yers import Flatten, Densemodel = Sequential()# We specify the maximum input length to our Embedding layer# so we can later flatten the embedded inputs# 指定 Embedding 层的最⼤输⼊长度，以便后⾯将嵌⼊输⼊展平。
# Embedding 层激活的形状为 (samples, maxlen, 8)model.add(Embedding(10000, 8, input_length=maxlen))# After the Embedding layer,# our activations have shape `(samples, maxlen, 8)`.# We flatten the 3D tensor of embeddings# into a 2D tensor of shape `(samples, maxlen * 8)`model.add(Flatten())# We add the classifier on topmodel.add(Dense(1, activation='sigmoid'))pile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc'])model.summary()history = model.fit(x_train, y_train,epochs=10,batch_size=32,validation_split=0.2)1、Embedding 层理解？> 【字典：Embedding层实际上是⼀种字典查找】：最好将 Embedding 层理解为⼀个字典，将整数索引（表⽰特定单词）映射为密集向量。
《深度学习：走向核心素养》读书笔记
《深度学习：走向核心素养》读书笔记一、为什么要推进深度学习深度学习是我国全面深化课程改革、落实核心素养的重要途径现实回应：基础教育课程改革深化的必然选择时代先声：“基于核心素养”教学改革的实现机制价值追求：落实立德树人的智慧之旅深度学习是建立在学生先前知识基础上的概念改变深度学习是信息时代教学变革的必然选择与机器共舞：呼唤新时代的创造者现实困境：被卡在过去的课堂教学教育应对：走向深度学习与世界同行：深度学习的相关研究借鉴我国的深度学习：指在教师的指导下，学生围绕具有挑战性的学习主题，通过积极地探究实践，深刻地掌握学科核心知识，并运用知识解决实际问题。
在此过程中，学生不仅形成了学科思维模式，还养成了合作精神、创新意识、公民素养、实践能力和责任担当意识及能力。
聚焦学生发生深度学习后所获得的学科核心素养和合作、创新、公民、实践等能力素养。
——是落实立德树人根本任务、实现学生发展核心素养的重要途径。
二、什么是深度学习（一）深度学习是培养核心素养的重要途径真的教学，把人类历史认识成果转化为学生主动的活动，转化为精神力量和发展能量。
1.教师引领下：是叫教学活动，有指引和帮助，核心是学生为主体的主动学习活动2.学生有意义的学习过程：学习材料必须有逻辑意义；学习者自身具有意义学习的心向（积极主动建立意义关联的倾向）3.深度学习的最终目的是“树人”（二）深度学习是触及学生心灵的教学1.打动人心的教学：是学生的思想意识、情感活跃起来2.深在人的精神境界，深在人的心灵里。
（人性、情感的触动）（三）深度学习是教师充分发挥主导作用的活动1.确立促进学生自觉发展的“最近发展区”确定学生现有的水平确定学生即将达到的未来水平（不能凭自己“跳一跳”摘到的，个人不能再短期内凭自己的能力和努力达到的）现有——最近发展区——未来（教学要走在发展的前面）教师帮助学生作为主体去挑战困难，从现有走向未来2.帮助学生真正成为教学主体：两次倒转：（1）有目的地指向学习成；（2）把第一次“倒过来”化解困难，成为学习的主体。
深度学习读书文摘读书笔记读书感想
《深度学习：彻底解决你的知识焦虑》1、擅长记忆的人：将原本毫无关联的信息赋予一定的含义，将他们组合成一个大的信息集合体，在进行记忆。
●我将这种记忆法称之为“联想记忆法”，记忆者将要记忆的内容与熟悉的事物产生关联，组合故事、场景等形式进行记忆。
2、记性好所需要的能力是：将原本没有任何意义的信息赋予一定的意义、仔细的观察并找出重要的信息、将眼前的信息与头脑中已有的信息库相对照等能力。
3、要想成为专业的人，必须要掌握这个行业中海量的知识点。
4、已经掌握的旧知识，对于学习新的知识有利有弊。
●有利是我们运用以前的经验、知识、图式能够帮助我们理解新的知识。
有弊是原有的经验、知识、图式，会对理解新的事物形成思维定式。
●知识存在缺陷，重要的不是避免错误知识的建立，而是修正错误的认知，对原有的知识进行更新。
5、通常情况下，人们并不会刻意去关注理所应当的东西。
●比如，我们不会像牛顿一样去思考，为什么苹果会往下落。
我们将物体下落认为是理所应当的事情，从来没有自主思考过物体为什么会下落，而不往上跑。
●理所应当的事情不一定是正确的。
我对理所应当的事情没有独立思考，何况去思考它的正确性呢？我小时候，父辈对生女孩认为是一件耻辱的事情，重男轻女的事情经常发生。
有的家里七八个女孩，一直要生到男孩为止，甚至有家庭频繁流产也是为了生出男孩。
生育男孩被认为是理所当然的事情，而生育女孩却被认为是一件耻辱的事情。
大多数这样的家庭却没有去独立思考这种观念的合理性，才导致了女性的悲剧（生育问题只是女性悲剧之一）。
可幸的是由于教育的普及这种观念被逐渐淡化和摈弃。
●社会价值观的输出是不是一种政治统治的手段呢？平等、自由、民主等观念是不是被灌输的呢？如果我们丧失了独立思考和自主意识，我们会沦为思想的奴隶。
如何摆脱，关键我们能够超脱世俗之见，思考众生存在之本质。
6、受外界信息的影响，记忆不仅在最初存入仓库时会发生变化，直到进行回想，这期间一直受到影响。
李宏毅深度学习笔记-半监督学习
李宏毅深度学习笔记-半监督学习半监督学习什么是半监督学习？⼤家知道在监督学习⾥，有⼀⼤堆的训练数据（由input和output对组成）。
例如上图所⽰x r是⼀张图⽚，y r是类别的label。
半监督学习是说，在label数据上⾯，有另外⼀组unlabeled的数据，写成x u (只有input没有output)，有U笔ublabeled的数据。
通常做半监督学习的时候，我们常见的情景是ublabeled的数量远⼤于labeled的数量（U>>R)。
半监督学习可以分成两种：⼀种叫做转换学习，ublabeled 数据就是testing set，使⽤的是testing set的特征。
另⼀种是归纳学习，不考虑testing set，学习model的时候不使⽤testing set。
unlabeled数据作为testing set，不是相当于⽤到了未来数据吗？⽤了label 才算是⽤了未来数据，⽤了testing set的特征就不算是使⽤了未来数据。
例如图⽚，testing set的图⽚特征是可以⽤的，但是不能⽤label。
什么时候使⽤转换学习或者归纳学习？看testing set是不是给你了，在⼀些⽐赛⾥，testing set给你了，那么就可以使⽤转换学习。
但在真正的应⽤中，⼀般是没有testing set的，这时候就只能做归纳学习。
为什么使⽤半监督学习？缺有lable的数据，⽐如图⽚，收集图⽚很容易，但是标注label很困难。
半监督学习利⽤未标注数据做⼀些事。
对⼈类来说，可能也是⼀直在做半监督学习，⽐如⼩孩⼦会从⽗母那边做⼀些监督学习，看到⼀条狗，问⽗亲是什么，⽗亲说是狗。
之后⼩孩⼦会看到其他东西，有狗有猫，没有⼈会告诉他这些动物是什么，需要⾃⼰学出来。
为什么半监督学习有⽤？假设现在做分类任务，建⼀个猫和狗的分类器。
有⼀⼤堆猫和狗的图⽚，这些图⽚没有label。
Processing math: 100%假设只考虑有label的猫和狗图⽚，要画⼀个边界，把猫和狗训练数据集分开，可能会画⼀条如上图所⽰的红⾊竖线。
深度学习笔记 - RBM
值就是 x，hj 的取值就是 yj，也就是说，编码后的样本 y 的第 j 个位置的取值为 1 的概率是 p(hj = 1|v)。所以，生成 yj 的过程就是：
i）先利用公式p(hj = 1|v) = σ(∑������������=1 ������������������ × vi + cj)，根据 x 的值计算概率p(hj = 1|v)，其 中 vi 的取值就是 xi 的值。
3.3.2 从能量最小到极大似然
上面我们得到了一个样本和其对应编码的联合概率，也就是得到了一个 Gibbs 分布，我 们引人概率的目的是为了方便求解的。但是我们实际求解的目标是能量最小。
下面来看看怎么从能量最小变成用概率表示。内容是来自《神经网络原理》那本书。 在统计力学上的说法也是——能量低的状态比能量高的状态发生的概率高。 定义一个叫做自由能量的东西，是从统计力学来的概念，
变量之间的相关程度决定了能量的高低。把变量的相关关系用图表示出来，并引入概率测度
方式就构成了概率图模型的能量模型，其实实际中也可以不用概率表示，比如立体匹配中直
接用两个像素点的像素差作为能量，所有像素对之间的能量和最小时的配置即为目标解。
RBM 作为一种概率图模型，引入概率就是为了方便采样，因为在 CD（contrastive divergence）算法中采样部分扮演着模拟求解梯度的角色。
RBM 网络有几个参数，一个是可视层与隐藏层之间的权重矩阵������������×������，一个是可视节点 的偏移量b = (b1, b2 ⋯ bn)，一个是隐藏节点的偏移量c = (c1, c2 ⋯ cm)，这几个参数决定了 RBM 网络将一个 n 维的样本编码成一个什么样的 m 维的样本。
其中E������表示系统在状态 i 时的能量，T 为开尔文绝对温度，������B为 Boltzmann 常数，Z 为与 状态无关的常数。
[鱼书笔记]深度学习入门：基于Python的理论与实现个人笔记分享
![[鱼书笔记]深度学习入门：基于Python的理论与实现个人笔记分享](https://img.taocdn.com/s3/m/0157d41d77c66137ee06eff9aef8941ea76e4be7.png)
[鱼书笔记]深度学习⼊门：基于Python的理论与实现个⼈笔记分享为了完成毕设, 最近开始⼊门深度学习.在此和⼤家分享⼀下本⼈阅读鱼书时的笔记,若有遗漏,欢迎斧正!若转载请注明出处!⼀、感知机感知机(perceptron)接收多个输⼊信号，输出⼀个信号。
如图感知机，其接受两个输⼊信号。
其中θ为阈值，超过阈值神经元就会被激活。
感知机的局限性在于，它只能表⽰由⼀条直线分割的空间，即线性空间。
多层感知机可以实现复杂功能。
⼆、神经⽹络神经⽹络由三部分组成：输⼊层、隐藏层、输出层1. 激活函数激活函数将输⼊信号的总和转换为输出信号，相当于对计算结果进⾏简单筛选和处理。
如图所⽰的激活函数为阶跃函数。
1) sigmoid 函数sigmoid函数是常⽤的神经⽹络激活函数。
其公式为：h(x)=11+e−x如图所⽰，其输出值在 0到 1 之间。
2) ReLU 函数ReLU(Rectified Linear Unit)函数是最近常⽤的激活函数。
3) tanh 函数2. 三层神经⽹络的实现该神经⽹络包括：输⼊层、2 个隐藏层和输出层。
def forward(network, x): # x为输⼊数据# 第1个隐藏层的处理，点乘加上偏置后传⾄激活函数a1 = np.dot(x, W1) + b1z1 = sigmoid(a1)# 第2个隐藏层的处理a2 = np.dot(z1, W2) + b2z2 = sigmoid(a2)#输出层处理 identidy_function原模原样输出a3a3 = np.dot(z2, W3) + b3y = identify_function(a3)return y # y为最终结果3. 输出层激活函数⼀般来说，回归问题选择恒等函数，分类问题选择softmax函数。
softmax函数的公式：y k=e a k ∑n i=1e a i假设输出层有n个神经元，计算第k个神经元的输出y k。
《python深度学习》笔记---4.4、过拟合与欠拟合（解决过拟合常见方法）
《python深度学习》笔记---4.4、过拟合与⽋拟合（解决过拟合常见⽅法）《python深度学习》笔记---4.4、过拟合与⽋拟合（解决过拟合常见⽅法）⼀、总结⼀句话总结：> 减⼩⽹络⼤⼩> 添加权重正则化> 添加 dropout 正则化1、机器学习的根本问题？> 优化和泛化之间的对⽴：机器学习的根本问题是优化和泛化之间的对⽴。
2、机器学习的根本问题是优化和泛化之间的对⽴：优化和泛化分别指什么？> 训练数据最佳性能：优化（optimization）是指调节模型以在训练数据上得到最佳性能（即机器学习中的学习）> 测试数据性能好坏：泛化（generalization）是指训练好的模型在前所未见的数据上的性能好坏。
3、训练开始时，优化和泛化是相关的？> 训练和测试数据损失都⼩：训练数据上的损失越⼩，测试数据上的损失也越⼩。
这时的模型是⽋拟合（underfit）的，即仍有改进的空间，⽹络还没有对训练数据中所有相关模式建模。
4、解决过拟合的最好⽅法？> 获取更多数据：为了防⽌模型从训练数据中学到错误或⽆关紧要的模式，最优解决⽅法是获取更多的训练数据。
模型的训练数据越多，泛化能⼒⾃然也越好。
> 【调节模型允许存储的信息量、对模型允许存储的信息加以约束】：如果⽆法获取更多数据，次优解决⽅法是调节模型允许存储的信息量，或对模型允许存储的信息加以约束。
> 迫使模型学习最重要的模式：如果⼀个⽹络只能记住⼏个模式，那么优化过程会迫使模型集中学习最重要的模式，这样更可能得到良好的泛化。
这种降低过拟合的⽅法叫作正则化（regularization）5、防⽌过拟合的最简单的⽅法就是减⼩模型⼤⼩？> 减少模型中可学习参数的个数：防⽌过拟合的最简单的⽅法就是减⼩模型⼤⼩，即减少模型中可学习参数的个数（这由层数和每层的单元个数决定）。
6、⽹络模型的容量？> 模型中可学习参数的个数：在深度学习中，模型中可学习参数的个数通常被称为模型的容量（capacity）。
《深度学习：超越21世纪技能》读书笔记(简化版)
《深度学习：超越21世纪技能》读书笔记前言化理念为实践深度学习可以理解为一个过程，个体通过这一过程，能够将在一种情境中所学的知识应用于新情境中，换言之，为了迁移而学。
通过深度学习，个体超越死记硬背事实或程序性知识，获得了一门学科或科目领域的专长知识。
他们理解何时、何地、为何应用他们所学的知识。
当他们认识到新的问题或情境与此前学到的知识发生关联时，他们就能够运用自己的知识和技能来解决这些问题。
深度学习可以理解为一个过程，个体通过这一过程，能够将在一种情境中所学的知识应用于新情境中，换言之，为了迁移而学。
通过深度学习，个体超越死记硬背事实或程序性知识，获得了一门学科或科目领域的专长知识。
他们理解何时、何地、为何应用他们所学的知识。
当他们认识到新的问题或情境与此前学到的知识发生关联时，他们就能够运用自己的知识和技能来解决这些问题。
导论迈向新的议程深度学习的最基本要素：1. 掌握核心学术内容，2. 批判性思维和问题解决，3. 合作，4. 书面和口头交流，5. 自我导向的学习，6. 学术思维。
第一部分描绘深度学习第一章学生的深度学习需要教育者的深度学习这篇文章主张改变教师的思维方式。
理查德·杜福尔（Richard DuFour）和丽贝卡·杜福尔（Rebecca DuFour）不仅阐明了这一优先关注的原因，而且深入了解了教师的更新应该包含什么，为什么这是重要的第一步，专业学习共同体如何才能提供完成使教师成为深度学习者这一任务的最佳实践。
在两位杜福尔看来，教师转型必须先于学生转型。
第二章思维品性：朝向深度学习的通途自从20世纪70年代和80年代积极地引领思维技能运动开始，阿瑟·L.科斯塔（Arthur L. Costa）和贝娜·卡利克（Bena Kallick）就已经明确主张在日常课堂教学中发展批判性和创造性思维。
他们富有创新性和世界公认的领导力模式——“认知教练”，在与《不让一个孩子掉队》法案（2002）的短视作斗争的过程中，为全球教育工作者提供了保持思维的本质活力的观念系统和实用工具。
《深度学习——走向核心素养》读书笔记
1 四个环节
1.选择单元学习主题：“四个依 据”“四种思路”“三个关键步 骤”。 2.确定单元学习目标：“四个基 本特征”“三个关键步骤” 3.设计单元学习活动：体现深度 学习特征的四个要素；三个步骤； 两点特别说明。 4.开展持续性学习评价：“四个 步骤”
2 两个前提
1.教师要深刻理解学科育 人价值。有灵魂的教学。 2.教师要深刻理解并尊重 学生。读懂学生，尊重差异。
3 四个策略
1.选择情境素材的链 接策略。 2.学习过程中的思维 外显策略。 3.学习过程的深度互 动策略。 4.团队教学研究的改 进策略。集体专业学习、
基于经验进行研究导向的 改进。
04 怎样推进深度学习
区域
1.大处着眼，创新区域教研机制； 2.建立种子团队，智力支持深度学习； 3.先行先试，形成区域实践策略。
对学习对象进行深度 加工。
4.迁移和应用：
在教学活动中模拟社 会实践
5.价值与评价：
‘人’的成长的隐形 要素
1.深刻认识教学 的根本目的：立 德树人 2.重新认识教学 目标的价值。 3.重新认识教学 内容的意义。 4.重新认识教师 的价值
03怎样实现深度学习
好的教学必须能唤起儿童的思维。 ——约翰·杜威
——约翰·杜威
01 为什么要推进深度学习
自身需要
1.现实回应：
改革目标与任务在实践 中的异化。
2.时代先声
“双基”→“三 维”→“核心素养”
3.价值追求
立德树人
时代推进
1.“奇点”，社会需要 的，将是“能与机器共 舞的‘聪明的创造 者’”。 2.现实困境：被卡在过 去的课堂教学 3.教育应对：走向深度 学习
世界潮流
1.深度学习的研究 历程。 2.深度学习的各种 界说。 3.深度学习的实现、 评价、推进的要素 分析、成效
深度学习笔记（3）神经网络，学习率，激活函数，损失函数
深度学习笔记（3）神经⽹络，学习率，激活函数，损失函数神经⽹络（NN）的复杂度空间复杂度：计算神经⽹络的层数时只统计有运算能⼒的层，输⼊层仅仅起到将数据传输进来的作⽤，没有涉及到运算，所以统计神经⽹络层数时不算输⼊层输⼊层和输出层之间所有层都叫做隐藏层层数 = 隐藏层的层数 + 1个输出层总参数个数 = 总w个数 + 总b个数时间复杂度：乘加运算次数学习率以及参数的更新：w t+1=w t−lr∗∂loss ∂w t指数衰减学习率的选择及设置可以先⽤较⼤的学习率，快速得到较优解，然后逐步减⼩学习率，使模型在训练后期稳定。
指数衰减学习率 = 初始学习率 * 学习率衰减率（当前轮数 / 多少轮衰减⼀次）指数衰减学习率=初始学习率∗学习率衰减率当前轮数多少轮衰减⼀次#学习率衰减import tensorflow as tfw = tf.Variable(tf.constant(5, dtype=tf.float32))epoch = 40LR_BASE = 0.2LR_DECAY = 0.99LR_STEP = 1for epoch in range(epoch):lr = LR_BASE * LR_DECAY**(epoch / LR_STEP)with tf.GradientTape() as tape:loss = tf.square(w + 1)grads = tape.gradient(loss, w)w.assign_sub(lr * grads)print("After %2s epoch,\tw is %f,\tloss is %f\tlr is %f" % (epoch, w.numpy(), loss,lr)) After 0 epoch, w is 2.600000, loss is 36.000000 lr is 0.200000After 1 epoch, w is 1.174400, loss is 12.959999 lr is 0.198000After 2 epoch, w is 0.321948, loss is 4.728015 lr is 0.196020After 3 epoch, w is -0.191126, loss is 1.747547 lr is 0.194060After 4 epoch, w is -0.501926, loss is 0.654277 lr is 0.192119After 5 epoch, w is -0.691392, loss is 0.248077 lr is 0.190198After 6 epoch, w is -0.807611, loss is 0.095239 lr is 0.188296After 7 epoch, w is -0.879339, loss is 0.037014 lr is 0.186413After 8 epoch, w is -0.923874, loss is 0.014559 lr is 0.184549After 9 epoch, w is -0.951691, loss is 0.005795 lr is 0.182703After 10 epoch, w is -0.969167, loss is 0.002334 lr is 0.180876After 11 epoch, w is -0.980209, loss is 0.000951 lr is 0.179068After 12 epoch, w is -0.987226, loss is 0.000392 lr is 0.177277After 13 epoch, w is -0.991710, loss is 0.000163 lr is 0.175504After 14 epoch, w is -0.994591, loss is 0.000069 lr is 0.173749After 15 epoch, w is -0.996452, loss is 0.000029 lr is 0.172012After 16 epoch, w is -0.997660, loss is 0.000013 lr is 0.170292After 17 epoch, w is -0.998449, loss is 0.000005 lr is 0.168589After 19 epoch, w is -0.999308, loss is 0.000001 lr is 0.165234After 20 epoch, w is -0.999535, loss is 0.000000 lr is 0.163581After 21 epoch, w is -0.999685, loss is 0.000000 lr is 0.161946After 22 epoch, w is -0.999786, loss is 0.000000 lr is 0.160326After 23 epoch, w is -0.999854, loss is 0.000000 lr is 0.158723After 24 epoch, w is -0.999900, loss is 0.000000 lr is 0.157136After 25 epoch, w is -0.999931, loss is 0.000000 lr is 0.155564After 26 epoch, w is -0.999952, loss is 0.000000 lr is 0.154009After 27 epoch, w is -0.999967, loss is 0.000000 lr is 0.152469After 28 epoch, w is -0.999977, loss is 0.000000 lr is 0.150944After 29 epoch, w is -0.999984, loss is 0.000000 lr is 0.149434After 30 epoch, w is -0.999989, loss is 0.000000 lr is 0.147940After 31 epoch, w is -0.999992, loss is 0.000000 lr is 0.146461After 32 epoch, w is -0.999994, loss is 0.000000 lr is 0.144996After 33 epoch, w is -0.999996, loss is 0.000000 lr is 0.143546After 34 epoch, w is -0.999997, loss is 0.000000 lr is 0.142111After 35 epoch, w is -0.999998, loss is 0.000000 lr is 0.140690After 36 epoch, w is -0.999999, loss is 0.000000 lr is 0.139283After 37 epoch, w is -0.999999, loss is 0.000000 lr is 0.137890After 38 epoch, w is -0.999999, loss is 0.000000 lr is 0.136511After 39 epoch, w is -0.999999, loss is 0.000000 lr is 0.135146激活函数sigmoid 函数tf.nn. sigmoid(x)f (x )=11+e−x图像：相当于对输⼊进⾏了归⼀化多层神经⽹络更新参数时，需要从输出层往输⼊层⽅向逐层进⾏链式求导，⽽sigmoid 函数的导数输出是0到0.25之间的⼩数，链式求导时，多层导数连续相乘会出现多个0到0.25之间的值连续相乘，结果将趋近于0，产⽣梯度消失，使得参数⽆法继续更新且sigmoid 函数存在幂运算，计算⽐较复杂tanh 函数tf.math. tanh(x)f (x )=1−e −2x1+e−2x图像：和上⾯提到的sigmoid 函数⼀样，同样存在梯度消失和幂运算复杂的缺点Relu 函数tf.nn.relu(x)f (x )=max (x ,0)=0(x <0)时或者x (x >=0)时图像：Relu 函数在正区间内解决了梯度消失的问题，使⽤时只需要判断输⼊是否⼤于0，计算速度快训练参数时的收敛速度要快于sigmoid 函数和tanh 函数输出⾮0均值，收敛慢Dead RelU 问题：送⼊激活函数的输⼊特征是负数时，激活函数输出是0，反向传播得到的梯度是0，致使参数⽆法更新，某些神经元可能永远不会被激活。
(完整版)DeepLearning(深度学习)学习笔记整理系列
Deep Learning（深度学习）学习笔记整理系列目录：一、概述二、背景三、人脑视觉机理四、关于特征4.1、特征表示的粒度4.2、初级（浅层）特征表示4.3、结构性特征表示4.4、需要有多少个特征？五、Deep Learning的基本思想六、浅层学习（Shallow Learning）和深度学习（Deep Learning）七、Deep learning与Neural Network八、Deep learning训练过程8.1、传统神经网络的训练方法8.2、deep learning训练过程九、Deep Learning的常用模型或者方法9.1、AutoEncoder自动编码器9.2、Sparse Coding稀疏编码9.3、Restricted Boltzmann Machine(RBM)限制波尔兹曼机9.4、Deep BeliefNetworks深信度网络9.5、Convolutional Neural Networks卷积神经网络十、总结与展望十一、参考文献和Deep Learning学习资源接上注：下面的两个Deep Learning方法说明需要完善，但为了保证文章的连续性和完整性，先贴一些上来，后面再修改好了。
9.3、Restricted Boltzmann Machine (RBM)限制波尔兹曼机假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值变量节点（只能取0或者1值），同时假设全概率分布p(v,h)满足Boltzmann 分布，我们称这个模型是Restricted BoltzmannMachine (RBM)。
下面我们来看看为什么它是Deep Learning方法。
首先，这个模型因为是二部图，所以在已知v的情况下，所有的隐藏节点之间是条件独立的（因为节点之间不存在连接），即p(h|v)=p(h1|v)…p(h n|v)。
《深度学习：走向核心素养》读书笔记
《深度学习：走向核心素养》读书笔记今年因新冠疫情的影响，只能居家休闲过年了。
闲暇之中，读了《深度学习：走向核心素养》这本书，收获颇丰。
读完这本书，我们常谈到的一些问题又促使了我陷入了思考：什么是教学？我们教学的价值何在？带着这样的问题，结合本书给我的启示，谈谈我的认识。
什么是教学？有的老师认为，这是什么难的问题？我们每天都在上课，让学生掌握当天的知识，这不就是教学吗 ?还有的老师会认为，我们的教学就是教书育人。
读了这本书后，我可以明确的告诉你，前一种认识是浅显的，很显然，在我们的教学中，从未思考过学生在课堂中学的知识，能使学生有怎样的变化和发展，怎样才能通过知识的学习让学生获得更多的发展，想明白这些问题，才是真正的教学；而后一种认识的确很明确的回答出了“培养人”的问题，但实际生活中，我们的教师大多是“教书匠”，常常把“教书”与“育人”割裂开了，教学中，虽然尽职尽责，辛苦勤勉，却从未思考过如何通过教学实现学生的健康发展，实现对学生核心素养的培养，实现立德树人的目标，这样的教学同样是肤浅的。
读了这本书，我才了解到真正的教学绝不是把储存在书本上的知识转移到学生的头脑里再储存起来，而是要把外在于学生、和学生没有关系的知识，在教学中转化为学生主动活动的对象，通过学生个体的主动学习转变成学生成长的养分。
真正的教学，强调的是学生的主动学习，强化的是学生的自我发展；真正的教学，是教师、学生、知识紧密联系在一起，共同实现学生全面发展的过程，是培养学生学习能力、必备品格和正确价值观的的过程。
而这样真正的教学正是我们所说的深度学习。
谈到深度学习，我想到了我们平常教学中这样的例子：考试后，试卷讲评时，常常听学生无奈的说，这些知识我都会，可解题时我怎么想不到呢？还有老师说，这知识我都讲了三遍了，学生怎么还错呢？仔细分析上面的问题，究其本质，就是学生对所学的知识不理解，学习时，没有深入知识的本质，也或者是没有从多角度的去研究、去应用，也就是学习只停留在了浅层次的学习中。
深度学习笔记（九）感受野计算
深度学习笔记（九）感受野计算1 感受野的概念 在卷积神经⽹络中，感受野的定义是卷积神经⽹络每⼀层输出的特征图（feature map）上的像素点在原始图像上映射的区域⼤⼩。
⼀般感受野⼤⼩是⽬标⼤⼩的两倍左右最合适！ RCNN论⽂中有⼀段描述，Alexnet⽹络pool5输出的特征图上的像素在输⼊图像上有很⼤的感受野（have very large receptive fields (195 × 195 pixels)）和步长（strides (32×32 pixels) ），这两个变量的数值是如何得出的呢？2 感受野⼤⼩的计算感受野计算时有下⾯的⼏个情况需要说明： （1）第⼀层卷积层的输出特征图像素的感受野的⼤⼩等于滤波器的⼤⼩ （2）深层卷积层的感受野⼤⼩和它之前所有层的滤波器⼤⼩和步长有关系 （3）计算感受野⼤⼩时，忽略了图像边缘的影响，即不考虑padding的⼤⼩，关于这个疑惑⼤家可以阅读⼀下参考⽂章2的解答进⾏理解这⾥的每⼀个卷积层还有⼀个strides的概念，这个strides是之前所有层stride的乘积。
即strides（i） = stride(1) * stride(2) * ...* stride(i-1)关于感受野⼤⼩的计算采⽤top to down的⽅式，即先计算最深层在前⼀层上的感受野，然后逐渐传递到第⼀层，使⽤的公式可以表⽰如下： RF = 1 #待计算的feature map上的感受野⼤⼩ for layer in （top layer To down layer）: RFdown = ((RFtop -1)* stride) + fsizestride 表⽰卷积的步长； fsize表⽰卷积层滤波器的⼤⼩ ⽤python实现了计算Alexnet zf-5和VGG16⽹络每层输出feature map的感受野⼤⼩，实现代码 receptiveField.py：#!/usr/bin/env pythonnet_struct = {'alexnet': {'net':[[11,4,0],[3,2,0],[5,1,2],[3,2,0],[3,1,1],[3,1,1],[3,1,1],[3,2,0]],'name':['conv1','pool1','conv2','pool2','conv3','conv4','conv5','pool5']},'vgg16': {'net':[[3,1,1],[3,1,1],[2,2,0],[3,1,1],[3,1,1],[2,2,0],[3,1,1],[3,1,1],[3,1,1],[2,2,0],[3,1,1],[3,1,1],[3,1,1],[2,2,0],[3,1,1],[3,1,1],[3,1,1],[2,2,0]],'name':['conv1_1','conv1_2','pool1','conv2_1','conv2_2','pool2','conv3_1','conv3_2','conv3_3', 'pool3','conv4_1','conv4_2','conv4_3','pool4','conv5_1','conv5_2','conv5_3','pool5']},'zf-5':{'net': [[7,2,3],[3,2,1],[5,2,2],[3,2,1],[3,1,1],[3,1,1],[3,1,1]],'name': ['conv1','pool1','conv2','pool2','conv3','conv4','conv5']}}imsize = 224def outFromIn(isz, net, layernum):totstride = 1insize = iszfor layer in range(layernum):fsize, stride, pad = net[layer]outsize = (insize - fsize + 2*pad) / stride + 1insize = outsizetotstride = totstride * stridereturn outsize, totstridedef inFromOut(net, layernum):RF = 1for layer in reversed(range(layernum)):fsize, stride, pad = net[layer]RF = ((RF -1)* stride) + fsizereturn RFif__name__ == '__main__':print"layer output sizes given image = %dx%d" % (imsize, imsize)for net in net_struct.keys():print'************net structrue name is %s**************'% netfor i in range(len(net_struct[net]['net'])):p = outFromIn(imsize,net_struct[net]['net'], i+1)rf = inFromOut(net_struct[net]['net'], i+1)print"Layer Name = %s, Output size = %3d, Stride = % 3d, RF size = %3d" % (net_struct[net]['name'][i], p[0], p[1], rf)执⾏后的结果如下：。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
摘要：人工智能的飞跃发展得益于深度学习理论的突破以及移动互联网创造的大数据。
本文梳理了人工智能、机器学习、深度学习的概念以及发展历程；介绍了深度学习基本理论、训练方法、常用模型、应用领域。
关键词：机器学习、人工神经网路、深度学习、语音识别、计算机视觉1.概述2017年5月27日，围棋世界冠军柯洁与Google围棋人工智能AlphaGo的第三场对弈落下帷幕。
在这场人机大战中，世界围棋第一人0:3完败于围棋人工智能。
人工智能以气势如虹的姿态出现在我们人类的面前。
人工智能AI（Artificial Intelligence）从此前的学术研究领域全面进入大众视野。
整个业界普遍认为，它很可能带来下一次科技革命，并且，在未来可预见的10多年里，深刻得改变我们的生活。
、人工智能、机器学习、深度学习什么是人工智能人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科。
该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
上世纪50年代人工智能的理念首次提出，科学家们不断在探索、研究，但是人工智能的发展就磕磕碰碰。
人工智能的发展经历了若干阶段，从早期的逻辑推理，到中期的专家系统，直到上世纪80年代机器学习诞生以后，人工智能研究终于找对了方向。
机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。
但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型对真实世界中的事件作出决策与预测的一种方法。
基于机器学习的图像识别和语音识别得到重大发展。
人工神经网络（Artificial Neural Networks）成为机器学习中的一个重要的算法，其中反向传播算法（Back Propagation）是最常用的ANN学习技术。
基于BP算法的人工神经网路，主要问题是训练困难、需要大量计算，而神经网络算法的运算需求难以得到满足。
进入90年代，神经网络的发展进入了一个瓶颈期。
其主要原因是尽管有BP算法的加速，神经网络的训练过程仍然很困难。
因此90年代后期支持向量机(SVM)算法取代了神经网络的地位。
【SVM是个分类器，通过“核函数”将低维的空间映射到高维的空间，将样本从原始空间映射到一个更高维的特质空间中，使得样本在这个新的高维空间中可以被线性划分为两类，再将分割的超凭你们映射回低维空间。
】2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。
这篇文章有两个主要观点：1、多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2、深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。
深度学习使得机器学习能够实现众多的应用，并拓展了人工智能的领域范围。
深度学习在语音识别和图像识别等领域获得了巨大的成功因此极有可能是真正实现人工智能梦想的关键技术。
人工智能、机器学习（Machine Learning）和深度学习（Deep Learning）之间的关系，如图1所示。
人工智能是机器学习的父类。
深度学习则是机器学习的子类。
图 1 人工智能、机器学习、深度学习关系2.人工神经网络人工神经网络（ANN）受到生物学的启发是生物神经网络的一种模拟和近似，它从结构、实现机理和功能上模拟生物神经网络。
从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。
图 2 单个神经元图 3人工神经网路、 BP算法BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。
输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。
当实际输出与期望输出不符时，进入误差的反向传播阶段。
误差通过输出层，按误差梯度下降【求取偏导数】的方式修正各层权值，向隐层、输入层逐层反传。
周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止、BP算法存在的问题（1）、收敛速度慢，梯度越来越稀疏【梯度扩散】：从顶层越往下，误差校正信号越来越小。
（2）、收敛到局部最小值，可能导致训练失败：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）。
（3）、一般我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的数据中学习。
在实际应用中，BP人工神经网路通常是只含有一个隐层的浅层模型。
浅层学习是机器学习的第一次浪潮。
3.深度学习（Deep Learning）3．1、基本思想深度学习是机器学习的第二次浪潮。
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。
因此，“深度模型”是手段，“特征学习”是目的。
区别于传统的浅层学习，深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至10层以上的隐层节点；2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。
假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为：I =>S1=>S2=>… =>Sn => O，如果输出O等于输入I，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。
深度学习需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…, Sn。
通过这种方式，就可以实现对输入信息进行分级表达了。
图 4 浅层模型与深度学习模型深度学习模型采用了与神经网络相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接。
为了克服神经网络训练中的问题，DL采用了与神经网络很不同的训练机制。
传统神经网络中，采用的是BP算法进行训练，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和期望输出之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。
而深度学习整体上是一个layer-wise的训练机制。
3．2、训练方法第一步：无监督学习，逐层构建单层神经元，逐层训练一个单层网络深度神经网络在训练上的难度，可以通过“逐层初始化”（Layer-wise Pre-training）来有效克服，文中给出了无监督的逐层初始化方法。
图 5 单层训练给定原始输入后，先要训练模型的第一层，即图中左侧的黑色框。
黑色框可以看作是一个编码器，将原始输入编码为第一层的初级特征，可以将编码器看作模型的一种“认知”。
为了验证这些特征确实是输入的一种抽象表示，且没有丢失太多信息，需要引入一个对应的解码器，即图中左侧的灰色框，可以看作模型的“生成”。
为了让认知和生成达成一致，就要求原始输入通过编码再解码，可以大致还原为原始输入。
因此将原始输入与其编码再解码之后的误差定义为代价函数，同时训练编码器和解码器。
Wake-Sleep算法：(1)、Wake阶段【Input->Code->Reconstruction, 调整Decoder权重】认知过程，自上而下，通过下层的输入特征（Input）和向上的认知（Encoder）权重产生每一层的抽象表示（Code），再通过当前的生成（Decoder）权重产生一个重建信息（Reconstruction），计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成（Decoder）权重。
也就是“如果现实（Code）跟我想象（Reconstruction）的不一样，改变我的生成权重（Decoder权重在Wake阶段调整）使得我想象（Code），的东西变得接近现实”。
(2)、Sleep阶段【Code->Reconstruction->Code’, 调整Encoder权重】生成过程，自下而上，通过上层概念（Wake阶段产生的Code）和向下的生成权重（Decoder权重在Wake阶段调整），生成下层的状态（Sleep阶段产生的Input），再利用认知（Encoder）权重产生一个抽象景象（Sleep阶段产生的Code’）。
利用初始上层概念（Wake阶段产生的Code）和新建抽象景象（Sleep阶段产生的Code）的残差，利用梯度下降修改层间向上的认知权重（Encoder权重在Sleep阶段调整）。
也就是“如果梦中的景象（Sleep阶段产生的Code’）不是我脑中的相应概念（Wake阶段产生的Code），改变我的认知权重使（Encoder权重在Sleep阶段调整）得这种景象在我看来接近这个概念”。
【多次训练重复Wake-Sleep算法，不断调整Encode和Decode的权重，最终使得让认知和生成达成一致Input = Reconstruction。
】图 5 逐层初始化 (即特征学习Feature Learning过程) Wake:自下而上– Encoder –RecognitionSleep: 自上而下– Decoder –Generative图 6 逐层初始化的方法（双向神经网络）第二步：自顶向下的有监督学习训练收敛后，编码器就是我们要的第一层模型，而解码器则不再需要了。
这时我们得到了原始数据的第一层抽象。
固定第一层模型，原始输入就映射成第一层抽象，将其当作输入，如法炮制，可以继续训练出第二层模型，再根据前两层模型训练出第三层模型，以此类推，直至训练出最高层模型。
由于深层模型具有很多局部最优解，模型初始化的位置将很大程度上决定最终模型的质量。
“逐层初始化”的步骤就是让模型处于一个较为接近全局最优的位置，从而获得更好的效果。
逐层初始化完成后，深度学习模型只是学习获得了一个可以良好代表输入的特征，这个特征可以最大程度上代表原输入信号，还没有学习如何去连结一个输入和一个分类。