梯度下降法[优质ppt]
AAA最优化理论与方法课件(第3章,马昌凤版)
min( ) f (x(2) d (2) )
0
x(2)
d
(2)
2 27
1 1
4 27
2 1
2 27
1 1
4 2
(
)
8 272
(1
4
)2
4 272
(1
2
)2
令
'( ) 0
2 5 / 18
x(3)
x(2)
3d (2)
2 27
1/ 9 4 / 9
2 243
1 4
此时
3.1 最速下降法及其Matlab实现
Steepest Method and Its Matlab Code
3.1最速下降法－1
在第1章关于无约束优化问题下降类算法的一般 框架时提及, 用不同的方式确定搜索方向或搜索步 长, 就会得到不同的算法。
在处理这类问题时，一般策略是，希望从某一点 出发，选择一个目标函数值下降最快的方向，沿此 方向搜索以期尽快达到极小点，基于这一思想， Cauchy于1847年提出了最速下降法。这是无约束最 优化中最简单的方法。
E
xk 1
max max
min min
2
E
xk
其中E(x) 1 x x *T H x x *,即
2
特别地，r=1时， 一步即可停止
梯度下降 高斯牛顿
梯度下降和高斯牛顿是机器学习和优化领域常用的两种优化方法。
梯度下降是一种常用的一阶优化算法，可以用于求解目标函数的最小值。它通过计算目标函数在当前参数下的梯度（即指向最大增长方向的向量）并沿着梯度的反方向迭代更新参数，直到收敛达到最小值。
高斯牛顿法是一种基于牛顿法的优化算法，利用目标函数的一阶和二阶导数信息来更快地寻找最小值。它通过计算目标函数在当前参数下的梯度和海森矩阵（即二阶导数）来更新参数，直到收敛达到最小值。相比于梯度下降，高斯牛顿法通常更快地收敛，但要求目标函数的二阶导数可计算和海森矩阵可逆。
在实际应用中，梯度下降通常适用于目标函数的梯度容易计算的场合，而高斯牛顿法则适用于目标函数参数较少、目标函数相对平滑、并且具有较快的收敛速度的场合。
梯度下降法 工作原理
梯度下降法工作原理
梯度下降法是一种优化算法，用于寻找函数的最小值。其工作原理如下：
1.初始化参数：选择一个起始点作为初始参数，这可以是任意值或随机选择的值。
2.计算损失函数的梯度：计算当前参数点处的损失函数的梯度。梯度表示损失函数在每个参数维度上的变化率。
3.更新参数：使用梯度信息来更新参数，以使损失函数的值减小。更新参数的方法是沿着梯度的反方向进行调整。
4.迭代更新：重复步骤2和3，直到满足停止准则（如达到预设的最大迭代次数或损失函数值减小到足够小的值）。
5.输出结果：最终的参数值即为使损失函数最小化的参数值。
梯度下降法通过不断地沿着梯度的反方向移动参数，逐渐找到使损失函数最小化的最优解。在机器学习和深度学习中，梯度下降法被广泛用于训练模型和优化模型参数。
梯度下降法神经网络控制教材(第三版)
正则化与早停法
正则化
通过对模型参数施加惩罚项，以防止过拟合，例 如L1正则化和L2正则化。
早停法
在验证损失不再显著降低时停止训练，以避免过 拟合。
梯度下降法在控制领域的应
05
用
线性系统控制
线性系统控制是控制领域中较为简单的一种， 通过建立系统的数学模型，利用梯度下降法对 模型进行优化，以达到控制系统的目的。
总结词
选择合适的步长和迭代次数。
详细描述
步长和迭代次数是梯度下降法中的重要参数，对路径规 划的结果有很大的影响。如果步长过大或者迭代次数太 少，可能会导致梯度下降法收敛到局部最优解；如果步 长过小或者迭代次数太多，则可能会导致梯度下降法收 敛速度过慢或者陷入局部最优解。因此，需要根据具体 问题选择合适的步长和迭代次数，以提高路径规划的精 度和效率。
梯度下降法神经网络 控制教材(第三版)
目录
• 引言 • 神经网络基础 • 梯度下降法基础 • 梯度下降法在神经网络中的应用 • 梯度下降法在控制领域的应用 • 案例分析与实践 • 总结与展望
01
引言
背景与意义
梯度下降法神经网络控制是机器学习和人工智能 01 领域的重要分支，对于解决复杂非线性系统控制
反向传播算法
总结词
反向传播算法是一种用于训练神经网络的优化算法，通过不 断调整神经网络的权重和偏置参数来最小化损失函数。
《梯度下降法》课件
详细描述
批量梯度下降法在每次迭代时使用整个数据集来计算梯度 ，并更新参数。由于计算量大，它的收敛速度相对较慢， 但它能够找到全局最优解，适用于大数据集。
总结词
收敛速度慢
总结词
适用于大数据集
详细描述
由于能够利用整个数据集的信息，批量梯度下降法在大数 据集上表现较好，能够找到全局最优解。
小批量梯度下降法（Mini-batch Gradient Descent）
《梯度下降法》ppt 课件
• 引言 • 梯度下降法的基本原理 • 梯度下降法的分类 • 梯度下降法的优化策略 • 梯度下降法的实践应用 • 总结与展望
目录
01
引言
什么是梯度下降法
梯度下降法是一种优化算法， 通过不断沿着梯度的负方向更 新参数，以最小化目标函数。
它是一种迭代算法，每次迭 代中，根据当前点的梯度信 息，寻找下一个迭代点，逐
停止条件
迭代更新会一直进行直到满足某个停止条件，如达到预设的最大迭代次数、达到预设的精度要求或者梯度值足够 小等。
03
梯度下降法的分类
批量梯度下降法（Batch Gradient Descent）
总结词
计算量大，收敛速度慢，适用于大数据集
详细描述
由于每次迭代都需要使用整个数据集，计算量大，导致收 敛速度较慢。
在此添加您的文本16字
梯度下降牛顿法
梯度下降法和牛顿法都是常用的优化算法，用于求解函数的最小值或最大值。
梯度下降法的基本思想是，在每一次迭代中，通过计算目标函数对参数的梯度（即函数在当前参数取值处的变化率），然后沿着梯度的反方向进行参数更新，从而使目标函数的值逐步下降。在最小化损失函数时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。
而牛顿法也是另一种常见的优化算法，它使用牛顿定理来寻找函数的极值点。具体来说，牛顿法通过当前点的梯度的反方向寻找到新的迭代点，并从当前点移动到新的迭代点继续寻找新的迭代点，直到找到最优解。
如需了解更多信息，建议查阅相关书籍或咨询专业人士。
梯度下降算法公式
梯度下降算法：优化神经网络的利器
梯度下降算法是深度学习中最常用的优化方法之一，它通过计算
损失函数对参数进行更新，不断地迭代优化模型，从而提高模型的精
度和准确性。本文将深入介绍梯度下降算法的公式及其工作原理和应用。
一、梯度下降算法公式
梯度下降算法是基于梯度的数学原理，用来寻找函数最优解的一
种方法。在深度学习中，我们需要最小化损失函数来获得最优的模型
参数。梯度下降算法通过求解损失函数的导数，以此来更新模型参数。
对于一个损失函数J(θ)而言，其中θ是模型参数向量。我们需
要更新θ的值使J(θ)最小化，梯度下降算法通过以下公式实现：θ = θ - α∇J(θ)
其中，α表示学习率，是一个确定更新步长的常数，∇J(θ)表示损失函数J(θ)对θ的导数，表示当前点的梯度方向，它指示了当前
点最陡峭的下降方向。
二、梯度下降算法的工作原理
梯度下降算法的工作原理可以概括为以下几个步骤：
1.初始化参数：将模型参数设定为任意值。
2.计算损失函数：计算当前模型参数下的损失函数值。
3.计算梯度：计算损失函数对参数的导数，确定当前点的梯度方向。
4.更新参数：使用梯度计算得到的方向更新模型参数。
5.重复迭代：不断重复上述步骤，直到算法收敛或达到指定迭代
次数。
三、梯度下降算法的应用
梯度下降算法在深度学习中广泛应用，尤其是在优化神经网络中。随着神经网络模型的不断发展，网络参数的数量和模型结构变得越来
越复杂，这使得优化这些模型变得更加困难。而梯度下降算法可以通
过自动计算函数梯度来实现对这些模型的优化，从而提高模型的预测
准确性和泛化性能。
简述梯度下降算法的步骤过程。
简述梯度下降算法的步骤过程。
梯度下降算法是一种常用的优化算法,用于求解机器学习模型中的目标函数,以最小化损失函数。以下是梯度下降算法的基本步骤: 1. 准备数据集:收集并准备训练数据集,包括输入数据和相应的输出数据。
2. 定义损失函数:定义损失函数来衡量模型预测的与实际值之间的差距。
3. 定义模型:定义模型的参数,包括权重和偏置。
4. 初始化模型:初始化模型的参数,通常使用随机初始化或最小化损失函数来选择初始参数。
5. 计算梯度:计算每个参数的梯度,即模型预测的输出值与实际值之间的差异与参数对应权重之间的差异的加权和。
6. 更新参数:根据梯度下降算法,更新每个参数的值,使梯度最小化损失函数。可以使用牛顿法、共轭梯度法、随机梯度下降法等不同的算法更新参数。
7. 重复步骤:重复步骤6直到收敛。在梯度下降算法中,通常会使用不同的批量大小、学习率等参数来调整模型的训练过程。
梯度下降算法是一种简单但有效的优化算法,适用于大多数机器学习应用。
梯度下降法求极值
梯度下降法求极值
梯度下降法是一种常用的优化算法，被广泛应用于求解函数极值的问题。在数
学和机器学习领域，梯度下降法被用于最小化一个目标函数，通过迭代的方式找到函数的最小值点（局部最小值或全局最小值）。
梯度下降法的基本原理是通过计算目标函数的梯度来指导参数的更新。梯度指
的是函数在某一点处的变化率，它告诉我们在当前位置如何调整参数的方向。具体来说，梯度下降法按照以下步骤进行迭代更新：
1. 初始化参数：选择一个初始的参数向量或矩阵。
2. 计算梯度：计算函数在当前参数点处的梯度向量或矩阵。梯度的计算可以通
过求偏导数来实现。
3. 参数更新：根据梯度的方向和步长来更新参数。步长（或学习率）是一个超
参数，控制着每次更新时参数变化的大小。
4. 迭代终止条件：根据一定的终止条件（例如达到最大迭代次数或梯度变化小
于某个阈值），判断是否终止迭代。
梯度下降法的核心思想是不断地尝试围绕极小值点进行搜索，并逐步接近最优解。通过计算函数的梯度，在当前位置上沿着梯度的反方向进行参数更新，使得目标函数的值逐渐减小。当梯度接近于零时，表示已经接近局部最小值或全局最小值。
梯度下降法有两种常见的变体：批量梯度下降法（Batch Gradient Descent）和
随机梯度下降法（Stochastic Gradient Descent）。批量梯度下降法在每次迭代时使
用全部数据集来计算梯度，而随机梯度下降法每次迭代只使用一个数据样本来计算梯度。
使用梯度下降法有一些注意事项。首先，需要选择合适的学习率。学习率过大
会导致参数更新过程不稳定甚至发散，学习率过小则会导致收敛速度过慢。其次，
梯度下降算法例题
梯度下降算法例题
下面是一个求解二次函数最小值的梯度下降算法例题：
题目：求函数f(x) = x^2 + 4x + 5 的最小值。
步骤1：初始化
-设置初始点x₀= 0
-设置学习率η= 0.01
-设置迭代次数上限n = 1000
步骤2：迭代
1. 计算梯度：f'(x) = 2x + 4
2. 更新方向：方向= -梯度
3. 更新位置：x₁= x₀-η* 梯度
4. 判断收敛条件：当梯度小于某个阈值（如1e-6）或达到迭代次数上限时，停止迭代
5. 返回最小值及最小值所在点
步骤3：实现
1. 初始化变量
2. 循环迭代
a. 计算梯度
b. 更新方向和位置
c. 判断收敛条件
d. 输出当前梯度和位置
3. 输出最小值及最小值所在点
注意事项：
-在实际应用中，梯度下降算法可能面临梯度消失或梯度爆炸的问题，此时可以考虑使用批量梯度下降、随机梯度下降或自适应学习率的方法。
-本例题中的二次函数具有一个局域最小值，实际上，梯度下降算法还可以应用于寻找全局最小值的问题，但需要考虑初始点的选择和停止条件的设置。
解题过程：
步骤1：初始化
-设置初始点x₀= 0
-设置学习率η= 0.01
-设置迭代次数上限n = 1000
步骤2：迭代
迭代次数：1 →2 →3 →... →1000
1. 计算梯度：f'(x) = 2x + 4
2. 更新方向：方向= -梯度
3. 更新位置：x₁= x₀-η* 梯度
4. 判断收敛条件：当梯度小于某个阈值（如1e-6）或达到迭代次数上限时，停止迭代
5. 返回最小值及最小值所在点
步骤3：实现
1. 初始化变量
2. 循环迭代
简述梯度下降算法的一般步骤
简述梯度下降算法的一般步骤
梯度下降算法是一种优化算法，用于求解函数的最小值。它的一般步骤如下：
1. 初始化参数：选择一个初始参数值作为起始点。
2. 计算损失函数梯度：计算当前参数值的梯度，梯度表示了函数在该点上升最快的方向。
3. 更新参数：通过沿着负梯度方向减小参数值，来使损失函数逐渐减小。参数更新的步长由学习率决定。
4. 判断终止条件：检查算法是否已经收敛，也就是损失函数是否已经足够小或者参数是否已经稳定不变。
5. 如果未达到终止条件，则返回第2步继续执行。否则，返回最终参数。
梯度下降算法的基本思想是通过迭代优化，通过不断地调整参数值，使得损失函数逐渐减小，从而找到最小值点。这个过程中，算法利用梯度的信息指引调整方向和步长，从而更快地接近最小值。学习率的选择非常重要，过大的学习率可能导致算法无法收敛，而过小的学习率可能导致算法收敛速度过慢。
机器学习概念之梯度下降算法（全量梯度下降算法、随机梯度下降算法、批量梯度下降算法）
机器学习概念之梯度下降算法（全量梯度下降算法、随机梯度下降算法、批量梯
度下降算法）
不多说，直接上⼲货！
回归与梯度下降
回归在数学上来说是给定⼀个点集，能够⽤⼀条曲线去拟合之，如果这个曲线是⼀条直线，那就被称为线性回归，如果曲线是⼀条⼆次曲线，就被称为⼆次回归，回归还有很多的变种，如本地加权回归、逻辑回归，等等。
⽤⼀个很简单的例⼦来说明回归，这个例⼦来⾃很多的地⽅，也在很多的开源软件中看到，⽐如说weka。⼤概就是，做⼀个房屋价值的评估系统，⼀个房屋的价值来⾃很多地⽅，⽐如说⾯积、房间的数量（⼏室⼏厅）、地段、朝向等等，这些影响房屋价值的变量被称为特征(feature)，feature在机器学习中是⼀个很重要的概念，有很多的论⽂专门探讨这个东西。在此处，为了简单，假设我们的房屋就是⼀个变量影响的，就是房屋的⾯积。
假设有⼀个房屋销售的数据如下：
⾯积(m^2) 销售价钱（万元）
123 250
150 320
87 160
102 220
… …
这个表类似于帝都5环左右的房屋价钱，我们可以做出⼀个图，x轴是房屋的⾯积。y轴是房屋的售价，如下：
如果来了⼀个新的⾯积，假设在销售价钱的记录中没有的，我们怎么办呢？
我们可以⽤⼀条曲线去尽量准的拟合这些数据，然后如果有新的输⼊过来，我们可以在将曲线上这个点对应的值返回。如果⽤⼀条直线去拟合，可能是下⾯的样⼦：
绿⾊的点就是我们想要预测的点。
⾸先给出⼀些概念和常⽤的符号，在不同的机器学习书籍中可能有⼀定的差别。
房屋销售记录表 - 训练集(training set)或者训练数据(training data), 是我们流程中的输⼊数据，⼀般称为x
梯度下降函数
梯度下降函数
梯度下降（Gradient descent）是一种用于优化函数的算法，它的核心思想是通过反复迭代调整参数来达到最小化函数的目的。在机器学习中，梯度下降常用于优化神经网络、线性回归和逻辑回归等模型的参数。
梯度下降函数的形式如下：
θ=θ−α∇J(θ)
其中，θ表示要优化的参数；∇J(θ)表示损失函数J(θ)的梯度，即参数的变化率；α表示学习率，表示每次更新参数时的步长，需要手动设置合适的值。
梯度下降函数可以分为批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）和小批量梯度下降（Mini-Batch Gradient Descent）三种。不同的梯度下降算法在每次更新参数的时候使用的样本数量不同，因此对计算速度和收敛速度均有影响。
梯度下降法
梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。
最速下降法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，可以是较小的常数。
g（k）是x(k)的梯度。
直观的说，就是在一个有中心的等值线中，从初始值开始，每次沿着垂直等值线方向移动一个小的距离，最终收敛在中心。
对于某一个性能指数，我们能够运用梯度下降法，使这个指数降到最小。若该指数为均方误差，我们便得到了最小均方误差（LMS）算法。
/kuai_su/youhuasheji/suanfayuanli/3.7.asp
多维无约束优化算法——梯度法
一、基本原理
通过变量轮换法、共轭方向法等的讨论，我们知道对多维无约束问题优化总是将其转化为在一系列选定方向进行一维搜索，使目标函数值步步降低直至逼近目标函数极小点，而方向的选择与迭代
速度、计算效率关系很大。人们利用函数在其负梯度方向函数值下降最快这一局部性质，将n维无约束极小化问题转化为一系列沿目标函数负梯度方向一维搜索寻优，这就成为梯度法的基本构想。据此我们将无
约束优化迭代的通式中的搜索方向取为负梯度向量或单位负梯度向量，即可分别得到两种表达形式的梯度法迭代公式
（1）
（2）
式中，，分别为函数在迭代点处的梯度和梯度的模;两式中均为最优步长因子，各自分别通过一维极小化和
。
按照梯度法迭代公式(1)或(2)进行若干次一维搜索，每次迭代的初始点取上次迭代的终点，即可使迭代点逐步逼近目标函数的极小点。其迭代的终止条件可采用点距准则或梯度准则，即当
现代优化算法简介PPT课件
总结现代优化算法的优点与不足
高效性
现代优化算法通常能够在较短的 时间内找到问题的近似最优解， 尤其在处理大规模、复杂的问题 时表现出色。
灵活性
现代优化算法适用于各种类型的 问题，如线性规划、非线性规划 、组合优化等，并能处理多目标 、约束或无约束的情况。
总结现代优化算法的优点与不足
• 适用性强：针对不同领域的问题，现代优化算法提供了丰 富的工具和框架，可以根据实际需求选择合适的算法。
03
现代优化算法的应用
机器学习优化
总结词
机器学习是现代优化算法的重要应用领 域之一，通过优化算法可以改进机器学 习模型的性能，提高预测准确率和泛化 能力。
VS
详细描述
机器学习中的优化问题主要关注如何选择 最佳的模型参数，以最小化预测误差或损 失函数。常见的机器学习优化算法包括梯 度下降法、牛顿法、拟牛顿法等，它们通 过迭代更新模型参数，逐步逼近最优解。
总结词
高效、需要高精度计算
详细描述
牛顿法基于泰勒级数展开，通过迭代的方式逼近函数的最小值点。由于其每次迭 代都需要计算目标函数的Hessian矩阵，因此需要高精度的计算资源。然而，由 于其高效的收敛速度，牛顿法在求解大规模优化问题时具有显著优势。
遗传算法
总结词
全局搜索、适用于复杂问题
详细描述
遗传算法模拟了生物进化过程中的自然选择和遗传机制，通过种群迭代的方式进行全局搜索。由于其 能够处理多变量、非线性、离散和连续的优化问题，遗传算法在处理复杂问题时具有显著优势。
标准BP算法及改进的BP算法PPT教学课件
2020/12/10
3
标准BP网络的应用
P = -1:0.1:1
T = [-0.96 -0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 0.396 0.3449 0.1816 -0.0312 0.2183 -0.3201 ];
[R,Q] = size(P); [S2,Q] = size(T); S1 = 5; [W1,B1] = rands(S1,R); [W2,B2] = rands(S2,S1);
2020/12/10
4
net = newcf( minmax(P), [5,1], {'tansig','purelin'},'traingd' ); net.trainParam.epochs = 7000; net.performFcn = 'sse'; net.trainParam.goal = 0.02; [net,tr] = train(net,P,T); Y = sim(net,P); plot(P,T,P,Y,’o’)
标准BP算法及改进的BP 算法应用
2020/12/10
1
1.1 标准的BP算法
BP标准的BP算法是基于梯度下降法，通过 计算目标函数对网络权值和阈值的梯度进 行修正。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4. 随机梯度下降法SGD
由于批梯度下降每更新一个参数的时候， 要用到所有样本，所以训练速度会随着样 本数量的增加而变得非常缓慢。
随机梯度下降正是为了解决这个办法而提 出的。它是利用单个样本的损失函数对θ求 偏导得到对应的梯度，来更新θ。
上例中，利用SGD求得
随机梯度下降收敛图（SGD迭代的次数较多， 在解空间的搜索过程看起来很盲目。但是 大体上是往着最优值方向移动。）
5. 小批量梯度下降法MBGD
为综合解决BGD的训练速度慢，以及SGD的 准确性低的问题，提出MBGD 它是利用部分样本的损失函数对θ求偏导得 到对应的梯度，来更新θ。
6. 总结
方法 BGD
参考文献
https://zhuanlan.zhihu.com/p/25765735 http://blog.csdn.net/lilyth_lilyth/article/detail
s/8973972 http://www.aichengxu.com/other/504873.ht
m
畅想网络
主要思想：
首先，随机初始化参数； 然后，不断反复的更新参数使得误差函数减小，
直到满足要求时停止。
梯度下降算法，利用初始化的参数θ并且反 复更新参数θ：
α代表学习率，表示每次向着函数J最陡峭 的方向迈步的大小（步长？）
（1）将J(θ)对θ求偏导，得到每个θ对应的的 梯度
当m=1时，即只有一个样本数据（x, y），J对 第j个参数θj的偏导数是：
假设一维线性模型表达式如下：
其中：
hƟ(x)是假设函数，即要拟合的函数 θ为待求解参数，即要迭代求解的值， θ求解 出来了那最终要拟合的函数hƟ(x)就确定了。 n表示输入特征数，为方便计算，所有的样本 都加入了x0=1这个特征，所以维数为n+1维。
对应的损失/误差函数，即估计值与真实值之间 的差距，这里用2-范数表示为：
其中： m是训练集的样本个数 1/2是为了后面求导计算方便
一个二维参数（ θ 0 ， θ 1 ）组对应能量函数 （描述整个系统的优化程度，随着网络的变化
而减小，最终网络稳定时能量达到最小）的可 视化图
3. 批量梯度下降法BGD
更新算法的目的：误差函数尽可能小，即 求解参数使误差函数尽可能小。
SGD
MBGD
优点
缺点
最小化所有训练样本的损失 如果样本值很大的话，更新 函数，使得最终求解的是全 速度会很慢。 局的最优解
最小化每个样本的损失函数，训练数据的噪声较多，导致 大大加快更新速度，最终的 不是每次迭代得到的损失函 结果在全局最优解附近。 数都向着全局最优方向。
训练速度快，参数准确性高 不同的问题需要设置不同的 小批量值。
Imagination Network
感谢观看！
文章ቤተ መጻሕፍቲ ባይዱ容来源于网络，如有侵权请联系我们删除。
随机梯度下降是通过每个样本来迭代更新一次， 如果样本量很大的情况（例如几十万），那么 可能只用其中几万条或者几千条的样本，就已 经将参数迭代到最优解。
对比上面的批量梯度下降，迭代一次需要用到 十几万训练样本，一次迭代不可能最优，如果 迭代10次的话就需要遍历训练样本10次。
SGD的问题是噪音较BGD要多，使得SGD并不 是每次迭代都向着整体最优化方向。
小批量梯度下降法MBGD (Mini-Batch Gradient Descent )
下文将以线性回归算法为例来对三种梯度下 降法进行比较
2. 先导知识
一元线性回归(拟合曲线) 假设这里存在m=6组数据(x, y)
从图上可以看出，大致数据的大致走势是 可以用线性模型y=kx+b来表示的，为此我们 建立一维线性回归模型。
梯度下降法
2017.6.13
1. 引言
梯度下降（GD）是最小化风险函数、损失 函数的一种常用方法。
在应用机器学习算法时，通常采用梯度下 降法来对采用的算法进行训练。
梯度下降法包含三种不同形式：
批量梯度下降BGD（Batch Gradient Descent ）
随机梯度下降SGD（Stochastic Gradient Descent ）
对所有m个样本数据，上述损失函数的偏导 （累和）为：
（2）由于是要最小化风险函数，所以按每个
参数θ的梯度负方向，来更新每个θj(j=0, 1, 2, …, n)
上例中，利用BGD求得
由更新公式可知，批量梯度下降得到的是一 个全局最优解，每一次的参数更新都用到了 所有的训练数据，如果训练数据非常多的话， 执行效率较低。