模式识别一次准则函数及梯度下降法

在迭代过程中，对于某个k，若要求
来自百度文库
w' (k 1 ) xk 0
。代入上式，得到：
此时的算法称为可变增量的绝对修正法。
参数ρ k 的选择很重要，ρ k 大些，收敛速度快。但 是ρ
k
过大，则迭代过程可能会不稳定，甚至会引
起发散。 一般可以使ρ k 随搜索步数增加逐渐减小。
w(k 1) w(k ) (J )ww(k )

上式使w在函数J的负梯度方向上迅速收敛于最 优解w* 。其中，ρ是一个正的比例因子，这就 是梯度法。
准则函数可选取为：
显然，只要满足
|w’x|-w’x=0
则该准则函数均能达到最小值Jmin(w,x),此时有
因此得到最优解w*
w’x>0
令 k=1/2，对 J ( w, x) 求导：
将 J 代入梯度法迭代公式：
当ρk为常数时，上式与感知器算法的修正公式一样，因此， 感知器算法只是梯度下降法的一种特殊情况。一般，把为 常数的梯度法称为固定增量法。
当ρ k 在迭代运算时随 k 变化时，称为可变增量法， 迭代公式为：
w(k 1) w(k) k x(k)
梯度下降法概念

在数学分析中，函数在某点的梯度是一 个向量，其方向是增长最快的方向。显 然，负梯度方向是减少最快的方向。所 以，在求某函数极大值时，沿梯度方向 走，则可以最快到达极大点；反之，沿 负梯度方向走，则可以最快到达极小点。
准则函数定义

定义一个准则函数J(w,x)，它的最小值对 应着最优解w*。为此，我们可以得到梯 度法的迭代公式：
一次准则函数及梯度下降法

准则函数定义 梯度下降法概念
一次准则函数及梯度下降法


前面已经讨论了在两类情况下，当样本可分时， 将属于ω2的样本的各分量乘（－1），则所有 满足w’x>0的样本所求出的解w*，可确定判决 函数。 这是一线性联立不等式的求解问题，只对线性 可分问题，方程才有解。

对这样的问题来说，如果有解，其解也不一定 是单值的，因而就有一个按不同条件取得最优 解的问题，这样就出现了多种不同的算法，下 面将要介绍梯度法。