单纯形替换法

单纯形替换法、步长加速法、Power法等适用于目标函数的导数不存在或导数过于复杂的情形.

最小二乘法是求解最小二乘问题的特定解法.

求解约束问题的基本方法有Z-容许方向法、梯度投影法、外点法(外部罚函数法)、内点法(内部罚函数法)、乘子法、线性化法、简约梯度法等.

Z-容许方向法：利用线性规划得到搜索方向

p，然

k

后再通过受限的直线搜索确定步长因子

t.

k

梯度投影法：利用对梯度投影的方式得到搜索方向

p，然后再通过受限的直线搜索确定步长因子k t.

k

外点法、内点法、乘子法：通过求解一系列的无约束问题解约束问题.而这一系列无约束问题的目标函数则是根据目标函数及约束函数，通过“惩罚”方式产生.

∶