多维无约束优化的直接方法

ˆ f x i 则 x ih : x ˆ; ⑤如果 f x 计算 xc x xi x ; 如果 f xc max 1 j n1, j i f x j 则 xi : xc
h
h
h
������ (������) ，则转第④ ������(������) ≤ ������(������ + ������ ������ − ������ ) ������ ������ > ������(������ + ������ ������ − ������ )
j arg min f v j d j ;
v j1 v j j d j ;
d j v j xi ;


i arg min f xi di ;
x i 1 xi i di ;
优点：虽是针对二次函数提出来的，但它 也用来解一般的非线性无约束优化问题 缺点：对n个方向的依赖不均，有改进方法
������������ ������ = 0, ������������ ������ ≥ 0,
������ = 1, … … , ������������ ������ = ������������ + 1, … … , ������
对于多维优化问题，现有的计算方法可分成两大类：线 搜索方法和信赖域方法。优化的计算方法还根据算法是 否需要计算目标函数及约束函数的导数值分为非直接法 和直接法。
(4) k : k 1,转步2.
优点：差分拟牛顿法不计算导数，计算简 单 缺点：收敛性没有得到证明，并且差分步 长的选取对结果影响很大
7
仪器科学与电气工程学院
8ቤተ መጻሕፍቲ ባይዱ
������������������������������ = − 4 ������ ������������ − ������������ 2 ∙ ������ ������0 ������������ ������������������
式中������ ������ 表示感应线圈的输出电压，从上面的式子可以看出，������ ������ 是一 个具有复杂表达式的物理量，������������������������������ 和������������������������ 求不出具体的表达式， 因此得不到������ ������, ������, ������ 的导数，故待优化的问题应该用无约束的直接 优化方法求解
仪器科学与电气工程学院
几种直接方法
共轭方向法： 共轭方向法的基本思想就是利用具有共轭方向的向量优化函数， 使其具有二次终止性。
①给出初值 x 1 ；线性无关向量 d1 ,, d n ; 1 ,, n 0.
②对于 i 1,2,, n 执行：
v1 xi i di ;
对 j 1,i 1执行：
4
优点：程序简单，收敛时必收敛到稳定点 缺点：可能不收敛，且任何聚点都不是������(������)的稳定点
仪器科学与电气工程学院
单纯形法：
几种直接方法
单纯形法最先由Spendley，Hext和Himsworth(1962)提出，后来 由Nelder和Mead(1965)改进 ������ (1) ①给出������ ������ ������ = 1, … , ������ + 1 , ������ = 1, ������ = 0.5, ������ = 2; ������ ������ (������) ������ℎ ������������ ②由下式计算������ 、������ 、������；并计算反射点 ������ (3) ������������������ ������ ������ ������ℎ = 1≤������≤������+1 ������(������ ������ ) ������ ������ ������������ _ 1 ������= ������ ③如果������ ������ ������
3
仪器科学与电气工程学院
几种直接方法
交替方向法： 最基本的交替方向法就是沿着n个坐标方向轮流搜索
① ②
给出������1 ∈ ℜ������ , ������ ≥ 0, ������ = 1 ������������ = ������������ ; 对i=1,2,….,n 执行： ������������ = arg min ������(������������ + ������������������ ),
������ℎ ������+1
������(������)
=
������������������ ������ 1≤������≤������+1������(������
)
������ (2) 反射点：������ = ������ + ������(������ − ������ (������ℎ ) )


h
⑥满足停止规则，则停止，反之转② 转⑥ ④如果������ ������ ≥ max1≤������≤������+1,������≠������ℎ ������ ������ 否则，������ ������ℎ =������ ；转第⑥ 则转⑤， 优点：十分可靠，特别是它能处理 函数值变化剧烈的问题 缺点：收敛速度慢且有可能不收敛
������∈ℜ������ ������∈ℜ������
������������������������������ τ = ������������������������������ − ������������ ∙ tanh[������(������������������������ + ������������ + ������������ )] ������������
线性搜索求步长������������ ;
������������+1 = ������������ + ������������ ������������ (3)利用差商计算 g k 1 ;
y k g k 1 g k ;
y k 修正矩阵 H k 1. 利用s k xk 1 x和 k
2
仪器科学与电气工程学院
待优化的问题 ������ ������, ������, ������ = ������������������������������ − ������������������������ ������������������ ������(������, ������, ������) ������∈ℜ������
6
仪器科学与电气工程学院
几种直接方法
差分拟牛顿法： 差分拟牛顿法是用差商代替导数的拟牛顿法，这类方法也是一类有效的直接方 法。它的基本思想只依赖于函数值的某种近似于拟牛顿公式的条件它在每次进行迭 代时进行n次一维搜索。 n n ① 给出初值������1 ，对称矩阵 H1 ，利用差商计算 g, k : 1 ② d k H k gk ;
仪器科学与电气工程学院
多维无约束优化问题的直接方法
presentator：Chen Siyu December 10, 2015
1
仪器科学与电气工程学院
概述
非线性优化问题是在有限维是空间上求单值函数的极值，函数的 自变量可能受限于有限个等式或不等式的约束
min ������∈ℜ������ ������(������)
(������) ������ (������+1) (������) (������) (1)
������������
③
= ������������ + ������������ ������������
(������+1)
������������+1 = ������������ , 如果 ������������+1 − ������������ ≤ ������ 则停 ������ = ������ + 1, 转②
������
������=1,������≠������ℎ ≥ ������ ������ ������������
=
������, ������ + ������ ������ − ������ ,
否则 x i :
1 i x x il i 1,, n 1. 2