最优化计算方法(工程优化)复习

性质2: 设(1)为凸规划，若f(x)在非空可行集R上是严格凸函 数，则(1)的全局极小点是唯一的。
证明：见书中(P24)定理 3.11.
Hale Waihona Puke Baidu
n元函数 f : Rn R 求解无约束优化问题 min f (x)
xRn
n=1时，是一维无约束优化问题-------第三章 一维搜索 n>1时，是多维无约束优化问题-------第四章 无约束优化方法
“成功—失败” 法（进退法）
基本思想：一种试探法：从一点出发，按一定步长搜索新点， 若搜索成功，加大步长继续搜索；若搜索失败，缩小步长小 步后退。
“成功—失败” 法（进退法）
步骤1：选取初始点 x∈R , 初始步长 h > 0 及精度ε> 0，
1 f (x). 注意：初始步长不能选得太小 步骤2：计算 2 f (x h). 步骤3：若 2 1,搜索成功, 转步骤4；否则，搜索失败，
定理 设目标函数 f (x) 具有一阶连续偏导数，xk1 按下述
规则产生
λxkk
min 1 xk
f
(xk
k d
k
d
k
)
则有 f (xk1)T d k 0.
证明：构造函数() f (xk d k )，则得 λk min λ
即 λ k 是函数() 的极小点，所以
0 '(λk ) '(λ) λk f (xk λd k )T d k λk f (xk +1)T d k .
例：判断f(x)=5x12-6x1x2+5x22在凸集D上是否是凸函数？
2
f
(x)
10 6
6
10
的顺序主子式都是正的，所以正定，因此
f(x)在凸集D上是严格凸函数。
凸规划
定义（凸规划）: 考虑如下非线性规划
min f x
s.t. gi x 0, i 1, 2, , m
(1)
当 f (x), gi (x)(i 1, 2, , m) 都是凸函数时,称规划 (1) 为凸规划
则称 f(x)为凸集 D 上的凸函数。
若进一步有上面不等式以严格不等式成立，则称 f(x)为凸集 D 上的严格凸函数。
• 当-f(x)为凸函数(严格凸函数)时，则称 f(x)为凹函数 (严格凹函数)。
严格凸函数
凸函数
严格凹函数
凸函数的判定定理
定理(一阶条件): 设D Rn 为非空凸集，函数 f :DR 在
凸规划的性质
性质1: 设(1)为凸规划，则
注: 非线性规划的局部最优解不一定是 全局最优解,其可行解和最优解集也 不一定是凸集,甚至不是连通集.如 果是凸规划, 就有很多好的性质。
i) (1)的可行集R是凸集；
ii) (1)的最优解集是凸集；
iii) (1)的任何局部极小点都是全局极小点。
证明：见书中(P23)定理 3.9、3.10.
性质1：设 A, B Rn 是凸集，则 A B, A B, A B 也是凸集。
A B : {a b : a A,b B}, A B : {a b : a A,b B}.
注： AB 不一定是凸集。
m
m
定义：设 x1, x2 ,..., xm Rn , i 0, i 1, 那么称 i xi
求目标函数 f(x) 的极小：
k : arg min f (xk d k )
由于这项工作是求以 为变量的一元函数 f (xk d k )
的极小点 λ k ，故常称这一过程为（精确）一维搜索或
（精确）线搜索或一维最优化，确定的步长为最佳步长。
（精确）一维搜索的一个重要性质
在搜索方向上所得最优点处的梯度和该搜索方向正交。
线搜索迭代法的框架分析
min f (x)
xRn
(a) 找初始点
找初始点
(b) 终止条件
循 环
判断当前点是否满 是 足终止条件
最优解
否 找步长λ k 和下降方向 d k ， 确定下一个迭代点 xk 1
(c) 迭代格式
下一个迭代点
不同的 d k
对应不同的 算法
线搜索迭代法的框架分析----一维搜索
chap3 一维搜索方法
D 上可微，则
(1) f在D上为凸函数 任意x，yD，恒有
f (y) ≥ f (x)+ f T(x)(y-x)
(1)
(2) f在D上为严格凸函数 任意x≠yD，恒有
f (y) > f (x)+ f T(x)(y-x) .
(2)
证明
凸函数的判定定理
定理（二阶条件）: 设D Rn 为含有内点的非空凸集， 函数 f :DR在 D 上二次可微，则
A( x1 (1 )x2) Ax1 (1)Ax2 b (1)b b, 所以 x1 (1 )x2 S, 即S是凸集。
例2: 集合 H {x x Rn, cT x b}是凸集, 称为超平面， c为n维向量。
例3：邻域 N x0, x | x x0 , 0 是凸集。
凸集与性质
第1章 绪论
给一个实际问题，要求能建立数学模型
第2章 基础知识
凸集、凸函数与凸规划
凸集与性质
定义（凸集）：若集合 D 中任意两点的连线都属于 D ，则称 D
为凸集。
因为两点 x1, x2 连线上任一点可以表示为 x x1 (1)x2, 0,1.
等价定义（凸集）：设 D Rn , x1, x2 D, 0,1, 恒有
a) f在D上为凸函数 xD，2f (x) 半正定； b) 若 xD，2f (x) 正定，则f在D上为严格凸函数。
回忆：一个矩阵半正定充要条件是所有主子式非负； 一个矩阵正定充要条件是所有顺序主子式为正。
凸函数的判定定理
例：设二次函数 f x xT Ax
(1)：若 A为半定矩阵，f (x)在Rn 中为凸函数 ； (2)：若 A为正定矩阵，f (x) 在Rn 中为严格凸函数。
x1 (1)x2 D, 0,1,
称集合 D为凸集 。
规定：空集和单元素集也是凸集。
三角形，矩形，圆，球，凸多边形，第一象限，第一卦限等都 是凸的。
凸集与性质
例1: 证明集合 S = { x∣Ax = b } 是凸集，其中A为 mn矩阵，
b为m维向量。
证明: x1, x2 S, 即 Ax1 b, Ax2 b, 0,1,
是 x1, x2,..., xm 的凸组合。
i 1
i 1
性质2：S 是凸集 S 中任意有限个点的凸组合属于 S。
凸函数----推广到多元函数
定义（凸函数）: 设集合 D Rn 为凸集，函数 f :DR, 若 x,
y D, (0 , 1) ，均有 f( x+(1- ) y ) ≤f(x)+(1- )f(y) ，