最优化方法第1章

(m)
(m) m
R, d
(j)
n
(k)
0
来自百度文库
,d
(1)
(2)
,…,d
(2)
(m)
)={ x = j j d =1
jR }
为由向量d , d , … , d 生成的子空间，简记 为 L。 n 正交子空间：设 L 为R 的子空间，其正交子空间为 n L ＝{ x R xTy=0 , y L } n 子空间投影定理：设 L 为R 的子空间。那么 z n R ， 唯一 x L , y L , 使 z=x+y , 且 x 为问题 min ‖z - u‖ s.t. u L 的唯一解，最优值为‖y‖。 n 特别， L ＝R 时，正交子空间 L ＝{ 0 }（零空间）
最优目标：与工程设计密切相关。如：产值最大、
耗能最小、 速度最快等等。 处理方法：对实际问题建立一个数学模型。
发展过程—运筹学、线性规划、非线性规划、动态规
划、组合优化等。
促进最优化发展的主要因素


近代科技与生产发展的需要 计算机技术的飞速发展
参考书目

《最优化理论与方法》袁亚湘等编，科学出版社 《数学规划讲义》马仲蓄等编，人大出版社 《实用线性规划》D.M希梅尔布劳著 《无约束最优化计算方法》邓乃杨等编

(4)n元函数的Taylor展开式及中值公式：
设 f (x): R R ，二阶可导。在x* 的邻域内

n
一阶Taylor展开式：
二阶Taylor展开式：
f (x) = f (x*)+ f (x*)(x-x*) + (1/2)(x-x*) f (x*)(x-x*) + o‖x-x*‖2
T T 2
f (x) = f (x*)+ f T(x*)(x-x*) + o‖x-x*‖

一阶中值公式：对x, , 使
T
f (x) = f (x*)+ ［f (x*+(x-x*))] (x-x*)
Lagrange余项：对x, , 记xx*+ (x-x*)

n
“若 xTy ≤ , yR 且 y ≤ 0，则 x ≥ 0， ≥ 0 .” “若 xTy ≥ , yRn 且 y ≥ 0，则 x ≥ 0， ≤ 0 .” “若 xTy ≥ , yRn 且 y ≤ 0，则 x ≤ 0， ≤ 0 .” “若 xTy ≥ , y L Rn ， 则 x L， ≤ 0 .”






严格l .opt .
严格g .opt .
l .opt .
由以上定义，可得到两个简单定理： Th1：问题（p）的任意全局极小值点必为局部 极小值点。 Th2：若目标f(x)和g(x)都为定义域上的连续 函数，则： （1）问题（p）的容许解集R为闭集。 （2）问题（p）的最优解集R为闭集。
(3) Hesse 阵（二阶偏导数矩阵）：
H x '' f x f x

线性函数：f (x) = cTx + b , f (x) = 0 二次函数：f (x) = (1/2) xTQx + cTx + b, 2 f(x)=Q 注：Q为对称阵
x y
Th2(充分条件) ： 设f(x,y): D→ R (1) x0 , y0 为D的一个内点; (2) f(x,y)在 x0 , y0 处二次可微; (3) f x0 , y0 0 ; (即: f f ( x , y ) 0 )
1
D R2 ) (D－定义域) (
k 为随机因素
f , gh 为（一般或广义）函数 建模举例（略）—— 自看
（一）根据问题的不同特点分类 无约束最优化问题
min f n
x R
x

约束最优化问题
等式约束优化问题
不等式约束优化问题
min f x xRn s.t . hi x 0
2
f T x1 T f x 2 T f x n
2 f 2 f 2 f 2 f 2 x1x2 x1x3 x1xn x1 2 2 f 2 f 2 f f 2 x x x 2 x 2 x 3 x 2 x n 2 1 2 f 2 f 2 f 2 f xn x1 xn x2 xn x3 x n 2
T T
f (x) = f (x*)+ f (x*)(x-x*) + (1/2)(x-x*) H (x )(x-x*)
(5)多元函数的极值 二元函数 Th1(必要条件)（可微的极值点为驻点）： 1 D R2 ) (D－定义域) 设f(x,y): D→R (
(1) x0 , y0 为D的一个内点; (2) f(x,y)在 x0 , y0 可微; (3) x0 , y0 为f(x,y)的极值点; 则: 在 x0 , y0 处, f f 0
d x+(1/2)d 0 x
n
(2) 向量运算：x , y R
i =1
n
x , y 的内积：xTy = xiyi = x1y1+ x2y2+ …+ xnyn x , y 的距离： ‖x-y ‖= [(x-y)T(x-y)] (1/2) x 的长度： ‖x‖= [ xTx ] 三角不等式： ‖x + y ‖≤‖x‖＋‖y‖
最优化方法
主 要 内 容
第一章 第二章 第三章 第四章 第五章 第六章

最优化简介 基本概念和理论基础 线性规划 最优化搜索算法结构与一维搜索 无约束最优化方法 约束最优化方法
第一章
最优化简介
最优化—寻求最优方案的方法称为最优化方法。
最优方案：从所有可能的方案中选择最合理的一 种以达到最优目标。
n
(2) 梯度（一阶偏导数向量）： T n f (x)＝ f f f f R .
, , , , x1 x2 x3 x n
线性函数：f (x) = cTx + b , f (x) = c 二次函数：f (x) = (1/2) xTQx + cTx + b f (x) = Qx + c 注：Q为对称阵 m 向量值线性函数：F(x) = Ax + d R F / x = AT
（四）解法的分类 解析方法:利用函数的分析性质去构造迭代 公式，使之收敛到极值点。 直接方法：按一定的数学原理，用尽量少的 计算量，直接比较函数值的大小。
§2 最优化方法解决问题的工作步骤
1 ）提出问题：目标、约束、决策变量、参数 2 ）建立模型：变量、参数、目标之间的关系 表示 3 ）模型求解：数学方法及其他方法 4 ）解的检验：制定检验准则、讨论与现实的 一致性 5 ）灵敏性分析：参数扰动对解的影响情况 6 ）解的实施：回到实践中 7 ）后评估：考察问题是否得到完满解决
n
使得 x R ，恒有 f x f x x 为问题（p）的最优解or全局极小 称 值点。记 g.opt.( global optimum),简 记 opt.

Def2:若 x R ，使得 x R, x x ， 恒有 f x f x ， x 为问题（p）的严格全局极小值点。 称 x R ， N x x x x , 0 Def3:若 x R N x ，恒有 f x f x 使得 称 x 为问题（p）的局部极小值点。 记 l .opt.(local optimum) x R N x ， x x Def4:若 f x f x ， 恒有 x 为问题（p）的严格局部极小值点。 称
基础：高等数学，线性代数
§1 最优化问题的数学模型及分类
共同特点： 求x1 ,x2 ,…,xn 使函数f（ x1 ,x2 ,…,xn） （被称为目标函数或评价函数） 达到极小min； 若求极大max，相当于一个min（-f）。
优化模型的一般形式 min. f ( xi, yj, k ) s.t. gh ( xi, yj, k ) , 0 h = 1,2, … ,m 其中： xi 为决策变量（可控制） yj 为已知参数
2、向量和子空间投影定理
(1) n维欧氏空间：R n T 点（向量）：x R , x = (x1 ,x2 ,…,xn) 分量 xi R (实数集) n 方向（自由向量）：d R , d 0 T d =(d1 ,d2 ,…,dn) 表示从0指向d 的方向 实用中，常用 x + d 表示从x 点出发沿d 方 向移动d 长度得到的点
规定：x , y R ，x ≤ y xi ≤ yi ，i 类似规定 x ≥ y， x = y ， x < y , x > y . 一个有用的定理: n n 设 xR ，R，L为R 的线性子空间， Ty ≤ , yRn 且 y ≥ 0， (1)若 x 则 x ≤ 0， ≥ 0 . Ty ≤ , y L Rn ， (2)若 x 则 x L ， ≥ 0 .(特别, L＝Rn时,x =0) 定理的其他形式：
min f x xRn s.t . gi x 0
i 1, 2, , m

一般的约束优化问题 min f x xR
s.t . gi x 0 hi x 0
n
i 1, 2, , m j 1, 2, , p
n
3、多元函数及其导数
(1) n元函数：f (x): R R 线性函数：f (x) = cTx + b = ci xi + b 二次函数：f (x) = (1/2) xTQx + cTx + b = (1/2)i j aij xi xj + ci xi + b m 向量值线性函数：F(x) = Ax + d R 其中 A为 mn矩阵，d为m维向量 T F(x)=( f1(x), f2(x), … , fm(x) ) 记 aiT为A的第i行向量，fi(x) = aiTx+di
§3 基本概念 1、最优解与极值点 min f x p xR i 1, 2, , m s.t . gi x 0 容许解集：R x gi x 0, i 1, 2, , m Def1:若 x R x gi x 0, i 1, 2, , m
x x+y y
(1/2)
点列的收敛：设点列｛x(k)｝
R , x R
n
n
点列｛x(k)｝收敛到 x ，记 lim x(k) = x lim‖x(k)- x‖ = 0 lim xi(k) = xi ,i
k k k
(3) 子空间：设 d 记 L( d
(1)
(1)
,d
(2)
,…,d
以上为标准形式，某些问题可标准化： 1） gi x 0 - gi x 0 2）
hi x 0 hi x 0 -hi x 0
（二）根据函数类型分类 线性规划：目标函数、约束条件都是线性的 二次规划：目标函数为二次函数，约束条件 中的函数为线性的。 非线性规划：目标函数不是一次or二次的， 或约束条件中的函数不全是线 性的。 （三）根据函数性质分类 动态与静态 随机与确定 单目标与多目标