关于优化设计的数学基础课件
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
凸函数。
2. 设f1，f2为D上的凸函数,则f= f1+f2为D上的凸函
数。
3. 若 f 在D一阶可微，则对 X 1 ,X 2 D ,X 1 X 2
，f为凸 函数的 充要条件 ： （见 下图）
f ( X 2 ) f ( X 1 ) f ( X 1 ) T ( X 2 X 1 )
4. 若 f 在D二阶可微，则对 X D E n
关于优化设计的数学基础
2.1 函数的方向导数与梯度
一、 函数的方向导数
函数f(X)在点 X0处沿S方向的方向导数定义为
f (S X 0)f (xX 10)co1sf(xX 20)co2s f(xX N0)coN s
iN 1f (xX i0)cois
意义：函数在该点处沿给定方向的变化率。
附图
二、函数的梯度
在 解X：0＝f ([X20,)2]2处2 的2 2 海 4 赛* 2 二2 *阶2 泰5 勒1 展开式。
f
(
X
0)
f (X x1
f (X
0) 0)
2x 2x
1 2
4 2
0 2
x2
H ( X 0 )
2
f
(
X
0
)
x
1
2
2 f (X0
x
2
x
1
)
2
f
(
X
0
)
x1 x2 2 f (X0 x22
梯度f 的 意f义T：•S f
•S •cos(f,S)
S
f f Smax
梯度方向是函数变化 率最大的方向；
梯度方向为等值面的 法线方向。
例2-1 求二元函数f(x1, x2)＝x12+x22-4x1-2x2+5 在X0＝[2,2]处函数下降最快的方向。
解：梯度方向是函数变化率最大的方向。负梯度 方向则是函数下降最快的方向。
2. 在点X*处极值存在的充分条件： 在点X*处海赛矩阵正定（极小点），或负定
（极大点）。
2.5 约束优化问题的极值条件
一、等式约束优化问题——拉格朗日乘子法
mfi(nX),X Rn
s.t. hv(X)0,v1,2, p,p
构造 F(X ,)f(X)vhv(X )
v1
将等式约束优化问题转化为无约束优化问题。
二、凸函数
En的子集D为凸集，f为D上的函数，
X1,X2DEn
(01), 恒有 f ( X 1 ( 1 ) X 2 ) f ( X 1 ) ( 1 ) f ( X 2 )
，则f为D上的凸函数。
反之为凹函数。
• 凸函数的性质：
1. 设 f 为D上的凸函数，λ为实数，则λf为D上的
在最优点处
p
F (X ,) f(X ) v h v(X )0
v 1
二、不等式约束优化问题—— 库恩-塔克(Kuhn-Tucker )条件
1. 一维不等式约束问题
minf (x)
s.t. g1(x) a x 0 g2(x) xb0
引入松弛变量a1, b1，使
h1(x,a1)g1(x)a12axa120 h2(x,b1)g2(x)b12xbb120
则该问题的拉格朗日函数
F (x,a 1 ,b 1 ,1 ,2 )f(x )1 h 1 (x,a 1 )2 h 2 (x,b 1 ) f(x )1 (a x a 1 2 )2 (x b b 1 2 )
2. 为凸集。
2. 可行域D为凸集。
3. 任何局部最优解即为全局最优解。
4. 若目标函数可微 ，则最优解的充要条件：
f(X * ) T (X X * ) 0
2.4 无约束优化问题的极值条件
N维无约束极值问题 mfi(X n )X , R n
1在. 在点X点*处X*处 梯极 度为值零存。在的必 要f条(X 件*)：0
其中海赛(Hessian)矩阵包含函数的二阶导数信息。
2 f (X*)
x12
2 f (X*)
H(X*) 2xf2(Xx1*)
xnx1
2 f (X*)
x1x2 2 f (X*)
x22
2 f (X*) xnx2
2 f (X*)
x1xn
2 f (X*) 2xf2(Xxn*)
xn2
例2-2 求二元函数f(x1, x2)＝x12+x22-4x1-2x2+5
2
5
2.3 凸集、凸函数、凸规划
基本概念：
局部极小点：函数f(X)在X*附近的一切X均满足不等 式f(X)> f(X*)，称函数f(X)在 X*处取得局部极小值， X*为局部极小点。
全局极小点：在整个可行域内函数值的最小点。
可行域内可能存在两个或两个以上的局部极小点， 其中之一为全局极小点。
一、凸集
• 方向导数的向量积形式
f(S X)iN 1f(xX i )coisf(xX 1)
f(X) x2
•
令 f (X)
f
(X)
x1
f (X)
x2
f(xX1 )
f (X)
x2
f(xX N )cc co o o N 1 2sss
fx(XN)T
f (X)
xN
为函数在X点的梯度，包 含函数的一阶导数信息。
)
2 0
0 2
f ( X ) f ( X 0 ) f ( X 0 )T ( X X 0 ) 1 2 ( X X 0 )T H ( X 0 ) ( X X 0 )
1 0
2
x x
1
2
2 2
1 2
x x
1
2
2 2
T
2 0
0 2源自文库
x x
1
2
2 2
x
2
1
x 22
4x
1
2x
X 1 ,X 2 D E n , ( 0 1 ),
有X 1(1)X 2 D ，则D为凸集。
• 凸集的性质： 1. 若D为凸集，λ为实数，则λD仍为 凸 集。（凸集的实数积为凸集）
2．若D、φ均为凸集，则二者的并集 （和）为凸集。（凸集的和为凸集）
3．若D、φ均为凸集，则二者的交集 （积）为凸集。（凸集的积为凸集）
，f 为凸函数的充要条件：海赛矩阵半正定（若 正定，严格凸函数）。
三、凸规划 m s.t. fi(nX g)u(,X X ) R 0n,u1,2, ,m其中目标函数、不等式 约束均为凸函数，则称该问题为凸规划。
• 凸规划的性质：
1.
若给定一点X0，则集合
{ X |f(X ) f(X 0 )}
f(X 0) ff((xX X 10 0)) ((2 22 1x x 4 2))X X 0 02
x2
2.2 函数的泰勒展开与海赛矩阵
函数f(X)在X*点处的泰勒(Taylor)展开式
f ( X ) f ( X * ) f ( X * ) T ( X X * ) 2 1 ! ( X X * ) T H ( X * ) ( X X * )
2. 设f1，f2为D上的凸函数,则f= f1+f2为D上的凸函
数。
3. 若 f 在D一阶可微，则对 X 1 ,X 2 D ,X 1 X 2
，f为凸 函数的 充要条件 ： （见 下图）
f ( X 2 ) f ( X 1 ) f ( X 1 ) T ( X 2 X 1 )
4. 若 f 在D二阶可微，则对 X D E n
关于优化设计的数学基础
2.1 函数的方向导数与梯度
一、 函数的方向导数
函数f(X)在点 X0处沿S方向的方向导数定义为
f (S X 0)f (xX 10)co1sf(xX 20)co2s f(xX N0)coN s
iN 1f (xX i0)cois
意义：函数在该点处沿给定方向的变化率。
附图
二、函数的梯度
在 解X：0＝f ([X20,)2]2处2 的2 2 海 4 赛* 2 二2 *阶2 泰5 勒1 展开式。
f
(
X
0)
f (X x1
f (X
0) 0)
2x 2x
1 2
4 2
0 2
x2
H ( X 0 )
2
f
(
X
0
)
x
1
2
2 f (X0
x
2
x
1
)
2
f
(
X
0
)
x1 x2 2 f (X0 x22
梯度f 的 意f义T：•S f
•S •cos(f,S)
S
f f Smax
梯度方向是函数变化 率最大的方向；
梯度方向为等值面的 法线方向。
例2-1 求二元函数f(x1, x2)＝x12+x22-4x1-2x2+5 在X0＝[2,2]处函数下降最快的方向。
解：梯度方向是函数变化率最大的方向。负梯度 方向则是函数下降最快的方向。
2. 在点X*处极值存在的充分条件： 在点X*处海赛矩阵正定（极小点），或负定
（极大点）。
2.5 约束优化问题的极值条件
一、等式约束优化问题——拉格朗日乘子法
mfi(nX),X Rn
s.t. hv(X)0,v1,2, p,p
构造 F(X ,)f(X)vhv(X )
v1
将等式约束优化问题转化为无约束优化问题。
二、凸函数
En的子集D为凸集，f为D上的函数，
X1,X2DEn
(01), 恒有 f ( X 1 ( 1 ) X 2 ) f ( X 1 ) ( 1 ) f ( X 2 )
，则f为D上的凸函数。
反之为凹函数。
• 凸函数的性质：
1. 设 f 为D上的凸函数，λ为实数，则λf为D上的
在最优点处
p
F (X ,) f(X ) v h v(X )0
v 1
二、不等式约束优化问题—— 库恩-塔克(Kuhn-Tucker )条件
1. 一维不等式约束问题
minf (x)
s.t. g1(x) a x 0 g2(x) xb0
引入松弛变量a1, b1，使
h1(x,a1)g1(x)a12axa120 h2(x,b1)g2(x)b12xbb120
则该问题的拉格朗日函数
F (x,a 1 ,b 1 ,1 ,2 )f(x )1 h 1 (x,a 1 )2 h 2 (x,b 1 ) f(x )1 (a x a 1 2 )2 (x b b 1 2 )
2. 为凸集。
2. 可行域D为凸集。
3. 任何局部最优解即为全局最优解。
4. 若目标函数可微 ，则最优解的充要条件：
f(X * ) T (X X * ) 0
2.4 无约束优化问题的极值条件
N维无约束极值问题 mfi(X n )X , R n
1在. 在点X点*处X*处 梯极 度为值零存。在的必 要f条(X 件*)：0
其中海赛(Hessian)矩阵包含函数的二阶导数信息。
2 f (X*)
x12
2 f (X*)
H(X*) 2xf2(Xx1*)
xnx1
2 f (X*)
x1x2 2 f (X*)
x22
2 f (X*) xnx2
2 f (X*)
x1xn
2 f (X*) 2xf2(Xxn*)
xn2
例2-2 求二元函数f(x1, x2)＝x12+x22-4x1-2x2+5
2
5
2.3 凸集、凸函数、凸规划
基本概念：
局部极小点：函数f(X)在X*附近的一切X均满足不等 式f(X)> f(X*)，称函数f(X)在 X*处取得局部极小值， X*为局部极小点。
全局极小点：在整个可行域内函数值的最小点。
可行域内可能存在两个或两个以上的局部极小点， 其中之一为全局极小点。
一、凸集
• 方向导数的向量积形式
f(S X)iN 1f(xX i )coisf(xX 1)
f(X) x2
•
令 f (X)
f
(X)
x1
f (X)
x2
f(xX1 )
f (X)
x2
f(xX N )cc co o o N 1 2sss
fx(XN)T
f (X)
xN
为函数在X点的梯度，包 含函数的一阶导数信息。
)
2 0
0 2
f ( X ) f ( X 0 ) f ( X 0 )T ( X X 0 ) 1 2 ( X X 0 )T H ( X 0 ) ( X X 0 )
1 0
2
x x
1
2
2 2
1 2
x x
1
2
2 2
T
2 0
0 2源自文库
x x
1
2
2 2
x
2
1
x 22
4x
1
2x
X 1 ,X 2 D E n , ( 0 1 ),
有X 1(1)X 2 D ，则D为凸集。
• 凸集的性质： 1. 若D为凸集，λ为实数，则λD仍为 凸 集。（凸集的实数积为凸集）
2．若D、φ均为凸集，则二者的并集 （和）为凸集。（凸集的和为凸集）
3．若D、φ均为凸集，则二者的交集 （积）为凸集。（凸集的积为凸集）
，f 为凸函数的充要条件：海赛矩阵半正定（若 正定，严格凸函数）。
三、凸规划 m s.t. fi(nX g)u(,X X ) R 0n,u1,2, ,m其中目标函数、不等式 约束均为凸函数，则称该问题为凸规划。
• 凸规划的性质：
1.
若给定一点X0，则集合
{ X |f(X ) f(X 0 )}
f(X 0) ff((xX X 10 0)) ((2 22 1x x 4 2))X X 0 02
x2
2.2 函数的泰勒展开与海赛矩阵
函数f(X)在X*点处的泰勒(Taylor)展开式
f ( X ) f ( X * ) f ( X * ) T ( X X * ) 2 1 ! ( X X * ) T H ( X * ) ( X X * )