最优化笔记

< 复习二次型 >
m n
2 二次超曲面 f ( x1 , x2 ,..., xn ) = a n x12 + a n x1 x2 + ... + a1n x1 x 2 + ... + a nm x n = ∑ ∑ a ij xi x j
i =1 j =1
m
n
矩阵 : f ( x1 , x2 ,..., xn ) = ∑ ∑ aij xi x j = [ x1 , x2 ,..., xn ] A [ x1 , x 2 ,..., x n ] = x Τ Ax
n
2 .设 a = [ a 1 , a 2 , ..., a n ] , x = [ x1 , x 2 , ..., x n ] , 则 f ( x1 , x 2 , ..., x n ) = 则 ∇ f ( x ) = [ a 1 , a 2 , ..., a n ]
Τ
Τ
Τ
∑ax
i i =1
i
+ b, 又
⎡ ∂2 f ⎤ 2 ⎢ ⎥ 或∇ f ( x) ⎢ ∂xi ∂x j ⎦ ⎥ nxn ⎣
由 数学 分析 知， f ( x) 在 x 处 的所有二阶偏导连续， 有 ∂2 f ∂2 f = ，i = 1,2,..., n; j = 1,2,..., n; ∂xi ∂x j ∂x j ∂xi
故Hesse矩 阵是 对称 的。
∂f = a i , i = 1, 2, ..., n ∂ xi
∂2 f = a, 且 = 0, i = 1, 2, ..., n , 则 ∇ 2 f ( x ) = 0 ( n xn 阶 零 矩 阵 ∂xi ∂x j
)
§2 多元函数的极值 对于二元函数
定 理 2.3 ( 必 要 条 件 ) 设 f ( x , y )的 定 义 域 D， ( x 0 , y 0 ) 为 D的 一 个 内 点 ， f ( x , y ) 在 ( x 0 , y 0 ) 可 微 ， 若 ( x 0 , y 0 ) 为 f ( x , y )的 极 值 点 ， 在 ( x 0 , y 0 )处 , ∂f ∂f = = 0; ∂x ∂y
f ( x) ≜ f ( x1, x2 ,..., xn ∆xn )T = ( x1 − x10 , x2 − x2 ,..., xn − xn )
⎡ ∂f ⎤ ⎢ ∂x ⎥ ⎢ 1⎥ ⎢ ∂f ⎥ ∂x ⎥ ∇f ( x) ≜ ⎢ ⎢ 2 ⎥ ≜ g ( x) 以 f(x)的 n 个偏导数为分量的向量，称为 f(x)在 ⎢⋮ ⎥ ⎢ ⎥ x 处的梯度--f(x)关于向量 x 的一阶导数 ⎢ ∂f ⎥ ⎢ ⎣ ∂xn ⎥ ⎦ 定义 2.1
⎡ ∂2 f ⎢ ∂x ∂x ⎢ 1 1 ⎢ ∂2 f ⎢ H ( x ) ≜ ⎢ ∂x2 ∂x1 ⎢ ⋮ ⎢ ⎢ ∂2 f ⎢ ∂x ∂x ⎣ n 1
∂2 f ∂x1∂x2 ∂2 f ∂ x2 ∂ x2 ⋮ ∂ f ∂ xn ∂ x 2
2
⋯ ⋯ ⋱ ⋯
∂2 f ⎤ ∂x1∂xn ⎥ ⎥ ∂2 f ⎥ ⎥ ∂ x2 ∂ x n ⎥ ⇔ ⋮ ⎥ ⎥ ∂2 f ⎥ ∂ xn ∂ xn ⎥ ⎦
1 2 1 2 2 1 2 1 2 设 x1 , x 2 ∈ x n，在 R n中线段定义为 ⎡ ⎣x , x ⎤ ⎦ ≜ { x | x = λ x + (1 − λ ) x , 0 ≤ λ ≤ 1} , x = x + λ ( x − x ) = λ x + (1 − λ ) x
定理 2.2 （中值定理） 设 f : D → R1 ( D ⊆ R n )又 N δ ( x 0 ) = { x | x − x 0 < δ } ⊆ D 1)若 f ( x )在 x 0 可微，则对任一点x ∈ N δ ( x 0 ), 有f ( x ) = f ( x 0 ) + ∇f ( x 0 )Τ ( x − x 0 ) + Ο ( x − x 0 ); 2)若 f ( x )在 N δ ( x * )内可微，则对任一点x ∈ N δ ( x 0 ), 有f ( x ) = f ( x 0 ) + ∇f (ζ )Τ ( x − x 0 ), ζ = x 0 + θ ( x − x 0 ), 0 < θ < 1
< 复 习 内 积 > x T y =< x , y >= x1 y1 + x 2 y 2 + ... + x n y n − − − 向 量 x 与 y的 内 积
n = 2时 ， f ( x1 , x 2 ) = f ( x10 , x 20 ) +
∂f ( x ) ∂ x1
∆ x1 +
x0
∂f ( x ) ∂ x2
解： 1.
2 ⎡ 4 x13 - 2 x1 x2 - x3 ⎤ ∂f ∂ f ∂ f ⎢ ⎥ 3 2 2 2 2 因为 = 4 x1 - 2 x1 x2 - x3 , = 6 x2 - +4 x3 , = 6 x3 + 4 x2 - 2 x1 x3所以 ∇ f ( x) = ⎢ 6 x2 - x1 + 4 x3 ⎥ , ∂x1 ∂x2 ∂x3 ⎢ 6 x3 + 4 x2 - 2 x1 x3 ⎥ ⎣ ⎦ 2 2 2 ∂ f ∂ f ∂ f = 12 x12 - 2 x2 = 12 x2 = 6 - 2 x1 2 ∂x12 ∂x2 ∂x32 又因为 ∂2 f ∂2 f ∂2 f = -2 x1 =4 = -2 x3 ∂x1∂x2 ∂x2 ∂x3 ∂x1∂x3
2 ∆ x 2 + Ο ( ∆ x12 + ∆ x 2 ) = f ( x 0 ) + ∇ f ( x 0 ) Τ ∆x + Ο ( ∆x )
x0
定理2.2 (台劳定理) 设f : D → R1 ( D ⊆ Rn ), 又Nδ ( x0 ) = {x | x − x0 < δ } ⊆ D
2 1 1)若f ( x)在x0二次可微，∀x ∈ Nδ ( x 0 )有f ( x) = f ( x0 ) + ∇f ( x0 )Τ ( x − x0 ) + ( x − x0 )Τ H ( x0 )( x − x0 ) + Ο( x − x0 ); 2 1 2)若f ( x)在Nδ ( x0 )二次可微，∀x ∈ Nδ ( x 0 )有f ( x) = f ( x0 ) + ∇f ( x0 )Τ ( x − x0 ) + ( x − x0 )Τ H (ζ )( x − x 0 ), ζ = x0 + θ ( x − x0 ),0 < θ < 1; 2
x∈ R
若 ∃ x * ∈ R， ∀ x ∈ R， x ≠ x * , 恒有 f ( x ) > f ( x * )，称 x * 为 ( P )的严格全局极小值点.
定义1.2 若 ∃ x * ∈ R， ∃x *的 δ 邻域： N δ ( x * ) = { x | x − x * < δ , δ > 0}, 使 称 x *为 ( P )的局部极小值点. 若 ∀ x ∈ R ∩ N δ ( x * )， x ≠ x *，恒有 f ( x ) > f ( x * ), 称 x *为 ( P )的严格局部极小值点.
x∈R
2)约束最优化问题 ⎧ min f ( x ) 或 min f ( x ), R = {x | g i ( x ) ≥ 0, i = 1, 2,..., m} ⎨ x∈R ⎩ s.t.g i ( x ) ≥ 0, i = 1, 2,..., m
<二>根据函数类型分类 f(x) g(x) i=1,2,...,m (1) f(x)为线性函数,gi(x)为线性函数,称 P 为线性规划; (2) f(x)为二次函数,gi(x)为线性函数,称 P 为二次规划; (3) f(x)不是一次或二次函数 或 gi(x)不全是线性函数,称 P 为非线性规划; <三>根据解法分类 (1)解析方法--利用函数的分析性质构造迭代公式，是指收敛到极值和极值点（本课程） (2)直接方法--它对分析性质没要求，通过比较函数值大小确定极值点的位置（0.618 法）
§3 最优解与极值点
⎧ min f ( x ) ( P) ⎨ 或 ( p ) min f ( x ), R = { x | g i ( x ) ≥ 0, i = 1, 2,..., m} x∈R ⎩ s.t .g i ( x ) ≥ 0, i = 1, 2,..., m 定义1.1 若 min f ( x ) = f ( x * )， x * ∈ R即 ∃ x * ∈ R， ∀ x ∈ R 恒有 f ( x ) ≥ f ( x* ), 称 x*为 ( P )的最优解或全局极小值点.
第一章
绪论
①为什么要学习这门课程？ ②什么是最优化？最优化方法主要是研究在一定限制条件下,选取某种方案以达到最优目标的一门学科。 达到最优目标的方案称为 最优方案。搜索最优方案的方法称为最优化方法。这种方法的数学理论成为最优化理论。 ③符号说明
x = ( x1 , x2 ,..., xn )T − − − n维列向量 ( 或点) A = [aij ]mxn − − − mxn阶矩阵 A−1 − − − 逆 AT − − − 转置 A − − − 行列式 Rank A − − − 秩 I − − −单位矩阵 I n − − − n阶单位矩阵 Φ − − − 空 R n − − − n维实数空间 A ⊆ B − − − A是B的真子集 x ∈ S − − − 元素 xT y =< x, y >= x1 y1 + x2 y2 + ... + xn yn内积
某些问题可以通过下列方式化为标准形式 1) gi ( x) ≤ 0 ⇒ − gi ( x) ≥ 0 2) max f ( x) ⇒ − min[ f ( x)] n n