最优化理论与算法

最优化理论与算法（数学专业研究生）

第一章 引论

§ 引言

一、历史与现状

最优化理论最早可追溯到古老的极值问题，但成为一门独立的学科则是在20世纪四十年代末至五十年代初。其奠基性工作包括Fritz John 最优性条件（1948），Kuhn-Tucker 最优性条件（1951），和Karush 最优性条件(1939)。近几十年来最优化理论与算法发展十分迅速，应用也越来越广泛。现在已形成一个相当庞大的研究领域。关于最优化理论与方法，狭义的主要指非线性规划的相关内容，而广义的则涵盖：线性规划、非线性规划、动态规划、整数规划、几何规划、多目标规划、随机规划甚至还包括变分、最优控制等动态优化内容。本课程所涉及的内容属于前者。 二、最优化问题的一般形式 1、无约束最优化问题

min ()n

x R

f x ∈ （） 2、约束最优化问题

min ()

()0, ..()0, i i f x c x i E s t c x i I

=∈⎧⎨

≥∈⎩ （）

这里E 和I 均为指标集。

§数学基础

一、 范数 1. 向量范数

max i x x ∞= （l ∞范数） （）

11n

i i x x ==∑ （1l 范数） （）

122

21

()n

i i x x ==∑ （2l 范数） （）

11

()n

p p

i p

i x

x ==∑ （p l 范数） （）

12

()T

A

x

x Ax = （A 正定） （椭球范数） （）

事实上1－范数、2－范数与∞-范数分别是 p －范数当 p ＝1、2和p →∞时情形。 2．矩阵范数

定义 方阵A 的范数是指与A 相关联并记做A 的一个非负数，它具有下列性质： ① 对于0A ≠都有0A >，而0A =时0A =； ② 对于任意k R ∈，都有kA k A =； ③ A B A B +≤+； ④ AB A B ≤； 若还进一步满足： ⑤ p

p Ax

A x ≤

则称之为与向量范数p g 相协调（相容）的方阵范数。若令

max

x Ax

A x

≠= （这里x 是某一向量范数） （） 可证这样定义的范数是与向量范数g 相协调的，通常称之为由向量范数g 诱导的方阵范数。特别地，对方阵()ij n n A a ⨯=，有：

11max n

ij j

i A a ==∑（列和的最大者） （）

1

max n

ij i

j A

a ∞

==∑（行和的最大者） （）

1

22()T A A A λ=（T A A λ表示T A A 的特征值的最大者）

称为谱范数（注：方阵A 的特征值的模的最大者称为A 的谱半径，记为()A ρ）。

对于由向量诱导的方阵范数，总有：

101min x A Ax x

-≠=

，1I =（I 为单位阵）

对于方阵范数，除了上述由向量范数诱导的范数之外，还有常用的Frobenius 范数，简称F-范数：

1

1222

11

()[tr()]n n

T

ij F i j A a A A ====∑∑

及加权Frobenius 范数和加权2l 范数:

,M F F

A MAM

=

,22M A MAM =

其中M 为对称正定矩阵。 3. 范数的等价性

定义 设αg 与βg 是n R 上的两个范数，若存在12,0μμ>，使得

12x

x

x α

β

αμμ≤≤， n x R ∀∈

则称范数αg 与βg 是等价的。 容易证明：

212x x ≤≤

2x

x ∞

∞≤≤

1x x n x ∞

∞≤≤ 21x

x x ∞

≤≤

22A x ≤≤

其中1λ是A 的最大特征值，而n λ是A 的最小特征值。由此可见，n

R 中的常用向量范数均等价，事实上还可证明：n

R 中所有向量范数均等价。 4. 关于范数的几个重要不等式。

① Cauchy-Schwarz 不等式

T x y x y ≤（当且仅当x 和y 线性相关时，等式成立）

② 设A 是正定矩阵，则

T A

A x Ay x

y ≤（当且仅当x 与y 线性相关时，等式成立）

由(,)T

x y x Ay =是一种内积，以及一般内积的Cauchy-Schwarz 不等式即得。 ③ 设A 是n n ⨯正定矩阵，则

1

T A

A

x y x

y

-≤（仅当x 与1

A y -线性相关时，等式成立）

1

11T T A

A

A A

x y x AA y x

A y

x

y

---=≤=

其中的不等号由②可得。

④ Young 不等式：假定p 与q 都是大于1的实数，且满足

11

1p q

+=，则,x y R +∀∈，有 p q

x y xy p q

≤+， 当且仅当p

q

x y = 时，等式成立。其证明由算术－几何不等式直接给出，事实上

11()()p q

p

q

p q

x y xy x

y p q

=+≤

（算术－几何不等式） ⑤ H ölder 不等式

1

1

11

()()p

q n

n

p

q

T

i i p

q i i x y x

y x y ==≤=∑∑

其中p 与q 都是大于1的实数，且满足11

1p q

+=，其证明利用Young 不等式可得。 ⑥ Minkowski 不等式

p

p p x y

x y +=≤+，

（1p ≥） 后面将利用凸函数理论予以证明。

二、矩阵求逆与广义逆 1. Von-Neumann 引理

定理 (Von-Neumann 引理) 设n n

E R ⨯∈，n n

I R

⨯∈是单位阵，g 是满足1I =的相容矩阵范数。如

果1E <，则()I E -非奇异，且