最优化理论与算法(第一章)

最优化理论与算法（数学专业研究生）

第一章 引论

§1.1 引言

一、历史与现状

最优化理论最早可追溯到古老的极值问题，但成为一门独立的学科则是在20世纪四十年代末至五十年代初。其奠基性工作包括Fritz John 最优性条件（1948），Kuhn-Tucker 最优性条件（1951），和Karush 最优性条件(1939)。近几十年来最优化理论与算法发展十分迅速，应用也越来越广泛。现在已形成一个相当庞大的研究领域。关于最优化理论与方法，狭义的主要指非线性规划的相关内容，而广义的则涵盖：线性规划、非线性规划、动态规划、整数规划、几何规划、多目标规划、随机规划甚至还包括变分、最优控制等动态优化内容。本课程所涉及的内容属于前者。 二、最优化问题的一般形式 1、无约束最优化问题

min ()n

x R

f x ∈ （1.1） 2、约束最优化问题

min ()

()0, ..()0, i i f x c x i E s t c x i I

=∈⎧⎨

≥∈⎩ （1.2）

这里E 和I 均为指标集。

§1.2数学基础

一、 范数 1. 向量范数

max i x x ∞= （l ∞范数） （1.3）

11n

i i x x ==∑ （1l 范数） （1.4）

122

21

()n

i i x x ==∑ （2l 范数） （1.5）

11

()n

p p

i p

i x

x ==∑ （p l 范数） （1.6）

12

()T

A

x

x Ax = （A 正定） （椭球范数） （1.7）

事实上1－范数、2－范数与∞-范数分别是 p －范数当 p ＝1、2和p →∞时情形。 2．矩阵范数

定义1.1 方阵A 的范数是指与A 相关联并记做A 的一个非负数，它具有下列性质： ① 对于0A ≠都有0A >，而0A =时0A =； ② 对于任意k R ∈，都有kA k A =； ③ A B A B +≤+； ④ AB A B ≤； 若还进一步满足： ⑤ p

p Ax

A x ≤

则称之为与向量范数p

相协调（相容）的方阵范数。若令

max

x Ax

A x

≠= （这里x 是某一向量范数） （1.8） 可证这样定义的范数是与向量范数相协调的，通常称之为由向量范数

诱导的方阵范数。特别地，

对方阵()ij n n A a ⨯=，有：

11max n

ij j

i A a ==∑（列和的最大者） （1.9）

1

max n

ij i

j A

a ∞

==∑（行和的最大者） （1.10）

1

22()T A A A λ=（T A A λ表示T A A 的特征值的最大者） (1.11)

称为谱范数（注：方阵A 的特征值的模的最大者称为A 的谱半径，记为()A ρ）。

对于由向量诱导的方阵范数，总有：

101min x A Ax

x

-≠=

，1I =（I 为单位阵）

对于方阵范数，除了上述由向量范数诱导的范数之外，还有常用的Frobenius 范数，简称F -范数：

11222

11

()[tr()]n n

T

ij F i j A a A A ====∑∑ (1.12)

及加权Frobenius 范数和加权2l 范数:

,M F F

A MAM

= (1.13)

,22M A MAM = (1.14)

其中M 为对称正定矩阵。 3. 范数的等价性 定义1.2 设

α

与β

是n

R 上的两个范数，若存在12,0μμ>，使得 12x

x

x α

β

αμμ≤≤， n x R ∀∈ (1.15)

则称范数

α

与

β

是等价的。

容易证明：

212x x ≤≤ (1.16)

2x

x ∞

∞≤≤ (1.17)

1x x n x ∞

∞≤≤ (1.18) 21x

x x ∞

≤≤ (1.19)

22A x ≤≤ (1.20)

其中1λ是A 的最大特征值，而n λ是A 的最小特征值。由此可见，n

R 中的常用向量范数均等价，事实上还可证明：n

R 中所有向量范数均等价。 4. 关于范数的几个重要不等式。

① Cauchy-Schwarz 不等式

T x y x y ≤（当且仅当x 和y 线性相关时，等式成立） (1.21)

② 设A 是正定矩阵，则

T A

A x Ay x

y ≤（当且仅当x 与y 线性相关时，等式成立） (1.22)

由(,)T

x y x Ay =是一种内积，以及一般内积的Cauchy-Schwarz 不等式即得。

③ 设A 是n n ⨯正定矩阵，则

1

T A

A

x y x

y

-≤（仅当x 与1

A y -线性相关时，等式成立） (1.23)

1

11T T A

A

A A

x y x AA y x

A y

x

y

---=≤= (1.24)

其中的不等号由②可得。

④ Young 不等式：假定p 与q 都是大于1的实数，且满足

11

1p q

+=，则,x y R +∀∈，有 p q

x y xy p q

≤+， (1.25) 当且仅当p

q

x y = 时，等式成立。其证明由算术－几何不等式直接给出，事实上

11()()p q

p

q

p q

x y xy x

y p q

=+≤

（算术－几何不等式） ⑤ Hölder 不等式

1

1

1

1

()()p q n

n

p

q

T i i p

q i i x y x

y x y ==≤=∑∑ (1.26)

其中p 与q 都是大于1的实数，且满足11

1p q

+=，其证明利用Young 不等式可得。 ⑥ Minkowski 不等式

p

p p x y

x y +=≤+，

（1p ≥） (1.27) 后面将利用凸函数理论予以证明。 二、矩阵求逆与广义逆 1. Von-Neumann 引理

定理1.3 (V on-Neumann 引理) 设n n

E R ⨯∈，n n

I R

⨯∈是单位阵，

是满足1I =的相容矩阵范数。

如果1E <，则()I E -非奇异，且

1

()k K I E E ∞

-=-=∑， 11

()1I E E

--≤

-

若A 非奇异，1

()A A B --1<,则B 非奇异，且