运筹学和最优化解析

则 x L， ≥ 0 .(特别, L＝Rn时,x =0)
定理的其他形式：
“若 xTy ≤ , yRn 且 y ≤ 0，则 x ≥ 0， ≥ 0 .” “若 xTy ≥ , yRn 且 y ≥ 0，则 x ≥ 0， ≤ 0 .” “若 xTy ≥ , yRn 且 y ≤ 0，则 x ≤ 0， ≤ 0 .” “若 xTy ≥ , y L Rn ， 则 x L， ≤ 0 .”
第二章
基本概念 和 基本理论
2.0、预备知识
1、向量和子空间投影定理
(1) n维欧氏空间：Rn 点（向量）：x Rn, x = (x1 ,x2 ,…,xn)T 分量 xi R (实数集)
方向（自由向量）：d Rn, d 0
d =(d1 ,d2 ,…,dn)T 表示从0指向d 的方向
一阶中值公式：对x, , 使
f (x) = f (x*)+ ［f (x*+(x-x*))]T(x-x*)
Lagrange余项：对x, , 记xx*+ (x-x*)
f (x) = f (x*)+ f T(x)(x-x*) + (1/2)(x-x*)T 2f (x )(x-x*)
2f (x)=
2f /x1 2
2f /x1 x2
…
2f /x1 xn
2f /x2 x1 … 2f /xn x1
2f /x22
… 2f /xn x2
…
……
2f /x2 xn … 2f /xn2
线性函数：f (x) = cTx + b , 2f (x) = 0 二次函数：f (x) = (1/2) xTQx + cTx + b, 2f (x)=Q
1、向量和子空间投影定理
(3) 子空间：设 d (1) , d (2) , … , d (m) Rn, d (k) 0
记
L(
d
(1)
,
d
(2)
,
…
j
,d
=1
(m)
)={
x
=
m

j
d
(j)
jR
}
为由向量d (1) , d (2) , … , d (m) 生成的子空间，简记为L。 正交子空间：设 L 为Rn的子空间，其正交子空间为
实用中，常用 x + d 表示从x 点出发沿d 方向移 动d 长度得到的点
d x+(1/2)d
0
x
2.0、预备知识（续）
1、向量和子空间投影定理
(2) 向量运算：x , y Rn
x来自百度文库
,
y
的内积：xTy
i =1
=
n

xiyi =
x1y1+
x2y2+
…+
xnyn
x , y 的距离： ‖x-y ‖= [(x-y)T(x-y)](1/2)
2.0、预备知识（续）
2、多元函数及其导数
(1) n元函数：f (x): Rn R 线性函数：f (x) = cTx + b = ci xi + b
二次函数：f (x) = (1/2) xTQx + cTx + b
= (1/2)i j aij xi xj + ci xi + b 向量值线性函数：F(x) = Ax + d Rm 其中 A为 mn矩阵，d为m维向量
线性函数：f (x) = cTx + b , f (x) = c 二次函数：f (x) = (1/2) xTQx + cTx + b
f (x) = Qx + c
向量值线性函数：F(x) = Ax + d Rm F / x = AT
2.0、预备知识（续）
2、多元函数及其导数
(3) Hesse 阵（二阶偏导数矩阵）：
L＝{ x Rn xTy=0 , y L } 子空间投影定理：设 L 为Rn的子空间。那么 x Rn，
唯一 x L , y L, 使 z=x+y , 且 x 为问题
min ‖z - u‖
s.t. u L
的唯一解，最优值为‖y‖。
特别， L ＝Rn 时，正交子空间 L＝{ 0 }（零空间）
2.0、预备知识（续）
2、多元函数及其导数
(4)n元函数的Taylor展开式及中值公式：
设 f (x): Rn R ，二阶可导。在x* 的邻域内
一阶Taylor展开式：
f (x) = f (x*)+ f T(x*)(x-x*) + o‖x-x*‖
二阶Taylor展开式：
f (x) = f (x*)+ f T(x)(x-x*) + (1/2)(x-x*)T 2f (x*)(x-x*) + o‖x-x*‖2
2.1 数学规划模型的一般形式
min f(x) --------目标函数
(fS)
s.t. xS --------约束集合，可行集 其中，S Rn，f :S R，xS称（f S )的可行解
最优解: x*S，满足f (x*)≤ f (x), xS。则称
x*为(f S)的全局最优解(最优解), 记 g.opt.(global optimum),简记 opt. 最优值: x*为(f S)的最优解, 则称 f * = f (x*) 为 (f S)的最优值(最优目标函数值)
x 的长度： ‖x‖= [ xTx ](1/2)
三角不等式： ‖x + y ‖≤‖x‖＋‖y‖
x
x+y
y 点列的收敛：设点列｛x(k)｝
Rn
,
x
Rn
点列｛x(k)｝收敛到 x ，记
lim
k
x(k)
=
x
lim‖x(k)-
k
x‖
=
0

limkxi(k)
=
xi
,i
2.0、预备知识（续）
2.0、预备知识（续）
规定：x , y Rn，x ≤ y xi ≤ yi ，i 类 似规定 x ≥ y，x = y，x < y , x > y .
一个有用的定理
设 xRn，R，L为Rn 的线性子空间， (1)若 xTy ≤ , yRn 且 y ≥ 0，
则 x ≤ 0， ≥ 0 . (2)若 xTy ≤ , y L Rn ，
F(x)=( f1(x), f2(x), … , fm(x) )T 记 aiT为A的第i行向量，fi (x) = aiTx
2.0、预备知识（续）
2、多元函数及其导数
(2) 梯度（一阶偏导数向量）：
f (x)＝( f / x1 , f / x2 , … , f / xn )TRn .