运筹学和最优化

n
2.0、预备知识（续）
2、多元函数及其导数
(2) 梯度（一阶偏导数向量）： T n f (x)＝( f / x1 , f / x2 , … , f / xn ) R . 线性函数：f (x) = cTx + b , f (x) = c 二次函数：f (x) = (1/2) xTQx + cTx + b f (x) = Qx + c m 向量值线性函数：F(x) = Ax + d R F / x = AT
min f(x) --------目标函数 (fS) s.t. xS --------约束集合，可行集 其中，S Rn，f :S R，xS称（f S )的可行解
(1)
,d
(2)
,…,d
(m)
(m)
R, d
(j)
n
(k)
0
记 L( d
(1)
,d
(1)
(2)
, …j =1 ,d
( 2)
(m)
)={ x = j d
m
jR }
为由向量d , d , … , d 生成的子空间，简记为L。 n 正交子空间：设 L 为R 的子空间，其正交子空间为 n L ＝{ x R xTy=0 , y L } n n 子空间投影定理：设 L 为R 的子空间。那么 x R ， 唯一 x L , y L , 使 z=x+y , 且 x 为问题 min ‖z - u‖ s.t. u L 的唯一解，最优值为‖y‖。 n 特别， L ＝R 时，正交子空间 L ＝{ 0 }（零空间）

“若 xTy ≤ , yRn 且 y ≤ 0，则 x ≥ 0， ≥ 0 .” “若 xTy ≥ , yRn 且 y ≥ 0，则 x ≥ 0， ≤ 0 .” n “若 xTy ≥ , yR 且 y ≤ 0，则 x ≤ 0， ≤ 0 .” “若 xTy ≥ , y L Rn ， 则 x L， ≤ 0 .”
f (x) = f (x*)+ ［f (x*+(x-x*))]T(x-x*)
T T
Lagrange余项：对x, , 记xx*+ (x-x*)
2
f (x) = f (x*)+ f (x)(x-x*) + (1/2)(x-x*) f (x )(x-x*)
2.1 数学规划模型的一般形式
2
线性函数：f (x) = +b, f (x) = 0 2 T T 二次函数：f (x) = (1/2) x Qx + c x + b, f (x)=Q c Tx
2.0、预备知识（续）
2、多元函数及其导数
(4)n元函数的Taylor展开式及中值公式：
设 f (x): R R ，二阶可导。在x* 的邻域内
2.0、预备知识
1、向量和子空间投影定理
(1) n维欧氏空间：R n T 点（向量）：x R , x = (x1 ,x2 ,…,xn) 分量 xi R (实数集) n 方向（自由向量）：d R , d 0 T d =(d1 ,d2 ,…,dn) 表示从0指向d 的方向 实用中，常用 x + d 表示从x 点出发沿d 方向移 动d 长度得到的点 d x+(1/2)d x 0
2.0、预备知识（续）
2、多元函数及其导数
(3) Hesse 阵（二阶偏导数矩阵）： f (x)=
2
2f /x1 2 2f /x1 x2
… 2f /x1 xn
2f /x2 x1 … 2f /xn x1 2f /x22
… 2f /x2 xn
… 2f /xn x2 … … … 2f /xn2
n
2.0、预备知识（续）
1、向量和子空间投影定理
(2) 向量运算：x , y R
n
x,y
Ty 的内积： x i =1
= xiyi = x1y1+ x2y2+ …+ xnyn
(1/2)
n
x , y 的距离： ‖x-y ‖= [(x-y)T(x-y)] (1/2) x 的长度： ‖x‖= [ xTx ] 三角不等式： ‖x + y ‖≤‖x‖＋‖y‖ x x+y
2.0、预备知识（续）
规定：x , y R ，x ≤ y xi ≤ yi ，i 类 似规定 x ≥ y，x = y，x < y , x > y . 一个有用的定理 n n 设 xR ，R，L为R 的线性子空间， n T (1)若 x y ≤ , yR 且 y ≥ 0， 则 x ≤ 0 ， ≥ 0 . n T (2)若 x y ≤ , y L R ， n 则 x L ， ≥ 0 .(特别, L＝R 时,x =0) 定理的其他形式：
n

来自百度文库
一阶Taylor展开式：
f (x) = f (x*)+ f T(x*)(x-x*) + o‖x-x*‖

f (x) = f (x*)+ f T(x)(x-x*) + (1/2)(x-x*)T 2f (x*)(x-x*) + o‖x-x*‖2
二阶Taylor展开式：

一阶中值公式：对x, , 使
y n n 点列的收敛：设点列｛x(k)｝ R , x R 点列｛x(k)｝收敛到 x ，记 (k) = x lim‖x(k)- x‖ = 0 lim x (k) = x ,i lim x i k k ki
2.0、预备知识（续）
1、向量和子空间投影定理
(3) 子空间：设 d
n
2.0、预备知识（续）
2、多元函数及其导数
(1) n元函数：f (x): R R 线性函数：f (x) = cTx + b = ci xi + b 二次函数：f (x) = (1/2) xTQx + cTx + b = (1/2)i j aij xi xj + ci xi + b m 向量值线性函数：F(x) = Ax + d R 其中 A为 mn矩阵，d为m维向量 T F(x)=( f1(x), f2(x), … , fm(x) ) 记 aiT为A的第i行向量，fi (x) = aiTx