规划数学非线性规划基本知识
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f (X (1) (1 ) X (2) ) ()f ( X ) (1) (1 ) f ( X (2) )
则称 f (X ) 是 R 上的凸函数.
凸（凹）函数二阶判别定理： 设f (X ) 是 非空开凸集 R 上的二阶连续 可微函数，则 f (X ) 为凸函数的充分必要条件是 H (X )在 R 上半正（负）定。
又因为：
2 f 2, 2 f 2, 2 f 0
x12
x1x2
x1x3
2 f x22
2,
2 f 2, x2x3
2 f x32
2
故Hesse阵为：
2 2 0
2 f X 2 2 2
0 2 2
例4
求目标函数
f（X）=
x12
x
2 2
x
2 3
2x1x 2
2x2x3
3x3
的梯度和Hesse矩阵。
解：
f X
x1
2 x1
2x2
f X
x2 2x2 2x1 2x3
f X
x3 2x3 2x2 3
则 f X 2x1 2x2, 2x2 2x1 2x3, 2x3 2x2 3T
2x1x2
4x1x3
f X
x3 6x3 4x1x2 .
f
X
f X
x1
,
f X
x2
,
f X
x3
T
2x1 x 2 x1x2
2 2
4
x2
x3
4x1x3
6x3 4x1x2
② f X 4x1x23 e2x1x2
（2）局部极值和全局极值
极小点
严格局部极小点
局部极小点
非严格局部极小点
全局极小点
严格全局极小点
非严格全局极小点
例如：图中 f
一元函数f 定义在区间 [a b]上 X1 * 为严格
a为严格全 局极小点
局部极小点
，X2 *非严格 0 a X1 * X2 * b
X
局部极小点
（3）凸函数、凹函数及凸规划 凸（凹）函数 定义: 设函数 f (X ) 在凸集 R 上有定义,如果对任 意 X (1) 和 X (2) 属于 及任何实数（0 1 ）
非线性规划基本概念（3.1）
1 非线性规划模型分类
一般有约束极值问题形式为：
min f (X) . g j (X) 0, j 1,, q
hi (X) 0, i 1,, p
一般无约束极值形式为：
min f ( X ), X E n
例1 在层次分析（Analytic Hierarchy Process, 简记为 AHP
凸规划 定义：
min f X
s.t. g j X 0. j 1 ~ m
若 f (X ) 为凸函数 g j (X ) 为凹函数 ， 则该非线性规划为 凸规划。
凸规划性质：设 X * 是凸规划问题的一个局部最优解 ，则 X * 是全局最优解。如果 f (X ) 是严格凸函数，则 是唯一全局最优解。
解：
f X
x1
4 x23
2 x2e2 x1x2
.
f X x2
12x1x22 2x1e2x1x2
f
X
f X
x1
,
f X
x2
T
124xx123x22
2
x e2 x1x2 2
2x1e2 x1x2
f (的t) 值为
f (t1 ), f (t2 ),..., f (tn ),
建立问题为的数学模型 采用最小二乘法问题转化为求解
min
s(1 ,2
,3
)
n
(
f
(
ti
) 1
2t
3t 2
)2
无约束极值问题
i 1
2 多元函数的极值问题 （1）梯度及Hesse 矩阵
f (X ) ( , ,, ) 梯度
f ( X ) f ( X )
x1
x2
f ( X ) T xn
Hesse矩阵
2 f (X )
x12 2 f (X )
H
(X
)
百度文库
(f
(X
))
x2x1
2 f (X ) xnx1
2 f (X ) x1x2 2 f (X )
x22
2 f ( X ) x1xn
即在 X * 的任意小邻域内存在函数值小于 f (X*) 的可行解 与 X * 是局部极小点矛盾。证毕。
（4）多元函数的泰勒公式
min
f
(w)
nn
(aij wj
wi )2
i1 j 1
n
wi 1
i 1
wi 0
有约束极值问题
例2 模型参数识别问题 设已知某问题的数学模型为
f (t) 1 2t 3t 2
试验测得在时刻 t1, t2 ,..., t时n 试用其估计参数 1, 2 , 。3
证明：反证法 设 X * 是凸规划的局部最优解但不 是全局最优解，则存在可行解 Y 满足 f (X*) f (Y) 由可行域为凸集，则X * (1 )Y , (0,1) 为可行解
由 f (X ) 是凸函数
f (X * (1 )Y ) f ( X *) (1 ) f (Y ) f ( X *) (1 ) f ( X *) f ( X *)
）中，为了进行多属性的综合评价，需要确定每个属性的相对 重要性，即它们各自的权重。为此，将各属性进行两两比较可 得如下判断矩阵：
a11 a1n
J
an1 ann
其中：是第个属性与第个属性的重要性之比。
现需要从判断矩阵求出各属性的权重，为使求出的权重向量
在最小二乘意义上能最好地反映判断矩阵的估计，建立数学模型：
2 f (X )
x2xn
2 f (X ) xnx2
2 f ( X ) xn2
例3：求下列函数的梯度：
① f X x12 x1x22 3x32 4x1x2x3
解：
f X
x1
2x1
x22
4x2 x3.
f X
x2
则称 f (X ) 是 R 上的凸函数.
凸（凹）函数二阶判别定理： 设f (X ) 是 非空开凸集 R 上的二阶连续 可微函数，则 f (X ) 为凸函数的充分必要条件是 H (X )在 R 上半正（负）定。
又因为：
2 f 2, 2 f 2, 2 f 0
x12
x1x2
x1x3
2 f x22
2,
2 f 2, x2x3
2 f x32
2
故Hesse阵为：
2 2 0
2 f X 2 2 2
0 2 2
例4
求目标函数
f（X）=
x12
x
2 2
x
2 3
2x1x 2
2x2x3
3x3
的梯度和Hesse矩阵。
解：
f X
x1
2 x1
2x2
f X
x2 2x2 2x1 2x3
f X
x3 2x3 2x2 3
则 f X 2x1 2x2, 2x2 2x1 2x3, 2x3 2x2 3T
2x1x2
4x1x3
f X
x3 6x3 4x1x2 .
f
X
f X
x1
,
f X
x2
,
f X
x3
T
2x1 x 2 x1x2
2 2
4
x2
x3
4x1x3
6x3 4x1x2
② f X 4x1x23 e2x1x2
（2）局部极值和全局极值
极小点
严格局部极小点
局部极小点
非严格局部极小点
全局极小点
严格全局极小点
非严格全局极小点
例如：图中 f
一元函数f 定义在区间 [a b]上 X1 * 为严格
a为严格全 局极小点
局部极小点
，X2 *非严格 0 a X1 * X2 * b
X
局部极小点
（3）凸函数、凹函数及凸规划 凸（凹）函数 定义: 设函数 f (X ) 在凸集 R 上有定义,如果对任 意 X (1) 和 X (2) 属于 及任何实数（0 1 ）
非线性规划基本概念（3.1）
1 非线性规划模型分类
一般有约束极值问题形式为：
min f (X) . g j (X) 0, j 1,, q
hi (X) 0, i 1,, p
一般无约束极值形式为：
min f ( X ), X E n
例1 在层次分析（Analytic Hierarchy Process, 简记为 AHP
凸规划 定义：
min f X
s.t. g j X 0. j 1 ~ m
若 f (X ) 为凸函数 g j (X ) 为凹函数 ， 则该非线性规划为 凸规划。
凸规划性质：设 X * 是凸规划问题的一个局部最优解 ，则 X * 是全局最优解。如果 f (X ) 是严格凸函数，则 是唯一全局最优解。
解：
f X
x1
4 x23
2 x2e2 x1x2
.
f X x2
12x1x22 2x1e2x1x2
f
X
f X
x1
,
f X
x2
T
124xx123x22
2
x e2 x1x2 2
2x1e2 x1x2
f (的t) 值为
f (t1 ), f (t2 ),..., f (tn ),
建立问题为的数学模型 采用最小二乘法问题转化为求解
min
s(1 ,2
,3
)
n
(
f
(
ti
) 1
2t
3t 2
)2
无约束极值问题
i 1
2 多元函数的极值问题 （1）梯度及Hesse 矩阵
f (X ) ( , ,, ) 梯度
f ( X ) f ( X )
x1
x2
f ( X ) T xn
Hesse矩阵
2 f (X )
x12 2 f (X )
H
(X
)
百度文库
(f
(X
))
x2x1
2 f (X ) xnx1
2 f (X ) x1x2 2 f (X )
x22
2 f ( X ) x1xn
即在 X * 的任意小邻域内存在函数值小于 f (X*) 的可行解 与 X * 是局部极小点矛盾。证毕。
（4）多元函数的泰勒公式
min
f
(w)
nn
(aij wj
wi )2
i1 j 1
n
wi 1
i 1
wi 0
有约束极值问题
例2 模型参数识别问题 设已知某问题的数学模型为
f (t) 1 2t 3t 2
试验测得在时刻 t1, t2 ,..., t时n 试用其估计参数 1, 2 , 。3
证明：反证法 设 X * 是凸规划的局部最优解但不 是全局最优解，则存在可行解 Y 满足 f (X*) f (Y) 由可行域为凸集，则X * (1 )Y , (0,1) 为可行解
由 f (X ) 是凸函数
f (X * (1 )Y ) f ( X *) (1 ) f (Y ) f ( X *) (1 ) f ( X *) f ( X *)
）中，为了进行多属性的综合评价，需要确定每个属性的相对 重要性，即它们各自的权重。为此，将各属性进行两两比较可 得如下判断矩阵：
a11 a1n
J
an1 ann
其中：是第个属性与第个属性的重要性之比。
现需要从判断矩阵求出各属性的权重，为使求出的权重向量
在最小二乘意义上能最好地反映判断矩阵的估计，建立数学模型：
2 f (X )
x2xn
2 f (X ) xnx2
2 f ( X ) xn2
例3：求下列函数的梯度：
① f X x12 x1x22 3x32 4x1x2x3
解：
f X
x1
2x1
x22
4x2 x3.
f X
x2