最优化理论 第四章
最优化理论与方法 对偶原理
【例】原问题与对偶问题
某工厂拟生产甲、乙两种产品，需消耗煤、电、油 三种资源。有关数据如表所示：
产品资源单耗资源 煤（t） 电（kW·h） 油（t） 单位产品价格（万元） 甲 9 4 3 7 乙 4 5 10 12 资源限量 360 200 300
问题一： 总收入最大的生产方案 问题一：试拟订使总收入最大 生产方案 总收入最大 生产方案。 问题二： 问题二：若厂家不再打算生产甲、乙产品，而是打算将其资源全部卖掉。 厂家要求：其收入不低于生产产品时的收入；买方希望：原料价格 越低越好。试拟定能够保证卖方收入 保证卖方收入且使买方支出最小 定价方案。 支出最小的定价方案 保证卖方收入 支出最小 定价方案
x x= B 0
对偶单纯形法的基本思想
求改进的对偶可行的基本解的过程，也就是选择离基变 离基变 进基变量，进行主元消去 主元消去的过程。这与单纯形方法 量和进基变量 进基变量 主元消去 有类似之处。 与前面介绍的单纯形法 区别 单纯形法的区别 单纯形法 区别在于：在单纯形法的迭代 过程中，始终保持右端列(目标函数值除外)非负，即保 持原问题的可行性；而在对偶单纯形法中，要保持所有 的判别数 wp j − c j ≤ 0 (对于极小化问题)，即保持对偶可 保持对偶可 行性。（当然，在每次迭代中不要求右端列各分量均非 行性 负，正因为如此，也就不需要引入人工变量 不需要引入人工变量。） 不需要引入人工变量
min w = 360 y + 200 y + 300 y 1 2 3 s.t . 9y + 4y + 3y ≥ 7 1 2 3 4 y + 5 y + 10 y ≥ 12 1 2 3 y ,y ,y ≥0 1 2 3
下面将会看到，这两个问题互为对偶问题，其中一个称为原问题， 则另一问题就是它的对偶问题。
最优化理论-教学大纲
《最优化理论》教学大纲课程编号：112302A课程类型：专业选修课总学时：32 讲课学时：26 实验学时：6学分：2适用对象：金融工程专业先修课程：数学分析、线性代数、经济学、金融学一、教学目标最优化问题即在有限种或无限种可行方案（决策）中选择最优的方案（决策），与之相对应的最优化理论是数学领域的一个重要分支，也是金融工程专业学生需要掌握的必备工具之一。
现代金融学研究的技术化程度日益增加，金融工程的许多问题都与最优化理论与方法密切相关，例如：投资组合选择与资产配置、期权的定价与对冲、金融风险的度量与管理、资产和负债的现金流管理等等。
本课程拟对最优化的基础理论和求解方法进行一个比较全面和系统的介绍，其中涉及到的方法包括：线性规划、非线性规划、二次规划、锥优化、整数规划、动态规划、随机规划等等。
通过本课程的学习，实现以下几个教学目标：目标1：帮助学生了解各类最优化模型的数学理论与求解方法；目标2：使学生理解如何应用这些优化模型分析经济学和金融学相关问题。
二、教学内容及其与毕业要求的对应关系本课程主要介绍几种主要的最优化模型的理论与方法，根据最优化模型的类别进行划分，分为无约束最优化和有约束最优化两大类别。
其中，无约束最优化问题的子类别较少、难度相对较低，主要从理论方法和数值方法两方面进行讲解；有约束最优化重点讲解线性规划的单纯形法和非线性规划的库恩塔克条件，在时间允许的情况适当介绍其他类别的高级规划课题。
基本教学内容的框架图如下：本课以课堂讲授为主，间之以案例教学、随堂练习和课后作业，针对适当的问题讲解其计算机程序实现，使学生既能掌握理论，也能动手操作，切实做到理论与实践相结合。
该课程旨在进一步完善金融工程专业学生的数理知识，一方面有利于强化与完善了金融专业学生的数理知识体系，同时结合经济学和金融学实际问题进行讲解学习，锻炼了学生们思考学习的能力，更训练了学生应用数理思维分析经济金融问题的能力，与金融工程专业学生的毕业要求相呼应。
最优化理论第四章约束问题最优性条件
定理4.2
设x* s, f ( x), g i ( x), (i I )在x*可微，g i ( x), (i I )在x *连续，
如果x*是问题 2 的局部最优解，则F0 G0 =。 （证明从略）
2.2 定理4.3 （Fritz，John条件）
* 设x* s，I i g i ( x* ) 0 ，f , g i (i I )在x*处可微，g （ i i I）在x 处连续，
第
四
章
约束问题的最优性 条件（P206）
min f(x) 约束优化： s.t. gi (x) 0, h ( x) 0, j
x Rn i 1,..., m j 1,..., l
s x gi ( x) 0, i 1,..., m; h j ( x), j 1,..., l
iI
①K-T条件
* 进一步条件，若g（ i I ）在 x 处可微，K-T条件为： i m （ f x*） - wi gi ( x* ) 0 ② i 1 ② * m n方程组 wi gi ( x ) 0, i 1,..., m ③ ③ ④ wi 0, i 1,..., m * 给定x ，验证是否符合K-T条件用① 应用 * x 未定，求解K-T点，求解② +③
2.4
定理4.5 （约束问题最优解的一阶充分条件）
问题（2）中，f 是凸函数，g （ ）是凹函数，s为可行域，x* s, i i 1,..., m I i gi ( x* ) 0 , f 和gi (i I )在点x*可微，gi (i I )在点x*连续，且在x*处 K - T 条件成立，则x*为全局最优解。 x 1， 0 为全局最优解（例子）
最优化理论——精选推荐
最优化理论课程名称：最优化理论英文译名：Optimization Theory课程编码：070102X07适用专业：信息与计算科学课程类别：专业选修学时数：64 学分：4编写执笔人：余东明审定人：高仕龙编写日期：2005/04/15一、课程的性质、目的和任务最优化理论是现代应用数学的一个重要分支，是一门应用广泛、实用性强的学科。
它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找出最优方案。
通过最优化理论和方法的学习，使学生得到良好的数学训练，培养学生的抽象思维能力和解决实际问题的能力。
二、课程教学内容及教学基本要求：第一章概述（2学时）1、教学内容：学科简述，线性规划与非线性规划问题。
2、教学目的及要求：了解学科发展历程。
理解优化理论包含的内容。
掌握线性规划与非线性规划的定义，形式和性质。
第2 章凸集与凸函数（4学时）1、教学内容：凸集，凸函数。
2、教学目的及要求：了解本学科的研究内容、重要进展及发展趋势。
理解凸集、凸函数等基本概念，凸集，凸函数的几何意义。
掌握凸集、凸函数等基本概念，定理和判定理。
第3 章线性规划的基本性质（4学时）1、教学内容：标准形式及图解法，基本性质。
2、教学目的及要求：了解线性规划解的方法与计算机实现方法。
理解与线性规划有关的定理，性质。
掌握线性规划的性质，涉及相关的定理，计算方法。
第4章单纯形方法（6学时）1、教学内容：单纯形方法，两阶段法与大M法，退化情形，修正单纯形法，变量有界的情形，分解算法。
2、教学目的及要求：了解解的有效性和时间性。
理解变量有界的情形，分解算法。
掌握线性规划的基本性质、单纯形法、修正单纯形法，对偶理论等线性规划的基本理论和方法。
第5章对偶原理及灵敏度分析（6学时）1、教学内容：线性规划中的对偶理论，对偶单纯形法，原始—对偶算法，灵敏度分析。
2、教学目的及要求：了解对偶理论和灵敏度分析的作用和意义。
理解有关算法收敛性的理论。
掌握线性规划中的对偶理论，对偶单纯形法算法和原始—对偶算法，并能借助算法进行一些计算。
最优化理论 第四章
a12 a22
b1 B X x1 b 2
T
x2 b1 x1 b2 x2
2 ( BT X ) 2 (b1 x1 b2 x2 ) 0
C0
2
a11 H( X ) f ( X ) a21
2
a12 A a22
梯度方向和s方向重合时，方向导数值最大。
梯度的模：
f f f x x1 2
2 2
cos 1 设： s 为单位向量。 cos 2 f f ( x0 )T s f ( x0 ) cos(f , s) 则有 x s 0 梯度方向是函数值变化最快的方向，而梯度的 模就是函数变化率的最大值 ，负梯度方向函数值 下降最快。
梯度两个重要性质：
性质一 函数在某点的梯度不为零，则必与过该点 的等值面垂直； 性质二 梯度方向是函数具有最大变化率的方向。
x2
f ( x1 , x2 ) c2
gradf ( x1 , x2 )
P
f ( x , y ) c1
梯度为等值线上的法向量
f ( x1 , x2 ) c
等高线
o
x1
f ( x ) f ( x ) f ( x ( k ) ) ( x x ( k ) )
(k )
1 f ( x ( k ) ) ( x x ( k ) )2 R n 2!
多元函数f(x)在x（k）点也可以作泰勒展开, 其展开式一般取三项,其形式与一次函数的形式的 前三项是相似的.
称为f(x)的海森(Hessian)矩阵，常用H(X(k))表示。
f(x)的海森(Hessian)矩阵，常用H(X(k))表示。
最优化方法与理论第四章 例题
x1 x2 5.
x1 x2 5 0
L( x1 , x2 , ) ( x1 2) 2 ( x2 1) 2 ( x1 x2 5) ，
令 L( x1 , x2 , ) 0 ，即
2( x1 2) 0, 2( x2 1) 0, x x 5 0. 2 1
T
定理 4.5(几何最优性条件)
若 x * 是约束问题（4.7）的局部最优点，则点 x * 的容
许方向锥与下降方向锥的交集是空集.
定理 4.5 表明：在最优点处，一定不存在下降容许方向.换句话说，在最优点处，或 者不存在下降方向，或者任何下降方向都不是容许方向.
定理 4.5 表明：不等式方程组
T ) p 0, i I si ( x T f ( x ) p 0
无解.
引理 4.8（Gordan） 设 a1 , a2 ,, am 是 n 维向量，则不存在向量 p 使得
aiT p 0, i 1, 2,, m
成立的必要条件是，存在不全为零的非负数 1 , 2 ,, m 使得
T
(2)K-T 条件为
2( x1 2) 2 x1 0 , 2 x2 0 2( x2 1) 2 2 (9 x1 x2 ) 0, 0.
① ② ③
由③，若 0 ，代入①得 x1 2, x2 1 .由于[2,1]T∈D，所以[2,1]T 是 K-T 点.又 因是凸规划问题，所以[2,1]T 是最优解.
优化理论——精选推荐
第一章最优化理论方法优化理论是一门实践性很强的学科。
所谓最优化问题，一般是指按照给定的标准在某些约束条件下选取最优的解集。
他被广泛地应用于生产管理、军事指挥和科学试验等领域，如工程设计中的最优设计、军事指挥中的最优火力配置问题等。
优化理论和方法于20世纪50年代形成基础理论。
在第二次世界大战期间，出于军事上的需要，提出并解决了大量的优化问题。
但作为一门新兴学科，则是在G.B.Dantzig提出求解线性规划问题的单纯形法，H.W.Kuhnh和A.W.Tucker 提出非线性规划基本定理，以及R.Bellman提出动态规划的最优化原理以后。
之后，由于计算机的发展，使优化理论得到了飞速的发展，至今已形成具有多分支的综合学科。
其主要分支有：线性规划、非线性规划、动态规划、图论与网络、对策论、决策论等。
1.极小值优化1.1标量最小值优化求解单变量最优化问题的方法有多种，根据目标函数是否需要求导，可以分为两类，即直接法和间接法。
直接法不需要对目标函数进行求导，而间接法则需要用到目标函数的导数。
常用的一维直接法主要有消去法和近似法两种。
消去法利用单峰函数具有的消去性质进行反复迭代，逐渐消去不包含极小点的区间，缩小搜索区间，直到搜索区间缩小到给定的允许精度为止。
该法的优点是算法简单，效率较高，稳定性好。
多项式近似法用于目标函数比较复杂的情况。
此时搜索一个与它近似的函数代替目标函数，并用近似函数的极小点作为原函数极小点的近似。
常用的近似函数为二次和三次多项式、间接法需要计算目标函数的导数，优点是计算速度很快。
常见的间接法包括牛顿切线法、对分法、割线法和三次差值多项式近似法等。
如果函数的导数容易求得，一般来说应首先考虑使用三次插值法，因为它具有较高的效率。
在只需要计算函数值得方法中，二次差值是一个很好的方法，它的收敛速度快，特别是在极小点所在区间较小时尤为如此。
1.2无约束最小值优化无约束最优化问题在实际应用中也比较常见，如工程中常见的参数反演问题。
最优化理论与算法课件 (4)
广义消去法
令S 和Z 分别为n m和n n m 矩阵，满足 AS I , AZ 0 且 S : Z 为可逆矩阵，则有x Sb是方程 Ax b的一个可行解，设d 为Ax 0的解，则 方程Ax b的通解为 x Sb d .
1 T T min f ( x) x Hx c x 2 s.t. Ax b
取 令
ˆk } k min{1, x ( k 1) x ( k ) k d ( k ) .
如果
k
a x
p
bp a x a d
p p (k )
p
(k )
1,
(k )
则在点x ( k 1)，有
( k 1)
a (x
p
kd
( k 1)
(k )
) bp
若x是任一可行解，则有Ax b, 在该点目标 函数的梯度为： f ( x) Hx c
x x Qf ( x) Rf ( x)
min x 2 x x 2 x1 x2 x3 s.t. x1 x2 x3 4
1 5 3 4 4 2 , S 1 11 5 3 4 2
最优解为： x1 T 21 43 3 x x2 ， ， 11 22 22 x3
直接消去法
1 T T min f ( x) x Hx c x 2 s.t. Ax b
2 2 0 0 1 1 解：H 2 4 0 , c 0 , A 2 1 0 0 2 1 1 1 0 2 1 1 1 H 0 2 2 0 0 1 2
最优化方法 第四章(遗传算法)
一、遗传算法简介
达尔文 (Darwin) 的进化论：自然选择原理
自然选择就是指生物由于环境中某些因素的影响而使得
有利于一些个体的生存，而不利于另外一些个体生存的
演化过程：物竞天择，适者生存 遗传：子代和父代具有相同或相似的性状，保证物种的 稳定性； 变异：子代与父代，子代不同个体之间总有差异，是生 命多样性的根源；
选择运算 个体评价 交叉运算
变异运算
群体p(t+1)
解
码
解集合
二、标准遗传算法
标准遗传算法的主要步骤
Step1 根据优化问题的特点对优化变量进行编码，随机产 生一组初始个体构成初始种群,并评价每一个个体的适配值; Step2 判断算法收敛准则是否满足。若满足则输出搜索结果； 否则执行以下步骤; Step3 根据适配值大小以一定方式进行复制(选择)操作; Step4 按交叉概率 pc 执行交叉操作; Step5 按变异概率 pm 执行变异操作; Step6 更新种群，返回Step2.
二、标准遗传算法
标准遗传算法算例---手工计算
max
s .t.
2 f x1 , x2 x12 x2
x1 0,1 7 x2 0,1 7
编码：二进制编码 基因型X= 1 0 1 1 1 0 对应的表现型是：X= 5, 6
二、标准遗传算法 ① ② 个体编号 初始群体 i P(0) 1 2 3 4 011101 101011 011100 111001 ③ x1 3 5 3 7 ④ x2 5 3 4 1 ⑤ f(x1,x2) 34 ∑fi=143 34 fmax=50 25 f=35.75 50 ⑥ f i/ ∑ f i 0.24 0.24 0.17 0.35
最优化方法 尹秋响课件第四章
二次插值多项式近似法（抛物线法） （二）二次插值多项式近似法（抛物线法）的基本原理 在三点x 上的函数值分别为f 设目标函数 f(x)在三点 1 < x2 <x3 上的函数值分别为 1 , f2 , f3 在三点 相应的二次插值多项式为 P2(x)=a0＋a1x + a2x2 令P2(x) 和f(x)在三点上的函数值相等 在三点上的函数值相等 f(x) P2(x1)=a0+a1x1 + a2x12 ＝f1 P2(x2)=a0+a1x2 + a2x22＝f2 P2(x3)=a0+a1x3 + a2x32＝f3 a0, a1, a2 a * ’(x)＝a +2a x =0 的解 x = − 1 P2(x)的平稳点是 P2 ＝ 1 的平稳点是 2 2a 所以只需求出a 所以只需求出 1, a2, 最后得
f(x) f(x) f(x) f(x)
a
b
x
a
a b
x
a
b
b
x
x
连续单峰函数
不连续单峰函数
非单峰函数离散单峰函数
单峰函数具有一个重要的消去性质 定理： 是区间[a,b]上的一个单峰函数，x*∈[a,b]是其极小 上的一个单峰函数， 定理：设f(x)是区间 是区间 上的一个单峰函数 是其极小 上的任意两点， 点， x1 和x2是[a, b]上的任意两点，且a<x1 <x2<b，那么比较 1) 上的任意两点 ，那么比较f(x 的值后， 与f(x2)的值后，可得出如下结论： 的值后 可得出如下结论： （I） 若f(x1)≥f(x2)，x*∈[x1,b] ） ，
x1 x3 x2 P2(x) 三个待定系数
2
பைடு நூலகம்
最优化理论 第四章
n i 1
f
(X (k)) xi ( xi
x(k) i
)
1
2
n f ( X (k ) ) i, j1 xix j ( xi
xi(k ) )(x j
x
(k j
)
)
写成矩阵形式：
f ( X ) f ( X (k) ) [f ( X (k) )]T ( X X (k) ) 1 ( X X ) (k) T 2 f ( X (k) )(X X (k) ) 2
求函数
f
(x)
x2 1
x2 2
4x1
4
在点[3,2]T 的 梯度。
解：
f
f
(
x)
x1 f
2
x1 2 x2
4
x2
在点x(1)=[3,2]T处的梯度为：
f
( x(1) )
2x1 4
2 x2
x(1)
2 4
例： 试求目标函数 f x1, x2 3x12 4x1x2 x22 在点X 0 0,1T 处
阶主子式的值负、正相间。
q11 q12 q1n
q11 0
q11
q12 0
；…；
(1)n q21
q22
q21 q22
例：判定矩阵Q=
模就是函数变化率的最大值 ，负梯度方向函数值
下降最快。
x2
f(x0)
最速上升方向
x0
－f(x0)
上升方向
最速下降方向 下降方向
变化率为零的方向
O
x1
图2-2 梯度方向与等值线的关系
多元函数的梯度
f
x1
f
f
(
x0
第四章最优化理论运输问题优秀课件
= 50 = 70 = 20 = 50 = 60 = 30
上述模型显然是线性规划模型，我们可以使用线性规划的
单纯形法对它进行求解. 但是，当用单纯形法求解运输问题 时，先得给每个约束条件中引入一个人工变量，这样模型
的变量个数就会达到15个，求解是比较繁琐的，因而有必 要寻求更简便的解法.
为了说明适于求解运输问题的更好的解法，先看一下运输问 题的一般描述及模型的一般形式.
对于产销平衡运输问题（4.3），将其约束条件加以整理，
可知其系数矩阵具有下述形式：
x11 x12 x1n x21 x22 x2n xm1 xm2 xmn
1
1
1
1
1
1
1
1
m行
1
（4.4）
1
1
1 1
1
1
n行
1
1
1
由此可知，产销平衡运输问题数学模型有下述特点：
Xij表示从产地Ai到销地Bj的运量，为直观起见，可以单独将 Xij列出得该问题的运输表. 但我们也可以将运输表和单位运 价表、产销量放在一起，如下表4-6所示.
销地
产地
B1
B2
…
A1
X11 c11
X12 c12
A2
X21 c21
X22 c22
Bn X1n c1n X2n c2n
产量 a1 a2
…
表4-3 产销平衡表
单位：吨
商店
工厂
1
2
3
供应量
1
50
2 3 需求量
70
20
50
60
30
由于运货距离和运货公路的路况不同，各个工厂运往各商 店物资的单位运输费用是不同的，单位费用如表4-4所示， 称为单位运价表.
最优化概念及理论
基本粒子
1０－１3ｃｍ
原 子
１０－8ｃｍ 19
组织 水平
文化 社会
再从组织轴分析：从 无机到有机再到生物 群体来理解系统构架
科学 知识 语言 符号 国际组织 国家 社会组织 生物圈 生态系
器官
家庭 个体 系统
细胞器 生物大分子
群体
组织 细胞
有机 无机
夸克 粒子
星云系
恒星系
行星系
总星系
“低水平”
“低水平” ，人均GDP偏低，刚刚跨入门槛 据世界银行99年报告,人均GDP： ◇785美元 ◇785－3125美元 ◇3126－9655美元 ◇9656美元 属于低收入国家 属于中下等收入国家 属于上中等收入国家 属于高收入国家
45
单位：亿元/元
年 份 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 GDP 3645.2 4062.6 4545.6 4891.6 5323.4 5962.7 7208.1 9016.0 10275.2 12058.6 15042.8 人均 GDP 381 419 463 492 528 583 695 858 963 1112 1366 年 份 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 GDP 16992.3 18667.8 21781.5 26923.5 35333.9 48197.9 60793.7 71176.6 78973.0 84402.3 89677.1 人均 GDP 1519 1644 1893 2311 2998 4044 5046 5846 6420 6796 7159 年 份 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 GDP 99214.6 109655.2 120332.7 135822.8 159878.3 184937.4 216314.4 265810.3 314045.4 340902.8 401202.0 人均 GDP 7858 8622 9398 10542 12336 14185 16500 20169 23708 25608 29992
最优化理论-教学大纲
《最优化理论》教学大纲课程编号：112302A课程类型：专业选修课总学时：32 讲课学时：26 实验学时：6学分：2适用对象：金融工程专业先修课程：数学分析、线性代数、经济学、金融学一、教学目标最优化问题即在有限种或无限种可行方案（决策）中选择最优的方案（决策），与之相对应的最优化理论是数学领域的一个重要分支，也是金融工程专业学生需要掌握的必备工具之一。
现代金融学研究的技术化程度日益增加，金融工程的许多问题都与最优化理论与方法密切相关，例如：投资组合选择与资产配置、期权的定价与对冲、金融风险的度量与管理、资产和负债的现金流管理等等。
本课程拟对最优化的基础理论和求解方法进行一个比较全面和系统的介绍，其中涉及到的方法包括：线性规划、非线性规划、二次规划、锥优化、整数规划、动态规划、随机规划等等。
通过本课程的学习，实现以下几个教学目标：目标1：帮助学生了解各类最优化模型的数学理论与求解方法；目标2：使学生理解如何应用这些优化模型分析经济学和金融学相关问题。
二、教学内容及其与毕业要求的对应关系本课程主要介绍几种主要的最优化模型的理论与方法，根据最优化模型的类别进行划分，分为无约束最优化和有约束最优化两大类别。
其中，无约束最优化问题的子类别较少、难度相对较低，主要从理论方法和数值方法两方面进行讲解；有约束最优化重点讲解线性规划的单纯形法和非线性规划的库恩塔克条件，在时间允许的情况适当介绍其他类别的高级规划课题。
基本教学内容的框架图如下：本课以课堂讲授为主，间之以案例教学、随堂练习和课后作业，针对适当的问题讲解其计算机程序实现，使学生既能掌握理论，也能动手操作，切实做到理论与实践相结合。
该课程旨在进一步完善金融工程专业学生的数理知识，一方面有利于强化与完善了金融专业学生的数理知识体系，同时结合经济学和金融学实际问题进行讲解学习，锻炼了学生们思考学习的能力，更训练了学生应用数理思维分析经济金融问题的能力，与金融工程专业学生的毕业要求相呼应。
最优化第四部分
无,且xk+1=xk,则缩短步长,仍从xk出发进行下一次轴向移动;若
无,且xk+1xk,则仍从xk出发用步长k进行下一次轴向移动.
最优化理论与方法 第四部分 直接搜索的数值解法
从xk+1出发的模式移动是指以1为步长沿加速方向:dk=xk+1–xk
移动一步,得到新的参考点y=xk+1+dk=2xk+1–xk , 然后 , 从新的参 考点y出发 , 仍以k为步长进行轴向移动.
所以第三次轴向移动结束,令 x3 y (3, 2)T .由于 f ( x3 ) f ( x2 ) ,
2 1 0.1 , 且 x3 x2 ,
因此，令 x3 x2 (2 , 1)T , 3 2 ,
取参考点 y x3 (2,1)T .
最优化理论与方法 第四部分 直接搜索的数值解法
二、Powell 法
本节介绍由Powell提出的一种求解无约束最优化问题
(4.1.1)的直接法. 它本质上是以正定二次函数为背景，以共 轭方向为基础的一种方法. 本节分别介绍原始Powell法和Powell法. 补充：共轭方向 设H为一正定对称矩阵，若有一组非零向量S1，S2，……，Sn
满足 量（方向）。 当H为单位矩阵时，有
由梯度法的分析知，此时点X1的梯度必与方向S0垂直，即有
f X S
1 T
0
0
（4-21）
和
f X 1 HX1 B
（4-22）
最优化理论与方法 第四部分 直接搜索的数值解法
从点X1开始沿另一下降方向S1作一维搜索，得 （4-23） X 2 X 1 S1
1
若欲使X2成为极小点，根据极值的必要条件，应有
最优化方法第四章B-孙文瑜
2
对于正定二次函数, 牛顿法一步即可达到最优解
29
算法步骤
ste p1 . 给定初始点 x 0，精度 0, k : 0
T T 可知, 当且仅当dk=-gk时, d k g k最小, d k g k最大, 从而gk 是最速下降方向. 以-gk为下降方向的方法叫最速下降法
5
如何选择下降最快的方向？
f ( x k ) 函数值增加最快的方向
xk
函数值下降的方向
f ( x k ) 函数值下降最快的方向
6
事实上, 最速下降方向也可以这样来考虑. 因为目标函数f 沿方向d 的变化率是g(xk)Td, 故最速下 降的单位方向d是问题 T min g (4.1.4) d kd (4.1.5) d 1 s..t 的解 这时 d T g k d g k cos k
第4章无约束最优化方法
1
主要内容
4.1 最速下降法 4.2 牛顿法 4.3 共轭梯度法 4.4 拟牛顿法
2
4.1 最速下降法
最速下降法是以负梯度方向作为下降方 向的极小化算法, 又称梯度法, 是1874 年 法国科学家Cauchy(柯西)提出的. 最速下降法是无约束最优化中最简单的 方法
g k cos k 其中, k 是gk与d之间的夹角 当 k 0时取极值
(4.1.6)
7
这时
gk d gk
最速下降法的迭代格式为 其中步长因子 k 由线性搜索策略确定.
(4.1.7)
最优化方法第四章1
（4.1）
R? n0v?, hv(Rxvl)。? 这0v,个xv 问? 题Rn的}
内找一点 xv*，使得对f (于xw*任) ?意f的(xvx)v ? D ，都有
点 xv*称为问题（ 4.1）的最优解。由于带有了约束，使得
对约束最优化问题（ 4.1）的求解变得比对无约束最优化 问题（ 3.1 ）的求解复杂得多，也困难得多。本章将讨论
v ? 0 ，所以 p
1.10，存在?i
是
?0
,
当 t ? (0,?i ) 时，si
1. 等式约束问题的最优性条件
考虑仅含等式约束的问题
min f (xv);
?
s.t. hj (xv) ? 0, j ? 1,2,L ,l.??
（4.2）
这个问题的最优性条件与求解方法在微积分中已从理 论上得到了解决，这就是 Lagrange 定理和Lagrange 乘子 法。
定理4.1（Lagrange定理） P217
求解约束最优化问题常用的两类最优化方法。一类是所谓 的容许方向法 。它是一种直接处理约束的方法。另一类是 所谓的罚函数法 。相对前者而言，它是一种直接处理约束 问题本身的方法，其主要特点是用一系列无约束问题的极 小点去逼近约束问题的最优点。在 4.1节中将首先讨论约
束问题的最优性条件，为后面算法的终止准则提供理论依 据；在 4.2-4.3 节中将讨论二种容许方向法，包括 Zoutendijk 容许方向法、 Rosen梯度投影法；在 4.6-4.8节中 将讨论三种罚函数法，它们是外部罚函数法、内部罚函数 法和乘子法。
以下几个概念是讨论的基础。 定义4.1 对于约束v问题（ 4.7），设
v x%?
v D。若vx%使得
某个不等式约束有 称为是关于容许点
最优化理论与算法(第四章)
第四章 共轭梯度法§ 共轭方向法共轭方向法是无约束最优化问题的一类重要算法。
它一方面克服了最速下降法中，迭代点列呈锯齿形前进，收敛慢的缺点，同时又不像牛顿法中计算牛顿方向花费大量的工作量，尤其是共轭方向法具有所谓二次收敛性质，即当将其用于二次函数时，具有有限终止性质。
一、共轭方向概念 设G 是n n ⨯对称正定矩阵，1d ，2d 是n 维非零向量，假设120T d Gd = （）那么称1d ，2d 是G －共轭的。
类似地，设1,,m d d 是n R 中一组非零向量。
假设0T i j d Gd =()i j ≠ （）那么称向量组1,,m d d 是G －共轭的。
注：(1) 当G I =时，共轭性就变成正交性，故共轭是正交概念的推行。
(2) 若1,,m d d G －共轭，那么它们必线性无关。
二、共轭方向法共轭方向法确实是依照一组彼此共轭方向依次搜索。
模式算法：1）给出初始点0x ，计算00()g g x =，计算0d ，使000Td g <，:0k = （初始共轭方向）； 2）计算k α和1k x +，使得0()min ()k k k k k f x d f x d ααα≥+=+，令1k k k k x x d α+=+；3）计算1k d +，使10Tk j d Gd +=，0,1,,j k =，令:1k k =+，转2）。
三、共轭方向法的大体定理共轭方向法最重要的性质确实是：当算法用于正定二次函数时，能够在有限多次迭代后终止，取得最优解（固然要执行精准一维搜索）。
定理 关于正定二次函数，共轭方向法最多通过n 步精准搜索终止；且对每一个1i x +，都是()f x 在线性流形00,i j j j j x x x d αα=⎧⎫⎪⎪=+∀⎨⎬⎪⎪⎩⎭∑中的极小点。
证明：首先证明对所有的1i n ≤-，都有10T i j g d +=，0,1,,j i =（即每一个迭代点处的梯度与以前的搜索方向均正交）事实上，由于目标函数是二次函数，因此有()11k k k k k k g g G x x Gd α++-=-=1）当j i <时， ()1111iTTT i j j j k k j k j g d gd g g d +++=+=+-∑110iT T j j kkj k j gd dGd α+=+=+=∑2）当j i =时，由精准搜索性质知：10T i j g d +=综上所述，有 10T i j g d += (0,1,,)j i =。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
...
?
x
2 n
? ?
由于 n元函数的偏导数有 n×n个，而偏导数得 值与求导次序无关，所以函数的二阶偏导矩阵是 对称矩阵。
例1： 一般二元二次函数
f ( X ) ? 1 X T AX ? B T X ? C ，求H(X)。
2
解：
H
(X)
?
?
2
f
(X)
?
?
2(1
XT
AX ) ?
?
2(BT
X)?
?
2C
1)2
代入泰勒展开式得简化的二次函数：
f ( X ) ? f ( X (1) ) ? [? f ( X (1) )]T ( X ? X (1) ) ?
1 (X ? X(1) )T ? 2 f (X(1) )(X ? X(1) ) 2 ? 3x2 ? 6 ? 6(x1 ? 1)2 ? 6x12 ? 12x1 ? 3x2
＝x
3 1
-
x 23+3
x12+3
x
2 2
-
9x1在
点X(1)=[1,1]T 简化成二次函数。
f ( X ) ? f ( X (k ) ) ? [? f ( X (k ) )]T ( X ? X (k ) ) ?
1 ( X ? X (k ) )T ? 2 f ( X (k ) )( X ? X (k ) ) 2
BT
X
?
????
b1 b2
?????x1
? x2 ? b1 x1 ? b2 x2
? ? 2 ( BT X ) ? ? 2 (b1 x1 ? b2 x2 ) ? 0
? 2C ? 0
?
H
(X)
?
?
2
f
(X)
?
?a 11 ??a 21
a a
12 22
? ? ?
?
A
例2: 用泰勒展开的方法将函数
f(X)
式中
?? 2 f (X (k) )
? 2 f ( X (k) )?
?
?
2
f
(X) ?
H ( X (k) ) ?
? ?
? x12 :
...
? x1? x n
? ?
...
:?
?? 2 f (X (k) )
? ?
? x n ? x1
...
? 2 f ( X (k) )?
?
x
2 n
? ? XT
AX?
????
x1 x2
????????aa2111
a12 a22
????
x1
x2 ? a11x12 ? 2a12x1x2 ? a22x22
?
?
2(1 2
XT
AX)
?
?
2[1
2
(a
11
x12
?
2a12 x1 x2
?
a 22 x22 )] ?
?a 11 ??a 21
a12 ?
a
22
? ?
?
?x1 ??x2
? ? ?
?
?1? ??1??
?
? x1
? ?
x2
? 1? ? 1??
(3)得到泰勒展开式的二次项为：
1 (X
?
X (1) )T ?
2
f
( X (1) )( X
?
X (1) )
2
?
1 2
?x1
?1
x2 ? 1????102
0??x1 0????x2
? ?
1? 1??
?
6( x1
?
式中
?? 2 f ( X (k))
? 2 f ( X (k) )?
? ?
? x12
...
? x1? x n
? ?
? 2 f (X ) ? H (X (k)) ? ?
:
...
:?
?? 2 f ( X (k))
? ?
?xn ?x1
...
? 2 f ( X (k) )?
?
x
2 n
? ?
称为f(x)的海森(Hessian) 矩阵，常用H(X(k))表示。
f(x)的海森(Hessian) 矩阵，常用H(X(k))表示。
?? 2 f ( X (k) )
? 2 f ( X (k))?
?
?
2
f (X) ?
H ( X (k)) ?
? ?
?
x
2 1
:
...
?x1?xn
? ?
...
:?
?? 2 f ( X (k) )
? 2 f ( X (k))?
? ?
?xn?x1
第四章 非线性规划的数学基础
4-1 多元函数的Taylor 展开式 4-2 函数的方向导数与最速下降方向 4-3 二次函数及正定矩阵 4-4 无约束优化问题的极值条件 4-5 有约束优化问题的极值条件
4.1 多元函数的泰勒展开
由高等数学知，一元函数 f(x)若在点x （k）的
邻域内 n 阶可导，则函数可在该点的邻域内作如 下泰勒展开：
f (x) ? f (x(k))? f ?(x(k))?(x ? x(k))? 1 f ??(x(k))?(x ? x(k))2 ? ???? Rn 2!
多元函数f(x)在x（k）点也可以作泰勒展开 ,其展
开式一般取三项 ,其形式与一次函数的形式的前三
项是相似的 .
? f ( X) ?
f (X(k))?
4.2方向导数与梯度
为了尽快找到目标函数 f(X)的极小值点，研究函 数在其定义空间中的变化规律是必须的。
譬如说，若是已知在设计空间的某一点处函数 的取值沿某一个方向下降得最快，于是我们就可以 从该点出发，沿着这个方向去寻找函数的极小值点。
为此，这里要引用函数的方向导数和梯度。
对一元函数而言，函数的导数是描述函数相对于自 变量变化快慢程度的一个量。
n i?1
?f
(X(k)) ?xi ( xi
?
x
( i
k
)
)
?
? 1 n ?f ( X (k ) )
2 i, j?1 ?xi?x j ( xi
?
xi(k ) )( x j
?
x
(k j
)
)
写成矩阵形式：
f ( X ) ? f ( X (k ) ) ? [ ? f ( X (k ) )]T ( X ? X (k ) ) ? 1 ( X ? X (k ) )T ? 2 f ( X (k ) )( X ? X (k ) ) 2
多元函数的偏导数是描述当只有一个自变量变化， 而其余自变量保持不变的情况下，函数的变化率。具 有n个自变量的函数
f(X)=f(x1, x2, …xn） 在X(0)＝[x1(0), x2(0), …xn(0)]T点的一阶偏导数记为
? ? Si
?
?f X ?0? ?xi
，i=1，2，…，n
它是一个标量。
函数的偏导数仅仅描述了函数沿其自变量所在坐标轴的 特定方向上的变化率在许多实际问题中，常常需要 知道函数沿其它任一方向上的变化率。对这样的问题就 要借助于函数的方向导数来描述。
f ( X(1) ) ? ?3
?
f ( X(1) ) ?
?3 ?
x12
?
?? 3x22
6
x1
?
9? ?
? 6x2
??1? ??1??
?
?0? ??3??
(2)求得二阶导数矩阵为：
?
2
f
(
X(1)
)
?
?6x1 ?
? ?
0
6
?
0 6x2
?
? 6???1?
?
?12 ?? 0
0? 0??
而且
??1??
X
?
X (1)