最优化方法第六章二次规划

合集下载

最优化方法第六章二次规划

集合为w(x) E I x ，则 x也必是问题
min 1 xTGx d T x
2
(3)
s.t. aiT x bi , i E I x
的局部极小点.
反之，如果 x是(1)的可行点，且是问题(3)的 K-T 点，而且
相应的 Lagrange 乘子满足
i 0, i I x
(4)
则 x也是原问题(1)的 K-T 点.
ABT xB ANT xN b 相关的量 x, g, A 与 G 作如下分块：
xxB xNAAB ANGGBB GNB
GBN GNN
g
gB gN
其中xB Rm, xN Rnm , 其余类似．
该分块使得 AB 为 mm阶非奇异方阵，因此 AB1 存在，此时由上面方程可得：
xB ABT 1 b ANT xN
s.t
x1 2x2 x3 4 0
x1 x2 x3 2 0
解：
2
G 2
2
b
4 2
1 1 A 2 1
1 1
rA 2
2 0
0
2
0 1 1 x1 0
0
2
1
x2
0
0
1
0 2
2 1
1 0
1
0
x3
1
0 4
1 1 1 0 0 2 2
x*T , *T 2 , 10 , 6 , 8 , 4
其中
x*
2
7 7 , 10 , 6
T
7 ,
7
7
7 7 7
* 8 , 4 为最优乘子.
7 7
练习
(1)用Lagrange方法求解：
min f x 2x12 x22 x1x2 x1 x2

最优化设计课后习题答案

最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P27习题2、4、643第三章最速下降法和牛顿法P41习题1，2，374第四章共轭梯度法P51习题1，3，6(1)105第五章拟牛顿法P73-2126第六章信赖域方法P86-8147第七章非线性最小二乘问题P98-1，2，6188第八章最优性条件P112-1，2,5,6239第九章罚函数法P132，1-(1)、2-(1)、3-(3),62610第十一章二次规划习题11P178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4 1.验证下列各集合是凸集:(1)S={(x1,x2)|2x1+x2≥1,x1−2x2≥1};需要验证：根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1−λ)y∈S.即,(λx1+(1−λ)y1,λx2+(1−λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，{2x1+x2≥1,x1−2x2≥12y1+y2≥1,y1−2y2≥1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1−λ,然后再相加，即得λ(2x1+x2)+(1−λ)(2y1+y2)≥1,λ(x1−2x2)+(1−λ)(y1−2y2)≥1(2)合并同类项，2(λx1+(1−λ)y1)+(λx2+(1−λ)y2)≥1,(λx1+(1−λ)y1)−2(λx2+(1−λ)y2)≥1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x)=x21−2x1x2+x22+2x1+3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。

求解二次规划问题的拉格朗日及有效集方法

求解二次规划问题的拉格朗日及有效集方法——最优化方法课程实验报告学院：数学与统计学院班级：硕2041班姓名：王彭学号：3112054028指导教师：阮小娥同组人：钱东东求解二次规划问题的拉格朗日及有效集方法求解二次规划问题的拉格朗日及有效集方法摘要二次规划师非线性优化中的一种特殊情形，它的目标函数是二次实函数，约束函数都是线性函数。

由于二次规划比较简单，便于求解（仅次于线性规划），并且一些非线性优化问题可以转化为求解一些列的二次规划问题，因此二次规划的求解方法较早引起人们的重视，称为求解非线性优化的一个重要途径。

二次规划的算法较多，本文仅介绍求解等式约束凸二尺规划的拉格朗日方法以及求解一般约束凸二次规划的有效集方法。

关键字：二次规划，拉格朗日方法，有效集方法。

- 1 -《最优化方法》课程实验报告- 2 - 【目录】摘要........................................................................................................................... - 1 -1 等式约束凸二次规划的解法............................................................................... - 3 -1.1 问题描述.................................................................................................... - 3 -1.2 拉格朗日方法求解等式约束二次规划问题............................................ - 3 -1.2.1 拉格朗日方法的推导...................................................................... - 3 -1.2.2 拉格朗日方法的应用...................................................................... - 4 -2 一般凸二次规划问题的解法............................................................................... - 5 -2.1 问题描述.................................................................................................... - 5 -2.2 有效集法求解一般凸二次规划问题........................................................ - 6 -2.2.1 有效集方法的理论推导.................................................................. - 6 -2.2.2 有效集方法的算法步骤.................................................................. - 9 -2.2.3 有效集方法的应用........................................................................ - 10 -3 总结与体会......................................................................................................... - 11 -4 附录..................................................................................................................... - 11 -4.1 拉格朗日方法的matlab程序................................................................. - 11 -4.2 有效集方法的Matlab程序 .................................................................... - 11 -求解二次规划问题的拉格朗日及有效集方法- 3 -1 等式约束凸二次规划的解法1.1 问题描述我们考虑如下的二次规划问题⎪⎩⎪⎨⎧=+b Ax t s x c Hx x T T ..,21min (1.1) 其中n n R H ⨯∈对称正定，n m R A ⨯∈行满秩，n R x c,∈，m R b ∈。

最优化二次规划

关于(1问 .4 1)的题 KK 系 T统解,的有存下在面 :性的
定理11.1.1设矩阵A行满秩,若二阶充分条件成 ,则立线性方程(组 .)的系数矩阵
QA
AT
非奇异,因此线性方程(组.)有惟一解 .
证明：为证明系非数奇,矩异只阵需证明齐次线组性
QA
AT
dv
仅有零. 解
如果 iAk,aiTxk1bi,则 Ak1Ak {i}
为计算可 dk,我行们方修向 (1改 .11如 0 问 ) 下题
令 d x-x k,即 x x k d代入 (1.1 1问得 0)题到 ,
minf(x)1 2dTQ df(xk)Td s.t.aiTd0,iAk
(11.11)
设 (1.11)1的解 dk,容为易,x看 k是出问 (1.11 题 )0的解等于 dk 0是问 (1.1 题 1)1的.解因此1定 1.等 2理 .1价于下面的定理：
由于 x*是 KK点 T,故存在 *,乘使子得
Q*xqAT*
所以 f(x ) f(x * )* T A d
因此, x*是全局最优.解
注意D ： ,当但二阶条件 ZTQ 不不 Z成正立 ,定则或时
问(题 .)无解或有 . 无界解 (1) 若ZTQZ不定 ,即有负特,存征在 u值 0,使得
唯一解.
利用H 投 es影矩 sia,阵定 n 1理 .1 1.1可以等价 : 描述
定1理 .1.2设矩 A行阵满 ,若秩二次规 (1.1 4划 )的问投影 Hes矩 siaZ 阵 T nQ正 Z ,定则线性(1方 .1 5)有程惟组.一
众所,周由知于二次规数划是的线约 ,故性束 AC的函 Q 成,立从而二次规必划定的 K是最 K点 T.优反解 ,之在一定条 , K 件 K点下 T也必定是: 其最优解

最优化二次规划

对比分析不同二次规划算法（如梯度下降法、牛顿法、内点法等）在求解这些问题时的迭代次数、计算时间、收敛性等方面的表现。
实验结果分析
迭代次数与计算时间
收敛性
记录并分析不同算法在求解各个问题实例时的迭代次数和计算时间，评估算法的收敛速度和计算效率。
观察并记录算法的收敛情况，包括是否收敛、收敛速度如何等，以评估算法的稳定性和可靠性。
1 2 3
图像处理
在图像处理中，利用二次规划方法进行图像去噪、增强和分割等操作，提高图像质量。
机器学习
在支持向量机（SVM）、逻辑回归等机器学习算法中，运用二次规划求解最优分类超平面或回归模型参数。
运筹学
在物流、供应链管理等运筹学问题中，通过二次规划求解最优的运输路径、库存策略等方案。
05 二次规划的数值实验与案例分析
模型建立与求解
模型建立
根据实际问题背景，建立相应的二次规划数学模型，包括确定目标函数、约束条件以及决策变量等。
求解方法
二次规划问题的求解方法主要包括解析法、数值法和智能优化算法等。其中解析法适用于小规模问题，数值法如内点法、有效集法等适用于中等规模问题，智能优化算法如遗传算法、粒子群算法等适用于大规模复杂问题。
06 二次规划的发展趋势与挑战
CHAPTER
研究现状与发展趋势
理论研究
随着计算机技术的发展，二次规划的理论研究不断深入，包括算法的收敛性、稳定性、复杂性等方面的研究。
应用领域拓展
二次规划在金融、经济、工程、管理等领域的应用不断拓展，如投资组合优化、生产计划安排、物流运输等问题中。
算法改进与优化
适用范围
适用于具有不等式约束的二次规划问题。
其他方法

第六章最优化理论

1.
基本思想：
每次搜索只允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法。它把多变量的优化问题轮流地转化成单变量（其余变量视为常量）的优化问题，因此又称这种方法为变量轮换法。此种方法只需目标函数的数值信息而不需要目标函数的导数。
计算步骤:
⑴任选初始点,确定搜索方向
如满足，迭代中止，并输出最优解否则，令k←k+1 返回步骤（2）
最优解
x* x k
F * F ( x*)
开始给定 x0 ,ε
0
坐标轮换法的流程图
i←i+1
K←1 i←1
沿ei方向一维搜索αi
xk xk k e i i 1 i i
x xik
f←f(x)
7.9883 x* x 5.9981
5 2
f * f ( x*) 7.95025
3. 方法评价：
• 方法简单，容易实现。 • 当维数增加时，效率明显下降。
收敛慢，以振荡方式逼近最优点。
•
受目标函数的性态影响很大。如图 a) 所示，二次就收敛到极值点；如图 b) 所示，多次迭代后逼近极值点；
f ( x ) f [ x ak f ( x )] min f [ x af ( x )]
k 1 k k k k a
设： ( ) f [ x af ( x )]
k k
根据一元函数极值的必要条件
( ) 0
可以得最佳步长
复合函数求导公式得
( ) f [ x k ak f ( x k )]
f ( x1 ) (2 4 0 ) 2 25(2 100 0 ) 2

第16讲二次规划

xB x = ， xN
其中 xB ∈ R m , xN ∈ R n−m .
AB 可逆，对应 A 的分解为 A = 使得 AB 可逆，则等式约束可写 AN
成：
T T AB xB + AN xN = b ，
(3)
− 的存在，由于 AB1的存在，故知 − T xB = AB 1 (b − AN xN ) .
模型的建立
设投资的期限是一年，可供选择的金融资产数为。设此n中设投资的期限是一年，可供选择的金融资产数为n。设此中金融资产的年收益为随机变量ξ = (ξ1 , ξ 2 ,⋯ , ξ n ) ' 。由于我们金融资产的年收益为随机变量主要关心投资的分配比例，不妨设投资总数为1个单位，用个单位，主要关心投资的分配比例，不妨设投资总数为个单位于第j中投资的资金比例为于第中投资的资金比例为 w j ( j = 1, 2, ⋯ , n ) ，令
w= (w , w2,⋯, wn)' 1
称为投资组合向量，显然应有：称为投资组合向量，显然应有：
n
∑
w
j = 1
j
= 1
也是一个随机变量，投资一年的收益 w ' ξ 也是一个随机变量，期望收益为
E(w'ξ ) = E(ξ1)w1 + E(ξ2 )w2 +,⋯, +E(ξn )wn
马库维茨建议用随机变量风险的度量，风险的度量，即
ˆ ˆ ˆ 正定,则由(5) (5)式可得唯一解: ∗ 如果 G 正定,则由(5)式,可得唯一解: xN = −G −1 g N .
代入(4)式可得对应的 ∗ 代入(4)式可得对应的 xB . (4)
从而问题的最有解：从而问题的最有解：

《最优化方法》课程教学大纲

最优化方法》课程教学大纲课程编号：100004英文名称：Optimizatio n Methods一、课程说明1. 课程类别理工科学位基础课程2. 适应专业及课程性质理、工、经、管类各专业，必修文、法类各专业，选修3. 课程目的（1 ）使学生掌握最优化问题的建模、无约束最优化及约束最优化问题的理论和各种算法;（2）使学生了解二次规划与线性分式规划的一些特殊算法；（3）提高学生应用数学理论与方法分析、解决实际问题的能力以及计算机应用能力。

4. 学分与学时学分2,学时405. 建议先修课程微积分、线性代数、Matlab语言6. 推荐教材或参考书目推荐教材：（1）《非线性最优化》（第一版）.谢政、李建平、汤泽滢主编.国防科技大学出版社.2003年.孙（第一版）参考文瑜、徐成贤、朱德通主编.高等教育出版社.2004年（2）《最优化方法》书目：（第一版）.胡适耕、施保昌主编.华中理工大学出版社.2000年（1）《最优化原理》（2）《运筹学》》（修订版）.《运筹学》教材编写组主编.清华大学出版社.1990年7. 教学方法与手段（1）教学方法：启发式（2）教学手段：多媒体演示、演讲与板书相结合8. 考核及成绩评定考核方式：考试成绩评定：考试课（1）平时成绩占20%形式有：考勤、课堂测验、作业完成情况（2）考试成绩占80%形式有：笔试（开卷）。

9. 课外自学要求（1）课前预习；（2）课后复习；（3）多上机实现各种常用优化算法。

二、课程教学基本内容及要求第一章最优化问题与数学预备知识基本内容：（1 ）最优化的概念；（2）经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）最优化问题的模型及分类；（4）向量函数微分学的有关知识；5）最优化的基本术语。

基本要求：（1）理解最优化的概念；（2）掌握经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）了解最优化问题的模型及分类；（4）掌握向量函数微分学的有关知识；（5）了解最优化的基本术语。

最优化方法教案

第一章最优化问题及数学预备知识最优化分支：线性规划，整数规划，几何规划，非线性规划，动态规划。

又称规划论。

应用最优化方法解决问题时一般有以下几个特点：1. 实用性强2. 采用定量分析的科学手段3. 计算量大，必须借助于计算机4. 理论涉及面广应用领域：工业，农业，交通运输，能源开发，经济计划，企业管理，军事作战……。

§1.1 最优化问题实例最优化问题：追求最优目标的数学问题。

经典最优化理论：（1）无约束极值问题：),,,(opt 21n x x x f（),,,(m in 21n x x x f 或),,,(m ax 21n x x x f ）其中，),,,(21n x x x f 是定义在n 维空间上的可微函数。

解法（求极值点）：求驻点，即满足⎪⎪⎩⎪⎪⎨⎧='='='0),,(0),,(0),,(11121n x n x n x x x f x x f x x f n并验证这些驻点是否极值点。

（2）约束极值问题：),,,(opt 21n x x x fs.t. )(,,2,1,0),,,(21n l l j x x x h n j <==解法：采用Lagrange 乘子法，即将问题转化为求Lagrange 函数),,(),,,(),,;,,,(1121121n j j lj n l n x x h x x x f x x x L λλλ∑=+=的无约束极值问题。

近代最优化理论的实例：例1 (生产计划问题) 设某工厂有3种资源B 1，B 2，B 3，数量各为b 1，b 2，b 3，要生产10种产品A 1，…，A 10 。

每生产一个单位的A j 需要消耗B i 的量为a ij ，根据合同规定，产品A j 的量不少于d j ，再设A j 的单价为c j 。

问如何安排生产计划，才能既完成合同，又使总收入最多？（线性规划问题）数学模型：设A j 的计划产量为 j x ，z 为总产值。

最优化：二次规划

从而二阶充分条件等价于 y T Z T QZy d T Qd 0, 0 y R n-m 即矩阵Z T QZ 正定.
我们称Z T QZ为等式二次规划问题(11.4)的投影Hessian 矩阵或既约Hessian 矩阵
关于问题(11.4)的KKT系统解的存在性, 有下面的结论 :
定理11.1.1 设矩阵A行满秩, 若二阶充分条件成立, 则线性方程组(.)的系数矩阵 Q AT A 非奇异,因此线性方程组(.)有惟一解.
求得KKT点及乘子为 : * x ,
*
d d 令d , 得基础解系 Z
Z T QZ 13 0
T
所以x * 是最优解
由上面的分析知, 解等式二次规划问题(11.4)等价于解 KKT半正定, ai R , q, bi R
n
设x 是问题(11.1)的最优解存在Lagrange 乘子*满足 : f ( x )
* T i T i * * iE I
*
λ a
* i
* i i
0 (11.2)
a x bi 0, i E a x bi 0, λ 0, λ (a x bi ) 0, i I
f ( x* ) AT * AE x bE
* T * AI x* bI , I , * ( A x bI ) 0 I I
(.)
当只有等式约束时, (11.3)是一线性方程组.
第一节等式约束二次规划
考虑凸二次规划
min s.t. 1 T f ( x ) x Qx q T x 2 Ax b (11.4)

数学中的优化理论与最优化方法

数学中的优化理论与最优化方法一、优化理论概述1.优化理论的定义：优化理论是研究如何从一组给定的方案中找到最优方案的数学理论。

2.优化问题的类型：–无约束优化问题–有约束优化问题3.优化问题的目标函数：–最大值问题–最小值问题二、无约束优化方法1.导数法：–单调性：函数在极值点处导数为0–凸性：二阶导数大于0表示函数在该点处为凸函数2.梯度下降法：–基本思想：沿着梯度方向逐步减小函数值–步长：选择合适的步长以保证收敛速度和避免振荡3.牛顿法（Newton’s Method）：–基本思想：利用函数的一阶导数和二阶导数信息，构造迭代公式–适用条件：函数二阶连续可导，一阶导数不间断三、有约束优化方法1.拉格朗日乘数法：–基本思想：引入拉格朗日乘数，将有约束优化问题转化为无约束优化问题–适用条件：等式约束和不等式约束2.库恩-塔克条件（KKT条件）：–基本思想：优化问题满足KKT条件时，其解为最优解–KKT条件：约束条件的斜率与拉格朗日乘数相等，等式约束的拉格朗日乘数为03.序列二次规划法（SQP法）：–基本思想：将非线性优化问题转化为序列二次规划问题求解–适用条件：问题中包含二次项和线性项四、最优化方法在实际应用中的举例1.线性规划：–应用领域：生产计划、物流、金融等–目标函数：最大化利润或最小化成本–约束条件：资源限制、产能限制等2.非线性规划：–应用领域：机器人路径规划、参数优化等–目标函数：最大化收益或最小化成本–约束条件：物理限制、技术限制等3.整数规划：–应用领域：人力资源分配、设备采购等–目标函数：最大化利润或最小化成本–约束条件：资源限制、整数限制等4.动态规划：–应用领域：最短路径问题、背包问题等–基本思想：将复杂问题分解为多个子问题，分别求解后整合得到最优解5.随机规划：–应用领域：风险管理、不确定性优化等–基本思想：考虑随机因素，求解期望值或最坏情况下的最优解数学中的优化理论与最优化方法是解决实际问题的重要工具，掌握相关理论和方法对于提高问题求解能力具有重要意义。

《最优化方法》课程教学标准

《最优化方法》课程教学标准第一部分：课程性质、课程目标与要求《最优化方法》课程，是我院数学与应用数学、信息与计算科学本科专业的选修课程，是系统地培养数学及其应用人才的重要的课程之一，它与工农业生产等实际问题紧密联系。

本课程的目的是利用微积分的思想，结合线性代数，解析几何等其他数学科学的知识，来对各种实际问题建立优化模型，并构造优化算法，使学生学会和掌握本课程的基本优化模型、基础理论和方法，为他们解决实际问题提供思想与方法；同时，通过这门课本身的学习和训练，使学生们学习数学建模的一些基本优化方法，初步了解当今自然科学和社会科学中的一些非线性问题，为将来从事相关领域的科学研究和教学工作培养兴趣，做好准备。

教学时间应安排在第六学期或第七学期。

这时，学生已学完线性代数，基本学完数学分析等课程，这是学习《最优化方法》课程必要的基础知识。

同时，建议在条件允许的情况下，介绍利用常用的数学软件解决优化问题的基本方法和技能，使学生初步体会计算机在解决数学及其应用问题的重要作用，增强使用数学方法和计算机解决问题的意识和能力。

第二部分：教材与学习参考书本课程拟采用由孙文瑜、徐成贤和朱德通编写的、高等教育出版社2004年出版的《最优化方法》一书，作为本课程的主教材。

为了更好地理解和学习课程内容，建议学习者可以进一步阅读以下几本重要的参考书：1、最优化方法，施光燕、董加礼，高等教育出版社，19992、最优化理论与算法，陈宝林，清华大学出版社，1989第三部分：教学内容纲要和课时安排第一章基本概念主要介绍优化问题的基本模型、凸集和凸函数的概念和性质、最优性条件及最优化方法概述。

本章的主要教学内容（教学时数安排：6学时）：§1.1最优化问题简介§1.2凸集和凸函数§1.3 最优性条件§1.4 最优化方法概述第二章线性规划本章介绍线性规划的基本性质及其对偶理论，求解线性规划的单纯形方法和对偶单纯形方法以及内点算法。

最优化理论与方法-电子科技大学

f (x) = (1, 2)T ,
如上图中箭头所指的方向.
最后沿 (1,2)T 方向, 作目标函数值的一系列等值线(一族平行线). 由图可知, 沿目标函数值下降方向的等值线在点 x*=(2,3) 与可行集 R 唯一相交; 若目标函数值继续下降, 相应的等值线与可行集将不再相交.
截法
一
二
三
四五
六
七
八
需要量
70 2 1 1 1 0 0 0 0 100 长度 52 0 2 1 0 3 2 1 0 150
35 1 0 1 3 0 2 3 5 120
余料 5 6 23 5 24 6 23 5
选其中一种余料最少的截法, 但不能完成任务. 所以我们必须同时采取若干种截法, 配合起来, 在完成任务的条件下, 使总的余料最少.
j =1
(3) 转变“≥”约束为等式约束
n
aqj x j ≥ bq 引入 xn+q ≥0 , 使 j =1
n
aqj x j xnq = bq j =1
称变量 xn+q为剩余变量.
(4) 消除自由变量
标准形式要求 xi ≥0, 模型中如果出现 xi 可任取值, 则称 xi 为自由变量, 此时可作如下处理:
设采用第 i 种截法的钢管数目为 xi (i =1, …,8), 那么截出 70cm 的管料数目应为 (2x1 + x2 + x3+ x4 ) 根, 其总数应为100, 即
同理可得
2x1 + x2 + x3+ x4 = 100
2x2 + x3 + x4+ 3x5 + 2x6 + x7 ≥150 x1 + x3 + 3x4+ 2x6 + 3x7 + 5x8 ≥120

二次规划求解方法探讨

二次规划求解方法探讨李骥昭1 刘义山2(1.平顶山工业职业技术学院文化教育部1 河南平顶山 467001; 2.平顶山工业职业技术学院文化教育部2 河南平顶山 467001)摘要：文章推广与应用了二次非线性规划模型的基础理论及算法。

在线性规划模型中，活动对目标函数的贡献与活动水平成比例关系，因而目标函数是决策变量的线性函数，而在实际问题中，往往遇到活动对目标函数的贡献与活动水平不成比例关系的情形，即目标函数不是决策变量的线性函数，而是二次非线性函数，我们可以利用K-T 条件并转化为等价求解相应的线性规划问题。

经过分析可以得到结论，目标函数变成了线性函数，但约束函数中有一个非线性函数，这时问题仍然是非线性的。

应用Excel 规划求解工具解这个模型后我们知道如果投资者愿意承担多一点的风险，就可以获得更大的收益。

关键词：非线性规划，线性规划，目标函数，决策变量，模型中图分类：O226 文献标识：A 0 引言非线性规划是运筹学的一个重要分支，它在管理科学、系统控制等诸多领域有广泛应用。

非线性规划的任一算法都不能仅仅考察可行域极点的目标函数值来寻优。

非线性规划的最优点可能在其可行域的任一点达到，即最优解可能在极点，或边介点或内点达到。

在非线性规划问题中，其变量取值受到多个约束条件的限制，对其求解，一方面要使目标函数每次选代要逐次下降，且还要保持解的可行性。

这就给寻找最优解带来更大的困难。

为使求解能较顺利进行，一般采用将约束条件转化为无约束条件，化为较简单问题来处理[1]。

1 预备知识1.1 相关概念,相关定理若0x 使得()00>xg j 则称此约束条件是0x的不起作用约束；起作用约束：若0x 使得()00=xg j ，则称此约束条件是0x 的起作用约束[2]。

可行方向：若(){}0,,,,2,10|00>∈∃=≥=∈λnj E P L j x g x R x 的实数，使得[]0,0λλ∈，均有R P x ∈+λ0，则称方向P 是0x 的一个可行方向；当()P J j P xg Tj ,00∈>∇必为0x 的一个可行方向；下降方向：若0,00>∈∃∈λn E P R x 使得[]0,0λλ∈均有()()00x f P x f <+λ，则称P 为0x 的一个下降方向。