一般约束优化问题的一个新广义梯度投影法
变分不等式问题与算法
变分不等式问题与算法
变分不等式问题是一个广泛的研究领域，涉及经济、工程、物理和科学计算等多个领域。
这类问题通常描述了一类优化问题，其中目标函数是未知的，而约束条件则是通过某种形式的变分不等式来表达的。
简单来说，一个变分不等式问题是找到一个向量或函数，使得它满足某些条件，而这些条件通常由一个或多个不等式来表示。
这些不等式描述了某些变量之间的关系，而这些关系在问题的解中必须得到满足。
对于变分不等式问题的算法，有许多不同的方法可以用来求解。
以下是一些常见的算法：
1. **投影梯度法**：这是一种迭代方法，通过不断投影和更新解向量来逼近问题的解。
在每一步迭代中，算法会计算当前解向量的梯度，并沿着负梯度的方向进行投影，以找到新的解向量。
2. **增广拉格朗日法**：这种方法结合了拉格朗日乘数法和罚函数法，通过引入一个增广拉格朗日函数来求解变分不等式问题。
这种方法在处理约束优化问题时特别有效。
3. **次梯度法**：这种方法适用于没有封闭形式的解的变分不等式问题。
在每一步迭代中，算法会计算当前解的次梯度，并沿着该方向进行搜索，以找到新的解向量。
4. **预条件共轭梯度法**：这是一种迭代方法，结合了共轭梯度法和预条件技术。
这种方法适用于大规模的变分不等式问题，因为它可以在较少的迭代次数内找到问题的解。
5. **广义梯度法**：这种方法适用于处理包含多个不等式约束的变分不等式问题。
它通过引入广义梯度来更新解向量，以逼近问题的解。
这些算法各有优缺点，适用于不同类型和规模的变分不等式问题。
在实际应用中，选择哪种算法取决于问题的具体性质和要求。
投影梯度法求解约束问题
投影梯度法求解约束问题1.引言在优化问题中，当我们需要解决一个带约束条件的最优化问题时，投影梯度法（P ro je cte d Gr ad ie nt De sc ent）是一种常用的解决方法。
投影梯度法通过将迭代更新的方向投影到可行域上，从而保证每次更新都满足约束条件。
2.算法原理2.1梯度下降法梯度下降法是一种迭代优化算法，其目标是最小化一个函数。
该算法通过计算目标函数的梯度来确定下降的方向，并沿着梯度的负方向更新参数，直至达到最小值。
2.2投影操作在投影梯度法中，我们需要对更新的方向进行投影操作，以满足约束条件。
投影操作将迭代更新的方向限制在可行域内，确保每次更新都不会违背约束条件。
2.3投影梯度法投影梯度法结合了梯度下降法和投影操作。
算法的步骤如下：1.初始化参数$\m ath b f{x}$；2.计算目标函数的梯度$\na bl af(\mat h bf{x})$；3.更新方向为梯度的负方向$-\n ab la f(\ma th bf{x})$；4.进行投影操作，将更新的方向投影到可行域上；5.更新参数$\ma th bf{x}$；6.重复步骤2-5，直至满足停止条件。
3.实例应用为了更好地理解投影梯度法的应用，我们以一个具体的优化问题为例进行说明。
假设我们需要最小化目标函数$f(\ma th bf{x})=x_1^2+x_2^2$，并且有约束条件$x_1+x_2=1$和$x_1\ge q0$。
我们可以使用投影梯度法来解决这个优化问题。
具体步骤如下：1.初始化参数$\m ath b f{x}^0=(0,0)$；2.计算目标函数的梯度$\na bl af(\ma th bf{x}^k)=(2x_1^k,2x_2^k)$；3.更新方向为梯度的负方向$-\n ab la f(\ma th bf{x}^k)=(-2x_1^k,-2x_2^k)$；4.进行投影操作，将更新的方向投影到可行域上，即满足约束$x_1+x_2=1$和$x_1\ge q0$；5.更新参数$\ma th bf{x}^{k+1}$；6.判断是否满足停止条件，如果满足则停止，否则回到步骤2。
机械优化设计约束优化方法
（1）直接法
直接法包括：网格法、复合形法、随机试验法、 随机方向法、可变容差法和可行方向法。
（2）间接法
间接法包括：罚函数法（内点罚函数法、外点罚 函数法、混合罚函数法）、广义乘子法、广义简约梯 度法和约束变尺度法等。
直接解法通常适用于仅含不等式约束的问题，思路是
如前所述，在求解无约束问题的单纯形法中，不 需计算目标函数的梯度，而是靠选取单纯形的顶点并 比较各顶点处目标函数值的大小，来寻找下一步的探 索方向的。在用于求解约束问题的复合形法中，复合 形各顶点的选择和替换，不仅要满足目标函数值的下 降，还应当满足所有的约束条件。
基本思想：在可行域中选取K个设计点 （ n+1≤K≤2n）作为初始复合形的顶点。比较各顶点目标 函数值的大小，去掉目标函数值最大的顶点(称最坏点) ，以坏点以外其余各点的中心为映射中心，用坏点的 映射点替换该点，构成新的复合形顶点。
取次好点和好点连线的中点为X(0)。
令：X(4)= X(0)+α(X(0)-X(H))
称X(4)为映射点，记为X(R)，α为映射系数，通常取 α=1.3，可根据实际情况进行缩减。
一般情况下，映射点的函数值比坏点的函数值要 小，即F(X(R))< F(X(H))。若满足可行域，则用X(R)代替 X(H)构成新的复合形。如此反复迭代直到找到最优解。
（3）计算坏点外的其余各顶点的中心点X(0)。
X0
1 K K1j1
X(j),
j
H
（4）计算映射点X(R)
X (R )X (0 )(X (0 )X (H ))
检查X(R)是否在可行域内。若X(R)为非可行点，将映 射系数减半后再按上式改变映射点，直到X(R)进入可行 域内为止。
广义约化梯度法
广义约化梯度法
广义约化梯度法是一种优化算法，它被广泛应用于机器学习和人工智能领域。
这种算法可以被用来优化非线性问题，比如最小二乘问题和非线性规划问题。
本文将介绍广义约化梯度法的原理和应用。
广义约化梯度法是一种迭代优化算法，其目标是最小化一个函数。
这个函数可以代表着一个模型的误差或者损失函数。
广义约化梯度法通过迭代，不断调整模型参数，使得误差或损失函数最小化。
广义约化梯度法的核心思想是使用梯度下降来调整模型参数。
梯度是函数在某一点的斜率，它可以告诉我们函数在这一点的变化方向。
梯度下降是一种基于梯度的优化算法，它通过沿着梯度的反方向来调整模型参数，以使函数值最小化。
广义约化梯度法与传统的梯度下降算法不同之处在于，它使用了一个类似于牛顿法的“缩放”步骤。
这个步骤可以缩放梯度向量的每个元素，以使得每个元素的尺度相同。
这个步骤可以加速梯度下降的收敛速度，同时也可以避免一些数值问题。
广义约化梯度法有许多应用。
在机器学习中，它可以被用来训练神经网络和支持向量机等模型。
在人工智能领域，它可以被用来发现规律和模式，从而进行预测和决策。
广义约化梯度法的一个重要应用是图像处理。
通过广义约化梯度法，
可以对图像进行降噪、边缘检测和图像分割等处理。
这些处理可以被用来提高图像的质量和清晰度，从而更好地满足人们的需求。
广义约化梯度法是一种非常有用的优化算法，它可以被应用于许多不同的领域。
无论是机器学习、人工智能还是图像处理，都可以使用广义约化梯度法来提高模型的性能和效率。
梯度投影法
m
l
∑ ∑ 常用罚函数有 p( x ) = min 2 (0, gi ( x )) + h j 2 ( x ).
i=1
j=1
罚函数法：
Step1 取初始点 x (0) ，初始罚因子 σ 1 > 0 ，增长因子 β > 1 ，允许
则 x* 是（EOP）的严格局部最优解．
例1.3 用K-T法求解最优化问题：
⎪⎧min ⎪⎩⎨ s.t.
f ( x) = x12 − 3 x2 − x22 , h( x) = x2 = 0.
§2 罚函数法
考虑一般约束最优化问题
(GOP )
⎧min f ( x ),
⎪ ⎨s.t.
gi ( x ) ≥ 0, i = 1,2,L , m ,
转Step2．
δ k +1 = βδ k , k = k + 1,
定理3.1 如果（IOP）的最优解存在，{ x (k ) } 是用障碍函数法求解 （IOP）产生的点列，则 { x (k ) } 的任一极限点 x 是（IOP）的最优解．
例3.1 用障碍函数法求解最优化问题：
⎧min ⎨ ⎩ s.t.
例1.1 设有最优化问题：
⎧min ⎪ ⎪ s.t. ⎪⎪ ⎨ ⎪ ⎪ ⎪ ⎪⎩
f ( x) = −3 x12 − x22 − 2 x32 , g1( x) = − x1 + x2 ≥ 0, g2 ( x) = x1 ≥ 0, g3 ( x) = x2 ≥ 0, g4 ( x) = x3 ≥ 0, h1( x) = x12 + x22 + x32 − 3 = 0,
约束优化问题的广义投影梯度算法分析
第24卷第2期山东科技大学学报(自然科学版)Vol.24No.2 2005年6月Journal of Shandong University of Science and Technol ogy(Natural Science)Jun.2005文章编号:1672-3767(2005)02-0088-03约束优化问题的广义投影梯度算法分析3张序萍1,2,王永丽1,贺国平1(1.山东科技大学信息科学与工程学院,山东青岛266510; 2.山东科技大学泰安校区公共课部,山东泰安271019)摘 要:对非退化和退化两种情形下的不等式约束优化问题的广义投影梯度算法作了分析,发现所采用的两种不同的求解迭代方向的方法在本质上是相同的。
公式法结构简单、便于计算,而在处理退化问题上线性系统求解则体现优越性。
关键词:非线性约束优化问题;广义投影梯度算法;线性系统;退化问题中图分类号:O224 文献标识码:AAna lysis on Genera li zed Grad i en t Projecti on M ethodof Con stra i n ed O pti m i za ti onZHANG Xu2p ing1,2,WANG Yong2li1,HE Guo2p ing1(1.College of I nfo Science.&Eng.,S UST,Q ingdao,Shandong266510,China;2.Dep t.of Public Courses,Taian Campus,S UST,Taian,Shandong271019,China)Abstract:This paper analyzes the generalized gradient p r ojecti on method for inequality constrained op ti m iza2 ti on p r oble m s under both non-degeneracy and degeneracy,and finds that t w o methods adop ted for s olving the different iterati on directi ons are the sa me in essence.The structure of the for mula is si m p le and easy t o com2 pute,the linear syste m method is superi or t o the for mer for handling the degeneracy p r oble m.Key words:nonlinear constrained op ti m izati on p r oble m;generalized gradient p r ojecti on method;linear sys2 te m;degeneracy p r oble m 投影梯度方法由于其结构简单,数值效果好,而一直作为求解约束优化问题的基本方法之一,同时由于广义投影梯度方法避开了计算量较大的转轴运算,因而自问世以来就一直受到广泛的关注,陆续得到了一些更简单实用的算法。
约束优化常见算法
第五章约束优化常见算法定义5.1设x ∈S为一可行点, S∈ℝn ，假设存在S > 0, 使对∀S∈ [0, S ]均有S + SS∈S , 那么称S是可行域S在可行解S处的可行方向, 可行域S在可行解ˉS处的所有可行方向记为FD(S , S ), 简记为FD(S )定理5.1设S是问题(5.1)的可行解，在点S处有A 1S =b 1, A 2S > b 2，其中A =[A 1A 2]，B =[b 1b 2] 那么非零向量S为S处的可行方向的充要条件是A 1S≥ 0,SS = 0。
Zoutendijk 方法：如果非零向量S同时满足∇f (x )T S < 0, A 1S≥ 0,SS = 0，那么S 是在S处的下降可行方向。
因此，Zoutendijk 法把确定搜索方向归结为求解线性规划问题:min ∇f (x )T Ss.t A 1S≥ 0SS = 0‖S‖≤ 1.(5.2)其中增加约束条件‖S‖≤ 1是为了获得一个有限解。
在(5.2)中，显然S = 0是可行解, 因此最优目标值小于或等于零．如果∇f (x )T S < 0，那么得到下降可行方向S；如果最优值为零, 那么有如下结果.定理5.2考虑问题(5.1)，设S是可行解，在点S处有A 1S = b 1, A 2S > b 2，其中A =[A 1A 2]，B =[b 1b 2] 那么S为Kuhn-Tucker 点的充要条件是问题(5.2)的最优目标值为零。
Rosen 投影梯度法定义5.2设S为S阶矩阵，假设S =P T 且P 2= S，那么称S为投影矩阵。
定理5.3设S是问题(5.1)的可行解，在点S处，有S 1S = S 1,S 2S > S 2，其中A =[A 1A 2]，B =[b 1b 2] 又设M =[A 1E] 为行满秩矩阵，那么S = S −M T (MM T )−1S是一个投影矩阵, 且假设S ∇S (S )≠ 0，那么S = −S ∇S (S )是下降可行方向. 定理5.4设S是问题(5.1)的一个可行解, A 1, A 2,S的定义同定理5.3, 且S为行满秩矩阵，令S = (MM T )−1S ∇S (S ) =[u v]其中S和S分别对应于A 1和S . 假设S ∇S (S ) = 0，那么1 如果S≥ 0，那么S是K-T 点；2 如果S中含有负分量，不妨设u j < 0，这时从S 1中去掉u j 对应的行，得到Â1,令 M ̂=[A ̂1E],P ̂=I −M ̂T (M ̂M ̂T )−1M ̂ S = −P̂∇S (S ) 那么S为下降可行方向。
投影梯度法求解约束问题
投影梯度法求解约束问题1. 引言约束优化问题是现实生活中广泛存在的问题，涉及到许多领域，如经济学、工程学和运筹学等。
为了解决这类问题，我们需要采用一定的数学方法和算法。
本文将介绍投影梯度法这一求解约束问题的方法。
2. 约束优化问题约束优化问题可以被描述为以下形式：minimize f(x)subject to g i(x)≤0, i=1,2,…,mℎi(x)=0, i=1,2,…,p其中，f(x)是目标函数，g i(x)≤0是不等式约束条件，ℎi(x)=0是等式约束条件。
3. 投影梯度法投影梯度法是一种常用的求解约束优化问题的方法。
它通过梯度的投影来保证每一步迭代产生的解都满足约束条件。
3.1 梯度下降法在介绍投影梯度法之前，我们先来回顾一下梯度下降法。
梯度下降法是一种常用的无约束优化算法，通过迭代的方式逐步减小目标函数的值。
其迭代更新规则如下：x k+1=x k−αk∇f(x k)其中，x k是第k次迭代的解，αk是步长，∇f(x k)是目标函数在点x k处的梯度。
3.2 投影梯度法的思想梯度下降法只考虑了目标函数的优化，而没有考虑约束条件。
投影梯度法通过引入投影操作，保证每一步迭代的解都满足约束条件。
具体而言，投影梯度法的迭代更新规则如下：x k+1=P(x k−αk∇f(x k))其中，P(x)表示将点x投影到约束域上的操作。
3.3 投影操作投影操作的目的是将点x投影到满足约束条件的点。
对于不等式约束g i(x)≤0，投影操作可以通过将x移动到满足约束条件的最近点来实现：∥y−x∥2 s.t. g i(y)≤0, i=1,2,…,mP(x)=argminy对于等式约束ℎi(x)=0，投影操作可以通过将x移动到满足约束条件的最近点来实现：P(x)=argmin∥y−x∥2 s.t. ℎi(y)=0, i=1,2,…,py3.4 算法流程根据上述思路，我们可以得到投影梯度法的算法流程如下：1.初始化解x0；2.对于每一次迭代：–计算目标函数的梯度∇f(x k)；–更新解x k+1=P(x k−αk∇f(x k))；–如果满足停止条件，则输出解x k并终止迭代；–否则，返回步骤2。
约束优化问题的一种投影梯度Lagrange乘子法
１ Ｌ ｇａ ｇ ａ ｒｎ ｅ乘 子 法
将一个约束优化问题转化为无约束优化问题常用的手法有罚函数法和 Ｌｇ ｎｅ ａｒ ｇ 乘子法。 Ｌ ｇ ｎｅ ａ 而 ａｒ ｇ ａ
乘 子法 克服 了 目标 函数在极 小 处梯 度不 一定 为零 的不 足 ， 以 比罚 函数 法更 加有 效 。 所
１１ 最 优性 条件 ．
，
，＋ ｙ ∑ ）
ｓ ．ｈ ＝ ∈ ． ｉ ０ ｉ ｔ ）
；
； （） ２
ｘ（ ＞０ ｊ 。 ｊ ） ∈Ｉ ｘ１
令 ，） ） ，） ） ， ＿Ｊ（ √∈） ｙ ， ｙｈ ， ｙ ｙ ＝ ） ２ ∈ ，其中 ， ＝
转化仅含等式约束 的优化问题（ ） ３
；
为 ，） ｙ的松弛因子。 则可以将问题（ ） ２
；
ｇ １０ ｊ 、 ∈ｌ 。 ＞
（） ３
关于 问题 （ ） 问题 （ ） ２与 ３ 的关 系 ， 由如下 定理 描述 ：
定 ３ 问 （ 满 二 充性 件 正 点相 的ａｎ乘 为 ＋ ∈ 理 设 ．为题３ 足 阶 分 条 的则 ， Ｌａ 子 ， √ 【 １ ） 的 应 ｇｇ ｒｅ ∈ Ｉ
ＪＥ ｔ ｌ Ｅ Ｊ Ｊ
Ｊ ∽ ＝ ， Ｖ ∽ ＝ ： ｅ＇ ＝ Ｖ ｙ ０ 岛 ０ ∈ｊ Ｙ ∈ ∈
１２ Ｌ ｇ ａ ｇ ． ａ ｒ ｎ ｅ乘 子法
Ｊ ＞ ｝ 上正定 ， ０】 则 是局部极小点。
考 虑 问题 （ ） １ 的简 化情 形 ： ｍ ｆ￣ ｍ （）
第 ４期
张燕新 曹
毅： 约束优化问题的一种投影梯 度 Ｌ ｇａ ｇ 乘子法 ａ ｒｎ ｅ
７
定理２ （ 充分 二阶 性条件）设 ｓ存在Ｌ ｒ 乘子Ａ ０∈ ， ） Ｖ ＝ ∈ ， ａａ ｇｎ ≤ ， ∈ 使得： ）∑Ａ Ｖ ＋ Ｖ （ ， ｉ） √ 如 ∑ 岛 ３ｚ（： ∈。 果矩阵日 ）Ｖ ＋ ２ ＋ ｘＩ ｘ ０ ｊ＇ ｇ （ ＝ ∑Ａ ∑ Ｖ 在 Ｖｈ 岛 子空间Ｔ） （｛ ｘｙ Ｅ
《梯度投影法》课件
1. 计算梯度$g(x_k)$。
3. 如果$|P_{C}(x_k - alpha g(x_k)) - x_k| leq epsilon$，则 停止迭代；否则，令$x_{k+1} = P_{C}(x_k - alpha g(x_k)适的步长$alpha$是关键，可以使用线搜索或回溯法来确 定。
。
迭代更新
通过不断迭代更新当前点，逐步逼 近最优解。
收敛性
在适当的条件下，算法能够收敛到 全局最优解。
梯度投影法的算法
02
实现
梯度投影算法的步骤
迭代过程：对于$k=0,1,2,ldots$ ，执行以下步骤
2. 计算投影$P_{C}(x_k - alpha g(x_k))$。
初始化：设定一个初始点$x_0$， 以及一个正数$epsilon$和$0 < alpha < 1$。
对初始点敏感
该方法对初始点的选择较为敏感 ，如果初始点选择不当，可能会 导致算法收敛到局部最优解。
计算量大
梯度投影法涉及大量的矩阵运算 和迭代计算，对于大规模问题， 计算量较大，需要较长的计算时 间。
对参数敏感
该方法对某些参数的选择较为敏 感，如果参数设置不当，可能会 影响算法的性能和收敛速度。
改进方向与未来发展
选择合适的终止条件
选择合适的终止条件可以避免过度迭代，通常使用某种形式的误 差准则。
选择合适的初始点
选择一个接近最优解的初始点可以加速算法的收敛速度。
梯度投影算法的编程实现
编程语言
可以使用Python、MATLAB、C等编程语言实现梯度 投影算法。
实现难度
梯度投影算法的实现难度相对较低，但需要注意数值 稳定性和收敛性。
线性约束优化问题拓广的广义梯度投影算法
收稿日期:2001210212作者简介:孙清滢(1966-),男(汉族),山东青州人,副教授,在读博士研究生,研究方向为非线性规划。
文章编号:100025870(2002)0420103203线性约束优化问题拓广的广义梯度投影算法孙清滢1,2,刘新海1(1.石油大学应用数学系,山东东营257061;2.大连理工大学应用数学系,辽宁大连116024) 摘要:在去掉非退化假设条件下,提出了求解线性约束的非线性最优化问题的一个拓广的广义梯度投影算法,并在广义Armijo 步长探索下证明了算法的全局收敛性质。
关键词:非线性规划;最优化;广义梯度投影;收敛性中图分类号:O 221.2 文献标识码:A1 算 法考虑问题(L P ): max f (x ),s.t.a Tj x -b j ≥0,j =1,2,…,m.其中,f (x )∈C 1,a j ∈R n ,b j ∈R 1,x ∈R n 。
记g (x )= f (x ),A =(a j ,j ∈I )n ×m,I ={1,2,…,m },J (x )={j |a Tj x -b j =0,j ∈I}为x ∈R ={x ∈R n|a Tj x -b j ≥0,j ∈I}的紧约束集。
J (x )表示J (x )中元素的个数。
求解问题(L P )的梯度投影算法的收敛性一般都依赖于条件rank (A J (x ))=J (x ),即a j (j ∈J (x ))线性无关。
由于此条件对一般的规划问题较难验证,因此算法的实用性差。
笔者利用文献[1]的广义投影技术与处理退化情况的技术,即求一个适当的最大线性无关组结合,构造在去掉非退化假设条件下求解(L P )的广义梯度投影算法,从而拓广文献[1]的算法。
对问题(L P ),在退化情况下,一般有rank (A J (x ))<J (x ),即a j (j ∈J (x ))线性相关。
记J +<J (x )是使得a j ,j ∈J +为a j ,j ∈J (x )中极大线性无关组的指标集,也称J +<J (x )为J (x )的一组基,这时有rank (A J +)=J +,再记F J +={x |a Tj x =b j ,j ∈J +,x ∈R n}为n -J +维仿射流形。
第四章约束问题的最优化方法PPT课件
s.t. gu(x) 0,u1,2,...,p
2、等式约束优化问题（EP型）
minF(x)
xD Rn
s.t. hv(x) 0,v 1,2,...,q
3、一般约束优化问题（GP型）
min F(x)
x D Rn
s.t. gu( x) 0, u 1,2,..., p
1
hv ( x) 0, v 1,2,...,q
惩罚项：当迭代点在非可行域或不满足不等式约束条件时，在迭 代过程之中迫使迭代点逼近约束边界或等式约束曲面。
加权因子（即惩罚因子）： r1 , r2
无约束优化问题：m.in (x,r1,r2)
Φ函数的极小点序列 x (k)* ( r1 (k) , r2 (k) ) k= 0,1,2…
其收敛必须满足：
4. 求解过程分析：
18
§4.3 外点惩罚函数法 (衰减函数法）
一. 基本思想：
外点法将新目标函数
Φ( x , r ) 构筑在可行域 D 外，
随着惩罚因子 r(k) 的不断递增，
生成一系列新目标函数
Φ(xk ,r(k))，在可行域外逐步
迭代，产生的极值点 xk*(r(k))
4
序列从可行域外部趋向原目标
②
(x(k1) *((rx((kk 1 1)))*() r (k(1)x)k* )(r(k)))2
若均满足，停止迭代，有约束优化问题的最优点为 x* = xk*；
若有一个准则不满足，则令 x ( 0 ) x k * ( r ( k ) ) r ( k , 1 ) c r ( k ) , k k 1
5
m
p
新目标函数： (x,r1,r2)f(x)r1 u1G [gu(x) ]r2 v1H[hv(x)]
边界约束优化问题一个新的投影梯度方法
进一步，我们可以得到拟柯西方程：
s H k sk 1 s
T k 1 T k 1 k 1
(10)
y
.
Copyright © 2011 Hanspub
PM
48
牛善洲等 | 边界约束优化问题一个新的投影梯度方法
i i gk i i i i ki l i xk d ki p xk i xk l i xk 0 ， gk k
PM
则称点 x 为问题(1)的一个稳定点。
Copyright © 2011 Hanspub
牛善洲等 | 边界约束优化问题一个新的投影梯度方法
47
[6]中提出的，此方法提高了梯度方法的收敛速度并且
大大减少了计算量。因此，谱梯度方法被广泛应用于 求解无约束和约束优化问题[7-9]。 文献[10]基于拟柯西方程与对角变换提出了求解 无约束优化问题的一个单调的梯度方法，此方法的主 要思想是：如果对角变换得到的新的对角矩阵非正定 时， 将前一步的正定对角矩阵作为新的正定对角矩阵。 文献[11]提出了无约束优化问题的一个多元谱梯度方 法，并且具有二次终止性。此外，该方法引入非单调 线搜索后具有全局收敛性。基于多元谱梯度方法，文 献[4]提出了边界约束优化问题的一个多元谱投影梯 度方法。基于拟柯西方程与对角变换，本文提出了一 个新的投影梯度方法，并且采用文献[12]中的非单调 线搜索技术和一些限制保证算法的全局收敛性。
由(8)和(9)式，我们可以建立问题(1)的新的投影 梯度算法。给定 z R n ，定义集合 上的投影 p z ：
l i , if z i l i , p z z i , if l i z i u i , i i i u , if z u .
线性约束优化问题拓广的广义梯度投影算法
１ 算
法
ｆ ａｆ ｘ ， ｍｘ（）
【． 口 一６ ≥ ０ Ｊ＝ １２ …， ． ｓｔ Ｔ ． ， ，，
性子空间 Ｑ 和 Ｑ７ ｒ Ｌ的正交投影分别为
Ｐ ＋ ＝ （ — Ａ （ Ｊ Ａ ＋ Ｊ． ＝ Ｅ ２ ｊ Ａ ＋ ＋ ∈Ｑ＋ １ Ｔ ） Ｔ Ａ ） Ｊ （） ，
［］提供 的 一种 便 于计 算 的选 基 方 法 。 ２
Ｊ ｏ 的一组基， （＂ Ｚ ） 这时有 ｒ ｋＡｒ ａ （ ）＝ Ｊ＋ ， ｎ － Ｊ再记 ，
Ｆ ＝ ｛ Ｊａ ＝ ６， ∈ Ｊ ， ∈ Ｒ Ｊ Ｊ ＋ ｝为 ， ｚ—
由式 （ ） ， ４ 知 等式组 Ａ （ ＝Ｐ （ 一ｇ ） Ｊ） Ｊｇ ） （
总是 有解 的 ， 妨 设 不
Ｊ＋ 维仿射流形。 Ｊ －Ｊ 厂 Ｑ
．
：
｛ — ∈Ｆ ｝ ｏ ｆ Ｊ（ ｏ∈
．
Ｆ＋ Ｊ）为平 行 于 Ｆ 的 一Ｊ＋维线性子空间， Ｊ Ｊ Ｊ Ｑ
＋
为 Ｑｒ的正交 补子 空 间 ， 这样 ， 任 意 ∈ Ｒ ， 线 对 到
收 稿 日期 ：０ １１—２ ２ ０ ．０ １
＋ ＝
考虑 问题 （ Ｐ ： Ｌ ）
（ —Ｐ Ｅ ｊ
＋
ｘ
＝ Ａｊ
＋
（ Ｌ ｊ Ａ ∈Ｑ Ａ Ａ＋ ） ．
＝ ＋ ＋
（） ２
其中，（ 厂 ）∈ Ｃｌａ ， ｊ∈ Ｒ ６ ∈ Ｒ ， ∈ Ｒ ， 。
记 ｇ ｚ）＝ Ｔｆ ｘ） Ａ ＝ （ｊ Ｊ∈ ， ， ， （ （ ， ａ， ） ，＝
式 中， Ｅ是 单 位 阵 ， 和 Ｐ， 是 正 交 投 影 矩 阵 。 Ｐ， 由 Ｐ＋的定义 ， Ｊ 易见 Ｐ Ａｊ Ｊ
投影梯度算法
投影梯度算法简介投影梯度算法（Projected Gradient Descent）是一种优化算法，用于求解带约束的最优化问题。
在许多现实生活中的问题中，我们往往需要在满足一定约束条件下寻找最优解。
投影梯度算法通过使用梯度下降的思想，结合约束条件，有效地求解了这类优化问题。
梯度下降法回顾在介绍投影梯度算法之前，我们先简要回顾一下梯度下降法（Gradient Descent）。
梯度下降法是一种常用的无约束最优化算法，用于求解无约束最优化问题。
该算法通过不断迭代，逐步更新参数值，使目标函数逐渐收敛到最小值。
梯度下降法的基本思想是：在每一步迭代中，计算目标函数在当前参数值处的梯度（即变化率），然后朝着梯度的反方向更新参数值。
这样不断迭代，直到达到预定的停止条件。
有约束优化问题在实际问题中，很多时候我们需要在一定的约束条件下求解最优化问题。
例如，在飞机的设计过程中，我们可能需要在一定的约束条件下寻找满足最低油耗的最优翼型。
这时，梯度下降法就无法直接应用了，因为我们需要在保证翼型满足一定约束条件的前提下进行优化。
投影梯度算法原理投影梯度算法是一种在有约束条件下求解最优化问题的方法。
其核心思想是将每一步迭代的参数值投影回可行域内，以保证约束条件的满足。
算法步骤如下： 1. 初始化参数值。
2. 计算目标函数在当前参数值处的梯度。
3. 更新参数值，使其朝着梯度的反方向更新。
4. 将更新后的参数值投影回可行域内。
5. 判断是否达到停止条件，若是则停止迭代，否则返回步骤2。
在每一步迭代中，投影梯度算法通过将参数值投影回可行域内，确保约束条件的满足。
这样，在每一次参数的更新中，算法都能够找到满足约束条件的最优解。
适用场景投影梯度算法在许多实际问题中有着广泛的应用。
以下是几个适用场景的例子：1. 图像恢复在图像恢复领域，我们经常需要恢复出原始图像，但是由于图像受到噪声等因素的影响，我们只能观测到图像的一部分信息。
初始点任意的解非线性不等式约束优化问题的结合共轭梯度参数的超记忆梯度广义投影算法
初始点任意的解非线性不等式约束优化问题的结合共轭梯度参数的超记忆梯度广义投影算法*清滢新海石油大学应用数学系，，东营 257061GENERALIZED SUPER-MEMORY GRADIENT PROJECTION METHOD WITH ARBITRARY INITIAL POINT AND CONJUGATE GRADIENT SCALAR FOR NONLINEAR PROGRAMMING WITH NONLINEAR IN-EQUALITYCONSTRAINTSSun Qingying，liu xinhaiDepart. of Applied Mathematics, University of petroleum, Dongying, 257061AbstractIn this paper, by using generalized projection matrix, conditions are given on the scalars in the super-memory gradient direction to ensure that the super-memory gradient projection direction is a descent direction. A generalized super-memory gradient projection method with arbitrary initial point for nonlinear programming with nonlinear in-equality constraints is presented. The global convergence properties of the new method are discussed. Combining with conjugate gradient scalar with our new method, a new class of generalized super-memory gradient projection methods with conjugate gradient scalar is presented. The numerical results illustrate that the new methods are effective.Key words: Nonlinear programming, General projection, Nonlinear in-equality constraints, Super-memory gradient, Arbitrary initial point, Convergence关键词: 非线性规划，广义投影, 非线性不等式约束，超记忆梯度，任意初始点, 收敛1.引言梯度投影法是求解非线性约束最优化问题的基本方法之一，在最优化领域占有重要地位[1~6]. 如高自友在文[3]中建立了求解非线性不等式约束优化问题的计算量小，算法稳定的任意初始点下的广义梯度投影算法, 但算法收敛速度慢. 超记忆梯度算法是求解无约束规划的有效算法. 这类方法在迭代中较多地利用了已经得到的目标函数的某些信息，因而具有较快的收敛速度[7~8]. 若能将此法推广用于求解约束优化问题，可望改善现有算法的收敛速度. 高自友在文[9] 建立了求解非线性不等式约束优化问题的超记忆梯度算法. 时贞军[10,11]对无约束规划（p）提出了一种参数取值为区间的改进共轭梯度算法，并在水平集有界的条件下证明了算法的收敛性质. 受文献[9, 10, 11]的启发，本文利用广义投影矩阵，对求解无约束规划的超记忆梯度算法中的参数给出一种新的取值围以保证得到目标函数的超记忆梯度广义投影下降方向，并与处理任意初始点的方法技巧结合建立求解非线性不等式约束优化问题的一个初始点任意的超记忆梯度广义投影算法，并在较弱条件下证明算法的收敛性. 同时给出具有好的收敛性质的结合FR，PR，HS共轭梯度参数的超记忆梯度广义投影算法, 从而将经典的共轭梯度法推广用于求解约束规划问题. 新算法保留梯度广义投影算法的优点，改进了广义梯度投影算法的收敛速度. 算法需要较小的存储，适合于大规模非线性不等式约束优化问题的计算. 数值例子表明算法是有效的.* 国家自然科学基金（10171055）资助项目2. 问题与算法考虑问题（p ）：)(min x f Rx ∈，其中{}m j x h R x R j n ,...,2,1,0)(:=≤∈=.记{}m I ,...,2,1=，)()(x f x g -∇=,)(max )(x h x j Ij ∈=ψ,)(0x ψ{})(,0m ax x ψ= ;)(x H 为 n n ⨯ 维对角矩阵，其主对角元为：.,...,1),()()(0m j x x h x H j jj =-=ψ本文始终假设： （H1）：.,...,2,1,)(,)(11m j C x h C x f j =∈∈ （H2）：{})(),(,0x J j x h R x j n∈∇∈∀为线性无关的向量组，其中{}I j x x h j x J j ∈==),()()(00ψ.nR x ∈∀ 和任何方向 d ，定义：tx td x x D t d )()(lim )(0ψψψ-+=+→，称)(x D d ψ为 )(x ψ在x 处关于方向 d 的方向导数. 引理 1.]3[ 如果 ),(max )(.,...,2,1,)(1x h x m j C x h j Ij j ∈==∈ψ 则 R R x n\∈∀和任意方向 d ，我们有 {}d x h x D Tj x J j d )(max )()(0∇=∈ψ.由引理1知，R R x n\∈∀，我们不妨记 {}d x h d x h TTj x J j )()(max )(0ξ∇=∇∈，显然有d x h x D x J T d )()(),(0ξψξ∇=∈.引理2.]3[ nR x ∈∀，矩阵))()()((x H x A x A T-正定.nR x ∈∀，令： T Tx A x H x A x A x B )())()()(()(1--=，)()()),(()(x g x B I j x u x u Tj =∈=， T Tx A x H x A x A x A E x P )())()()()(()(1---=，其中E 为n 阶单位矩阵，我们称)(x P 为 x 处的广义投影矩阵。
5-1广义简约梯度法
5－1广义简约梯度法第八节广义简约梯度法广义简约梯度法也称GRG法。
它是简约梯度法推广到求解具有非线性约束的优化问题的一种新方法。
这种方法是目前求解一般非线性优化问题的最有效的算法之一。
一、简约梯度法为了说明广义简约梯度法的算法原理～首先介绍简约梯度法。
简约梯度法仅用来求解具有线性等式约束的优化问题～其数学模型为,1, (1)式中的线性等式约束也可写成向量形式,2,式中～A为m×n维常数矩阵～即变量的系数矩阵～且m<n,b为m维常数向量。
算法的基本思想是设法处理约束函数～将原问题转化成仅具有变量边界约束的优化问题然后求解。
为此将设计变量x分为两部分～等式约束函数的系数矩阵A也作相应的划分～即式中～x为基变量～为m维向量,x非基变量～n-m维向量,A矩阵AEFE中相应于x的系数矩阵～m×m维矩阵,A矩阵A中相应于x的系数矩EFF阵～m×,n,m,维矩阵。
于是～原问题的线性等式约束函数可改写成如下形式,3, 基变量x可利用上式表示为非基变量x的函数～若A非奇异～则 EFE,4,原问题的目标函数转化为,5, 原问题转化为具有,n,m,个设计变量和变量非负约束的优化问题～即:,4,转化后的问题称简约问题～可利用梯度法求解。
F(x)的梯度, F(x)FF称为简约梯度～用下式计算,5, 其矩阵形式为,6, 由式,4,可得:,7,于是简约梯度可表示成,8, 式中～,为步长～一般取,,0。
kk当今,o～V厂(x5),o时～4‘’,o～即破坏了设计变量非负的约束。
不能直接取负简约梯度～而应按下式选取dL—乙肩:音?‚))o—维搜索求得。
为保证设计变量的步长06可通过沿搜索方向d5进行非,o时～一‘维搜索只能在区间(0～。
m:)内进行o。
一按下式计算。
解一般约束最优化问题一个初始点任意的梯度投影法
解一般约束最优化问题一个初始点任意的梯度投影法
薛声家;简金宝
【期刊名称】《暨南大学学报：自然科学与医学版》
【年(卷),期】1994(015)001
【摘要】把梯度投影和精确罚函数技术相结合，提出了求解非线性等式和不等式约束最优化问题一个初始点任意的梯度投影方法。
在适当的假设条件下证明了算法或者在有限步后终止于Ｋ－Ｔ点；或者产生一无穷点列，其任意极限点皆为Ｋ－Ｔ点。
【总页数】5页(P19-23)
【作者】薛声家;简金宝
【作者单位】不详;不详
【正文语种】中文
【中图分类】O224
【相关文献】
1.解带线性或非线性约束最优化问题的混合三项记忆梯度投影算法 [J], 孙清滢;郑艳梅;李国
2.初始点任意的摄动梯度投影法 [J], 陈华富
3.初始点任意优化问题的广义梯度投影法 [J], 何光宗;陈华富
4.解无约束最优化问题的一个非单调的新的BFGS信赖域算法 [J], 党亚峥;景书杰
5.一个解线性约束非线性优化问题的简约梯度投影法 [J], 何炳生
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｎ ｎ ， ，在 假 设 （ 引理 ２ 对 ｘ ∈ Ｒ 当 φ（ ｄ ∈ Ｒ Ｈ１ ）下 有 ： ｘ） ＞ ０ 时 ， ′（ ｘ； ｄ） ＝ φ Ｔ Ｔ ｛ ｝ ；当 φ（ ｛ ｝ ｍ ａ ｘ ｘ）ｄ， ｘ） ｘ）＝ ０ 时 ， ′（ ｘ； ｄ）＝ ｍ ａ ｘ ０， ｘ）ｄ， ｘ） ． ｇ ｇ ｊ ∈Ｉ ｊ ∈Ｉ ０（ ０（ ｊ（ ｊ（ φ （ ） （ ； ） ， 对于效益函数 Ｇ 的方向导数 有下面结论成立 ｘ Ｇ ′ ｘ ｄ ｃ ｃ ｎ ｎ ， ，有 引理 ３ 对 ｘ ∈ Ｒ ｄ∈Ｒ
ｔ →０
应 用 数 学
２ ０ １ ２
（ ｘ ＋ｔ ｄ） ｘ） ｘ ＋ｔ ｄ） ｘ） －ｆ（ －φ（ ｆ（ ｌ ｉ ｍφ ＋ｃ ＋ ｔ ｔ ｔ →０
ｊ ∈Ｌ １ １
］ ］ ｘ＋ ｔ ｄ） ｘ） ｘ＋ ｔ ｄ） ｘ＋ ｔ ｄ） ｘ） －ｇ （ ＋ ∑｜ ｜ － ∑［ －ｇ （ ｇ（ ｇ（ ｇ（ ∑［
ｊ ｊ ｊ ｊ ｊ ｊ ∈Ｌ １ ０ ｊ ∈Ｌ １ ２
Ｔ Ｔ
｝
Ｔ
ｘ）ｄ ＋ｃ ′（ ｘ； ｄ） ｘ）ｄ ＋ ｛ ＝ ｆ（ ＋ｃ φ ∑ｇｊ（
ｊ∈Ｌ １ １
ｊ∈Ｌ １ ０
ｘ）ｄ｜ ｘ）ｄ｝ ． － ∑ｇ （ ∑ ｜ ｇ （
ｊ ｊ ｊ∈Ｌ １ ２
Ｔ Ｔ 利用关系式 Ｎ（ ｘ） Ｎ（ ｘ）＝ Ｎ（ ｘ） Ｎ（ ｘ） ｘ） ｘ）可推得如下关系式 ： － Ｈ（ ＋ Ｈ（ Ｔ Ｔ Ｔ Ｔ １ － ， （ ） ，（ ） Ｎ（ ｘ） Ｐ（ ｘ）＝－ Ｈ （ ｘ） Ｂ（ ｘ） Ｎ（ ｘ） Ｂ（ ｘ） ｘ） Ｎ（ ｘ） Ｎ（ ｘ） ｘ） ７ ＝ Ｅ ＋ Ｈ（ － Ｈ（ Ｔ ２ ２ ２ Ｔ ） ｘ） ｘ） ｘ） Ｚ Ｐ（ ｘ） Ｚ＝ （ Ｚ ｘ） ８ ｙ Ｐ（ ｙ ＝ ‖Ｐ（ ｙ‖ － ∑Ｈｊ（ ｙ‖ ， ｊ ∈ Ｊ） Ｂ（ ｙ． （ ｊ ≥ ‖ ｊ，
ｌ ｍ ＋ｃ ＋
ｔ →０
ｔ
Ｔ
ｘ）ｄ ＋ｃ ′（ ｘ； ｄ） ＝ ｆ（ ＋ｃ φ
＋ ｉ ｍ ∑ｌ
＋
ｘ ＋ｔ ｄ） ｘ） －ｇ （ ｇ（ ｉ ｍ ｛∑ ｌ ｔ
ｊ ｊ ｔ ０ ｊ∈Ｌ １ １ →
＋
ｔ ０ ｊ∈Ｌ １ ０ →
Ｔ
ｘ ＋ｔ ｄ） ｘ） ｘ ＋ｔ ｄ） ｘ） －ｇ ｇ －ｇ ｇ（ ｊ（ ｊ（ ｊ（ ｉ ｍ ｊ － ∑ｌ ＋ ｔ ｔ ｔ ０ ｊ∈Ｌ １ ２ →
（ ） ９ （ ） １ ０
算法及基本性质 ３．
０ ｎ ， ， ／ ） ， ） ， 算法 Ａ 步 ０ 任取初始点 ｘ 令ｃ ｃ ０， １ ２ ０， １ ｋ 珋 ε ＞ ０， α∈ （ ０ ＞０ ０ ＞０ ∈Ｒ ， β∈ （
∶＝ ０． ｋ ｋ 珔 ｋ ｋ ｋ ｋ ｋ ｋ ） ， ） ， ） ， ） ， ） ， ） ， ） ， 步 １ 计 算 ｘ 处 的 各 量： Ｉ ｘ Ｉ ｘ Ｌ ｘ Ｌ ｘ Ｌ ｘ ｘ ｘ Ｈｋ ＝ ０（ ０（ １ １（ １ ０（ １ ２（ φ（ ψ（ ｋ ｋ ｋ ｋ ｋ ｋ ｋ ｋ ｋ ｋ （ ） ， （ ） ， （ ） ， （ ） ， （ ） ， （ ） ， （ ） ， （ ） Ｈ ｘ Ｎｋ ＝ Ｎ ｘ Ｂ ｕ ＝ｕ ｘ Ｖ ＝Ｖ ｘ ρ ｘ ｆ ｘ Ｐ ｋ ＝Ｂ ｘ ｋ ＝Ｐ ｘ ｋ ＝ρ
Ｔ Ｔ Ｇ ′（ ｘ； ｄ）＝ ｆ（ ｘ） ｄ ＋ｃ ′（ ｘ； ｄ） ｘ） ｄ＋ ＋ｃ｛ ｃ φ ∑ ｇｊ（
ｊ∈Ｌ １ １
ｊ∈Ｌ １ ０
， ｘ）ｄ｜ ｘ）ｄ｝ － ∑ ｇ （ ∑ ｜ ｇ （
Ｔ Ｔ
ｊ
ｊ
ｊ∈Ｌ １ ２
（ ） ６ 其中 ｝ ， ｝ ， ｝ Ｌ ｘ）＝ ｛ ｘ）＞ ０ Ｌ ｘ）＝ ｛ ｘ）＝ ０ Ｌ ｘ）＝ ｛ ｘ）＜ ０ ． ｊ ∈ Ｌ｜ ｇ ｊ ∈ Ｌ｜ ｇ ｊ ∈ Ｌ｜ ｇ １ １（ １ ０（ １ ２（ ｊ（ ｊ（ ｊ（ 证
ｎ （ ， （ Ｈ１） ｘ） ｘ） ｆ（ ｇ ｊ ∈ Ｊ）为 Ｒ 上的一阶连续可微函数 ； ｊ（ ｎ （ ， ， ｝线性无关 ， 向量组 ｛ 其中 Ｊ Ｈ２）ｘ ∈ Ｒ ｘ） ｘ） ｘ）Ｉ ｘ）∪ Ｌ． ｇ ｊ∈Ｊ ０（ ０（ ０（ ｊ（
不难证明下面结论成立 ：
ｎ 珔 ， 引理 １ ｘ ∈ Ｒ 若对角阵 Ｈ （ 满足 ： 时， ｘ） Ｈｊ（ ｘ） ｘ） Ｈｊ（ ｘ） ｊ∈Ｊ 且当ｊ ∈Ｉ ０（ ≤０， ＜ Ｔ ， （ ） （ ） （ ） ０ 则矩阵 Ｎ ｘ Ｎ ｘ － Ｈ ｘ 正定 ．
第４期
黎健玲等 ： 一般约束优化问题的一个新广义梯度投影法
８ ６ ９
， ｍ ｉ ｎｆ（ ｘ） 烄 …， ， （ ｓ ． ｔ ． ｘ）≤ ０， １， ２， ｍ｝ Ｐ） ｇ ｊ ∈Ｉ ＝ ｛ ｊ（ 烅 …， ， ｘ）＝ ０， ｍ ＋１， ｍ ＋２， ｍ ＋ｐ｝ ｊ∈Ｌ ＝ ｛ ｊ（ 烆 ｇ Ｔ ｎ １ ｔ …， ， 其中 ｘ ＝ （ 为ｔ 维欧氏空间 ． ｘ ｘ ｘ ｘ） ｘ） Ｒ ∶Ｒ → Ｒ ， ｆ（ ｇ １， ２， ｎ） ， ｊ（ ｛ ， ， 为 方便起见 ， 本文引进下面记号 ： Ｊ ＝Ｉ∪Ｌ， ｘ） ａ ｘ ０， ｘ） Ｉ ｘ） ＝ｍ ＝｛ ｇ ｊ∈Ｉ｝ ｊ∈ ０（ ｊ（ φ（ 珔 （ ） （ ） ｝ ， （ ） （ ） ， （ ） （ （ ） ， ） ， （ ） 对 角 矩 阵 Ｉ｜ ｇ ｘ ｘ Ｉ ｘ Ｉ Ｉ ｘ Ｎ ｘ ｘ Ｊ Ｈ ｘ ＝φ ＝ ＼０ ＝ ｇ ＝ ｊ∈ ０ ｊ ｊ （ ， ｄ ｉ ａ Ｈｊ（ ｘ） ． ｇ ｊ ∈ Ｊ） 在本文中 ， 假定下面条件成立 ：
算法的基本思想 ２．
本文讨论一般约束优化问题
收稿日期 ： ２ ０ １ ２ ０ ４ １ １ ＊ － － ） ， ， 基金项目 ： 国家自然科学基金 （ 广西自然科 学 基 金 （ 广西高等学校重 ７ １ ０ ６ １ ０ ０ ２ ２ ０ １ ２ Ｇ Ｘ Ｎ Ｓ Ｆ ＡＡ ０ ５ ３ ０ ０ ７） ） 点资助项目 （ ２ ０ １ １ ０ ２ Ｚ Ｄ ０ ０ ２ 作者简介 ： 黎健玲 ， 女， 汉族 ， 广东人 ， 教授 ， 研究方向 ： 最优化理论与方法 ．
Ｇ ′（ ｘ； ｄ） ｉ ｍ ＝ｌ ｃ
ｔ →０
＋
Ｇ ｘ ＋ｔ ｄ） ｘ） －Ｇ ｃ（ ｃ（ ｔ
ｉ ｍ ＝ｌ ＋
ｔ →０
［ ］ ］ ｘ＋ ｔ ｄ） ｘ） ｘ＋ ｔ ｄ） ｘ） ｘ＋ ｔ ｄ） ｘ） －ｆ（ ＋ｃ －φ（ ＋ｃ ｜ ｜ － ｜ ｜ ｆ（ ｇ ｇ ｊ（ ｊ（ φ（ ∑ｊ∈Ｌ ［ ｔ
８ ７ ０ ｉ ｍ ＝ｌ ＋
出了一个求解不等式约束优化问题的广义梯度投影法 ， 该方法要求初始点可行 ； 随后高自友等 ］ 提出了一个求解不等式约束优化问题且初始点任意的广义梯度投影法 ． 赖炎连等在文 在文 ［ ９ ［ ］ 中通过把一般约束优化问题转化为只含不等式约束 的 辅 助 问 题 ， 提出了求解一般约束优 １ ０ ］ 化问题的广义梯度投影法 ， 该算法要求初始点满足不等式约束 ． 赖炎连等在文 ［ 提出了一个 １ １ 初始点可任意的一般约束优化问题的广义梯度投影法 ． 该算法使用ｌ １ 精确罚函数作为效益函 数， 算法结构特别是线搜索较为复杂 ． 张序萍等在文 ［ 提 出 了 一 个 ＭＦ １ ２］ Ｃ Ｑ 下的广义梯度投 以上大多数文献都没有对算法进行数值试验 ． 本文以ｌ 影算法 ． ｌ １－ ∞ 混合罚函数作为效益函 数， 建立一个求解一般约束优化问题的初始点可任意的新广义梯度投影法 ． 在传统的假设条件 下， 我们证明了算法具有全局收敛性 ． 论文最后还给出了数值试验结果 ．
为简便起见 ， 引入下面各量 ， 并给出对角阵 Ｈ （ ｘ）的具体定义 ： （ ， ， ， ） Ｈ（ ｘ）＝ ｄ ｉ ａ Ｈｊ（ ｘ） Ｈｊ（ ｘ）＝ ｇ ｘ） ｘ） Ｈｊ（ ｘ）＝ ０， １ －φ（ ｇ ｊ ∈ Ｊ） ｊ ∈Ｉ， ｊ ∈ Ｌ， （ ｊ（ Ｔ １ Ｔ Ｔ － ） ， ， （ ） Ｂ（ ｘ）＝ （ Ｎ（ ｘ） Ｎ（ ｘ） ｘ） Ｎ（ ｘ） ， ｕ（ ｘ）＝ （ ｕ ｘ） ｘ） ｘ） ２ ｆ（ － Ｈ（ ｊ ∈ Ｊ） ＝－Ｂ（ ｊ（ Ｔ １ Ｔ － （ ） ， （ ） Ｐ（ ｘ）＝ Ｅ － Ｎ（ ｘ） Ｎ（ ｘ） Ｎ（ ｘ） ｘ） Ｎ（ ｘ） ＝ Ｅ － Ｎ（ ｘ） Ｂ（ ｘ） ３ － Ｈ（ ｛ ， ｛ ， ， （ ） ｘ）＝ ｍ ａ ｘ ｘ） ｘ）＝ φ（ ｘ） ｘ） ａ ｘ ０， ｘ） ４ ｜ｇ ｜， ＋ψ（ ＋ｍ －ｕ ｊ ∈ Ｌ｝ ｊ ∈Ｉ｝ ｊ（ ｊ（ ψ（ ρ（ 其中 Ｅ 为ｎ 阶单位矩阵 ． Ｐ（ ｘ）称为广义投影矩阵 ． ［ １ ４］ 本文采用的效益函数是下面形式的ｌ ｌ １－ ∞ 混合罚函数 ｛ ， ， Ｇ ｘ）＝ ｆ（ ｘ） ｍ ａ ｘ ０， ｘ） ｉ ∈Ｉ｝ ｘ） ｛ ｝ ＋ｃ ＋ ∑ ｜ｇ ｜ ｇ ｃ（ ｉ（ ｊ（
应 用 数 学 ＭＡ ＴＨＥＭＡ Ｔ Ｉ Ｃ Ａ Ａ Ｐ Ｐ Ｌ Ｉ Ｃ Ａ ＴＡ （ ） ： ２ ０ １ ２， ２ ５ ４ ８ ６ ８ ８ ７ ４ －
＊
一般约束优化问题的一个新广义梯度投影法
黎健玲 ， 黄小津 ， 简金宝
（ ） 广 西 大学数学 与信息 科学学院 ， 广 西 南宁 ５ ３ ０ ０ ０ ４ 摘要 ： 本文 以ｌ 提出一个一般约束优化问题的新的 ｌ １－ ∞ 混 合 罚 函 数 作 为 效益 函 数 ， 广义 梯 度 投影 法 ． 该算 法 具有 以 下特 点 ： 初 始 点 可 任 意 选 取； 搜索方向是效益函数的 下 降 方向 ； 在 传 统 的 假设 条件下具有 全 局 收敛 性 ． 论文 最 后 通过 数 值 试 验验 证 了 算 法 的有效性． 关键词 ： 一般约束优化 ； 广义梯度投影 ； 效益函数 ； 全局收敛性 ＫＫＴ 点 ； （ ） 中图分类号 ： 主题分类 ： Ｏ ２ ２ １． ２ ＡＭ Ｓ ２ ０ ０ ０ ６ ５ Ｋ ０ ５； ９ ０ Ｃ ３ ０ （ ） 文献标识码 ： Ａ 文章编号 ： １ ０ ０ １ ９ ８ ４ ７ ２ ０ １ ２ ０ ４ ０ ８ ６ ８ ０ ７ － － －