关于熵函数法中的几个问题

关于函数 p ( x, u ), 文 [ 5] 给出了一个与文 [ 2] 完全一样的光滑函数, 并将其称为 调节 熵函数, 而其
中所含的参数 u 被称为调节因子。这种叫法模糊了这组参数作为原问题拉格朗日乘子的既定含义, 容易 使读者产生误解。其实早在 70年代就由 B ertsekas[ 6] 利用近似思想给出了这个光滑函数, 并进而发展了增 广 L agrangian函数法 [ 7] 。他是在乘子法的基础上并引进近似方法导出这个函数的, 但其推导过程远不如 文 [ 2] 的熵正则化方法来得简洁明了。由于他的推导完全基于乘子法的思想, 所以对函数表达式里所含的 参数 u, 自然地享有了拉格朗日乘子的地位。近年, 有的文献 [ 8] 声称, 只要令该函数所含乘子 u 的所有分 量为 1, 则 p ( x, u )就化为了函数 p (x ), 从而把后者说成前者的一个特殊情况。首先, 作为拉格朗日乘子 的这组参数 u, 并非是主观上可以随意赋值的权系数。更重要的是, 由于这种认识掩盖了函数 p ( x, u )所 固有的深刻内涵, 对二者使用上造成不利影响。如文 [ 5], 该文前后矛盾, 开始时放弃了参数 u 作为拉格 朗日乘子的地位, 后来又以大片篇幅分析了引进这组乘子对减少病态带来的好处。
( 12)
这样, 再大的参数 p 也不会造成溢出了。在迭代过程的每一步, 都需利用上述变换, 来避免函数值计算中
的计算机溢出问题。
函数 p (x )和 p ( x, u )的梯度 p ( x )和 p ( x, u )分别为
m
p (x) =
i ( x ) gi ( x )
i= 1
( 13)
m
p (x, u) =
Abstract: Som e argum ents about the en trop ic m e thod are g iven in th is paper. F irst ly, an equ iva lent transfo rm at ion to avo id the overflow of exponen tial ca lculat ion in the entrop ic m ethod is g iven. T hen a detailed ana lysis of the d ifferences betw een the tw o sm oothing funct ions p ( x ) and p (x, u) is presented, in order to avo id the confusion betw een these tw o funct ions. Based on the analysis the potent ial m istakes that are caused by the m isuses are proposed. K ey words: operations research; m in im ax problem; entropic regularization m ethod, no-differentiab le opt im izat ion
76
运 筹与 管理
2009年第 18卷
p(x) =
1 ln m
p
i= 1
exp( pgi ( x ) ) =
+
1 p
ln
m i= 1
exp[ p (gi ( x ) -
)]
( 8)
p ( x,
u) =
1 p
ln
m i= 1
ui exp(pgi (x ) ) =
+
1 p
ln
m i= 1
ui exp[ p ( gi (x ) -
第 18卷 第 3期 2009年 6月
运 筹与 管理
OPERAT IONS RESEARCH AND M ANAGEM ENT SCIENCE
Vo.l 18, No. 3 Jun. 2009
关于熵函数法中的几个问题
张丽丽 1,
2
,
张培
爱
3
,
李兴斯 1, 2
( 1. 大连理工大学 应用数学系, 辽宁 大连 116023; 2. 大连理工大学 工业装备结构分析国家重点实验室, 辽宁 大 连 116023; 3. 暨南大学 信息技术学院数学系, 广东 广州 510632 )
第 3期
张丽丽, 等: 关于熵函数法中的几个问题
75
m
式中
Rm
0, i= 1 i = 1
( 3)
可以得到对偶变量 为
i(x ) =
exp[ pgi ( x ) ]
m
, i = 1, 2,
,m
( 4)
exp[ pgl ( x ) ]
l= 1
将其代入 ( 2)式消去 , 即得到了被称为 凝聚函数 的光滑函数
)]
( 9)
对于在指数中减去的大数 , 可取
m ax
1 im
{g
i
(
x
)
}
( 10)
其中 x 代表变量 x 的当前值。而实际应用中, 为便于计算, 一般取
=
m ax
1 im
{
gi
(x
)
}。
通过上述变换, 所有的指数均会满足
gi ( x ) - 0, i= 1, 2, , m
( 11)
从而有
exp[ p ( gi (x ) - ) ] 1, i= 1, 2, , m
i ( x, u ) gi ( x )
i= 1
( 14)
式中的 i ( x )和 i ( x, u )分别由公式 ( 4)与 ( 6)给出, 在梯度的计算里涉及到了指数计算, 但为防止溢出,
同样可在指数中减掉一个由公式建议的大数 , 从而得到如下等价的计算公式
i(x) =
exp[ pgi ( x ) ]
下的优化问题 (D )
m axLp (x,
)=
m i= 1
igi ( x ) -
1m p i= 1
i In i
( 2)
收稿日期: 2008-08- 02 基金项目: 国家自然科学基金资助项目 ( 10572031) 作者简介: 张丽丽 ( 1982-) , 女, 博士研究生; 李兴斯 ( 1942-) , 男, 教授, 博士生导师
m
p(x) =
1 p
ln
i= 1
exp( pgi ( x ) )
( 5)
其中的 p > 0是一个控制参数。文中同时给出了该函数的几个重要性质: ( 1) 误差界: 0 p ( x ) - ( x ) ln(m ) /p, x R n。
( 2) 单调性: p (x ) q (x ), p q。 ( 3) 极限: lim p ( x ) = ( x )。
m
, i= 1, 2,
ul exp[ pgl ( x ) ]
l= 1
将其代入 ( 2)式消去 , 而导出另一个光滑函数
m
p ( x,
u) =
1 p
ln
i= 1
ui exp( pgi ( x ) )
该函数与凝聚函数 p ( x )比较, 多出来一组额外的参数 ui ( i= 1, 2,
参数进行修正。
,m
p
( 4) 凸性: 若所有的问题函数 gi ( x ), i= 1, 2,
, m, 都是凸函数, 则 p ( x )也是凸函数。
由于函数 p ( x )具有的上述性质, 特别是由这些性质显示出的该函数在整个 R n 空间内一致逼近极大 值函数 ( x )的性质, 使其在各类优化问题的数值求解中获得了广泛应用, 尤其最近几年, 在解互补和变分
( 16)
ul exp[ pgl ( x ) ]
l= 1
ul exp[ p ( gl ( x ) - ) ]
l= 1
上面两个公式分别和公式 ( 4)与 ( 6)等价, 因为减掉大数产生的附加项恰好是分子和分母的公因数, 所以
上述处理在避免计算溢出的同时根本不会对计算结果产生任何影响。
2 函数 p (x )与 p ( x, u)的对比分析
( 6)
( 7) , m ), 在计算中, 需要不断对这组
原文作者注意到, 直到最近, 还有一些人声称在使用上述两个光滑函数时, 遇到了所谓的指数计算 溢出 问题; 同时, 还有人 (如文 [ 3] ) 专门就这一问题进行研究, 但所给出的计算公式却过于繁复。其 实, 只要做适当变换即可完全避免这个问题, 本文给出了克服溢出应该使用的变换, 细心的读者不难发现, 是 p ( x )和 p ( x, u )中含有的对数运算, 才使这种等价变换成为可能。
m
=
exp[ pgi ( x ) -
m
]
,
i = 1, 2, , m
( 15)
exp[ pgl ( x ) ]
l= 1
exp[ p ( gl (x ) - ) ]
l= 1
i (x, u ) =
ui exp[ pgi (x ) ]
m
=
ui Fra Baidu bibliotekxp[ p ( gi (x ) -
m
)] ,
i= 1, 2, , m
不等式问题中, 常用它作为光滑化函数, 其中的参数 p 起着光滑化参数或连续化参数的作用。
在文 [ 2] 里, 作者用 Kullback-L eibler的相对熵 (也称为叉熵 ) 函数代替 ( 2) 式里的 Shannon熵函数, 解
得对偶变量 为
i (x, u) =
ui exp[ pgi ( x ) ]
关键词: 运筹学; 极大极小问题; 熵正则化方法; 不可微优化
中图分类号: O 174
文章标识码: A
文章编号: 1007-3221( 2009) 03-0074-04
Som e N otes on the EntropicM ethod
ZHANG L -i li1, 2, ZHANG Pe-i a i3, L I X ing-si1, 2 ( 1. D epartm ent of A pp lied M athem atics, Dalian Un iversity of T echnology, Dalian 116023, China; 2. S ta te K ey Laboratory of S tructural Analy sis for Industrial Equipm en t, Departm ent of Engineering M echanics, Dalian University of T echnology, Dalian 116023, China; 3. Departm ent of M athem atics, Inf orm ation T echnical College, J inan University, Guangzhou 510632, China )
摘 要: 本文就熵函数法中的几个问题进行了讨论。首先, 就该方法中涉及的指数计算溢出问题, 给出了可 以完
全避免计算机溢出的等 价变换。接着就两个光滑函数 p ( x ) 与 p ( x, u )的不 同特点进行 了详细分 析, 并指 出了 不正确使用可能陷入的 计算误区, 藉以纠正文献中将二者混为一谈的错误。
使用者碰到的溢出问题, 都是由控制参数 p 的增大而导致指数变成为过大的正数, 所以避免这个问题 的简单办法, 就是在原来的指数里减掉一个适当的大数, 而使原来正的指数变为小于或等于零的指数。这 样一来, 无论参数 p 取得如何大, 都不会再出现指数计算时的溢出问题了。
例如, 对于 p (x )与 p ( x, u )的函数值计算, 分别引进如下的等价变换
1 函数 p (x )与 p ( x, u)及其梯度的计算
m
Po lyak[ 4] 针对求解极大极小问题提出的光滑函数 exp( pi gi ( x ) ), 与凝聚函数相比, 少了和式前面
i= 1
的对数运算, 形式上似乎更简单了。对此, 部分读者可能会认为, 同样是对极大极小问题进行处理, 为何要 采用再作对数变换的凝聚函数? 我们抛开其各自的本质不谈 ( e指数变换是利用等价变换的一种光滑化 方法, 而凝聚函数则是利用了其回收函数为极大值函数的特性进行光滑逼近的一种技术 ), 单就计算方面 而言, 正是由于外部对数运算对内部指数运算的一种均衡制约作用, 使得在应用凝聚函数时, 只要进行一 个等价变换, 即减去一个适当大的大数, 便可以完全避免由于 e指数计算而遇到的指数溢出问题, 而且根 本不必使用文 [ 3] 给出的繁杂公式。
0 引言
极大极小问题特别是极大值形式的函数, 是各类数值分析和优化问题中经常遇到的一种特殊的不可 微函数。文 [ 1] 针对有限极大极小问题 (P )
m in ( x )
m ax
1 im
{
gi
(
x
)
}
( 1)
利用最大熵原理的思想, 在问题 (P )的拉格朗日函数上引进 Shannon的信息熵函数作为正则项, 通过解如