熵理论中熵及熵权计算式的不足与修正

张近乐 , 任
杰 : 熵理论中 熵及熵权计算式的不足与修正
1 与 X 2 相近, 权重相近, 从而缓和了熵值权重 y 1, 即 X 的跳跃现象, 说明 X 越大, 对跳跃现象的修正效果
式后 , 既可解决前述特殊情况下出现的问题, 又将其 对熵权的影响控制在了合理的范围之内 ( 可使其微 变在小数点后 2 位或之后 ) 。 证明 : 传统的熵权计算式出现 / 熵值十分相近 , 熵权存在较大误差0 这种情况的原因在于 : 当 H i y 1 时, 由式 Xi = 1- Hi mi= 1
j= 1
E ac
n
, 且/ 假
三、 熵权计算公式的不足与修正
传统的熵权计算公式为 [ 2] 194 1- Hi 1- H i Xi = m = m E (1 - H i) m - E H i
i= 1 i= 1
ij
定0 : 当 acij = 0, P ij = 0 时 , P ij ln P ij = 0, 这是因为 , 当 P ij = 0 时 , ln P ij 在数学上无意义。 本文对概率计算公式给予了修正, 即: 将 P ij 重新 定义为 P ij = acij + 10
一、 引
言
度 , 也可以用熵值来判断某个指标的离散程度。 100 多年来 , 由于熵概念的泛化 , 经过诸多学者 的不懈钻研和应用, 熵不仅在自然科学中得到广泛 应用, 而且在社会科学和管理科学领域的研究中得 到越来越多的应用, 熵已被许多学者认为是自然科 学与社会科学的交叉点
[ 1] 42- 43
i
m
1, 0 [ Xi [ 1, ( i = 1, 2, 3, ,, m) 。
本文中 , 为了既保证对上述熵权跳跃现象的微 小修正 , 同时又不影响风险值的宏观结果以及对风 险的分 析与 比较 , 取 C = m- 1 , m = 10, 即 : X = 1 (1 - H i)。 之所以 m 取值为 10 , 是因为在实际 10 iE = 1 应用中 , 指标过多、 过少都不利或不便于对系统 ( 或 对象) 进行判断与评估( 指标较少时 , 无法准确反映 系统的判断属性, 而指标过多时 , 会使系统的判断属 性过于复杂) , 现实中通常 m = 3 ~ 10。 而取 C = m 及 m > 10, 会使计算在未改变修正精度的情况 下变得较为复杂。
18 世纪中叶 , 德国物理学家鲁道夫 # 克劳修斯 首次提出/ 熵0的概念, 熵被用来表示在热力学中任 何一种能量在空间中分布的均匀程度。能量分布越 均匀 , 熵就越大。 在统计物理学中 , 将熵与微观态数目联系起来 , 对熵做出了微观解释 , 即 : 在由大量粒子构成的系统 中, 熵表示粒子之间无规则的排列程度, 或者说 , 表 示系统的紊乱程度 ( 无组织程度 ) 。系统越乱, 熵就 越大 ; 系统越有序, 则熵就越小。 1948 年 , 香农在 Bell Syst em T echnical Journal 上发表了/ A Mat hem at ical T heo ry of Com munica t ion0 一文, 创 造性地将熵的概念引入到信息论中。 香农把信息源的信号的不确定性称为信息熵, 把消 除了多少不确定性称为信息。熵的获得, 意味着信 息的丢失。信息量越小 , 不确定性越大, 熵也越大 ; 反之 , 信息量越大, 不确定性 就越小, 熵也就越小。 信息和熵是互补的, 信息就是负熵。 由于熵是对系统不确定性的一种度量, 且熵值 具有可加性( 可求和 ) 、 对称性、 非负性、 极值性 ( 当系 统处于一种没有不确定性的状态时 , 系统熵值为 0) 等性质, 因此, 熵是/ 不确定性0 的最佳测度, 即既可 以通过计算熵值来判断一个事件的随机性及无序程
1 , P ij = lnn
E ( ac
,
- 4
ij
+ 10 ) ( 2)
( i = 1, 2 , 3, ,, m)
目前 , 国内基于熵理论的应用性研究多借鉴北 京航空航天大学邱菀华教授提出的有关计算方法。 邱教授在管理决策与应用熵学研究方面卓有建树 , 为熵理论的应用和发展起到了举足轻重的作用。 在 邱教授 的著 作中 , 定 义[ 2] 194 : P ij = a cij
作者简介 : 张近乐 , 男 , 陕西兴平人 , 管理学博士 , 教授 , 研究方向 : 产业 经济学。 任 杰 , 男 , 四川绵阳人 , 硕士生 , 研究方向 : 应用数学。
3
统计与信息论坛
个新的矩阵 Ac = ( acij ) m@ n , 此时 , 0 [ acij [ 1 。 在( m, n) 评估 问题 中, 定 义第 i 个 指 标的 熵 H i 为[ 2] 193- 197 : H i = - K( 其中 : K =
n
10
ij
-4
<
-4
+ 10 )
10 1 + 10- 4 @ n
-4
E
m
1 - H i + 1 E (1 - H i) 10 i = 1 1- H i + 1 E1 ( 1 - H i ) 10 i=
m
m
< 10 = 10- 4 1 由于当 P ij 在( 0 , 10- 4 ] 区间变化时 , H i = - 1 lnn @ P ij ln P ij 为增函数( H i 的导数恒为正值) , 因此 H i < - 1 @ 10- 4 ln10- 4 < - 10- 4 ln10- 4 = 9. 21 @ 10- 4 , ln n 这就是说, 对于 acij = 0 的项, 由于公式的修正所带 来的该项所引起的熵值误差一定小于 9. 21 @ 10- 4 , 对于实际应用来说, 这种影响是十分微小的。 4
越好。 然而, 在实际应用中 , X 也并不是越大越好。 当 分子和分母同时加上一个值后, 会出现另外的问题, 即当 H i = 1 时, Xi X 0 , Xi 的偏差会随着的增大而变 大 , 这种变化不可避免地会影响到熵权大小趋势的 变化, 从而会影响到对系统的判断, 因此 , 为了保证 熵权判断的准确性 , X 也不能取得过大。 具体的 X 取值应根据熵权在实际应用中的不同 意义和不同目的而确定。 若熵评估模型主要用于熵值 大小较为接近的指标之间的重要性比较, 则需要加上 一个较大的 X 值; 若模型主要用于熵值大小悬殊的指 标重要性比较或风险值计算时, 则需要加上一个较小 的 X 值。 在考虑熵值变化的情况下 , X 可考虑取为 C #
j= 1
2. 对于 a cij X 0 的项, acij m 10 ,
-4
j= 1
E ac
n
ij
m 10
-4
@
EP
ቤተ መጻሕፍቲ ባይዱ
n
ij
ln P ij ) , ( i = 1 , 2, 3 , ,, m) a cij + 10
j= 1 -4 n
n, 按照修正公式求出的概率值与按照传统公式求出 的概率值是十分接近的。 以评估对象按 5 个等级进行 ( 1) 评定为例, 此时分值范围为 1 ~ 5, 对评估矩阵进行标 -4 准化处理后, acij 的非 0 项最小值为 0. 25, 比 10 大 3 个数量级( 2 500 倍) , 即分子和分母中的每一项加数, 只要不为 0, 实际计算过程中只是加上了一个比自身 小很多的数, 故对概率值和相应的熵值部分的贡献甚 微, 其计算结果同样不会受到影响。 综上, 修正后的公式对熵值影响很小 , 不改变原 模型的判断结果。
j= 1
E
n
X 0, ln P ij 在数学上有了意义, 且当 n
-4
(a cij + 10 ) 证明 : 1. 当 acij = 0 时, 由式 ( 2) 可知 , P ij 的取
非常大时( 如大于 102 , 或者更大) , P ij U 0。 值范围为 : 0 < P ij =
-4
j= 1
E ( ac
j= 1 - 4
( 3)
E ( ac
n
。 之所以采用 10
-4
-4
来修
ij
+ 10 )
此公式存在着一个固有的不足, 即当指标熵值 H i 接近于 1( i = 1, 2, 3, ,, m) 时, H i 相互间的微小 差别会引起各自所对应的熵权成倍数的变化。 例如: 当某方案的 3 个指标求解出的熵值向量为( 0. 999 9, 0. 999 8, 0. 999 7) 时, 即构成向量为( 1 - 0. 000 1, 1 0. 000 2, 1 - 0. 000 3) 时, 该向量的 3 个熵值十分相 近, 对应的权重理应也非常相近。 但是, 根据传统熵权 公 式 计 算 出 的 权 重 向 量 为 ( 0. 166 7, 0. 333 3, 0. 500 0) , 第 3 个指标的熵权竟分别是前两个指标熵 权的 1. 5 倍和 3 倍。 由此可知, 对于熵值接近于 1 时的 熵向量这种特殊情况, 根据传统熵权模型所求出的指 标权重存在着较大误差, 缺乏比较、 分析的合理性。 本文定义在 ( m, n) 评价问题中 , 第 i 个指标的 熵权为 Xi = 1 1- Hi + E1 ( 1 - H i ) 10 i=
l= 1 m
正公式, 而非其它数, 是因为经过笔者的演算, 发现通 过 10- 4 修正公式后, 既实现了使得 lnP ij 具有数学意 义的目的, 又将其对熵值 H i 的影响控制在了合理的 范围之内( H i 未产生过大偏差, 其微变可保持到小数 点后 2 位 或 之 后 ) 。此 时, 当 acij = 0 时, P ij = a cij + 10- 4
二、 熵计算公式的不足与修正
现考虑 应用 熵 理 论 来进 行 经 营 活 动 的风 险 评估。 对于一个风险评估问题 , 设有 m 个评估指标、 n 个评估对象 ( 专家方案 ) , 按照定性定量相结合的原 则 , 可获取多个对象对于多个指标的数据 , 形成评估 矩阵 A。 对评估矩阵进行标准化处理后可以得到一
收稿日期 : 2009- 12- 30
。特别是近 20 年来,
随着信息科学、 系统科学的蓬勃发展 , 人们对熵理论 的重视也达 到了一 个前所未 有的程 度。例 如, N. Geogescu Ro eg cn 教 授出 版 了 5 熵 定律 与 经 济 过 程6 , 致力于用熵研究经济问题及其解决方案 ; 美国 经济学家布尔丁则把熵概念引入到了社会经济领域 中 , 提出了一套/ 组织化理论0 , 他认为 , 生产是进货, 是以形成高熵/ 废物0为代价而造成高度有序的低熵 产品, 消费意味着向无序退 化, 是增熵 过程[ 1] 43- 45 , 等等。随着对熵理论的进一步完善和发展 , 熵将显 现出更加广阔的应用前景。
i= 1
EH
m
可得
i
X1 = 1 - H 1 = 1 - H 1 - H 2 , 其中 , H 1 X H 2 。 X2 1- H2 1- H 2 显然 , 当 H 1 接近于 1 时, 上式右边趋近于 0, 即 X1 较大地偏离 1, X1 与 X2 相差很多, 表现为 X1 与 X2 X2 成倍数地变化。 此时, 若将分子分母同时加上一个较大的正数 X, 则上述熵权跳跃现象可以得到修正。 此种情况下 熵权公式将改变为: Xi = 1- H i + X
由于熵是对系统不确定性的一种度量且熵值具有可加性可求和对称性非负性极值性当系统处于一种没有不确定性的状态时系统熵值为o等性质因此熵是不确定性的最佳测度即既可以通过计算熵值来判断一个事件的随机性及无序程度也可以用熵值来判断某个指标的离散程度
第 26 卷第 1 期 V ol. 26 N o. 1
统计与信息论坛 St at ist ics & Info rmat ion Fo rum
l= 1
E ( 1-
m
( X > 0) ,
E
m
( 1- H i ) , C #
H i + X)
i= 1
EH
m
i
, ,, 等 , 其中, C 为使 X 变小的
- 1 -2
一个正值系数, 如 C = m , C = m
以及其他值等。
修正后的模型仍能保证较大的熵值对应较小的熵权, 且满足:
i= 1
E X=
2011 年 1 月 Jan. , 2011
=统计理论与方法>
熵理论中熵及熵权计算式的不足与修正
张近乐, 任 杰
( 西北工业大学 人文与经法 学院 , 陕西 西安 710072) 摘要 : 简述了熵的概念和熵在社 会科 学中的 应用 , 分 析了 熵理论 中熵 值及 熵权 传统 计算 式中 存在 的不 足 , 提出了一种合理可行的修正方法 , 并对熵值 及熵权 计算式 的修正 进行了 数学证 明 , 有 效地完 善和发 展了 熵理论。 关键词 : 熵 ; 熵权 ; 修正 ; 证明 中图分类号 : O29 文献标志码 : A 文章编号 : 1007- 3116( 2011) 01- 0003- 03
( 4) m 1 m- E Hi+ E1 ( 1 - H i ) 10 i= l= 1 由上述定义以及熵函数的性质可知 , 指标的熵 =
m
值越接近, 则熵权越接近 ; 指标的熵越大 , 其熵权越 小 , 该指标越不重要, 且满足 : 0 [ Xi [ 1,
m i= 1
E X=
i
m
1。
本文采用/
1 ( 1 - H i ) 0 来修正熵权计算公 10 iE = 1