一种受限非负矩阵分解方法_黄钢石

第34卷第2期2004年3月　

东南大学学报(自然科学版)

JOURNA L OF S OUTHE AST UNIVERSITY (Natural Science Edition )

V ol 134N o 12Mar.2004

一种受限非负矩阵分解方法

黄钢石1　张亚非1　陆建江1,2,3　徐宝文2,3

(1解放军理工大学通信工程学院,南京210007)

(2东南大学计算机科学与工程系,南京210096)

(3江苏省软件质量研究所,南京210096)

摘要:提出一种获取潜在语义的受限非负矩阵分解方法.通过在非负矩阵分解方法的目标函数上增加3个约束条件来定义受限非负矩阵分解方法的目标函数,给出求解受限非负矩阵分解方法目标函数的迭代规则,并证明迭代规则的收敛性.与非负矩阵分解方法相比,受限非负矩阵分解方法能获取尽可能正交的潜在语义.实验表明,受限非负矩阵分解方法在信息检索上的精度优于非负矩阵分解方法.

关键词:非负矩阵分解;受限非负矩阵分解;潜在语义;信息检索中图分类号:TP18 文献标识码:A 文章编号:1001-0505(2004)022*******

Constrained factorization method for non 2negative m atrix

Huang G angshi 1　Zhang Y afei 1　Lu Jianjiang 1,2,3　Xu Baowen 2,3

(1Institute of C ommunication Engineering ,P LA University of Science and T echnology ,Nanjing 210007,China )

(2Department of C om puter Science and Engineering ,S outheast University ,Nanjing 210096,China )

(3Jiangsu Institute of S oftware Quality ,Nanjing 210096,China )

Abstract :A novel method ,constrained non 2negative matrix factorization ,is presented to capture the latent semantic relations.The objective function of constrained non 2negative matrix factorization is defined by im posing three additional constraints ,in addition to the non 2negativity constraint in the standard non 2negative matrix factorization.The update rules to s olve the objective function with these constraints are presented ,and its convergence is proved.In contrast to the standard non 2negative matrix factorization ,the constrained non 2negative matrix factorization can capture the semantic relations as orthog onal as possible.The experiments indicate that the constrained non 2negative matrix factorization has better precision than the standard non 2negative matrix factorization in in formation retrieval.

K ey w ords :non 2negative matrix factorization ;constrained non 2negative matrix factorization ;latent semantic

relations ;information retrieval

收稿日期:2003206213.

基金项目:国家自然科学基金青年科学基金资助项目(60303024)、国家973规划资助项目(G 1999032701)、国家自然科学基金资助项目

(60073012).

作者简介:黄钢石(1969—

),男,博士生,工程师,huang -gangshi @;张亚非(联系人),男,博士,教授,博士生导师,y f zhang888@.非负矩阵分解(non 2negative matrix factorization ,NMF )是一种新的矩阵分解方法,它将一个元素非负的矩阵分解为左右2个非负矩阵乘积[1,2].由于分解后的矩阵中仅包含非负元素,因此原矩阵中列向量可解释为对左矩阵中所有列向量(称为基向量)的加权和,而权重系数为右矩阵中对应列向量中的元素.这种基于基向量组合的表示形式具有直观的语义解释,反映了人们思维中“局部构成整体”的概念.NMF 已成功应用于多个领域[3,4],作者也已尝试将NMF 应用于从用户会话中发现典型用户文件[5,6].

NMF 算法也可以用于获取文本集中的潜在语义.由于NMF 算法得到的解是局部最优解,获取的潜在

语义之间往往存在冗余[2],为使潜在语义尽可能正交,提出一种受限的非负矩阵分解方法C NMF

(constrained non 2negative matrix factorization ).本文讨论了NMF 方法并分析了其不足,通过在NMF 方法的目

标函数上增加3个约束条件来定义C NMF 的目标函数,提出求解该目标函数的迭代规则,并证明迭代规则的收敛性.实验表明,C NMF 方法在信息检索上的精度优于NMF 方法.

1　非负矩阵分解

给定非负矩阵X =(x ij )

m ×n

,NMF 寻找非负矩阵U =(u ij )

m ×r

和非负矩阵V =(v ij )

r ×n

,满足X ≈

UV .其中,r 满足(n +m )r

通常优化问题的目标函数定义为K L 离散度(K ullback 2Leibler divergence ),即

D 1(X UV )=

∑i

∑

j

x ij log

x ij

∑

k

u ik v kj

-x ij +

∑

k

u ik v kj

(1)

则NMF 可以定义为如下最优化问题:

min U ,V

D 1(X UV )

s.t.　U ,V ≥0,　∑i

u ij =1 Πj

(2)

下列迭代规则可以得到上述问题的局部最优解[2]:

v kl ←v kl

∑

i x il u ik

∑

j u ij v jl

(3)

u kl ←u kl ∑

j

x kj v lj

∑

s

u ks v sj

∑

j

v lj

(4)

u kl ←

u kl

∑

i

u il

(5)

NMF 方法的目的在于获取潜在语义,并在潜在语义空间中表示原数据,因此潜在语义之间的正交性

很重要.但式(2)中的约束条件并没有对潜在语义的正交性提出任何要求,因此很难获取尽可能相互正交

的潜在语义.例如,令r =3,对于仿真数据

x 1 x

2

x 3x 4　x

5

x 6

X =

t 1t 2t 3t 4t 5t 601250125010001000116670116670125

0125010001000116670116670125012501250125011667011667012501250125012501166701166701000100012501250116670116670100

0100

0125

0125

011667

011667

下列U 1或U 2可能为NMF 算法得到的一个解:

　u 1

　u

2

u 3

U 1=

t 1t 2t 3t 4t 5t 6015010010015

010010010015010010015010010010015010

010

015

,

　u

1　u

2

u 3

U 2=

t 1t 2t 3t 4t 5t 6012501000116670125

01000116670125012501166701250125011667010001250116670100

0125

011667

希望NMF 算法能获取U 1所示的相互正交的潜在语义,但NMF 往往会输出U 2所示的相互冗余的潜在语义.

91东南大学学报(自然科学版) 第34卷