基于词义类簇的文本聚类

合集下载

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第２７卷
第３期
中文信息学报
ＪＯＵＲＮＡＬＯＦＣＨＩＮＥＳＥＩＮＦｏＲＭＡＴＩｏＮＰＲｏＣＥＳＳＩＮＧ
Ｖｏ１．２７。Ｎｏ．３
Ｍａｙ．２０１３
２０１３年５月
文章编号：１００３ — ００７７（２０１３）０３ — ０１１３ — ０７
（１．ＣｅｎｔｅｒｆｏｒＳｐｅｅｃｈａｎｄＬａｎｇｕａｇｅＴｅｃｈｎｏｌｏｇｉｅｓ，ＤｉｖｉｓｉｏｎｏｆＴｅｃｈｎｉｃａｌＩｎｎｏｖａｔｉｏｎａｎｄＤｅｖｅｌｏｐｍｅｎｔ，
结果将文档表示在词义空间上。实验表明，ｓｃＭ在标准测试集上的性能优于基线系统以及经典话题模型ＬＤＡ。
关键词：文档聚类；文档表示；话题模型中图分类号：ＴＰ３９ｌ文献标识码：Ａ
ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｒｉｎｇ１０００８４，Ｃｈｉｎａ；
率。在词义类簇空间构造这一步骤中，首先利用词义归纳技术从文本中自动发现词义，接着采用词义聚类技术识
别相同或者相似的词义从而获得词义类簇。词义类簇空间构造后，该文首先进行词义消歧，然后利用词义消歧的
是文档表示所面临的重要挑战。为此该文提出了词义类簇模型（ＳｅｎｓｅＣｌｕｓｔｅｒＭｄｅ１，ＳＣＭ），在词义类簇空间上表
示文档。ＳＣＭ首先构造词义类簇空间，然后将文档表示在词义类簇空间上，获得每篇文档在每个词义类簇的概
基于词义类簇的文本聚类
唐国瑜，夏云庆，张民，郑方
（１．清华信息科学技术国家实验室技术创新和开发部语音和语言技术中心，清华大学信息技术研究院语音和语言技术中心，清华大学计算机科学与技术系，北京１０００８４；２．资讯通信研究院，新加坡１３８６３２）摘要：文档表示是文本聚类的重要组成部分，该文旨在通过改进文档表示改进文本聚类。同义词和多义词现象
２．ＩｎｓｔｉｔｕｔｅｆｏｒＩｎｆｏｃｏｍｍＲｅｓｅａｒｃｈ，Ａ— ＳＴＡＲ，１３８６３２，Ｓｉｎｇａｐｏｒｅ）
Ａｂｓｔｒａｃｔ：Ｄｏｃｕｍｅｎｔｒｅｐｒｅｓｅｎｔａｔｉｏｎｉｓｔｈｅｋｅｙｐａｒｔｉｎｄｏｃｕｍｅｎｔｃｌｕｓｔｅｒｉｎｇ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅａｉｍａｔｉｍｐｒｏｖｉｎｇｄｏｃｕ — ｍｅｎｔｒｅｐｒｅｓｅｎｔａｔｉｏｎｉｎｄｏｃｕｍｅｎｔｃｌｕｓｔｅｒｉｎｇ．ＳｙｎｏｎｙｍｙａｎｄｐｏｌｙｓｅｍｙａｒｅｔＷＯｃｈａｌｌｅｎｇｉｎｇｉｓｓｕｅｓｉｎｄｏｃｕｍｅｎｔｒｅｐｒｅ — ｓｅｎｔａｔｉｏｎ．ＩｎｓｐｉｒｅｄｂｙｔｈｅｏｂｓｅｒｖａｔｉｏｎｔｈａｔｓｙｎｏｎｙｍｙａｎｄｐｏｌｙｓｅｍｙａｒｅｍａｉｎｌｙｒｅｌａｔｅｄｔＯｗｏｒｄｓｅｎｓｅ，ｗｅｐｒｅｓｅｎｔａ
ＤｏｃｕｍｅｎｔＣｌｕｓｔｅｒｉｎｇＢａｓｅｄｏｎＷｏｒｄＳｅｎｓｅＣｌｕｓｔｅｒ
ＴＡＮＧＧｕｏｙｕ，ＸＩＡＹｕｎｑｉｎｇ，ＺＨＡＮＧＭｉｎ，ＺＨＥＮＧＦａｎｇ
ＴｓｉｎｇｈｕａＮａｔｉｏｎａｌＬａｂｏｒａｔｏｒｙｆｏｒＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，
ＣｅｎｔｅｒｆｏｒＳｐｅｅｃｈａｎｄＬａｎｇｕａｇｅＴｅｃｈｎｏｌｏｇｉｅｓ，ＲｅｓｅａｒｃｈＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，