一种基于词共现的文档聚类算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
越大 ，ｔ 出现的概率越高 。因此 ，２个词 的共 同出现更加容 易与某一主题建立相关性关联 ，利 用词共现组合反映文档 ，
更加贴近文档主题的表达 方式 。 Ｃ ＶＳ 将文档表示为一个共现词组合 。设文档空问抽 Ｔ Ｍ 取 出的共现词组合 向量 的集合 为 ｃ ｛ ， ， Ｃ ｌ ＝ ｃ Ｃ …， ，其 中，Ｃ ｚ 为抽取出的第 ｍ 个共现词组合 向量。则文档空 间 Ｄ 可表示
［ ｓｒ ｃ］Ｔ ｉｐ ｐｒ ｒｓｎｓ ｏｕ ｎ ｌｓ ｒ ｇａｇ ｒｈ ｂｓｄｏ ｒ Ａｂｔａｔ ｈｓ ａｅ ｅｅｔ ａｄ ｃｍｅ ｔ ｕｔ ｉ ｌｏｉ ｍ ａｅ ｎｗｏｄ ｐ ｃ ｅｎ ｔ
ｔｘ ｂｅｔ ｘ ｒｓｉｎ Ｉｕｅ ｅ ｒ Ｏｏｃ ｒ ｎｅｏ ｃｍｅ ｔｅ ｓ ｂｉ ｅｄ ｃｍｅｔｈ ｍｅｖｃｏ ｒｓｎａｉｎｍｏ ｅ，ｎ ｐ ｌ ｓｏｔｅ ｅ ｔｕｊｃ ｐｅｓ ．ｔ ｓｓｔ ｄＣ —ｃｕｒ ｃ ｆ ｏ ｕ ｎ ｔｏｅｔ ｌ ｈｔ ｏｕ ｎ ｅ ｅｔｒ ｅｅ ｔ ｏ ｄｌａｄａｐｉ ｓ ｅ ｏ ｈ ｗｏ ｅ ｄ ｓ ｔ ａ ｓ ｈ ｔ ｐ ｔ ｅｔ ｈ
第３ ８卷 第 ２期
Ｖ＿ ．８ ０ ３ １
・
计
算
机
工
程
２１ ０ ２年 １月
Ｊ ｎｕ ｒ ０１ ａ ａｙ ２ ２
ＮＯ２ ．
Ｃｏ ｕ ｅ ｎ ｉ ｅ ｒｎ ｍｐ ｔ ｒ ｇ ｎ ｅ ｉ ｇ Ｅ
人工 智能 及识别 技 术 ・
一
文章 编号：１ ３２（ １） ＿ｏｌ一Ｊ 文献标识码：Ａ ｏ 啡＿ ４ ２ ２ｌ＿ ２３ ２ ８０ ｆ ＿ ２
中的分布 ，如下 ：
Ｄ ＝ ｌｄ ， ， ， ２… ｄ ） ｄ ＝（ ，ｉ， Ｃ ） ｆ ｌＣ … ｉ ２ ｍ
＝
（） １ （） ２
习的方法 ，获取文本集上的频繁共现词组集合 ，以此作为文
本 的特征 向量 ，从而得 到一种基于词共现 的文档聚类算法 。
２ 基于词共现的文档相似性
２ ０ ００ ０
０ ０ Ｉ ０ ５
磐
１ ０ ００ ０
空 间 Ｓ＝（，， ，） 含义如下 ： １Ｔ＝（．， ｔ｝ Ｓ上的事 ７ ，Ｒ ， １ （） ｆｔ …， 为 １
务集合 。２ ， ｉ … ｉ｝ Ｓ上的项集 ， （） ＝ ２ 为 ， 即文档中的候选词 。
５０ ００
表示模 型，将其应用于层次聚类算法中 ，并通 过聚类熵 寻找最优 的层 次划分 ，从而准确反映文档之 间的主题相关关系。实验结果表 明，该
算法所获得 的结果 优于其他基于短语 的文档层次聚类算法 。
关健词 ：文档 聚类 ；文档模型 ；词共现 ；文档相似度 ；聚类增益
Ｄｏ ｕ ｅ ｔＣｌ ｓ ｅ ｉ ｇＡｌ ｏ ｉｈ ｓ ｄ ０ ｏ ｄ Ｃｏ ｏ ｃ ｒ ｅ ｃ ｃ ｍ ｎ ｕ ｔ ｒｎ ｇ ｒ ｔ ｍ Ｂａ ｅ ｎ Ｗ ｒ ・ ｃ ｕ ｒ ｎ ｅ
Ｇｒ ｈ ＤＩ ） ａ ， Ｇ 文本表示模型。文献【】 ｐ ３提出基于 Ｄ Ｇ 的相似度 Ｉ
表示当 Ｗ 出现 时， ｔ 出现的概率 。然而 ，由于词具有多义现 象 ，ｗ 出现往往关联 多个潜在 的主题变量 ， 需要借助其上下
文语境 才可判 断其准确关联 的主 题 ，即 Ｐｔ Ｉ Ｐｔ Ｉ ， （ Ｗ） （ Ｗ） ×
收稿 日 ： ０ ０— 期 ２ １－７ ５ １ ０
２４ １
计
算
机
工
程
２１ ０ ２年 月 ２ １ ０日
Ｐ（ ， ） ｗ ：—
［ｇ ｔｗ ｗｌ Ｉｍｅ （ ￣ ｓ ． ｅ ）
，，
—
一
（ ）
进行层 次聚类 ，生成聚类层次树。聚类增益变化情况如图 ｌ
所示 。聚类增益在第 ７ ４步取得极 大值 ，对应层次即为最优 ３
ｄ ｃ ｍｅ ｔ ’ ｅ ｏ ｕ ｎ ｓ ｔ ｍｅ Ｅｘ ｅ ｉ ｎ ａ ｅ ｕｌ ｈ ｗ ｈ ｔｈｅ ａｇ ｒｔ ｍ ｅ ｕ ｔ ｓｂ ｔｅ ａ ｔ ｅ ｈ ａ ｅ ｏ ｕ ｎ ｅ ａ ｃ ｉａ ｌ ｓｅ ｉ ｇ ａ ｇ ｒｔ ｍ ． ｈ ． ｐ ｒｍｅ ｔ ｌ ｓ ｔ ｓ ｏ ｔ ａ ｌ ｏ ｉ ｒ ｓ ｔ ｈ ｒ ｓ ｌ ｉ ｅ ｔｒｔ ｎ ｏ ｒｐ ｒ ｓ ｓｄ ｃ ｍｅ ｔ ｓ ｈ ｈ ｈｉｒ ｒ ｈ ｃ ｌ ｕ ｔ ｒｎ ｌ ｏ ｉ ｃ ｈ
计算改进 算法 ，将 抽取 出的短语作为 Ｖ Ｍ 中词 向量 的补充 ， Ｓ 提高 了 Ｄ Ｇ 的文档 区分能力 。文献【】 出后缀树文档模型 Ｉ ４提
（ｕ ｉ Ｔ ｅ ｏｕ ｎ， Ｔ ） Ｓ ｆｘ ｒｅＤ ｃｍｅｔＳ Ｄ 是基于一种后缀树的数据结构 ， 它可 以进行高效 的字符 串匹配与查询 。
ＣＨＡＮＧ ｎ ， ＦＥＮＧ ｎ Ｍ Ａ Ｐｅ ｇ ． Ｎａ ｈ Ｈｕｉ
．
（ａ Ｓｈ ｏ ｏ Ｍ ａａ ｅ ｎ； ｂ Ｉｆｒ ｔ ｎａ ｄＮｅｗ ｒ ｅ ｔｒＴａｊ ｉｅｓｙＴａｊ ０ ０ ２ Ｃｈｎ ； １． ｃ ｏ ｌ ｆ ｎｇ ｍｅ ｔｌ ．ｎｏｍａ ｏ ｔ ｏｋＣ ｎｅ， ｉ ｉ Ｕｎｖｒｉ ， ｉｎｉ ３ ０ ７ ， ｉａ ｉ ｎ ｎｎ ｔ ｎ ２ Ｄｅａｔ ｎ ｆ ｎｇ ｍｅ ｔ ｎ ｉｅｒ ｇ ＴａｊｎＩｓｉ ｔ ｏ ｒａ ｎｔ ｃｉｎＴａｊ ０ ３ ４ Ｃ ｉａ ． ｐ ｒ ｔ ａｅ ｎ ｇｎｅｉ ， ｉｎｉ ｔｕｅ ｆ ｂ Ｃｏ ｓｕ ｔ ， ｉｎｉ ３ ０ ８ ， ｈｎ） ｍｅ ｏ Ｍａ Ｅ ｎ ｎ ｔ Ｕ ｎ ｒ ｏ ｎ
现 ，则认为它们共现一次 。Ｃ ＶＳ 认为词与主题之间存在 Ｔ Ｍ 着潜在关联 ， 以通过词出现的规律判断主题 ，即 Ｐｔ Ｗ 可 （ ｌ ）
文本的主题表达存在着信息缺失 ，从而制约了聚类算法 的准 确性 。近年来一些学者开始关注于建 立基于短语 的文档表示 模 型。文献【】 出的从 “ ｅｍ 的层面来建立文本的特征 。 １ 提 Ｔｒ” 文 献 【】 出一 种基 于 短语 的文档 标 引图 （ ｃ ｍ ｎ ｎ ｅ ２提 Ｄｏｕ ｅ ｔＩｄ ｘ
ｅ— ＣＦ Ｓ Ｖ Ｍ算法 —日一 Ｄ Ｇ傩法 Ｉ
—盘一 ｓ Ｄ 算法 ｒ
迭代 次数
图 １ 层次聚类增益
２３ 基于 Ｃ Ｖ Ｍ 的文本相似性 度量 ． ＴＳ 在 Ｃ Ｖ Ｍ 中 ，将文档看作高维空间中的一 个向量 ，每 Ｔ Ｓ
个共现词组合作为空间中的一个维度 ，则 ２个向量之 间的相
似 度定 义 如 下 ：
∑ （ ｃ ｃ × ，） Ｒ ｄ ｄ， ＝ ＿ ＿ （ ） ｄ ≠ｄ Ｊ
１ 概述
当前关 于文档 聚 类的研 究多基 于 向量空 间模型 （ｅｔｒ Ｖ ｃｏ Ｓ ａｅＭｏ ｅ Ｖ Ｍ） ｐｃ ｄ ｌ Ｓ ，然而 Ｖ Ｍ 忽略 了词问的语义关联 ，对 ， Ｓ
共现词组合是指出现 在同一语境 中的 ２个词语 ，它忽略 了词语 的位置及先后顺序 ，只要 ２个词在 同一语境单元中出
文 献ｆ—， 都是 从短 语 或词组 的层 面构建 文 档表示 模 １２４ 】
型。然而 ，基于序列的词汇组合仅考 虑了相邻 两词之 问的语
义 关 联 ，忽 略 了在 同一 语 境 中词 汇 之 间 存 在 的语 义 关联 。通
为一个 ｍ×ｚ ，的矩 阵。其 中，行 向量 ｄ ｃＩ …，ｍ代 表一 Ｆ（ｆＣ ’ Ｃ） ｉ
２ 共现词组合文档表示模型 ． １
设 文档 集合 为 Ｄ ｛ 。 ２ ｝ ＝ｄ，， ｄ …， ，文档 集 中有词 汇集合
２ 共现词组 合介 绍 ． ２ 共现词组合为共现概 率超 过某一 阈值 的词对 。词的共现 率可以 由下式计算得 出：
基 金项 目：国家 自 然科 学基金 资助项 目 ７９ １５） （０００４ 作者倚介 ：常 鹏（ ８ －） １ ０ ，男，助理研究员、博士 ， ９ 主研方 向： 文 Ｅｍａ ：ｓｏ ＠ｔ． ｕ ｎ － ｉ ｎ ｗ ｊ ｅ ． ｌ ｕ ｄｃ
—
为了考察基于词共现的文档聚类算法 的性能 ，本文进行 了一组对 比实验 。分别用基于 Ｃ ＶＳ 算法的层 次聚类算法 Ｔ Ｍ 与基于 ＤＩ Ｇ算法 和基于 Ｓ Ｄ算法 的层次聚类算法进行 比 Ｔ
Leabharlann Baidu
较。３种算法花费时间比较如 图 ２所示 ，聚类准确性对 比如
图 ３所 示 。
（） ５
—
Ｃｆ ｊ ｋ
本挖掘；冯 楠 、马 辉 ，讲师 博士
｛ ，２ Ｗ Ｊ １ ， ，潜在主题集合 ｆ ，， ｔ Ｗ …， ｆｔ …， Ｊ １２ Ｋ 。相应地 ，文 档集 中有 Ⅳ篇文档 ，ｄ 代表其中的某篇文档向量 ；词汇集 中 ｗ 有 Ｍ 个词 汇 ， 代表 其中某个词汇 向量 ；潜在主题集 中有 个主题 ， ｔ 表示某个潜在主题 向量 。
篇 文 档 ；列 向量 ｃ （ｌｃ， ， ， 表 共 现词 汇组 合 在 文档 ｊ ｃｊ２… ｃ ） ＝ ， ｊ 代
常词汇在语境单元 中的共现可视 为某种 内在主题关联 ，然而
如果 ２个词 汇经常共 同出现在同一语境 中，则认为这 ２个词 具有较强 的主题相关性 。本文提 出的 Ｃ Ｖ Ｍ（ ｏｏ ｃｒｅｃ Ｔ Ｓ Ｃ —ｃｕｒｎ ｅ ｅ ｍ Ｖ ｃｏ ｐ ｃ ｄ １ Ｔ ｒ ｅｔｒＳ ａｅＭｏ ｅ 正是基于此论断 ，通 过统计机器学 ）
ｈ ｅ ａ ｃ ｉ ａ ｌ ｓｅ ｉ ｇ ａｇ ｒｔ ｍ ，ｔ ｒ ｕｇ ｅ ｃ ｕ ｔ ｒｎ ｎ ｒ ｐ ｏ ｆｎ ｈ ｅ ｔｌ ｖ ｌｐ ｒｉｉ ｎ ｎ ｃ ｕ ａ ｅ ｙ ｒ ｆｅ ｔ ｈｅ ｒ ｌ ｔｏ ｓ ｉ ｅ ｗｅ ｎ ｉ ｒ ｒ ｈ ｃ ｌｃ ｕ ｔｒｎ ｌ ｏ ｉ ｈ ｈ ｏ ｈ ｔ ｌ ｓ ｅ ｇ ｅ ｔｏ ｙ ｔ ｄ ｔ ｅ ｂ ｓ ｅ ｅ ａ ｔ ｏ ，ａ ｄ ａ ｃ ｒ ｔ ｌ ｅ ｃ ｓ ｔ ｅ ａｉ ｎ ｈ ｐ ｂ ｔ ｅ ｈ ｉ ｉ ｔ ｌ
中 圈分类号：Ｔ ３１ Ｐ０． ６
种 基 于词 共 现 的 文档 聚 类算 法
常 鹏 ｌｂ ａ ，冯 ， ｌ 楠ｈ ，马 辉 。
（． １ 天津大学 ａ 管理与经济学部 ；ｂ 信息与 网络 中心 ，天津 ３０ ７ ；２ 天津城市建设学院管理工程系，天津 ３０８） ． ． ００２ ． ０３４ 摘 要： 为解决文本主题表达存在的信息缺失问题 ， 出一种基于词共现 的文档聚类算法 。利用文档集 上的频 繁共现词建立文档主题 向量 提
［ ｙｗ ｒｓ ｄ ｃｍｅ ｔ ｌｓ ｒｎ ； ｏｕ ｎ ｄ ｌｗｏｄｃ—ｃｕ ｅ ｃ； ｏ ｕ ｎ ｉ ｌ ｉ ；ｌｓｅｉｇｇｉ Ｋｅ ｏ ｄ ］ ｏｕ ｎ ｕｔ ｇ ｄ ｃｍｅ ｔ ｃ ｅ ｉ ｍｏ ｅ； ｒ ｏｏｃ ｒ ｎｅ ｄ ｃ ｍｅｔ ｍｉ ｒｙ ｃｕｔｒ ａｎ ｓ ａｔ ｎ ＤＯｈ １．９ ９ ．ｓ．０ ０３２ ． １ ． ．７ Ｏ３ ６ ￣ｉ ｎ１０ —４ ８ ０ ２０ ０ ０ ｓ ２ ２
（） ｒ ・， Ｊ 丁中蕴含 的规则 ，即抽取 出的共现 词组 ３ Ｒ＝｛， ， ｔ 为 ２一 合 。【） “ 为 Ｓ上的约束 ，ｎ和 ∥分别为给定 的支持度 ４ ０＝｛， ｝
与置信度 的阈值 。根据关联规 则算法抽取 出超过 “和 阈值 的词对 即为文档空问上的共现词组合。
０ ２ ０ ０ ４ ０ ０ ６ ０ ０ ８ ０ ０ １０ ０ ０
聚类划分 。层次聚类增益如图 １ 所示。
其 中， Ｓｇ ｅ ｔ ， 为文档空问中同时包含 Ｗ 和 ｗ 的语 ｅ ｍ ｎ（ ， ） ｗｗ 境单元集合 ； 为集合 中的元素个 数；ｚ 为语境单元 的总数 。
本文利用关联规 则抽取共现词组合 ，由于共现词组合为 二元组 ，因此只考虑二元组 的规则抽取 。给定关联规则挖掘
更加贴近文档主题的表达 方式 。 Ｃ ＶＳ 将文档表示为一个共现词组合 。设文档空问抽 Ｔ Ｍ 取 出的共现词组合 向量 的集合 为 ｃ ｛ ， ， Ｃ ｌ ＝ ｃ Ｃ …， ，其 中，Ｃ ｚ 为抽取出的第 ｍ 个共现词组合 向量。则文档空 间 Ｄ 可表示
［ ｓｒ ｃ］Ｔ ｉｐ ｐｒ ｒｓｎｓ ｏｕ ｎ ｌｓ ｒ ｇａｇ ｒｈ ｂｓｄｏ ｒ Ａｂｔａｔ ｈｓ ａｅ ｅｅｔ ａｄ ｃｍｅ ｔ ｕｔ ｉ ｌｏｉ ｍ ａｅ ｎｗｏｄ ｐ ｃ ｅｎ ｔ
ｔｘ ｂｅｔ ｘ ｒｓｉｎ Ｉｕｅ ｅ ｒ Ｏｏｃ ｒ ｎｅｏ ｃｍｅ ｔｅ ｓ ｂｉ ｅｄ ｃｍｅｔｈ ｍｅｖｃｏ ｒｓｎａｉｎｍｏ ｅ，ｎ ｐ ｌ ｓｏｔｅ ｅ ｔｕｊｃ ｐｅｓ ．ｔ ｓｓｔ ｄＣ —ｃｕｒ ｃ ｆ ｏ ｕ ｎ ｔｏｅｔ ｌ ｈｔ ｏｕ ｎ ｅ ｅｔｒ ｅｅ ｔ ｏ ｄｌａｄａｐｉ ｓ ｅ ｏ ｈ ｗｏ ｅ ｄ ｓ ｔ ａ ｓ ｈ ｔ ｐ ｔ ｅｔ ｈ
第３ ８卷 第 ２期
Ｖ＿ ．８ ０ ３ １
・
计
算
机
工
程
２１ ０ ２年 １月
Ｊ ｎｕ ｒ ０１ ａ ａｙ ２ ２
ＮＯ２ ．
Ｃｏ ｕ ｅ ｎ ｉ ｅ ｒｎ ｍｐ ｔ ｒ ｇ ｎ ｅ ｉ ｇ Ｅ
人工 智能 及识别 技 术 ・
一
文章 编号：１ ３２（ １） ＿ｏｌ一Ｊ 文献标识码：Ａ ｏ 啡＿ ４ ２ ２ｌ＿ ２３ ２ ８０ ｆ ＿ ２
中的分布 ，如下 ：
Ｄ ＝ ｌｄ ， ， ， ２… ｄ ） ｄ ＝（ ，ｉ， Ｃ ） ｆ ｌＣ … ｉ ２ ｍ
＝
（） １ （） ２
习的方法 ，获取文本集上的频繁共现词组集合 ，以此作为文
本 的特征 向量 ，从而得 到一种基于词共现 的文档聚类算法 。
２ 基于词共现的文档相似性
２ ０ ００ ０
０ ０ Ｉ ０ ５
磐
１ ０ ００ ０
空 间 Ｓ＝（，， ，） 含义如下 ： １Ｔ＝（．， ｔ｝ Ｓ上的事 ７ ，Ｒ ， １ （） ｆｔ …， 为 １
务集合 。２ ， ｉ … ｉ｝ Ｓ上的项集 ， （） ＝ ２ 为 ， 即文档中的候选词 。
５０ ００
表示模 型，将其应用于层次聚类算法中 ，并通 过聚类熵 寻找最优 的层 次划分 ，从而准确反映文档之 间的主题相关关系。实验结果表 明，该
算法所获得 的结果 优于其他基于短语 的文档层次聚类算法 。
关健词 ：文档 聚类 ；文档模型 ；词共现 ；文档相似度 ；聚类增益
Ｄｏ ｕ ｅ ｔＣｌ ｓ ｅ ｉ ｇＡｌ ｏ ｉｈ ｓ ｄ ０ ｏ ｄ Ｃｏ ｏ ｃ ｒ ｅ ｃ ｃ ｍ ｎ ｕ ｔ ｒｎ ｇ ｒ ｔ ｍ Ｂａ ｅ ｎ Ｗ ｒ ・ ｃ ｕ ｒ ｎ ｅ
Ｇｒ ｈ ＤＩ ） ａ ， Ｇ 文本表示模型。文献【】 ｐ ３提出基于 Ｄ Ｇ 的相似度 Ｉ
表示当 Ｗ 出现 时， ｔ 出现的概率 。然而 ，由于词具有多义现 象 ，ｗ 出现往往关联 多个潜在 的主题变量 ， 需要借助其上下
文语境 才可判 断其准确关联 的主 题 ，即 Ｐｔ Ｉ Ｐｔ Ｉ ， （ Ｗ） （ Ｗ） ×
收稿 日 ： ０ ０— 期 ２ １－７ ５ １ ０
２４ １
计
算
机
工
程
２１ ０ ２年 月 ２ １ ０日
Ｐ（ ， ） ｗ ：—
［ｇ ｔｗ ｗｌ Ｉｍｅ （ ￣ ｓ ． ｅ ）
，，
—
一
（ ）
进行层 次聚类 ，生成聚类层次树。聚类增益变化情况如图 ｌ
所示 。聚类增益在第 ７ ４步取得极 大值 ，对应层次即为最优 ３
ｄ ｃ ｍｅ ｔ ’ ｅ ｏ ｕ ｎ ｓ ｔ ｍｅ Ｅｘ ｅ ｉ ｎ ａ ｅ ｕｌ ｈ ｗ ｈ ｔｈｅ ａｇ ｒｔ ｍ ｅ ｕ ｔ ｓｂ ｔｅ ａ ｔ ｅ ｈ ａ ｅ ｏ ｕ ｎ ｅ ａ ｃ ｉａ ｌ ｓｅ ｉ ｇ ａ ｇ ｒｔ ｍ ． ｈ ． ｐ ｒｍｅ ｔ ｌ ｓ ｔ ｓ ｏ ｔ ａ ｌ ｏ ｉ ｒ ｓ ｔ ｈ ｒ ｓ ｌ ｉ ｅ ｔｒｔ ｎ ｏ ｒｐ ｒ ｓ ｓｄ ｃ ｍｅ ｔ ｓ ｈ ｈ ｈｉｒ ｒ ｈ ｃ ｌ ｕ ｔ ｒｎ ｌ ｏ ｉ ｃ ｈ
计算改进 算法 ，将 抽取 出的短语作为 Ｖ Ｍ 中词 向量 的补充 ， Ｓ 提高 了 Ｄ Ｇ 的文档 区分能力 。文献【】 出后缀树文档模型 Ｉ ４提
（ｕ ｉ Ｔ ｅ ｏｕ ｎ， Ｔ ） Ｓ ｆｘ ｒｅＤ ｃｍｅｔＳ Ｄ 是基于一种后缀树的数据结构 ， 它可 以进行高效 的字符 串匹配与查询 。
ＣＨＡＮＧ ｎ ， ＦＥＮＧ ｎ Ｍ Ａ Ｐｅ ｇ ． Ｎａ ｈ Ｈｕｉ
．
（ａ Ｓｈ ｏ ｏ Ｍ ａａ ｅ ｎ； ｂ Ｉｆｒ ｔ ｎａ ｄＮｅｗ ｒ ｅ ｔｒＴａｊ ｉｅｓｙＴａｊ ０ ０ ２ Ｃｈｎ ； １． ｃ ｏ ｌ ｆ ｎｇ ｍｅ ｔｌ ．ｎｏｍａ ｏ ｔ ｏｋＣ ｎｅ， ｉ ｉ Ｕｎｖｒｉ ， ｉｎｉ ３ ０ ７ ， ｉａ ｉ ｎ ｎｎ ｔ ｎ ２ Ｄｅａｔ ｎ ｆ ｎｇ ｍｅ ｔ ｎ ｉｅｒ ｇ ＴａｊｎＩｓｉ ｔ ｏ ｒａ ｎｔ ｃｉｎＴａｊ ０ ３ ４ Ｃ ｉａ ． ｐ ｒ ｔ ａｅ ｎ ｇｎｅｉ ， ｉｎｉ ｔｕｅ ｆ ｂ Ｃｏ ｓｕ ｔ ， ｉｎｉ ３ ０ ８ ， ｈｎ） ｍｅ ｏ Ｍａ Ｅ ｎ ｎ ｔ Ｕ ｎ ｒ ｏ ｎ
现 ，则认为它们共现一次 。Ｃ ＶＳ 认为词与主题之间存在 Ｔ Ｍ 着潜在关联 ， 以通过词出现的规律判断主题 ，即 Ｐｔ Ｗ 可 （ ｌ ）
文本的主题表达存在着信息缺失 ，从而制约了聚类算法 的准 确性 。近年来一些学者开始关注于建 立基于短语 的文档表示 模 型。文献【】 出的从 “ ｅｍ 的层面来建立文本的特征 。 １ 提 Ｔｒ” 文 献 【】 出一 种基 于 短语 的文档 标 引图 （ ｃ ｍ ｎ ｎ ｅ ２提 Ｄｏｕ ｅ ｔＩｄ ｘ
ｅ— ＣＦ Ｓ Ｖ Ｍ算法 —日一 Ｄ Ｇ傩法 Ｉ
—盘一 ｓ Ｄ 算法 ｒ
迭代 次数
图 １ 层次聚类增益
２３ 基于 Ｃ Ｖ Ｍ 的文本相似性 度量 ． ＴＳ 在 Ｃ Ｖ Ｍ 中 ，将文档看作高维空间中的一 个向量 ，每 Ｔ Ｓ
个共现词组合作为空间中的一个维度 ，则 ２个向量之 间的相
似 度定 义 如 下 ：
∑ （ ｃ ｃ × ，） Ｒ ｄ ｄ， ＝ ＿ ＿ （ ） ｄ ≠ｄ Ｊ
１ 概述
当前关 于文档 聚 类的研 究多基 于 向量空 间模型 （ｅｔｒ Ｖ ｃｏ Ｓ ａｅＭｏ ｅ Ｖ Ｍ） ｐｃ ｄ ｌ Ｓ ，然而 Ｖ Ｍ 忽略 了词问的语义关联 ，对 ， Ｓ
共现词组合是指出现 在同一语境 中的 ２个词语 ，它忽略 了词语 的位置及先后顺序 ，只要 ２个词在 同一语境单元中出
文 献ｆ—， 都是 从短 语 或词组 的层 面构建 文 档表示 模 １２４ 】
型。然而 ，基于序列的词汇组合仅考 虑了相邻 两词之 问的语
义 关 联 ，忽 略 了在 同一 语 境 中词 汇 之 间 存 在 的语 义 关联 。通
为一个 ｍ×ｚ ，的矩 阵。其 中，行 向量 ｄ ｃＩ …，ｍ代 表一 Ｆ（ｆＣ ’ Ｃ） ｉ
２ 共现词组合文档表示模型 ． １
设 文档 集合 为 Ｄ ｛ 。 ２ ｝ ＝ｄ，， ｄ …， ，文档 集 中有词 汇集合
２ 共现词组 合介 绍 ． ２ 共现词组合为共现概 率超 过某一 阈值 的词对 。词的共现 率可以 由下式计算得 出：
基 金项 目：国家 自 然科 学基金 资助项 目 ７９ １５） （０００４ 作者倚介 ：常 鹏（ ８ －） １ ０ ，男，助理研究员、博士 ， ９ 主研方 向： 文 Ｅｍａ ：ｓｏ ＠ｔ． ｕ ｎ － ｉ ｎ ｗ ｊ ｅ ． ｌ ｕ ｄｃ
—
为了考察基于词共现的文档聚类算法 的性能 ，本文进行 了一组对 比实验 。分别用基于 Ｃ ＶＳ 算法的层 次聚类算法 Ｔ Ｍ 与基于 ＤＩ Ｇ算法 和基于 Ｓ Ｄ算法 的层次聚类算法进行 比 Ｔ
Leabharlann Baidu
较。３种算法花费时间比较如 图 ２所示 ，聚类准确性对 比如
图 ３所 示 。
（） ５
—
Ｃｆ ｊ ｋ
本挖掘；冯 楠 、马 辉 ，讲师 博士
｛ ，２ Ｗ Ｊ １ ， ，潜在主题集合 ｆ ，， ｔ Ｗ …， ｆｔ …， Ｊ １２ Ｋ 。相应地 ，文 档集 中有 Ⅳ篇文档 ，ｄ 代表其中的某篇文档向量 ；词汇集 中 ｗ 有 Ｍ 个词 汇 ， 代表 其中某个词汇 向量 ；潜在主题集 中有 个主题 ， ｔ 表示某个潜在主题 向量 。
篇 文 档 ；列 向量 ｃ （ｌｃ， ， ， 表 共 现词 汇组 合 在 文档 ｊ ｃｊ２… ｃ ） ＝ ， ｊ 代
常词汇在语境单元 中的共现可视 为某种 内在主题关联 ，然而
如果 ２个词 汇经常共 同出现在同一语境 中，则认为这 ２个词 具有较强 的主题相关性 。本文提 出的 Ｃ Ｖ Ｍ（ ｏｏ ｃｒｅｃ Ｔ Ｓ Ｃ —ｃｕｒｎ ｅ ｅ ｍ Ｖ ｃｏ ｐ ｃ ｄ １ Ｔ ｒ ｅｔｒＳ ａｅＭｏ ｅ 正是基于此论断 ，通 过统计机器学 ）
ｈ ｅ ａ ｃ ｉ ａ ｌ ｓｅ ｉ ｇ ａｇ ｒｔ ｍ ，ｔ ｒ ｕｇ ｅ ｃ ｕ ｔ ｒｎ ｎ ｒ ｐ ｏ ｆｎ ｈ ｅ ｔｌ ｖ ｌｐ ｒｉｉ ｎ ｎ ｃ ｕ ａ ｅ ｙ ｒ ｆｅ ｔ ｈｅ ｒ ｌ ｔｏ ｓ ｉ ｅ ｗｅ ｎ ｉ ｒ ｒ ｈ ｃ ｌｃ ｕ ｔｒｎ ｌ ｏ ｉ ｈ ｈ ｏ ｈ ｔ ｌ ｓ ｅ ｇ ｅ ｔｏ ｙ ｔ ｄ ｔ ｅ ｂ ｓ ｅ ｅ ａ ｔ ｏ ，ａ ｄ ａ ｃ ｒ ｔ ｌ ｅ ｃ ｓ ｔ ｅ ａｉ ｎ ｈ ｐ ｂ ｔ ｅ ｈ ｉ ｉ ｔ ｌ
中 圈分类号：Ｔ ３１ Ｐ０． ６
种 基 于词 共 现 的 文档 聚 类算 法
常 鹏 ｌｂ ａ ，冯 ， ｌ 楠ｈ ，马 辉 。
（． １ 天津大学 ａ 管理与经济学部 ；ｂ 信息与 网络 中心 ，天津 ３０ ７ ；２ 天津城市建设学院管理工程系，天津 ３０８） ． ． ００２ ． ０３４ 摘 要： 为解决文本主题表达存在的信息缺失问题 ， 出一种基于词共现 的文档聚类算法 。利用文档集 上的频 繁共现词建立文档主题 向量 提
［ ｙｗ ｒｓ ｄ ｃｍｅ ｔ ｌｓ ｒｎ ； ｏｕ ｎ ｄ ｌｗｏｄｃ—ｃｕ ｅ ｃ； ｏ ｕ ｎ ｉ ｌ ｉ ；ｌｓｅｉｇｇｉ Ｋｅ ｏ ｄ ］ ｏｕ ｎ ｕｔ ｇ ｄ ｃｍｅ ｔ ｃ ｅ ｉ ｍｏ ｅ； ｒ ｏｏｃ ｒ ｎｅ ｄ ｃ ｍｅｔ ｍｉ ｒｙ ｃｕｔｒ ａｎ ｓ ａｔ ｎ ＤＯｈ １．９ ９ ．ｓ．０ ０３２ ． １ ． ．７ Ｏ３ ６ ￣ｉ ｎ１０ —４ ８ ０ ２０ ０ ０ ｓ ２ ２
（） ｒ ・， Ｊ 丁中蕴含 的规则 ，即抽取 出的共现 词组 ３ Ｒ＝｛， ， ｔ 为 ２一 合 。【） “ 为 Ｓ上的约束 ，ｎ和 ∥分别为给定 的支持度 ４ ０＝｛， ｝
与置信度 的阈值 。根据关联规 则算法抽取 出超过 “和 阈值 的词对 即为文档空问上的共现词组合。
０ ２ ０ ０ ４ ０ ０ ６ ０ ０ ８ ０ ０ １０ ０ ０
聚类划分 。层次聚类增益如图 １ 所示。
其 中， Ｓｇ ｅ ｔ ， 为文档空问中同时包含 Ｗ 和 ｗ 的语 ｅ ｍ ｎ（ ， ） ｗｗ 境单元集合 ； 为集合 中的元素个 数；ｚ 为语境单元 的总数 。
本文利用关联规 则抽取共现词组合 ，由于共现词组合为 二元组 ，因此只考虑二元组 的规则抽取 。给定关联规则挖掘