信息检索中的特征提取过程
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
条 ｗ不出现，（） ｉ Ｐ 为 类值的出现概率，（ｎ ） ｃ ； Ｐｃｙ 为词条出现时属于第 ｉ ｗ 类的条件概率。 这个定义比较综合地应用在二元分类模型中， 这种计算包括估算给定词条类的条件概率 和在这个定义中的嫡计算。 概率估计有时间复杂度 Ｏ Ｎ 和空间复杂度 Ｏ Ｎ ， Ｎ是训练 （） （ ）其中
法比 较复杂， 检索操作执行速度慢， 随着大童新词语的加与 会使概念空间上的检索性能下降，
因而它要求初始的训练集足够大 ， 也可当新词语太多时重新进行 Ｓ Ｄ计算。 Ｖ
３ 结论
本文主要阐述了信息检索中特征提取的方法， 这些方法同样可以应用于对图像、 声音等数 据的检索系统中。 随着 Ｉｔ ｎｔ ｎｅ ｅ的迅速发展和网络信息的不断丰富， ｒ 为了帮助用户有效地获取 有用信息， 对于互联网上信息检索的研究已经成为一个重要课题。
２ ７ ９
２４ 隐含语义索引 ．
通过以上方法所获得的特征项仅仅依赖于表面的共现信息， 由于自 然语言的多样性 ， 例如 词汇的同义和多义现象， 可能特征项之间意义相近 ， 甚至存在包含关系， 即彼此的独立性不强 ， 概括性差， 很难全面地反映文本内容。 传统信息检索技术是把用户提供的术语与文档词条相匹配， 即以关键词为基础的信息检 索技术。问题是用户所提供的术语可能不在用来索引文档的词条中， 而从语义角度来看， 这些 术语又与索引文档的词条相似， 甚至具有同样的语义。因此， 基于关键词的信息检索技术提取 的信息常常缺乏准确性， 并且容易丢失相关信息。 解决传统信息检索技术的不足的方法之一是隐含语义索引。Ｌ Ｉ Ｓ 方法不仅使用了词条出 现的信息， 而且提取出了在数据中存在的某些基本的潜在语义结构信息。 它使用强有力的充分 自动的统计方法， 揭示了词条和文件的联系， 创立了一个语义或概念空间， 利用词条和文件的 语义匹配索引和提取信息。 实际上 ，Ｓ 就是用 Ｔ维词条空间中前 ｋ ＬＩ 个主分量方向来近似原始 的Ｔ维词条空间， ＮＸ 使用 Ｔ的文档一词条矩阵来估计这个方向。 Ｓ 方法不仅降低了空间维 ＬＩ 度， 而且引入语义信息， 提高了检索的精度． ＬＩ Ｓ 方法的步骤如下： （） １ 运用上述方法构造文档一词条矩阵， 使矩阵的列是文件中出现的词条的集合， 矩阵的 行是各个文档的集合。
参
ｒ Ｌ
考
文
献
，． 几 Ｊ
一Ｉ
Ｆ Ｌ
０ ‘ Ｊ ．
Ｆ
Ｋ ｌｒ Ｓｈｍ Ｍ． ｒ ｃｉｌ Ｃａ ｉｉ Ｄｃｍ ｎ Ｕ ｉ ｖｒ ｗ ｏ ｓ Ｉ， ｃ ｄ ｇ ｏ ｏｅ Ｄ ａａ ｉ Ｈｅ ｒ ｃ ｌ ｌｓｙ ｇ ｕ ｅｔ ｓｇ Ｆ Ｗ ｒ ． Ｐｏ ｅｉ ｓ ｌ ， ｉａ ｈ ａｙ ｓｆｎ ｏ ｓ ｎ ｅ ｅ ｙ ｄ ｎ ｒｅ ｎ ｆ ｔｅ ｈ ｅ ａｏａＣ ｎｅ ｎｅ Ｍａｈ ｅ ｒｉ ， ７ ｈ １ｔ Ｉｔ ｎｔｎｌ ｆ ｅｃ ｏ ｃｉ Ｌａｎ ｇ １９ ４ ｎｒ ｉ ｏ ｒ ｎ ｎ ｅ ｎ ９ Ｙ ｎ Ｙ， ｅ ｅ Ｊ Ａ ｍ ａ ｔ ｅ ｄ ｏ Ｆａ ｒ Ｓｌ ｔｎ ｅｔ ｅｏｉ ｔｎ Ｉｔ ｃ ｄ ｇ ａｇ Ｐｄｒ ｎ Ｃ ｐｒ ｉ Ｓｕｙ ｅｔ ｅ ｅ ｉ ｉＴ ｘ Ｃ ｔ ｒａｏ． Ｐｏｅ ｉ ｓ ｅ ｓ ． ｏ ａｖ ｔ ｎ ｕ ｅｃｏ ｎ ａ ｇ ｚ ｉ ｎ ｒ ｅ ｎ
Ｐ（ Ａ ） ｗ ｃ ； Ｍ （， ＝习ｐ ｇ ｗ） ｃ） Ｉ ） ｗｃ （ｌ Ｐ（ Ｐ（； ｃｏ ； ）
其中 ＰｗＡ ； ｃ 定义为 ｗ和ｃ的同现概率，（ ） （ ） ｉ Ｐｗ 定义为 ｗ出现的概率，（） Ｐｃ定义为 。 出现 的概率。从概率上说， 如果某个词和某一类别在分布上统计独立， Ｐｗ八 ｉ （ ） 那么 （ ｃ ＝Ｐ ｗ Ｘ ） Ｐ （）从而有ＭＩ ｃ＝０也就是说词ｗ的出现对于预测类别。 。， 。 （ ） ， ｗ， 没有什么信息量。 在实际计算 中， 这些概率可以用训练集中相应的出现频率予以近似。 互信息没有考虑单词发生的频度， 这是互信息一个最大的缺点， 因为它造成了互信息评估 函数经常倾向于选择稀有单词。
ｑ＝Ｏ ，一 ＶＳ ‘ 。
隐含语义索引适用于以下几个方面信息的检索： （） １ 缺少特征描述的信息．
２８ ９
（） ２ 用户的查询和被检索信息中含有大量噪音的场合， 即信息的查询和信息源中含有大 量无关的条 目。 （） ３ 不需要翻译的不同语言的交叉检索， 主要应用Ｌ Ｉ Ｓ 创建的语义空间。 对于同一语义运 用不同语言描述 ， 其在语义空间中的位置是一致的， 如果把各种语言建立的语义空间中同一事 物的概念加以适当标记索引， 通过适当的转换， 实现不同语言的交叉检素是完全有可能的。 采用隐含语义索引法检索， 检索精度要高于按关键词匹配方法进行的检索， 可获得更好的 检索效果． 但这种方法采用潜在的语义结构， 缺乏直观意义， 不便理解， 而且隐含语义索引法算
信息检索中的特征提取过程
陈建 王东龙 李茂青
厦门大学自动化系， 厦门， １０ ３ ０５ ６
摘 要 在信息检索中， 被广泛采用的向量空间模型的核心间题就是如何进行特征提取。本文着 重讨论了特征提取的方法， 并针对基于关键词的传统信息检索技术的不足， 应用隐含语义索引方 法， 获得数据中的潜在语义信息， 提高检索的精度， 同时提出了隐含语义索引在实际应用中存在的
２ 特征提取
特征提取操作一般是根据词条出现频率的特性来进行， 所提取的词条应具有以下两个特
性：
（） 词条能够确实表示文档内容； １ 完全性： （） 词条能够区分各个文档． ２ 区分性： 基于以上两点可以进行一些初始特征筛选。在所有文档中都有很高出现频率的常用词和 在所有文档中出现次数很少的稀有词都不适合作为特征项。 在具体操作过程中， 通常是建立一 个包含常用词的ｓ ｐ ｔ 并设立一个词频瓶颈值， ｔ － 表， ｏ ｌ ｉ ｓ 然后将文档中所有属于ｓ ｐ ｌ 中的 ｔ －ｉ ｏ ｓ ｔ 词和所有词频小于瓶颈值的词全部删除。 即使通过初始特征筛选， 仍会留下大量的特征， 所以有必要对特征进行进一步的筛选。通 常采用的方法是， 用某种权重函数独立地对每个特征打分， 然后按照分值的高低， 提取预定数 目 个分值最高的特征。下面分别介绍一些常用的权重函数— Ｔ －ＩＦ ］ Ｆ Ｄ Ｃ， Ｚ 信息增益Ｃ， ｓ互信 ７
息［以 ‘ 及隐含语义索引（ａ ｎＳｍ ｎｃ ｅｉ ， ， 〕 Ｌｔ ｔ ａｔ Ｉ ｘ ｇＬＩ ｅ ｅ ｉ ｎ ｎ ＳＰ３ ｄ
２１ 信息增益 ．
信息增益在机器学习中常被用作特征词评判的标准， 它是一个基于嫡的评价方法， 涉及较
２６ ９
多的数学理论和复杂的嫡理论公式， 定义为某特征在文档中出现前后的信息嫡之差。 根据训练 数据， 计算出各个特征词的信息增益， 删除信息增益很小的词， 其余的按照信息增益从大到小 排序。如果以信息增益最大者为根结点， 建立一棵决策树， 就可以进行决策数的分类挖掘。 信息增益评估函数被定义为 ｒ， 、 今 。 ， ， １ 、 ＿ 、 ＿ 。 ，、 ｎ ， （ 一互 － － －
文档的数量， 是词条的长度， Ｌ 嫡计算有时间复杂度 Ｏ Ｌ ） （ｍ ，
２２ 互信息 ．
互信息是普遍应用在相关词统计语言建模中， 假设有词条 ｗ和类 Ｃ 是 ｗ出现时属于类 Ａ 。 的次数， Ｙ是 ｗ出现时不属于类 ｃ 的次数， Ｚ是类 。 中不出现 ｗ的次数 ， Ｎ是总的文档数， ｗ 和。 互信息定义为
Ｌ ｗ一Ｌ ； Ｐ；一 ｋ 合ｒ ｈ ’ Ｉ Ｊ （’ ｒ Ｊ （ ｋ ＂ ２ ｌ｝ ｌｃ ｃ０ ） ， ｇ Ｗ ｃ ；
Ａ １ ２ Ｗ） ９ ０
、 ｃ Ａ 尸（； ｗ）
一Ｐｗ） （八 ， （－ １ｗ， （， ｃ ｗ）９＇ （； ） 艺Ｐ 、 １２ ｃ Ａ ０ 一 －一 Ｐ
｛ ＝１ ｃ二 表示目 ；， ｝ 标空间的类集。 ＊ ， 为特征词条， Ｖ 其中Ｐｗ 为词条出现的概率，， （） ｗ 表示词
２ ３ Ｆ Ｄ ． Ｔ －Ｉ Ｆ权
根据完全性可知词条权正比于词条在文档内的频数， 根据区分性可知词条权反比于该词 条在文档集合中出现的频数。从而得出词条权的两个主要组成部分是：
（） Ｔｒ Ｆｅ ｅｃ，Ｆ ， １ 词条频数（ｅ ｒ ｕ ｙＴ ）就是指词条向 ｍ ｑ ｎ 量中的每个词条分量乘以 这个词条在
文档中出现的频率；
（） ２ 文档频率倒数（ ｖｒ Ｄ ｃｍ ｎ ＦｅｕｎｙＩＦ ， Ｉ ｅ ｅ ｕ ｅｔ ｑｅｃ， ）它的典型定义是 ｌ （ ／ｋ ｎ ｓ ｏ ｒ Ｄ ｏ Ｎ ｎ ）也就 ｇ ，
是包含词条 ｋ的文档占整个文档集合的比例的倒数的对数， Ｎ为文档总数，、 ｎ 表示词条 ｔ的 ‘ 文档频数。ＩＦ权偏向于仅在很少文档中出现的词条。使用 ＩＦ的对数而不是直接使用 ＩＦ Ｄ Ｄ Ｄ 的原因是使这个权对文档总数 Ｎ不特别敏感。 Ｔ －ＩＦ权就是特定词条在特定文档中的 Ｔ Ｆ Ｄ Ｆ权和ＩＦ权的乘积， Ｄ 常用Ｔ －ＩＦ权作为 Ｆ Ｄ 词条的权值。
Байду номын сангаас
Ａ 二 ＵＳ Ｔ Ｖ
Ａ ＝认５ＶＴ ， Ｓ ， ， 其中Ｕ 是 Ｕ的前 Ｋ列， 是 Ｖ的前Ｋ列，‘ ‘ 叭 Ｓ 包含 Ａ的前 Ｋ个最大的奇异值， 产 ， Ｕ Ｕ二
１ 产， ， ， Ｖ ＝１ Ｖ ｋ Ｋ为语义空间的维数．
Ｋ值选择具有关键的意义， 可以降低矩阵的维数， 还可以消除信息中的噪音。Ｕ 和 Ｖ 分 、 ｋ 别说明文件和词条在该空间中的位置， 对角矩阵Ｓ 的奇异值常用来刻度该空间的坐标轴。 ， 在这个空间中， 语义紧密相关的词条、 文件彼此靠的很近。 （） ３ 确定查询请求在语义空间中的位置 把用户的一个查询 Ｑ看成一个虚拟的文档， 首先根据它包含的若干词条， 得到它的文档 一词条向量 Ｏ， 然后运用下列公式求出它在语义空间中的位置。
－１ 习
一百 Ｌ
口 ｄ
ｏ ｔｅ ｈ ｅｎｔｎｌ ｆ ｅｃ ｏ Ｍａｈ ｅ ｒｉ ， ７ ｆ １ｔ Ｉｔ ａｏａＣ ｎｅ ｎｅ ｃｉ Ｌ ａ ｎ １９ ｈ ４ ｎｒ ｉ ｏ ｒ ｎ ｎ ｅｎ ｇ ９ Ｄ ｅ ｅ ｒ ， ｕ ａ Ｓ Ｔ ，Ｆ ｒａ Ｇ Ｗ． Ｌｎａｅ Ｔ Ｋ ， ａ ｈ ａ Ｒ Ｉｄｘ ｇ妙 Ｌｔ ｔ ｅ ｗ ｔ Ｓ Ｄ ｍ ｉ ． ｕｎｓ ｒ ｅ ． ｓ ． ． ， ａｄｕｒ ． Ｈ ｒ ｍ ｎ ｎｅｉ ． ｓ ． ｎ ａｎ ｅ
不足 。
关键词 信息检索， 向量空间模型， 隐含语义索引
１ 引言
Ｇ Ｓｌｎ 提出的向量空间模型（ ｅ ｏ Ｓａ Ｍｏｅ Ｖ Ｍ）ｌ ． ｔ ａｏ Ｖ ｃ ｒ ｃ ｄｌ Ｓ Ｉ是将文档（ ｃｍ ｎ） ｔ ｐ ｅ ， ＇ ｄ ｕ ｅｔ与词 ｏ 条（ ｒ ） ｔ ｍ 看作文本的两个基本组成部分， ｅ 以文档为对象， 词条为变量构成文档一词条矩阵， 每 个文档都以向量形式表示， 其中的向量元素为词条权（ 即该词条相对文档的重要程度）特征提 。 取就是从文本中提取出可以表征文本的一系列词条并确定词条权的过程。本文主要讨论信息 检索（ ） （ 中特征提取的过程。 Ｉ Ｒ
（） ２ 奇异值分解（ｉ ｕｒ ｕ Ｄｃ ｐｓｉ ， Ｐ３ Ｓ ｇｌ Ｖ ｌ ｅ ｍ ｏｔｎＳ Ｄ ｎ ａ ａｅ ｏ ｉ Ｖ ｏ
Ｓ Ｄ是处理矩阵分解的强有力的工具。Ｓ 的核心步骤是通过 Ｓ Ｄ把文档一词条矩阵分 Ｖ ＬＩ Ｖ 解成 ３ 个矩阵。 其中 Ａ为 ＮＸＴ的文档一词条矩阵， Ｒ是 Ａ矩阵的秩， 假定 Ｕ为 ＮＸＲ的正交矩阵， Ｖ为 Ｔ Ｒ的正交矩阵， 为 Ｒ Ｘ Ｓ ＸＲ的对角矩阵， Ｓ 并且 矩阵的对角矩阵元素全部由正值构成， Ｔ ＵＵ ＝１Ｖ Ｖ＝１ ，Ｔ 。用 Ｕ表示每篇文档间的相互关系， Ｖ表示各个词条间的相互关系。 由于矩阵 Ｕ和 Ｖ是线性独立的， 为了减少计算量， 可以用近似矩阵 Ａ 来代替 Ａ进行语 ｋ 义分析 ：
法比 较复杂， 检索操作执行速度慢， 随着大童新词语的加与 会使概念空间上的检索性能下降，
因而它要求初始的训练集足够大 ， 也可当新词语太多时重新进行 Ｓ Ｄ计算。 Ｖ
３ 结论
本文主要阐述了信息检索中特征提取的方法， 这些方法同样可以应用于对图像、 声音等数 据的检索系统中。 随着 Ｉｔ ｎｔ ｎｅ ｅ的迅速发展和网络信息的不断丰富， ｒ 为了帮助用户有效地获取 有用信息， 对于互联网上信息检索的研究已经成为一个重要课题。
２ ７ ９
２４ 隐含语义索引 ．
通过以上方法所获得的特征项仅仅依赖于表面的共现信息， 由于自 然语言的多样性 ， 例如 词汇的同义和多义现象， 可能特征项之间意义相近 ， 甚至存在包含关系， 即彼此的独立性不强 ， 概括性差， 很难全面地反映文本内容。 传统信息检索技术是把用户提供的术语与文档词条相匹配， 即以关键词为基础的信息检 索技术。问题是用户所提供的术语可能不在用来索引文档的词条中， 而从语义角度来看， 这些 术语又与索引文档的词条相似， 甚至具有同样的语义。因此， 基于关键词的信息检索技术提取 的信息常常缺乏准确性， 并且容易丢失相关信息。 解决传统信息检索技术的不足的方法之一是隐含语义索引。Ｌ Ｉ Ｓ 方法不仅使用了词条出 现的信息， 而且提取出了在数据中存在的某些基本的潜在语义结构信息。 它使用强有力的充分 自动的统计方法， 揭示了词条和文件的联系， 创立了一个语义或概念空间， 利用词条和文件的 语义匹配索引和提取信息。 实际上 ，Ｓ 就是用 Ｔ维词条空间中前 ｋ ＬＩ 个主分量方向来近似原始 的Ｔ维词条空间， ＮＸ 使用 Ｔ的文档一词条矩阵来估计这个方向。 Ｓ 方法不仅降低了空间维 ＬＩ 度， 而且引入语义信息， 提高了检索的精度． ＬＩ Ｓ 方法的步骤如下： （） １ 运用上述方法构造文档一词条矩阵， 使矩阵的列是文件中出现的词条的集合， 矩阵的 行是各个文档的集合。
参
ｒ Ｌ
考
文
献
，． 几 Ｊ
一Ｉ
Ｆ Ｌ
０ ‘ Ｊ ．
Ｆ
Ｋ ｌｒ Ｓｈｍ Ｍ． ｒ ｃｉｌ Ｃａ ｉｉ Ｄｃｍ ｎ Ｕ ｉ ｖｒ ｗ ｏ ｓ Ｉ， ｃ ｄ ｇ ｏ ｏｅ Ｄ ａａ ｉ Ｈｅ ｒ ｃ ｌ ｌｓｙ ｇ ｕ ｅｔ ｓｇ Ｆ Ｗ ｒ ． Ｐｏ ｅｉ ｓ ｌ ， ｉａ ｈ ａｙ ｓｆｎ ｏ ｓ ｎ ｅ ｅ ｙ ｄ ｎ ｒｅ ｎ ｆ ｔｅ ｈ ｅ ａｏａＣ ｎｅ ｎｅ Ｍａｈ ｅ ｒｉ ， ７ ｈ １ｔ Ｉｔ ｎｔｎｌ ｆ ｅｃ ｏ ｃｉ Ｌａｎ ｇ １９ ４ ｎｒ ｉ ｏ ｒ ｎ ｎ ｅ ｎ ９ Ｙ ｎ Ｙ， ｅ ｅ Ｊ Ａ ｍ ａ ｔ ｅ ｄ ｏ Ｆａ ｒ Ｓｌ ｔｎ ｅｔ ｅｏｉ ｔｎ Ｉｔ ｃ ｄ ｇ ａｇ Ｐｄｒ ｎ Ｃ ｐｒ ｉ Ｓｕｙ ｅｔ ｅ ｅ ｉ ｉＴ ｘ Ｃ ｔ ｒａｏ． Ｐｏｅ ｉ ｓ ｅ ｓ ． ｏ ａｖ ｔ ｎ ｕ ｅｃｏ ｎ ａ ｇ ｚ ｉ ｎ ｒ ｅ ｎ
Ｐ（ Ａ ） ｗ ｃ ； Ｍ （， ＝习ｐ ｇ ｗ） ｃ） Ｉ ） ｗｃ （ｌ Ｐ（ Ｐ（； ｃｏ ； ）
其中 ＰｗＡ ； ｃ 定义为 ｗ和ｃ的同现概率，（ ） （ ） ｉ Ｐｗ 定义为 ｗ出现的概率，（） Ｐｃ定义为 。 出现 的概率。从概率上说， 如果某个词和某一类别在分布上统计独立， Ｐｗ八 ｉ （ ） 那么 （ ｃ ＝Ｐ ｗ Ｘ ） Ｐ （）从而有ＭＩ ｃ＝０也就是说词ｗ的出现对于预测类别。 。， 。 （ ） ， ｗ， 没有什么信息量。 在实际计算 中， 这些概率可以用训练集中相应的出现频率予以近似。 互信息没有考虑单词发生的频度， 这是互信息一个最大的缺点， 因为它造成了互信息评估 函数经常倾向于选择稀有单词。
ｑ＝Ｏ ，一 ＶＳ ‘ 。
隐含语义索引适用于以下几个方面信息的检索： （） １ 缺少特征描述的信息．
２８ ９
（） ２ 用户的查询和被检索信息中含有大量噪音的场合， 即信息的查询和信息源中含有大 量无关的条 目。 （） ３ 不需要翻译的不同语言的交叉检索， 主要应用Ｌ Ｉ Ｓ 创建的语义空间。 对于同一语义运 用不同语言描述 ， 其在语义空间中的位置是一致的， 如果把各种语言建立的语义空间中同一事 物的概念加以适当标记索引， 通过适当的转换， 实现不同语言的交叉检素是完全有可能的。 采用隐含语义索引法检索， 检索精度要高于按关键词匹配方法进行的检索， 可获得更好的 检索效果． 但这种方法采用潜在的语义结构， 缺乏直观意义， 不便理解， 而且隐含语义索引法算
信息检索中的特征提取过程
陈建 王东龙 李茂青
厦门大学自动化系， 厦门， １０ ３ ０５ ６
摘 要 在信息检索中， 被广泛采用的向量空间模型的核心间题就是如何进行特征提取。本文着 重讨论了特征提取的方法， 并针对基于关键词的传统信息检索技术的不足， 应用隐含语义索引方 法， 获得数据中的潜在语义信息， 提高检索的精度， 同时提出了隐含语义索引在实际应用中存在的
２ 特征提取
特征提取操作一般是根据词条出现频率的特性来进行， 所提取的词条应具有以下两个特
性：
（） 词条能够确实表示文档内容； １ 完全性： （） 词条能够区分各个文档． ２ 区分性： 基于以上两点可以进行一些初始特征筛选。在所有文档中都有很高出现频率的常用词和 在所有文档中出现次数很少的稀有词都不适合作为特征项。 在具体操作过程中， 通常是建立一 个包含常用词的ｓ ｐ ｔ 并设立一个词频瓶颈值， ｔ － 表， ｏ ｌ ｉ ｓ 然后将文档中所有属于ｓ ｐ ｌ 中的 ｔ －ｉ ｏ ｓ ｔ 词和所有词频小于瓶颈值的词全部删除。 即使通过初始特征筛选， 仍会留下大量的特征， 所以有必要对特征进行进一步的筛选。通 常采用的方法是， 用某种权重函数独立地对每个特征打分， 然后按照分值的高低， 提取预定数 目 个分值最高的特征。下面分别介绍一些常用的权重函数— Ｔ －ＩＦ ］ Ｆ Ｄ Ｃ， Ｚ 信息增益Ｃ， ｓ互信 ７
息［以 ‘ 及隐含语义索引（ａ ｎＳｍ ｎｃ ｅｉ ， ， 〕 Ｌｔ ｔ ａｔ Ｉ ｘ ｇＬＩ ｅ ｅ ｉ ｎ ｎ ＳＰ３ ｄ
２１ 信息增益 ．
信息增益在机器学习中常被用作特征词评判的标准， 它是一个基于嫡的评价方法， 涉及较
２６ ９
多的数学理论和复杂的嫡理论公式， 定义为某特征在文档中出现前后的信息嫡之差。 根据训练 数据， 计算出各个特征词的信息增益， 删除信息增益很小的词， 其余的按照信息增益从大到小 排序。如果以信息增益最大者为根结点， 建立一棵决策树， 就可以进行决策数的分类挖掘。 信息增益评估函数被定义为 ｒ， 、 今 。 ， ， １ 、 ＿ 、 ＿ 。 ，、 ｎ ， （ 一互 － － －
文档的数量， 是词条的长度， Ｌ 嫡计算有时间复杂度 Ｏ Ｌ ） （ｍ ，
２２ 互信息 ．
互信息是普遍应用在相关词统计语言建模中， 假设有词条 ｗ和类 Ｃ 是 ｗ出现时属于类 Ａ 。 的次数， Ｙ是 ｗ出现时不属于类 ｃ 的次数， Ｚ是类 。 中不出现 ｗ的次数 ， Ｎ是总的文档数， ｗ 和。 互信息定义为
Ｌ ｗ一Ｌ ； Ｐ；一 ｋ 合ｒ ｈ ’ Ｉ Ｊ （’ ｒ Ｊ （ ｋ ＂ ２ ｌ｝ ｌｃ ｃ０ ） ， ｇ Ｗ ｃ ；
Ａ １ ２ Ｗ） ９ ０
、 ｃ Ａ 尸（； ｗ）
一Ｐｗ） （八 ， （－ １ｗ， （， ｃ ｗ）９＇ （； ） 艺Ｐ 、 １２ ｃ Ａ ０ 一 －一 Ｐ
｛ ＝１ ｃ二 表示目 ；， ｝ 标空间的类集。 ＊ ， 为特征词条， Ｖ 其中Ｐｗ 为词条出现的概率，， （） ｗ 表示词
２ ３ Ｆ Ｄ ． Ｔ －Ｉ Ｆ权
根据完全性可知词条权正比于词条在文档内的频数， 根据区分性可知词条权反比于该词 条在文档集合中出现的频数。从而得出词条权的两个主要组成部分是：
（） Ｔｒ Ｆｅ ｅｃ，Ｆ ， １ 词条频数（ｅ ｒ ｕ ｙＴ ）就是指词条向 ｍ ｑ ｎ 量中的每个词条分量乘以 这个词条在
文档中出现的频率；
（） ２ 文档频率倒数（ ｖｒ Ｄ ｃｍ ｎ ＦｅｕｎｙＩＦ ， Ｉ ｅ ｅ ｕ ｅｔ ｑｅｃ， ）它的典型定义是 ｌ （ ／ｋ ｎ ｓ ｏ ｒ Ｄ ｏ Ｎ ｎ ）也就 ｇ ，
是包含词条 ｋ的文档占整个文档集合的比例的倒数的对数， Ｎ为文档总数，、 ｎ 表示词条 ｔ的 ‘ 文档频数。ＩＦ权偏向于仅在很少文档中出现的词条。使用 ＩＦ的对数而不是直接使用 ＩＦ Ｄ Ｄ Ｄ 的原因是使这个权对文档总数 Ｎ不特别敏感。 Ｔ －ＩＦ权就是特定词条在特定文档中的 Ｔ Ｆ Ｄ Ｆ权和ＩＦ权的乘积， Ｄ 常用Ｔ －ＩＦ权作为 Ｆ Ｄ 词条的权值。
Байду номын сангаас
Ａ 二 ＵＳ Ｔ Ｖ
Ａ ＝认５ＶＴ ， Ｓ ， ， 其中Ｕ 是 Ｕ的前 Ｋ列， 是 Ｖ的前Ｋ列，‘ ‘ 叭 Ｓ 包含 Ａ的前 Ｋ个最大的奇异值， 产 ， Ｕ Ｕ二
１ 产， ， ， Ｖ ＝１ Ｖ ｋ Ｋ为语义空间的维数．
Ｋ值选择具有关键的意义， 可以降低矩阵的维数， 还可以消除信息中的噪音。Ｕ 和 Ｖ 分 、 ｋ 别说明文件和词条在该空间中的位置， 对角矩阵Ｓ 的奇异值常用来刻度该空间的坐标轴。 ， 在这个空间中， 语义紧密相关的词条、 文件彼此靠的很近。 （） ３ 确定查询请求在语义空间中的位置 把用户的一个查询 Ｑ看成一个虚拟的文档， 首先根据它包含的若干词条， 得到它的文档 一词条向量 Ｏ， 然后运用下列公式求出它在语义空间中的位置。
－１ 习
一百 Ｌ
口 ｄ
ｏ ｔｅ ｈ ｅｎｔｎｌ ｆ ｅｃ ｏ Ｍａｈ ｅ ｒｉ ， ７ ｆ １ｔ Ｉｔ ａｏａＣ ｎｅ ｎｅ ｃｉ Ｌ ａ ｎ １９ ｈ ４ ｎｒ ｉ ｏ ｒ ｎ ｎ ｅｎ ｇ ９ Ｄ ｅ ｅ ｒ ， ｕ ａ Ｓ Ｔ ，Ｆ ｒａ Ｇ Ｗ． Ｌｎａｅ Ｔ Ｋ ， ａ ｈ ａ Ｒ Ｉｄｘ ｇ妙 Ｌｔ ｔ ｅ ｗ ｔ Ｓ Ｄ ｍ ｉ ． ｕｎｓ ｒ ｅ ． ｓ ． ． ， ａｄｕｒ ． Ｈ ｒ ｍ ｎ ｎｅｉ ． ｓ ． ｎ ａｎ ｅ
不足 。
关键词 信息检索， 向量空间模型， 隐含语义索引
１ 引言
Ｇ Ｓｌｎ 提出的向量空间模型（ ｅ ｏ Ｓａ Ｍｏｅ Ｖ Ｍ）ｌ ． ｔ ａｏ Ｖ ｃ ｒ ｃ ｄｌ Ｓ Ｉ是将文档（ ｃｍ ｎ） ｔ ｐ ｅ ， ＇ ｄ ｕ ｅｔ与词 ｏ 条（ ｒ ） ｔ ｍ 看作文本的两个基本组成部分， ｅ 以文档为对象， 词条为变量构成文档一词条矩阵， 每 个文档都以向量形式表示， 其中的向量元素为词条权（ 即该词条相对文档的重要程度）特征提 。 取就是从文本中提取出可以表征文本的一系列词条并确定词条权的过程。本文主要讨论信息 检索（ ） （ 中特征提取的过程。 Ｉ Ｒ
（） ２ 奇异值分解（ｉ ｕｒ ｕ Ｄｃ ｐｓｉ ， Ｐ３ Ｓ ｇｌ Ｖ ｌ ｅ ｍ ｏｔｎＳ Ｄ ｎ ａ ａｅ ｏ ｉ Ｖ ｏ
Ｓ Ｄ是处理矩阵分解的强有力的工具。Ｓ 的核心步骤是通过 Ｓ Ｄ把文档一词条矩阵分 Ｖ ＬＩ Ｖ 解成 ３ 个矩阵。 其中 Ａ为 ＮＸＴ的文档一词条矩阵， Ｒ是 Ａ矩阵的秩， 假定 Ｕ为 ＮＸＲ的正交矩阵， Ｖ为 Ｔ Ｒ的正交矩阵， 为 Ｒ Ｘ Ｓ ＸＲ的对角矩阵， Ｓ 并且 矩阵的对角矩阵元素全部由正值构成， Ｔ ＵＵ ＝１Ｖ Ｖ＝１ ，Ｔ 。用 Ｕ表示每篇文档间的相互关系， Ｖ表示各个词条间的相互关系。 由于矩阵 Ｕ和 Ｖ是线性独立的， 为了减少计算量， 可以用近似矩阵 Ａ 来代替 Ａ进行语 ｋ 义分析 ：