基于内容的中文文本检索方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｍａ ｙｒ ｔｉ ｖ ｌ ｅ ｈ ｉ ｕ ｓａｅｂａ ｅ ｎ ｉ ｅ ｅｒｅ ａ ｃ ｉ ｕ ｓ Ｔｈ ｓｐａ ｅ ｔ ｄｅ ｅｓ ａ ｃ ｄ ｉｄ ｘｔ ｃ ｏ ｏ ｎ ｅｒｅ ａ ｃ ｎ ｑ ｅ ｒ ｓ ｄ ｏ ｔ ｎｄ ｘ ｒｔｉｖ ｌ ｅ ｈ ｑ ｅ ． ｉ ｐ ｒｓｕ ｉｓｔ ｅ ｈ ａ ｅ ｈ ｌ ｇ ｏｆ ｔ ｎ ｈ ｒ ｎ ｎ ｅｎ ｙ ｌ ｃ ｎ ｎ ｅ ａｃ ｌｔ ｄｔ ｅｓｍｉ ｒｔ ｆＬｕ ｅ ｅｒ ｓ ｌ ａ ｄ ｑ ｅ ｙ ｉ ｃｏ ｐ ｃ ｏ ｌ ｏ ｉ ｐ ｏ ｅｔ ｅｓ ｒ ｃ ｔｏ ｕ ｅ ｅ ａ ｄ ｒ ｃ ｌｕａｅ ｉ ｌ ｉ ｏ ｃ ｎ ｅ ｕ ｔ ｈ ａ ｙ ｕ ｒ ｔ Ｖｅ ｔ ｒＳ ａ ｅＭ ｄｅ ｎ ｎ ｈｅ ｔ ｍ ｒ ｖ ｏ ｔｌ ａｉ ｎ ｈ ｏ
Ｃｈｉ ｓ ｘ ｔ ｉｖａ ｅ ｈｏ Ｂａ ｅ ｎ Ｃｏ ｔ ｎ ｎｅ ｅＴｅ ｔＲｅ ｒｅ ｌ Ｍ ｔ ｄ ｓ ｄ ｏ ｎ ｅ ｔ
Ｗ ＡＮ Ｇ ｉ ｇ ｒ Ｇ ｉ Ｆ ｎｇ Ｊｎ ， ＡＮ Ｘ ｎ－ ａ
（ｃｏ ｌ ｆ ｕｏ ｔ ｄ ｎｏｍａｉ ｎ ｉｅｒ ｇ Ｘｉ ｎ ｉ ｒｉ ｆ ｅｈ ｏｏ ｙＸｉ ｎ７ ０４ ， ｈｎ ） Ｓ ｈｏ Ａ ｔｍａｉａ ｆｒ ｔ ｎＥ ｇｎ ｅｉ ， ’ ｖ ｓｙｏ Ｔ ｃｎ ｌｇ， ’ １０ ８ Ｃ ｉａ ｏ ｃｎ Ｉ ｏ ｎ ａ Ｕｎ ｅ ｔ ａ
语 言分 析器，主要 用于 分词 索 引存 储时 的文档 结构 管理 索 引管 理。 供库 的读 写接 口 提
●
模 、稳定 的或 周期性变化 的文本文 档的检索 ． 中将 文
引入 Ｌ ｃｎ 平 台，在其 已有的基 础上进行相关检索 结 ｕ ｅｅ 果改进，以便获得更好的检 索效果．
Ｏ ｇａａ ｅ１ ｅｅ ｕ ｒＰｒ ｒ 查询分析器，实现查询关键词间的运算 ｒ． ｃ ．ｃ ． ｅｙ ａ ｅ ｐｈ ｕｎ ｑ ｓ
Ｋｅ ｙｗｏ ｄ ： ｅ ｔｒ ｐ ｃ ｒ ｓ ｖ ｃｏ ａ ｅｍｏ ｅ；ｕ ｅ ｅ ｉｄ ｘ ｓ ｌ ｉ ｓ ｄ ｌｌｃｎ ； ｅ ； ｉ ａ ｔ ｎ ｍｉ ｒｙ
随着科 技的飞速 发展，文本 信息量越 来越 多， 如 何在海量的信息 中获取 自己真正想要 的信息成 为一个 巨大挑 战． 基于 内容的检索是根据 媒体对象 的语义和 上下文联 系进行检索．这种检 索技术突破 了传 统的基
Ｏｒ． ｈｅ ｕｅ ｅ ｅｒｈ ｇａ ￣ｃ ．ｃ ． ａｃ １ｎ ｓ 检 索 管理。 据 查询 条件 得到 结果 根 数据 存储管 理
１ Ｌ ｃｎ 概述 ｕｅｅ
Ｌ ｃｎ 是用 Ｊｖ 编 写的全 文检索 引擎工具包，它 ｕｅ ｅ ａａ 可以方便地 嵌入 到各种应用 中实现全文索引和检索功
库采 用建立索 引的技术缩短检索 时间． 于 内容 的检 基
索 技术往往 也都是基 于索 引的【 ｌ 非常适用 于大规 】 ，它
Ｏ ｇ ￣ｃｅｕｅｅ ｎ ｌｓ ｒ． ｈ ．ｃ ． ａｙｉ ａ １ｎ ａ ｓ Ｏ ｇ￣ｌｈ ．ｃ ｅ ｏｕ ｎ ｒ． ｌ ￣ｕｅ ． ｃｍｅｔ ｃ １ｎ ｄ Ｏ ｇａａ ｅｕｅｅｉ ｅ ｒ． ｃ ．ｃｎ ．ｄｘ ｐｈ １ ｎ
助 了 Ｌ ｃｎ ｕｅ ｅ的索 引技术与检索机制 ， 通过对索 引信息 的改进 以及使用基 于内容 的改进方法，对 Ｌ ｃｎ ｕ ｅｅ结果与查
询语句在 向量空 间中重新计算相似度，实现 了对长段查询语句检 索结果排 序位置 的提高．
关键 词： ｕｅｅ Ｌ ｃｎ ；向量空间模型； 索引；相似度
它们进行 二次扩展． Ｌ ｃｎ ｕ ｅｅ源码 中共包括 ７个子包，每个包完成特 定 的功能，具体 内容如表 １ 所示：
表 １ Ｌ ｃｎ 源码包对应功能表 ｕｅ ｅ
Ｌ ｃｎ ｕｅｅ源码 包名 功 能
检索 结果是按顺序检 索的响应时 间给 出， 么检索的 那
过程 会变 的乏味冗长 ． 了解决 这种 问题 ， 本文档 为 文
Ａｂ ｔ ａ ｔ Ｗ ｉ ｅｒｐ ｄ ｉｃ ｅ ｓ ｆ ｆ ｒ ｔ ｎ ｒ ｔｉｖ ｌ ｅ ｈ ｏｏ ｙ ｉ ｂ ｃ ｍｉｇｍｏ ｅａ ｄｍｏ ｅｉ ｏ ｔ ｔ Ａｔ ｒ ｓ ｎ， ｓ ｒ ｃ ： ｔ ｔ ｉ ｒ ａ ｅｏ ｏ ｍａｉ ， ｅｒ ａ ｃ ｎ ｌｇ ｅ ｏ ｎ ｒ ｎ ｒ ｈｈ ａ ｎ ｎ ｉ ｏ ｅ ｔ ｓ ｍｐ ｒ ｎ ． ｅ ｅ ｔ ａ ｐ
ｏ ￣ｎ ｕ ｒ ａｃ ｓ ｌｔ ｒ ｕ ｈｔ ｅｉ ｐ ｏ ｅ ｎｄ ｘｉ ｆ ｒ ｔ ｎａ ｄｔ ｅｉ ｐ ｏ ｅ ｆ ｇｑ ｅ ｓ ｒ ｈｒ ｕ ｔ ｈ ｏ ｇ ｈ ｍ ｒ ｖ ｄｉ ｅ ｎ ｏ ｍａｉ ｙ ｅ ｅ ｏ ｎ ｈ ｍ ｒ ｖ ｄｍｅｈ ｄｂ ｓ ｄｏ ｏ ｔｎ ． ｔ ｏ ａ ｅ ｎｃ ｎ ｅ ｔ
计 算 机 系 统 应 用
ｈｔ：ｗ ｗ． Ｓ ．ｒ． ｔ ／ ｗ ｃ ・ ｏｇ ｎ ｐ／ —ａ ｃ
２１ ０ ２年 第 ２ 卷 第 ９期 ｌ
基于内容的中文文本检索方法①
王 婧，王新房
（ 西安理工大学 自动化与信 息工程学 院， 西安 ７０４） １０８
摘
wenku.baidu.com
要 ：随着信 息量 的急剧 增加，检索 技术显得尤为关键．目前 很多检 索技术都是基于索引的检 索技术．文中借
Ｏｒ． ｈ ．ｃ ｅ ｔ ｅ ｇａ ｅ１ ｅ ．ｏ ￣ｃ ｕｎ ｓ ｒ
于关键字 的检索 的局 限，直接对对象 的内容进行分析， 抽取特 征和 语义。并建立 索引进行检 索．如果 返回 的
能． ｕ ｅｅ有一套 自己的索 引、检索机制与结果排 序 Ｌ ｃｎ
方法，可 以较 为方便快 捷地进行检索 ． 索引与检 索 但
两者是相互独立 的， 这使得 开发人员可 以根据 需要对
Ｃｈｉ ｓ ｘ ｔ ｉｖａ ｅ ｈｏ Ｂａ ｅ ｎ Ｃｏ ｔ ｎ ｎｅ ｅＴｅ ｔＲｅ ｒｅ ｌ Ｍ ｔ ｄ ｓ ｄ ｏ ｎ ｅ ｔ
Ｗ ＡＮ Ｇ ｉ ｇ ｒ Ｇ ｉ Ｆ ｎｇ Ｊｎ ， ＡＮ Ｘ ｎ－ ａ
（ｃｏ ｌ ｆ ｕｏ ｔ ｄ ｎｏｍａｉ ｎ ｉｅｒ ｇ Ｘｉ ｎ ｉ ｒｉ ｆ ｅｈ ｏｏ ｙＸｉ ｎ７ ０４ ， ｈｎ ） Ｓ ｈｏ Ａ ｔｍａｉａ ｆｒ ｔ ｎＥ ｇｎ ｅｉ ， ’ ｖ ｓｙｏ Ｔ ｃｎ ｌｇ， ’ １０ ８ Ｃ ｉａ ｏ ｃｎ Ｉ ｏ ｎ ａ Ｕｎ ｅ ｔ ａ
语 言分 析器，主要 用于 分词 索 引存 储时 的文档 结构 管理 索 引管 理。 供库 的读 写接 口 提
●
模 、稳定 的或 周期性变化 的文本文 档的检索 ． 中将 文
引入 Ｌ ｃｎ 平 台，在其 已有的基 础上进行相关检索 结 ｕ ｅｅ 果改进，以便获得更好的检 索效果．
Ｏ ｇａａ ｅ１ ｅｅ ｕ ｒＰｒ ｒ 查询分析器，实现查询关键词间的运算 ｒ． ｃ ．ｃ ． ｅｙ ａ ｅ ｐｈ ｕｎ ｑ ｓ
Ｋｅ ｙｗｏ ｄ ： ｅ ｔｒ ｐ ｃ ｒ ｓ ｖ ｃｏ ａ ｅｍｏ ｅ；ｕ ｅ ｅ ｉｄ ｘ ｓ ｌ ｉ ｓ ｄ ｌｌｃｎ ； ｅ ； ｉ ａ ｔ ｎ ｍｉ ｒｙ
随着科 技的飞速 发展，文本 信息量越 来越 多， 如 何在海量的信息 中获取 自己真正想要 的信息成 为一个 巨大挑 战． 基于 内容的检索是根据 媒体对象 的语义和 上下文联 系进行检索．这种检 索技术突破 了传 统的基
Ｏｒ． ｈｅ ｕｅ ｅ ｅｒｈ ｇａ ￣ｃ ．ｃ ． ａｃ １ｎ ｓ 检 索 管理。 据 查询 条件 得到 结果 根 数据 存储管 理
１ Ｌ ｃｎ 概述 ｕｅｅ
Ｌ ｃｎ 是用 Ｊｖ 编 写的全 文检索 引擎工具包，它 ｕｅ ｅ ａａ 可以方便地 嵌入 到各种应用 中实现全文索引和检索功
库采 用建立索 引的技术缩短检索 时间． 于 内容 的检 基
索 技术往往 也都是基 于索 引的【 ｌ 非常适用 于大规 】 ，它
Ｏ ｇ ￣ｃｅｕｅｅ ｎ ｌｓ ｒ． ｈ ．ｃ ． ａｙｉ ａ １ｎ ａ ｓ Ｏ ｇ￣ｌｈ ．ｃ ｅ ｏｕ ｎ ｒ． ｌ ￣ｕｅ ． ｃｍｅｔ ｃ １ｎ ｄ Ｏ ｇａａ ｅｕｅｅｉ ｅ ｒ． ｃ ．ｃｎ ．ｄｘ ｐｈ １ ｎ
助 了 Ｌ ｃｎ ｕｅ ｅ的索 引技术与检索机制 ， 通过对索 引信息 的改进 以及使用基 于内容 的改进方法，对 Ｌ ｃｎ ｕ ｅｅ结果与查
询语句在 向量空 间中重新计算相似度，实现 了对长段查询语句检 索结果排 序位置 的提高．
关键 词： ｕｅｅ Ｌ ｃｎ ；向量空间模型； 索引；相似度
它们进行 二次扩展． Ｌ ｃｎ ｕ ｅｅ源码 中共包括 ７个子包，每个包完成特 定 的功能，具体 内容如表 １ 所示：
表 １ Ｌ ｃｎ 源码包对应功能表 ｕｅ ｅ
Ｌ ｃｎ ｕｅｅ源码 包名 功 能
检索 结果是按顺序检 索的响应时 间给 出， 么检索的 那
过程 会变 的乏味冗长 ． 了解决 这种 问题 ， 本文档 为 文
Ａｂ ｔ ａ ｔ Ｗ ｉ ｅｒｐ ｄ ｉｃ ｅ ｓ ｆ ｆ ｒ ｔ ｎ ｒ ｔｉｖ ｌ ｅ ｈ ｏｏ ｙ ｉ ｂ ｃ ｍｉｇｍｏ ｅａ ｄｍｏ ｅｉ ｏ ｔ ｔ Ａｔ ｒ ｓ ｎ， ｓ ｒ ｃ ： ｔ ｔ ｉ ｒ ａ ｅｏ ｏ ｍａｉ ， ｅｒ ａ ｃ ｎ ｌｇ ｅ ｏ ｎ ｒ ｎ ｒ ｈｈ ａ ｎ ｎ ｉ ｏ ｅ ｔ ｓ ｍｐ ｒ ｎ ． ｅ ｅ ｔ ａ ｐ
ｏ ￣ｎ ｕ ｒ ａｃ ｓ ｌｔ ｒ ｕ ｈｔ ｅｉ ｐ ｏ ｅ ｎｄ ｘｉ ｆ ｒ ｔ ｎａ ｄｔ ｅｉ ｐ ｏ ｅ ｆ ｇｑ ｅ ｓ ｒ ｈｒ ｕ ｔ ｈ ｏ ｇ ｈ ｍ ｒ ｖ ｄｉ ｅ ｎ ｏ ｍａｉ ｙ ｅ ｅ ｏ ｎ ｈ ｍ ｒ ｖ ｄｍｅｈ ｄｂ ｓ ｄｏ ｏ ｔｎ ． ｔ ｏ ａ ｅ ｎｃ ｎ ｅ ｔ
计 算 机 系 统 应 用
ｈｔ：ｗ ｗ． Ｓ ．ｒ． ｔ ／ ｗ ｃ ・ ｏｇ ｎ ｐ／ —ａ ｃ
２１ ０ ２年 第 ２ 卷 第 ９期 ｌ
基于内容的中文文本检索方法①
王 婧，王新房
（ 西安理工大学 自动化与信 息工程学 院， 西安 ７０４） １０８
摘
wenku.baidu.com
要 ：随着信 息量 的急剧 增加，检索 技术显得尤为关键．目前 很多检 索技术都是基于索引的检 索技术．文中借
Ｏｒ． ｈ ．ｃ ｅ ｔ ｅ ｇａ ｅ１ ｅ ．ｏ ￣ｃ ｕｎ ｓ ｒ
于关键字 的检索 的局 限，直接对对象 的内容进行分析， 抽取特 征和 语义。并建立 索引进行检 索．如果 返回 的
能． ｕ ｅｅ有一套 自己的索 引、检索机制与结果排 序 Ｌ ｃｎ
方法，可 以较 为方便快 捷地进行检索 ． 索引与检 索 但
两者是相互独立 的， 这使得 开发人员可 以根据 需要对