基于计数型布隆过滤器的文本检索模型

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第４０卷第２期
Ｖｌ０１．４０
・
计
算
机
工Hale Waihona Puke Baidu
程
２０１４年２月
Ｆｅｂｒｕａｒｙ２０１４
Ｎｏ．２
ＣｏｍｐｍｅｒＥｎｇｉｎｅｅｒｉｎｇ
体系结构与软件技术・
文章编号：１００＿３４２８（２０１４）０２ — ＿００５８ — ＿０４文献标识码：Ａ
Ｆｉｌｔｅｒ（ＣＢＦ）ｗｈｉｃｈａｒｅｃｏｍｐｕｔｅｄｂｙｔｈｅｉｎｖｅｒｔｅｄｉｎｄｅｘ ’ ｓｋｅｙｗｏｒｄｓｔｏｈｅｔｃｏｒｒｅｓｐｏｎｄｉｎｇｉｎｄｅｘｎｏｄｅ．Ｅａｃｈｉｎｄｅｘｎｏｄｅｂｕｉｌｄｓａｓｅａｒｃｈｔｒｅｅａｎｄｍａｉｎｔａｉｎｓｉｔｗｈｅｎｔｈｅｔｒｅｅ ’ ｓｌｅａｆｎｏｄｅｃｈａｎｇｅｓ．Ｔｈｅｓｅａｒｃｈｔｒｅｅｉｓｂｕｉｌｔｂｙｌｅａｆｎｏｄｅｓｗｉｔｈｔｈｅｄａｔａｎｏｄｅ ’ ｓｃｈａｒａｃｔｅｒ（ｉｎｃｌｕｄｉｎｇｔｈｅｉｒｃｏｕｎｔｉｎｇｂｌｏｏｍｉｆｌｔｅｒ ’ ｓｖａｌｕｅ），ａｎｄｉｔｓｉｎｔｅｎａｒｌｎｏｄｅｓｗｉｔｈｔｈｅｒｅｓｕｌｔｃｏｍｐｕｔｅｄｂｙｔｈｅｖａｌｕｅｓｏｆｃｏｕｎｔｉｎｇｂｌｏｏｍｉｆｌｔｅｒ．Ｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔ
ｒｅｓｐｏｎｓｉｂｌｅｆｏｒｓｔｏｒｉｎｇｄｏｃｕｍｅｎｔｓ，ａｎｄｍａｉｎｔａｉｎｉｎｇｔｈｅｉｎｖｅｒｔｅｄｉｎｄｅｘｏｆｔｈｅｄｏｃｕｍｅｎｔｓ．ＩｔａｌｓｏｔｒａｎｓｍｉｔｓｔｈｅｖａｌｕｅｓｏｆＣｏｕｎｔｉｎｇＢｌｏｏｍ
索模型ＣＢＦＴＲＭ。该模型将物理节点分为数据节点和索引节点，分别采用结构化Ｐ２Ｐ进行网络覆盖。每个数据节点负责存储文档数据并维护与之相应的倒排索引，同时通过倒排索引中的关键词集合计算出计数型布隆过滤器值，发送给相应的索引节点。每个索引节点建立一棵以部分数据节点的特征信息（包括过滤器值）为叶节点、以过滤器值运算结果为内部节点的搜索树，并在叶节点发
生变化时对搜索树进行维护。仿真实验结果表明，该模型文档定位快，索引维护通信量小，而且具有较高的查准率。
关健词：计数型布隆过滤器；搜索树；结构化Ｐ２Ｐ；文本检索；倒排索引
ＴｅｘｔＲｅｔｒｉｅｖａｌＭｏｄｅｌＢａｓｅｄ０ｎＣｏｕｎｔｉｎｇＢｌｏｏｍＦｉｌｔｅｒ
［Ａｂｓｔｒａｃｔ］Ｔｈｅｄｉｓｔｒｉｂｕｔｅｄｔｅｘｔｒｅｔｒｉｅｖａｌｓｙｓｔｅｍｉｓｄｉｉｃｆｕｌｔｔｏｔａｋｅｂｏｔｈｈｉｇｈｒｅｔｒｉｅｖａｌｅｉｃｆｉｅｎｃｙａｎｄｌｏｗｃｏｓｔｏｆｉｎｄｅｘｍａｉｎｔｅｎａｎｃｅｉｎｔｏａｃｃｏｕｎｔ，ｓｏｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａＴｅｘｔＲｅｔｒｉｅｖａｌＭｏｄｅｌｂａｓｅｄｏｎＣｏｕｎｔｉｎｇＢｌｏｏｍＦｉｌｔｅｒ（ＣＢＦＴＲＭ）ｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｓａｂｏｖｅ．Ｔｈｉｓｍｏｄｅｌ
ｄｉｖｉｄｅｓｔｈｅｐｈｙｓｉｃａｌｎｏｄｅｉｎｔｏｔｈｅｄａｔａｎｏｄｅａｎｄｔｈｅｉｎｄｅｘｎｏｄｅ，ｂｏｔｈｏｆｗｈｉｃｈａｒｅｏｖｅｒｌａｉｄｗｉｔｈｓｔｒｕｃｔｕｒｅｄＰ２Ｐｎｅｔｗｏｒｋ．Ｅａｃｈｄａｔａｎｏｄｅｉｓ
ＦＥＮＧＪｉａ－ｊｕｎ，ｗＡＮＧＸｉａｏ－ｌｉｎ，ＴＩＡＮＱｉｎｇ
（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｈａｎｄｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｊｉｎａｎ２５０１０１，Ｃｈｉｎａ）
中圈分类号：ＴＰ３１１．１３
基于计数型布隆过滤器的文本检索模型
冯加军，王晓琳，田青
（ｄｊ东大学计算机科学与技术学院，济南２５０１０１）
摘
要：分布式文本检索系统难以兼顾高效率的数据检索和低成本的索引维护。为此，提出一种基于计数型布隆过滤器的文本检