信息检索中文版41-45

241元搜索引擎（4）为元搜索引擎增加复杂细节1）有时对于给定的一个搜索，元搜索引擎只需要调用部分搜索引擎，而不是其连接的所有搜索引擎。

（数据库可选性）2）可控制元搜索引擎其下每个搜索引擎检索文档的数量（文档可选性）3）排序所有返回文档时，相关文档排在非相关文档之前。

4）自动构造和维护元搜索引擎242元搜索引擎（5）数据库选择问题当本地数据库数量庞大时可以必要的选择少数潜在有效的数据库代替全部数据库，这样做可以：降低网络传输消耗避免本地资源浪费提高检索效率243元搜索引擎（6）潜在可用数据库：包含可用文档的数据库潜在可用文档：其与搜索内容的整体相似性高于边界值其与搜索内容的整体相似性低于某个极大值m为执行数据库可选性需预先搜集每个数据库相关知识以上称为数据库代理244元搜索引擎（7）文档选择性的问题对于每个可选本地数据库，有效选择潜在可用文档。

检索全部潜在可用文档同时极小化对无用文档的检索。

从整体相似性边界值到局部相似性边界值设d为全体文档：Gsim(q,d)>GTGsim为整体相似性函数，GT为整体边界值设在本地数据库DB k中搜索d,则有Lsim(q,d)>LT kLT k是最大的局部边界值由Gsim(q,d)>GT ->Lsim(q,d)>LT k245元搜索引擎（8）结果排序问题将从多个数据源返回的文档整合进一个序列表里难点：本地文档相关性不可用或文档无法比较。

、解决方案：生成全局相似性，然后再进行排序。

246元搜索引擎（9）一个好的元搜索引擎应具备如下条件：检索效率：达到按不同数据源检索和相同数据源检索效率接近。

效果：最优化检索过程结论：仅选择有效搜索引擎仅检索和传递有效文档根据文档相关度排序247元搜索引擎（10）主要资源问题：局部搜索引擎分治设计自主化：自行设计决定局部搜索引擎-接口，排序算法维护自动化自行决定何时升级系统，针对哪个组件进行升级，如何升级。

自行决定何时更新数据库索引。

248元搜索引擎（11）分治性可以导致多样性多样性存在于局部搜索引擎中索引方法：去掉停顿词—保留停顿词执行去词干化-不执行使用全文本索引—使用局部文本索引使用锚文本-不使用249元搜索引擎（12）文档/检索词权重方案仅使用tf使用tf*idf使用或不使用标签信息（将词放入标签尤为重要）相似性函数点乘或余弦函数扩展启发函数合并从链接中导出的重要信息250元搜索引擎（13）文档数据库不同的范围级别不同的文档集合等级文档版本：同一文档的不同版本会被不同的搜索引擎建立索引结果报告：可提供或不提供关于大量返回文档的排序。

251元搜索引擎（14）分治性与相异性带来的影响对于数据库：相异性文档数据库造成了数据库需求增巨。

方法选择取决于中央代理数据库的可用性。

对于文档选择性：选择局部文档需要整体测量方法。

结果排序：计算局部文档相似度需客服不可比性及不可用性。

252数据库可选性：基本思想目标：针对每个用户检索指出潜在可用数据库一般方法：使用用户代理指定内容近似的相关数据库针对每个查询使用这些代理选择数据库253多样化的解决方案：不同类型的代理程序通过不同算法执行代理程序原始方法：选择全部搜索引擎。

（举例：元爬虫）粗加工样本：搜索引擎的内容被描绘成一些词或短语。

这些词或短语是与检索词相匹配的关键字。

搜索引擎内容相关的的每个词都是用精密统计信息表述，同时具有许多方法使用信息以选择搜索引擎。

基于学习的方法：通过训练和用户查询学习搜索引擎相关知识。

、254粗加工样本方法（1）标准样本：一些词或短语应使用正确格式经常需要手工结构一般备注：可以适当为特殊需求数据库工作在存储需求中可升级当需求描述粗糙时可能导致结果不准确255粗加工样本方法（2）例子一：ALTWEB样本具有固定格式：地址包含PerI语言的文件模板类型：文档标题：PerI描述：涉及PerI程序语言，包括本地化超文本，PerI手册，关于超文本的问答。

关键字：PerI，PerI问答，PerI程序语言用户检索可以匹配一个或多个部分。

256粗加工样本方法（3）例子2样本具有文字网络基本结构：地址包含由国家组成的目录主题：国家信息类型：元素用户检索在匹配前先转化成相似结构257粗加工样本方法（4）一个搜索引擎的样本是从搜索引擎网页接口和网页接口回溯链接的网页相关文本中提取的。

每个用户检索被扩展到许多个检索，每个符合主题的扩展检索都与原始检索相关。

一个现存的正常搜索引擎即被使用针对每个新的搜索，指出并显示三个最好的搜索引擎用户选择已经显示的搜索引擎进行使用260统计样本方法（1）对包含在搜索引擎文档中的每个词进行一种或多种统计所构成的集合。

一些统计方法：文档频率：搜索引擎中有多少文档包含词t集合频率：元搜索引擎中有多少个搜索引擎包含词t平均正规化权重：搜索引擎中所有文档包含t的权重的平均值最大正规化权重：搜索引擎中所有文档包含t的最大的权重261统计样本方法（2）1.局部搜索引擎之间合作-每个局部搜索引擎提供其自身的数据库样本2.局部搜索引擎之间半合作（遵循某些标准协议）-每个局部搜索引擎可以为其样本提供足够信息。

3.局部搜索引擎之间不合作-抽取局部文本制作近似样本。

262统计样本方法（3）如何取得搜索引擎样本识别出搜索引擎搜索的主题对应的文本的词汇表将词汇表中每个词单独提交到搜索引擎中，从返回排序文档中得到需求统计数据。

263统计样本方法（4）例子一：gGioss(普化服务器难词服务器)样本：对于一个t i有(df i,W i)df i 对于词t i的文档频率W i对于词t i在全部文档中的加权和数据库有效性：所有高相似度的和其中D是数据库，T是边界值264gGioss(1)假设查询为q,设265gGioss(2)有效性评估建立在两种情况下高相互关系情况：如果df i<=df j,,则每个文档既包含t i也包含t j266gGioss(3)两个文档包含所有查询词他们的预期相似度为一个文档包含t2,t3并且预期相似度为一个文档包含t3的预期相似度为267gGioss(4)分散情况：对任意两个查询词ti与tj,没有一个文档同时他们。

268gGioss(5)评论：有效性取决于边界值每个词拥有两个样本有效性评估使用较牢固的假说高相关联性趋向于过高估测分离趋向于过低估测两种估测对于大于边界值相似度之和具有越界倾向269统计样本方法（10）例子2：CORI Net样本：对于一个词t i(df i,cf i)df i -关于词t i的文档频率cf i –关于词t i的集合频率cf i可以被全部数据库分享数据库有效性有效性(q,D)=sim(q,D的样本)270CORI Net一些评论：估测不依赖边界值每个词少于两个样本相似度计算基于推理网络数据库排序与文档排序使用同一方法278. 文件在数据库D中的数字与相似性大于阈值T较高者：NoDoc（D，Q，T）=|{D：D∈D和sim（Q，D）> T】|•这项措施表示数据库的用处对于一个查询的很清楚。

•这样的措施可以是收费可能有用基于搜索服务（费用取决于有多少可能有用的文件可以找到）。

279. 基本方法•代表：（圆周率，WI）的术语tPI：TI出现在文档的概率wi：TI在文档之间的平均重量有Ti例如：TI的10份文件标准化权重为（0，0，0，0，0.2，0.2，0.4，0.4，0.6，0.6）。

PI=0.6，WI=0.4280. 基本方法（续）例如：考虑查询Q=（1，1）。

设P1 =0.2时，w1= 2，P2 =0.4，W 2= 1。

生成函数：（0.2 X 2 +0.8）（0.4 x +0.6）=0.08×3+0.12 X 2 +0.32 X +0.48aX b：a是在D中文档出现的概率与q有相似度bNoDoc（Q，D,1）= 10*（0.08+0.12）=2281查询的生成函数此查询的精度函数282. 基本方法（续）考虑查询Q=（Q1，...，QR）。

命题。

如果条款是独立的，权重术语t i存在于一个文件的时候是wi（平均权重），1≤i≤r，则该系数第X于该下生成函数是概率是在D中文档具有相似性s的Q值。

283. 基本方法（续）假设扩展生成函数是：A1X B1 + B2 A2X+ ... + ACX BC，B1> B2>...> BC对于一个给定的阈值T，令v为的最大整数满足BV> T。

然后NoDoc（Q，D，T）可以通过估算：N（A1 + A2 +...+ AV）其中n是文件D中的数.284基本的方法不是很准确的因为两个假设：1，长期有文档之间均匀权重拥有它。

2单词是独立的。

•为了克服均匀项的权重的假设。

•附加信息术语t：ΣI：TI的权重，在所有的标准偏差文件mnwi：TI的最大权重归285. 例如：4,4，1，1，1，1，0，0，0，0：单词t i的权重使用平均重量生成函数（因子）0.6* X 2 +0.4使用权重的子范围的更准确的函数0.2* X 4+0.4* X +0.4一般情况下，权重被划分为k子范围：PI1* X MI1X MIK+（1 - PI）概率PIJ和中位数MIJ可估计用σi和Ti中的权重的平均值。

一个特殊的实现：使用最大归权重（mnwi）作为自身的第一子范围。

286. 统计样本方法（23）•尝试优化每个排名的搜索引擎查询并使用唯一排名靠前的搜索引擎。

用户：为查询Q，找m个类似的文件。

定义：资料库[D1，D2，...，压差]是最佳排名就到q如果对于每m，存在一个k，使得每个数据库的D1，...，DK包含一种米最类似的文件，并所有这些m文件都包含在这k 数据库。

287. WebScales（续）命题：资料库[D1，D2，...，]是最佳排相对于查询Q，当且仅当它们都排在的相似性降序在每一个最相似的文档288. 数据库的选择：如果数据库的优化排名可以得到，我们可以选择数据库根据级别从最高开始排名。

•在实践中，最相似的相似相对于一个查询需要在数据库中的文件要估计和数据库的排名为基础的估计相似之处。

•让MSIM（Q，D）是最相似的相似性在数据库D中就记录到查询Q。

289. 如何找到MSIM（Q，D）为每个数据库D中？1，使用子区域为基础的方法来估计MSIM（Q，D）。

例如：假设在一个数据库中100个文件。

对于查询Q，生成功能是：0.002 X4+ X30.009+...自100 *（0.002+0.009）≥1的全局相似性估计最相似的文档是3。

•这种方法的缺点：- 需要大量的存储数据库的代表- 具有指数的计算复杂度290. 2，更有效的方法•全局数据库代表人：长期TI全球DFI•本地数据库的代表：anwi：TI的平均权重正常化mnwi：TI的最大权重归291. 更有效的方法（续）长期权重方案查询条件：TF* gidf文档词：TF查询Q=（Q1，Q2，...，QK）修改后的查询：Q'=（Q1 * gidf1，...，QK* gidfk）MSIM（Q，D）=最大{补气* gidfi* mnwi+ΣQJ* gidfj* anwj}/| Q'|1≤≤k均Ĵ≠我•| Q'|可以在不影响相对排名丢弃。