第10章 发现与搜索引擎技术-《物联网技术基础教程》

第 10章 发现与搜索引擎 技术
学习任务
本章主要涉及：
1
WEB搜索引擎工作原理 物联网搜索引擎 服务发现技术
Click to add title in here
2 3
10.1 搜索引擎技术概述
• 搜索引擎（search engine）是指根据一定的
策略、运用特定的计算机程序搜集互联网上的
信息，在对信息进行组织和处理后，并将处理
10.2.2 Web搜索引擎的工作模式
• Web上的信息一般表现为网页，对每个网页， 须生成一个摘要，此摘要将显示在查询结果的 页面中，告诉查询用户各网页的内容概要。 • 模型化的信息将存放在临时数据库中，由于 web数据的数据量极为庞大，为了提高检索效 率，须按照一定规则建立索引。 • 不同搜索引擎在建立索引时会考虑不同的选项， 如是否建立全文索引，是否过滤无用词汇，是 否使用meta信息等。
③ 检索及用户交互：
• 用户查询（query）理解，即最大可能贴近的理解 用户通过查询串想要表达的查询目的，并将用户 查询转换化为后台检索使用的信息模型；
• 根据用户查询的检索模型，在索引库中检索出结 果集；
• 结果排序：通过特定的排序算法，对检索结果集 进行排序。
10.2.2 Web搜索引擎的工作模式
10.2.1 Web搜索引擎的组成
搜索引擎组成
10.2.2 Web搜索引擎的工作模式
① 利用网络爬虫获取网络资源。
• 网络爬虫访问资源的过程，是对互联网上信息 遍历的过程。 • 在实际的爬虫程序中，为了保证信息收集的全 面性，及时性，还有多个爬虫程序的分工和合 作问题，往往有复杂的控制机制。
10.2.2 Web搜索引擎的工作模式
10.1.2 搜索引擎分类
（1）全文索引
• 全文搜索引擎是名副其实的搜索引擎，站的信息，建立起数 据库，并能检索与用户查询条件相匹配的记录， 按一定的排列顺序返回结果
10.1.2 搜索引擎分类
根据搜索结果来源的不同，全文搜索引擎可 分为两类: • 一类拥有自己的检索程序（Indexer），俗称 “爬虫”（Spider）程序或“机器人” （Robot）程序，能自建网页数据库，搜索结果 直接从自身的是为用户提供检索服务
的系统。
10.1.1 搜索引擎的发展
• 1990年，加拿大麦吉尔大学（University of McGill）计算机学院的师生想到了开发一个可以 用文件名查找文件的系统，开发出Archie。 • 当时，万维网（World Wide Web）还没有出现， 人们通过FTP来共享交流资源。
Web搜索引擎的工作模式
10.2.3 搜索引擎的技术设计与算法
• 搜索引擎的评价指标有响应时间、查全率、查准
率和用户满意度等。
• 其中响应时间是从用户提交查询请求到搜索引擎
给出查询结果的时间间隔，响应时间必须在用户 可以接受的范围之内。
• 查全率是指查询结果集信息的完备性。 • 查准率是指查询结果集中符合用户要求的数目与
• Archie能定期搜集并分析FTP服务器上的文件名 信息，提供查找分别在各个FTP主机中的文件。 用户必须输入精确的文件名进行搜索，Archie告 诉用户哪个FTP服务器能下载该文件。
10.1.1 搜索引擎的发展
• 虽然Archie搜集的信息资源不是网页（HTML 文件），但和搜索引擎的基本工作方式是一样 的：自动搜集信息资源、建立索引、提供检索 服务。 • 所以，Archie被公认为现代搜索引擎的鼻祖。 • 由于Archie深受欢迎，受其启发，1993年又 开发了一个Gopher搜索工具。
个数量级
■ 关键词搜索：得到合理的匹配结果
■ 搜索结果排序：如何对海量的结果数据排序
10.2.3 搜索引擎的技术设计与算法
• 所以搜索引擎的体系结构得设计时需要考虑信息 采集、索引技术和搜索服务三个模块的设计。
1. 信息采集
Web搜索引擎的信息采集模块的主要功能是： • 执行基于超文本传输协议（Hypertext Transfer Protocol, 简称HTTP），从Web上收集页面信 息，即Web机器人（爬虫）程序。
10.2.3 搜索引擎的技术设计与算法
网络爬虫程序的基础结构
10.2.3 搜索引擎的技术设计与算法
3. 信息采集优化
• 信息采集优化需要考虑到：
• 网络连接优化策略、持久性连接和多进程并发 设计等方面的问题。 • 同时由于网络爬虫程序会频繁调用域名系统， 域名系统缓存可提高爬虫程序性与算法
爬虫程序物理设备架构图
10.2.3 搜索引擎的技术设计与算法
② 网络爬虫程序的基础结构 • 首先网络爬虫程序从URL链接库读取一个或多 个URL作为初始输入并进行域名解析 • 然后根据域名解析结果（IP）访问Web服务器， 建立TCP连接，发送请求，接受应答，储存接 受数据，并分析提取链接信息（URL）放入 URL连接库里。 • 爬虫程序递归执行该过程直到URL链接库为空。 网络爬虫程序的基础结构如下图：
• 首先是用爬虫（Spider）进行全网搜索，自动抓取
网页；
• 然后将抓取的网页进行索引，同时也会记录与检索
有关的属性，中文搜索引擎中还需要首先对中文进 行分词；
• 最后，接受用户查询请求，检索索引文件并按照各
种参数进行复杂的计算，产生结果并返回给用户。
10.2.1 Web搜索引擎的组成
搜索引擎一般由搜索器、索引器、检索器 和用户接口四个部分组成： ① 搜索器： • 其功能是在互联网中漫游，发现和搜集信息；
10.2.3 搜索引擎的技术设计与算法
4. 网页抓取算法 ① 深度优先算法 • 在Web收集页面信息时，使用一个或一组预定义 URL地址开始，然后根据页面内容中的超链接深 度抓取页面，直到搜索结束（没有新的URL）。 ② 广度优先算法 • 在Web收集页面信息时，使用一个或一组预定义 URL地址开始，然后根据页面内容中的超链接广 度抓取页面，抓取下一层的URL直到这一层的 URL完全被抓取，直到搜索结束时返回。
② 索引器：
• 其功能是理解搜索器所搜索到的信息，从中抽 取出索引项，用于表示文档以及生成文档库的 索引表；
10.2.1 Web搜索引擎的组成
③检索器： • 其功能是根据用户的查询在索引库中快速检索 文档，进行相关度评价，对将要输出的结果排 序，并能按用户的查询需求合理反馈信息； ④用户接口： • 其作用是接纳用户查询、显示查询结果、提供 个性化查询项。
基本搜索器流程图
10.2.2 Web搜索引擎的工作模式
② 利用索引器从搜索器获取的资源中抽取信 息，并建立利于检索的索引表：
• 当用网络爬虫获取资源后后，需要对这些进行 加工过滤，去掉网控制代码及无用信息，提取 出有用的信息，并把信息用一定的模型表示， 使查询结果更为准确。
• 其中信息的表示模型一般有布尔模型，向量模 型，概率模型和神经网络模型等。
10.2.3 搜索引擎的技术设计与算法
相关域名系统的缓存策略：
• ■ LRU（Least Recently Used）算法：将最 近最少使用的内容替换出Cache缓存；
• ■ LFU（Lease Frequently Used）算法：将 访问次数最少的内容替换出Cache缓存； • ■ FIFO（First-In, First-Out）算法：在 Cache缓存中执行数据的先进先出流程方法。
• 这个就是所谓的“链接流行度”——衡量多少
人愿意将他们的网站和你的网站挂钩。 • PageRank这个概念引自学术中一篇论文的被 引述的频度 — 即被别人引述的次数越多，一 般判断这篇论文的权威性就越高。
10.2.3 搜索引擎的技术设计与算法
• Google有一套自动化方法来计算这些投票。
• Google的PageRank分值从0到10；PageRank
结果总数之比。
10.2.3 搜索引擎的技术设计与算法
• 用户满意度是一个难以量化的概念，除了搜索
引擎本身的服务质量外，它还和用户群体，网 络环境有关系。
• 在搜索引擎可以控制的范围内，其核心是搜索
结果的排序，即前文提到的如何把最合适的结 果排到前面。
10.2.3 搜索引擎的技术设计与算法
总的来说，Web搜索引擎的3个重要问题是： ■ 响应时间：一般来说合理的响应时间在秒这
• 另一类则是租用其他搜索引擎的数据库，并按 自定的格式排列搜索结果，如Lycos搜索引擎。
10.1.2 搜索引擎分类
（2）目录索引 • 目录索引虽然有搜索功能，但严格意义上不能称 为真正的搜索引擎，只是按目录分类的网站链接 列表而已。 • 用户完全可以按照分类目录找到所需要的信息， 不依靠关键词（Keywords）进行查询。 • 目录索引中最具代表性的有Yahoo、新浪分类目 录搜索。
10.1.2 搜索引擎分类
（3）元搜索引擎
• 元搜索引擎（META Search Engine）接受用 户查询请求后，同时在多个搜索引擎上搜索， 并将结果返回给用户。
• 著名的元搜索引擎有InfoSpace、Dogpile、 Vivisimo等。
10.2 WEB搜索引擎工作原理
web搜索引擎的原理通常为：
10.2.3 搜索引擎的技术设计与算法
PageRank的定义：
• 假设有T1…Tn个页面指向页面A（即 引用）。
• 参数d是一个阻尼因子，其取值区间属于(0,1)，我 们通常取值为0.85。 • C(A)定义为指向页面A的其他页面的连接数， • 页面A的PageRank或PR(A)值可以通过下面的公 式得到：
10.2.3 搜索引擎的技术设计与算法
⑤ PageRank（Google的专利技术） • Google的PageRank根据网站的外部链接和内
部链接的数量和质量来衡量网站的价值。
• PageRank背后的概念是，每个到页面的链接