web数据挖掘__10Web爬取

Resolving the host name in the URL to an IP
address using DNS Connecting a socket to the server and sending the request Receiving the requested page in response
Retrieve the resource using an HTTP GET request 2. Extract URLs from the resource. For each URL:
1.
1.
Decide if the URL should be added to the URL queue. If so, add the URL to the tail of the URL queue
例如：url：
/asp/customercenter/center_h ome.asp host: file: /asp/customercenter/center_home.asp 根据host（）做DNS解析 创建一个socket，用于网络通信 把创建的socket编号和DNS解析得到的网络地址作为 参数传递给connect()函数，进行本地服务器和远程网 页服务器的连接操作
多个并发的抓取


管理多个并发的连接
单个下载可能需要几秒钟 同时对不同的HTTP服务器建立许多socket 连接


过多的硬件并行好处不大
爬取的性能瓶颈主要在网络和硬盘


两种基本方法
用多线程/多进程 用带事件处理的非阻塞sockets
Concurrency
A crawler incurs several delays:
先广搜索算法

The basic crawling algorithm is as follows:
1.
2. 3.
4.
Create an empty URL queue Add user-supplied seed URLs to the tail of the queue Using the HTTP HEAD request, retrieve the HTTP headers for the resource at the head of the queue If the resource is found, hasn’t been visited previously, and meets all crawling criteria, then:
用不着等待解析的完成
网页抓取
问题: 网络连接及传输的开销 局域网的延迟在1-10ms，带宽为10-1000Mbps,Internet 的延迟在100-500ms，带宽为0.010-2 Mbps 在一个网络往返时间RTT为200ms的广域网中，服务器处 理时间SPT为100ms，那么TCP上的事务时间就大约 500ms（2 RTT+SPT） 网页的发送是分成一系列帧进行的，则发送1个网页的时 间量级在(13KB/1500B) * 500ms ≈4s 解决: 多个并发的抓取
单个采集线程个工作过程（续）
在本地服务器缓冲区中组装http请求。
用write()函数将组装好的http头发给网页服务器。
调用read()函数读从网页服务器返回的网页数
据 当read()函数返回的字节数是0的时候，说明网 页已经下载完毕。 调用close()函数终止与网页服务器的连接。 将网页保存到本地服务器
避免多次抓取被不同URL指向的相同网页 IP地址和域名之间的多对多关系 大规模网站用于负载平衡的技术：内容镜像 不同的主机名映射到同一个IP地址，发布多个逻辑网站的需要 （Apache支持） 相对URL • 需要补齐基础URL
节省资源：避免“同义”地址
域名与IP对应存在4种情况： 一对一，一对多，多对一，多对多。一对一不会造成 重复搜集 后三种情况都有可能造成重复搜集 可能是虚拟主机，多个域名共一个IP,内容不同
Store the headers and resource in the collection store 4. Record the URL in the visited URL list
3.
5.
Repeat from Step 2 until the queue is empty, then stop.
us close; maybe other good stuff…
Depth First Search
Implemented with STACK (LIFO) Wander away (“lost in cyberspace”)
单个采集线程个工作过程
将url解析成host和file。
例如， 和
一个url可能对应多个IP地址，从而多个物理的网
页（尽管此时内容大都是相同）
例如，一些大门户网站采用的负载分配技术
（也是一个例子）
1. DNS缓存，预取和解析
如果不采取措施，DNS地址解析会成为一个重要的瓶颈 局域网中，DNS服务器通常较小，对付几百个工作站
DNS缓存服务器
大缓存容量，跨DNS系统的刷新保持内容 Internet的DNS系统会定期刷新，交换更新的域名和IP 的信息。 普通的DNS cache一般应该尊重上级DNS服务器带来 的域名“过期”的信息，但用于爬取网页的DNS cache不一定如此，以减小开销（让缓存中有些过期 的无所谓，但也要注意安排适时刷新） 映射尽量放在内存，可以考虑用一台专门的服务
高效地址解析的定制client
一般系统（例如UNIX）提供的DNS client没有考虑
cralwer的需求，带来两个问题：
以gethostbyname()为基础，它不能并发； 不会考虑在多个DNS server之间分配负载。
因此一个custom client很必要。
专门对付多个请求的并发处理 容许一次发出多个解析请求 协助在多个DNS server之间做负载分配（例如根据掌握的URL 进行适当调度）
A crawler within a search engine
Web googlebot
Page repository
Query
Text & link analysis
hits Text index PageRank
Ranker
Crawling process
Spiders (Robots/Bots/Crawlers)
}
搜索策略
Breadth-first Search
搜索策略 (cont)
Depth-first Search
Implementation issues
网页分布的若干特点
网页：内容（C），物理存在（P），IP地址
（A）， url（L） 存在有大量内容相同，但物理上不同的，url不同， IP地址不同的网页 镜像，拷贝 同一篇（物理）网页可能被多个url指向
系统框图
Basic crawlers
This is a sequential crawler
Seeds can be any list of
starting URLs Order of page visits is determined by frontier data structure Stop criterion can be anything
starting pages (seeds)
Crawler: basic idea
Many names
Crawler
Spider
Robot (or bot) Web agent
Wanderer, worm, …
And famous instances: googlebot, scooter, slurp,
器
预取client
为了减少等待查找涉及新主机的地址的时间：尽早将主
机名投给DNS系统 步骤
分析刚得到的网页 从HREF属性中提取主机名（不是完整的URL） 向缓存服务器提交DNS解析请求
结果放到DNS cache中（后面可能有用，也可能用不上）
通常用UDP实现 非连接，基于包的通信协议，不保证包的投递
msnbot, …
Motivation for crawlers
Support universal search engines (Google,
Yahoo, MSN/Windows Live, Ask, etc.) Vertical (specialized) search engines, e.g. news, shopping, papers, recipes, reviews, etc. Business intelligence: keep track of potential competitors, partners Monitor Web sites of interest Evil: harvest emails for spamming, phishing… … Can you think of some others?…
Hale Waihona Puke Web爬取Roadmap Introduction
Crawling process
Implementation issues One taxonomy of crawlers
Q: How does a search engine know that all these pages contain the query terms? A: Because all of those pages have been crawled