网络爬虫爬取动态页面

网络爬虫爬取动态页面

一、前言

毕业设计，我选了网络爬虫相关的论文。爬取静态页面很简单，网上有好几种算法都有现成的代码，解释的也很清楚。然而很多网页都包含ajax请求，动态生成内容，恰恰这些内容又是关键的部分。

由于以前没接触过这方面的东西，所以遇到爬取动态信息这块功能感到很惆怅。网上有引入各种jar包或者修改jar源码什么的方案，我去试了试，感觉不怎么好。

后来我终于找出一种方法，共享出来，希望能对初学者有所帮助。

二、步骤

拿新浪新闻网来举例吧，新浪新闻网的评论就是动态生成的。下面我们来找一下热门评论的URL。

1.下载火狐浏览器，并装上FireBug.

2.用火狐浏览器打开/进入到页面。如下图所示

(图.1)

3.在主页面按“F12”启动firbug。启动后，在浏览器窗体下方会弹出firbug工作面板。如下图所示

(图.2)

4.随意点击一条新闻，进入新闻页。点击firbug的“网路”栏，并清空数据。如图3.图4所

示

点击“清除”即可清空数据。注意哦，一定要等到页面全部加载完毕再清除哦。

5.面板点亮“全部”。如图

6.点击评论，观察firebug的变化。

(图.6)

(图.7)

7.发现URL那有4个请求，这些不是我们的目的。清除后点击评论的刷新按钮。

(图.8)

这时，在firebug里就会出现一个请求，这个请求就是热门评论的请求。

(图.9)

8.鼠标移到请求上面”GET”会显示一个URL,这个URL就是热门评论的地址。现在只需要爬取这个地址的内容就得到了热门评论了哦。

三、后记

上面说的是获取热门评论的方法。其它动态内容也可以这么获取。当然了不同网站的规范不一样啦。

你会发现这个URL还有很多的参数

这些参数怎么获取？提个醒，有些参数可以自己设定(比如size)，有些参数可以通过解析新闻页面获得(比如新闻编号)。我们分析出评论URL的格式，然后去新闻页获取参数，这样就能通过爬虫获取评论内容。