如何抓取网页数据 - 360文档中心

合集下载

相关主题

如何抓取网页数据

很多用户不懂爬虫代码，但是却对网页数据有迫切的需求。那么怎么抓取网页数据呢？

本文便教大家如何通过八爪鱼采集器来采集数据，八爪鱼是一款通用的网页数据采集器，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。

本文示例以京东评论网站为例

京东评价采集采集数据字段：会员ID，会员级别，评价星级，评价内容，评价时间，点赞数，评论数，追评时间，追评内容，页面网址，页面标题，采集时间。

需要采集京东内容的，在网页简易模式界面里点击京东进去之后可以看到所有关于京东的规则信息，我们直接使用就可以的。

京东评价采集步骤1

采集京东商品评论（下图所示）即打开京东主页输入关键词进行搜索，采集搜索到的内容。

1、找到京东商品评论规则然后点击立即使用

京东评价采集步骤2

2、简易模式中京东商品评论的任务界面介绍

查看详情：点开可以看到示例网址

任务名：自定义任务名，默认为京东商品评论

任务组：给任务划分一个保存任务的组，如果不设置会有一个默认组

商品评论URL列表：提供要采集的网页网址，即商品评论页的链接。每个商品的链接必须以#comment结束，这个链接可以在商品列表点评论数打开后进行复制。或者自己打开商品链接后手动添加，如果没有这个后缀可能会报错。多个商品评论输入多个商品网址即可。

将鼠标移动到？号图标可以查看详细的注释信息。

示例数据：这个规则采集的所有字段信息。

京东评价采集步骤3

3、任务设置示例

例如要采集格力空调KFR-35GW/(35592)FNhDa-A3 和小米6 全网通 6GB+128GB 的评论信息。

在设置里如下图所示：

任务名：自定义任务名，也可以不设置按照默认的就行

任务组：自定义任务组，也可以不设置按照默认的就行

商品评论URL列表:https:///1993092.html#comment

https:///4957824.html#comment

一行一个，使用回车（Enter）进行换行。

注：URL列表中建议不超过2万条，大量的URL可以通过八爪鱼先从商品列表页批量获取。少量的URL可以直接在京东官网搜索后复制黏贴到八爪鱼中。

如京东首页https:///搜索“小米6”后，点击列表中的一个商品进入详情页，找到评论后点击“商品评价”，然后复制网址https:///4099139.html到URL 列表中，最后在https:///4099139.html后面加上#comment。

设置好之后点击保存

京东评价采集步骤4

保存之后会出现开始采集的按钮

京东评价采集步骤5

4、选择开始采集之后系统将会弹出运行任务的界面

可以选择启动本地采集（本地执行采集流程）或者启动云采集（由云服务器执行采集流程），这里以启动本地采集为例，我们选择启动本地采集按钮

京东评价采集步骤6

5、选择本地采集按钮之后，系统将会在本地执行这个采集流程来采集数据，下

图为本地采集的效果（示例中商品评论数据较多，为方便展示故先行停止采集，诸位可以根据需求决定是否采集完。此外由于京东网站自身问题，评论数据在采到一定量后会出现整页整页的重复。实测在浏览器中翻到一定页数后，网站就只给返回重复数据，目前无解决方案。）

京东评价采集步骤7

6、采集完毕之后选择导出数据按钮即可，这里以导出excel2007为例，选择这个选项之后点击确定

京东评价采集步骤8

7、然后选择文件存放在电脑上的路径，路径选择好之后选择保存

京东评价采集步骤9

8、这样数据就被完整的导出到自己的电脑上来了

京东评价采集步骤10