屏幕文字抓取工具

对于做电商运营的朋友来说，阅读自身商品评论是一件必备的事情，有的时候商品评论文字很能会很多，不便于进行更精细的分析，那么有没有一款屏幕文字抓取工具，能够批量把这些商品评论文字抓取下来呢，答案是肯定的。下面以阿里巴巴商品评论抓取为例，为大家介绍屏幕文字抓取工具的使用方法。

采集网站：

使用功能点：

●AJAX点击和翻页

/tutorial/ajaxdjfy_7.aspx?t=1

●分页列表及详细信息提取

/tutorial/fylbxq7.aspx?t=1

●Xpath

/search?query=XPath

1）进入主界面，选择“自定义模式”

阿里巴巴商品评价文字采集方法图1

2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”

阿里巴巴商品评价文字采集方法图2

步骤2：创建翻页循环

1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。将页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”，以建立一个翻页循环

阿里巴巴商品评价文字采集方法图3

步骤3：创建列表循环

1）移动鼠标，选中页面里的第一条商品链接，接着再选中第2、3、4条商品链接。选中后，系统会自动识别页面里的其他相似链接。在右侧操作提示框中，选择“循环点击每个元素”，以创建一个列表循环

阿里巴巴商品评价文字采集方法图4

步骤4：提取商品信息

1）在创建列表循环后，系统会自动点击第一条商品链接，进入商品详情页。点击需要的字段信息，在右侧的操作提示框中，选择“采集该元素的文本”

阿里巴巴商品评价文字采集方法图5

2）继续点击要采集的字段，选择“采集该元素的文本”。采集的字段会自动添加到上方的数据编辑框中。选中相应的字段，可以进行字段的自定义命名

阿里巴巴商品评价文字采集方法图6

3）下拉页面并点击“评价”按钮，在操作提示框中，选择“点击该链接”

阿里巴巴商品评价文字采集方法图7

由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”

阿里巴巴商品评价文字采集方法图8

注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。

验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。

1）点击“评价”按钮后，页面出现商品评价。下拉页面，找到并点击“下一页”按钮，选择“循环点击下一页”，以建立一个翻页循环

阿里巴巴商品评价文字采集方法图9

由于此网页涉及Ajax技术，我们选中“点击翻页”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”

阿里巴巴商品评价文字采集方法图10

2）选中页面中第一个评价区块，选择“选中子元素”

阿里巴巴商品评价文字采集方法图11

3）系统会自动识别出页面中的其他同类元素，在操作提示框中，选择“选中全部”，以建立一个列表循环

阿里巴巴商品评价文字采集方法图12

4）我们可以看到，页面中商品评价区块里的所有元素均被选中，变为绿色。右侧操作提示框中，出现字段预览表，将鼠标移到表头，点击垃圾桶图标，可删除不需要的字段。字段选择完成后，选择“采集以下数据”

阿里巴巴商品评价文字采集方法图13

5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名

阿里巴巴商品评价文字采集方法图14

步骤5：调整流程图结构

回顾采集过程，操作思路是：打开要采集的网页>建立商品链接的翻页循环>建立商品链接的循环列表>点击商品链接，进入商品详情页>建立商品评价的翻页循环>建立商品评价的列表循环>提取评价

已有的流程图没有遵循此逻辑，我们需要手动调整一下流程图结构

1）选中整个“循环”步骤（商品链接的循环列表），将其拖入到第1个“循环翻页”步骤和到第2个“循环翻页”步骤之间

阿里巴巴商品评价文字采集方法图15

拖动完成后，位置如图

阿里巴巴商品评价文字采集方法图16

2）选中整个“循环翻页”步骤（商品评价的循环翻页），将其拖入到整个“循环”（商品链接的循环列表）步骤中

阿里巴巴商品评价文字采集方法图17

拖动完成后，位置如图

阿里巴巴商品评价文字采集方法图18

步骤6：修改Xpath

点击左上角的“保存并启动”，选择“启动本地采集”。采集过程中我们发现，采集的数据出现大量重复。

1）选中整个“循环翻页”步骤，打开“高级选项”，将单个元素列表中的这条Xpath：//A[text()='下一页']，复制粘贴到火狐浏览器中的相应位置

阿里巴巴商品评价文字采集方法图19

Xpath：是一种路径查询语言，简单的说就是利用一个路径表达式找到我们需要的数据位置。

Xpath是用于XML中沿着路径查找数据用的，但是八爪鱼采集器内部有一套针对HTML的Xpath引擎，使得直接用XPATH就能精准的查找定位网页里面的数据。

2）在火狐浏览器中，我们发现，要采集的评论已经翻到最后一页（第11页）了的时候，使用此条Xpath：//A[text()='下一页']，依旧能找到“下一页”按钮，即一直都可以点击这个按钮进行采集，循环无法结束

阿里巴巴商品评价文字采集方法图20

3）返回八爪鱼采集器，选择“自定义”