网络矿工采集任务配置演练图文教程

网络矿工采集任务配置演练图文教程

下载网络矿工并解压后，启动Soukeynetget.exe，此文件是网络矿工的主程序文件，双击启动即可打开网络矿工。

如果您是试用用户，启动后，系统会显示试用版，及剩余试用的期限，通常情况下试用期限为30天，试用版没有任何功能限制，所以不必担心。

我们以一个简单的配置例子，来介绍网络矿工的使用，采集某网站的新闻数据。

启动网络矿工，我们首先先建立一个“新闻”的分类用来存储将要配置的采集任务，建立分类的目的是便于管理。

建立分类：

在属性菜单中，点击鼠标右键，选择“添加采集分类”，系统弹出添加分类窗体，如下：

输入“新闻”点击确定退出，系统会自动建立新闻的分类

选中“新闻”分类，点击鼠标右键，选择“新建采集任务”开始添加采集任务

首先我们可以给此采集任务填写一个易记的采集名称“新闻采集”，

下一步我们开始添加要采集的网址信息，

采集网址为：/newssh/shwx/shehuiwanxiang.htm

采集的数据是从这个新闻列表页中，找到每一篇新闻，点击进入新闻的详细页，采集新闻的正文、发布时间、标题。

所以，这个采集网址是属于导航采集，入口地址为：/newssh/shwx/shehuiwanxiang.htm。

点击“增加采集网址”

选中“导航采集”，并点击“增加”配置导航规则，导航的目的就是让软件自动根据这个新闻列表页打开每一篇新闻。

所以配置规则为这个列表页的列表新闻信息，我们可以通过两种方式进行配置：可视化和采集规则配置

可视化配置导航规则

打开导航配置窗口后，点击“配置导航规则”，

打开配置页面，选择“可视化配置”，点击“可视化提取”按钮，

打开可视化配置器

输入网址/newssh/shwx/shehuiwanxiang.htm

打开网页，因为是一个新闻列表页，导航是多条数据，所以，需要选中“多条记录请通过鼠标捕获第一条和最后一条记录”，然后点击工具栏“开始捕获”，鼠标在页面滑动式，会出现一个蓝色的边框，用蓝色的边框选中第一条新闻，点击，然后再选中最后一条新闻，点击，系统会自动捕获导航规则，如下：

系统已经将需要采集的新闻地址解析出来了，表示我们配置正确。

的配置导航规则页中，选择“自定义配置”，在网页源码中，找到需要导航的网址，

荧光笔标出的就是前后标志，输入规则，确定退出。

然后，我们再进行导航规则测试，可以看到测试没有问题。

下面我们开始配置采集数据的规则，因为我们要采集新闻的正文、标题、发布时间，所以，可以用三种方式来完成：1、智能采集；2、可视化采集；3、规则配置。

我们逐个讲解

智能采集

我们在采集任务配置窗体中，选择“采集数据”，并点击“配置助手”，打开配置助手页，

在地址栏输入一个采集的地址，系统也会自动输入此网址，同时点击“生成文章采集规则”，可以看到系统已经将文章的智能规则输入到系统中，点击“测试”可以检查采集结果是否正确

确定退出，这样就完成了配置。

点击“应用”保存，测试采集，

可以看到采集没有问题，正文首先是张图片。如果需要去掉网页符号，可以编辑正文的数据加工规则，选择“输出时去掉网页符号”

再次测试

网页符号已经去掉，因为图片是一个网页代码，所以也被去掉了，一般情况下，采集正文我们期望保留格式，所以，不用去掉网页代码，这样可以保留文章原始格式进行输出。

下面我们来看可视化配置

我们在采集任务配置窗体中，选择“采集数据”，并点击“增加”，采集数据规则配置页，选择“可视化配置”，并点击“可视化提取”按钮，打开可视化配置页面

输入我们需要采集数据的网址，并点击匹配，开始进行采集数据的可视化配置，同样，点击“开始捕获”时，鼠标在网页滑动时会出现一个蓝色边框，用蓝色边框选中需要采集的数据，点击即可。

点击“测试”可以看到测试结果，测试结果正确后，确定退出，在采集数据规则配置页，输入一个名称，保存退出，即可

重复以上过程，将正文、时间、标题配置好即可。

可以看到规则类别为XPath

保存采集任务，测试即可。

下面我们来看第三种配置方法：规则配置

规则配置是最复杂的，但也是最灵活的，需要在网页源码中找到前后标志，进行配置

首先先打开需要采集数据的网页源码，采集任务配置窗体中，选择“采集数据”，并点击“增加”，采集数据规则配置页

在“起始位置”和“终止位置”输入在网页源码中找到的定位符即可

逐一配置

规则类别为：Normal

测试采集

至此，我们这个采集任务就讲解完成。

这个采集配置是比较简单的，但针对这个采集任务配置，我们讲解了自动化分析、可视化配置和规则配置三种配置方法，在大部分情况下，可视化配置可以完成规则的配置，而不需要规则配置，但规则配置最为灵活，采集效率最高，但难度也最大。自动化分析当前只针对一些模板数据进行自动提取，譬如：文章、表格，后期还会扩展模板页面。

配置助手可以实现规则配置的简化，不仅支持自动化分析，还支持规则自动生成，大家可以试试。