八爪鱼采集器新手入门必备的知识点(7.0版)

合集下载

八爪鱼验证码登陆-控件识别方法(7.0版本)

八爪鱼验证码登陆-控件识别方法（7.0版本）

本文给大家演示登陆界面有验证码或者其他验证（如滑块验证）的网站通过八爪鱼控件识别进行数据采集的方式。

所讲示例采集数据网址为/login.aspx

小贴士：通过八爪鱼的控件进行识别，这种方式如果需要自动识别，就需要购买验证码套餐，如果不购买也只能进行单机采集然后手动输入，注意这种方法只能是输入验证码的框才可以用这种方式。

步骤1 登陆八爪鱼7.0采集器→点击新建任务→自定义采集，进入到任务配置页面：然后输入网址→保存网址，系统会进入到流程设计页面并自动打开前面输入的网址。

验证码登陆-控件识别方法-图1：输入网址

接下来步骤是输入用户名密码了，八爪鱼模拟的是人的操作行为，所以这一步过程也很简单

步骤2 在浏览器中鼠标点击用户名输入框→在右边弹出的提示里面选择“输入文字”→输入自己的用户名→选择“确定”。

同样的方式输入密码，这样输入用户名密码的步骤就完成了。

验证码登陆-控件识别方法-图2：输入密码

验证码登陆-控件识别方法-图3：输入密码

这里八爪鱼采集器需要知道

1.验证码图片在哪里

2.输入框验证码的框在哪里

步骤3 点击下方浏览器中验证码图片的位置→按照提示框中的提示选择浏览器中的验证码框→再按照提示框中的提示点击浏览器中的登陆按钮

验证码登陆-控件识别方法-图4：点击验证码输入框

验证码登陆-控件识别方法-图5：点击验证码图片位置、登录按钮

接下来需要配置验证码输入失败和成功的两种场景

步骤4 点击提示框中的确认按钮，系统会自动提交一个错误的验证码→然后点击浏览器中的“验证码不正确”提示→再点击提示框中的确认按钮→选择提示框中的“开始配置识别成功场景”→在提示框中输入显示出来的验证码→选择提示框中的“应用到网页并完成配置”选项

八爪鱼采集器采集数据的基本方法和流程

八爪鱼采集器采集数据的基本方法和流程下载提示：该文档是本店铺精心编制而成的，希望大家下载后，能够帮助大家解决实际问题。文档下载后可定制修改，请根据实际需要进行调整和使用，谢谢！本店铺为大家提供各种类型的实用资料，如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等，想了解不同资料格式和写法，敬请关注！

Download tips: This document is carefully compiled by this editor. I hope that after you download it, it can help you solve practical problems. The document can be customized and modified after downloading, please adjust and use it according to actual needs, thank you! In addition, this shop provides you with various types of practical materials, such as educational essays, diary appreciation, sentence excerpts, ancient poems, classic articles, topic composition, work summary, word parsing, copy excerpts, other materials and so on, want to know different data formats and writing methods, please pay attention!

八爪鱼xpath入门教程以及定位元素实例

xpath入门教程以及定位元素实例

本文用来讲解xpath的入门基础，本教材是xpath入门2，建议大家从入门1教程开始学习

Xpath的教程适合对八爪鱼已经有一些基础的用户来学习。

示例地址

/tutorial?type=0&page=0&tag=%E8%BF%9B%E9%98%B6&version=other

Xpath:是一种路径查询语言，简单的说就是利用一个路径表达式找到我们需要的数据位置。

Html:超文本标记语言，是用来描述网页的一种语言。主要用于控制数据的显示和外观。HTML文档也被称为网页。

Xpath专用于xml中沿着路径查找数据用的，但是八爪鱼采集器内部有一套针对Html的Xpath引擎，使得直接用Xpath就能精准的查找定位网页里面的数据。

xpath入门2-图1

例如下图通过火狐的firebug、firepath查看网页源码。查看方法参考“xpath入门1”教程

xpath入门2-图2

完整的HTML文件至少包括标签、标签、

八爪鱼采集器使用进阶教程共24页文档

八爪鱼采集器
销售客服部
目录
一、流程步骤：基本信息与高级选项二、灵活运用：衔接与自定义流程步骤三、流程设计：原理及其运行逻辑四、常见问题：流程设计常见问题五、扩展延伸：Html、Xpath、正则
流程步骤
默认步骤自定义
操作名基本信息
高级选项
操作名：
流程步骤名称，可自定义操作名
基本信息：
流程步骤基本信息，例如：打开网页URL地址；点击元素标签名、文本；循环列表元素
•或者出现元素填写Xpath路径，配合执行前等待一
起使用，在等待时间内元素出现则不再继续等待 •使用当前循环
与循环配合使用 •添加其他特殊字段
网页标题、时间、当前时间、固定字段等特殊字段
自定义数据字段（修改抓取方式，定位方式即XPath，格式化数据删除选中字段将选中字段上移、下移
灵活运用
一起使用 •验证码图片Xpath
填写Xpath路径，告诉八爪鱼验证码图片位置 •验证码输入框Xpath
输入框Xpath，用于配合验证码图片Xpath，正确输入验证码当前验证码
用于流程设计时调试规则用
判断条件
基本信息：
•判断条件判断条件分为此次判断条件整体，
和各具体条件分支条件分支
按不同分支条件执行不同流程步骤
高级选项：
常用流程步骤都拥有高级选项，高级选项内有基本功能外，其他一些用于特定应用场景的功能

贴吧采集器使用教程

本文介绍使用八爪鱼采集器采集百度贴吧帖子内容的方法。

在这里仅仅以其中一个帖子举例说明：

旅行贴吧的某个帖子（【集中贴】2018年1、2月出发寻同行的请进来登记）

采集内容包括：贴吧帖子内容，贴吧用户昵称

使用功能点：

●创建循环翻页

●修改Xpath

步骤1：创建百度贴吧帖子内容采集任务

1）进入主界面，选择“自定义采集”

2）将要采集的网站

URL复制粘贴到输入框中，点击“保存网址”

步骤2：创建循环翻页

1）网页打开以后，鼠标下拉到最底部，选择下一页，提示框中选择“循环点击下一页”

2)鼠标选中帖子的回复，在右面的提示框中选择“选中全部”

2）如果要采集贴吧的其他信息，也可以选择，这里选择的是贴吧昵称，贴吧昵称。

接着选择“采集元素”，把不必要的字段删除。

步骤3：修改XPATH

1）保存采集后发现有些帖子内容没有正确采集，所以需要修改XPATH，打开右上角的流程按钮

2）点击循环选项，“循环方式”选择“不固定元素列表”，“不固定元素列表”

XPATH：//div[@class="l_post j_l_post l_post_bright "]。

填入

2)点击“提取数据”，修改贴吧帖子内容XPATH。选中帖子内容字段，依次点击“自定义数据字段”->“自定义元素定位方式”，并设置：

元素匹配的XPATH:

//div[@class="l_post j_l_post l_post_bright "]//div[@class="d_post_content j_d_post_content clearfix"]

大众点评数据采集详细步骤

大众点评作为一个生活服务平台，受到大家的喜爱。大众点评上面有很多的商家信息数据，如何把这些数据整理成为我们可用的资料呢？下面教大家用八爪鱼软件7.0进行数据采集的详细步骤：

采集网站：

https:///search/category/7/30/g132

示例规则下载：

https:///search/category/7/30/g1

使用功能点：

●网页列表内容提取

●详情页数据采集

八爪鱼信息采集器高频词汇

八爪鱼信息采集器是一种高效的网络数据采集工具，可帮助用户快速、准确地收集各种网络信息。它的高频词汇包括以下几个方面：1. 数据采集：八爪鱼信息采集器可以帮助用户从互联网上采集各种数据，包括文字、图片、视频等多种形式的信息。用户可以根据自己的需求，设定采集规则和筛选条件，实现自动化的数据采集。2. 网络爬虫：八爪鱼信息采集器是一种强大的网络爬虫工具，可以模拟人的行为，在互联网上自动浏览网页，提取所需的信息。它可以自动化地点击链接、填写表单、抓取数据等操作，大大提高了数据采集的效率。

3. 数据清洗：八爪鱼信息采集器还具备数据清洗的功能，可以自动对采集到的数据进行清洗和整理。用户可以设定规则，过滤掉不需要的信息，提取出关键数据，并进行格式转换和去重等操作，使得数据更加规范和可用。

4. 数据分析：八爪鱼信息采集器不仅可以采集数据，还可以对数据进行分析和处理。它可以根据用户设定的分析规则，对采集到的数据进行统计、分类、排序等操作，生成各种报表和图表，帮助用户更好地理解和利用数据。

5. 多功能：八爪鱼信息采集器是一款功能强大的工具，除了上述功

能外，还具备自动化任务调度、数据导入导出、账号管理等多种功能。用户可以根据自己的需求和习惯，灵活配置工具，实现个性化的数据采集和处理流程。

八爪鱼信息采集器是一款功能强大、操作简便的网络数据采集工具。它的高频词汇涵盖了数据采集、网络爬虫、数据清洗、数据分析以及多功能等方面。用户可以利用八爪鱼信息采集器，快速、准确地获取所需的网络信息，帮助企业和个人实现信息化的目标。同时，八爪鱼信息采集器也在不断创新和完善，为用户提供更好的使用体验和更多的功能选择。无论是市场调研、竞争分析还是舆情监测，八爪鱼信息采集器都能够为用户提供强大的支持，助力其在信息时代中抢占先机。

八爪鱼采集器新手入门必备的知识点(7.0版)18页PPT

内置采集模板，输入参数即可提取模板数据
八爪鱼的规则配置流程模拟人的思维模式，贴合用户的操作习惯，任何人通过官网教程的学习都可以在30分钟内轻松掌握全网数据采集的本领。
深圳视界信息技术有限公司
帮助渠道
八爪鱼官网bazhuayu
深圳视界信息技术有限公司
八爪鱼采集原理
原理:
Ⅰ:模拟人的思维去浏览网页 Ⅱ:通过设计工作流程完成自动化数据采集
常用步骤：
常用步骤本身是应用较多的流程设计操作，通常来说，要实现一个网页的数据快速整理
与采集，这些步骤是必不可少的，基本步骤如下： 1）打开网页 2）点击元素 3）循环 4）提取数据
进阶步骤：
进阶步骤，是指除基本步骤外，我们需要通过下列操作来辅助完成我们的数据采集，进阶步骤如下：
1）输入文字 3）切换下拉选项 5）移动鼠标到元素上
正式的采集步骤
四、点击元素:
循环本身是不会有任何执行操作的，如果要实现循环翻页，则需要一个点击元素来和循环产生联动
深圳视界信息技术有限公司
Ajax加载与新标签页
即通过在后台与服务器进行少量数据交换，意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。
最简单的方式是看在八爪鱼浏览器里点击的时候有没有转,，如果是像这样就不是ajax,这种标志就是ajax,需要设置ajax即可，如果不设置采集时出现的现象就会一直等待在这里不提取数据，感觉采集速度会很慢，设置了之后会加快速度。

八爪鱼爬虫采集方法

网页爬虫是一个比较热门的网络词，因为大数据时代，各行各业的从业人员都需要大量的数据信息，通过分析这类数据来优化升级自己的产品，从而满足所有消费者的需求，从而更好地抢占市场。目前市面上比较好用的爬虫工具首推八爪鱼采集器，所以今天就教大家八爪鱼爬虫工具的使用方法，让你轻松get网络爬虫。

文章内示例网址为：

/guide/demo/genremoviespage1.html

自定义模式采集步骤：

步骤1：首先打开八爪鱼采集器→找到自定义采集→点击立即使用

自定义模式-图1

步骤2：输入网址→设置翻页循环→设置字段提取→修改字段名→对规则进行手动检查→选择采集类型启动采集

自定义模式-图2：输入网址

自定义模式-图3：设置翻页循环

自定义模式-图4：创建循环列表

自定义模式-图5：提取字段

自定义模式-图6：修改字段名

注意点：

1.设置翻页循环：观察网页底部有没有翻页图标，如果有并且需要翻页则点击翻页图标，操作提示中循环点击下一页表示循环翻页，可以在循环中设置翻页次数，设置几次则采集网页最新内容几页。采集该链接的文本选项则会出现提取数据步骤，提取下一页对应的文本；点击采集该链接地址步骤选项会出现提取数据步骤，提取当前字段对应的链接地址。点击该链接则会出现点击元素步骤，点击该元素一次。

2.设置字段提取：先对网页内容进行分区块，思路为循环各区块，再从循环到的区块中提取每个字段内容，所以设置时先点击2-3各区块，八爪鱼会自动选中剩余所有区块，点击采集以下元素文本会出现循环提取数据步骤，实现对区块的循环采集，但是此时每个区块循

使用八爪鱼v7登录天猫进行采集

本文介绍使用八爪鱼登录天猫

采集网站：

https:///?ali_trackid=2:mm_26632258_3504122_5593469 7:1505705580_3k5_698191132&upsid=9b4208c748a0c5748fa7f26e4771 f6e6&clk1=9b4208c748a0c5748fa7f26e4771f6e6

使用功能点：

cookie登陆方法（7.0版本）

/tutorial/cookie70.aspx?t=1

八爪鱼采集器正则表达式入门教程

正则表达式（Regular Expression），按英文直译是“规范化表达”，其作用是将复杂模糊的源数据通过正则表达式转化为简单直观的目标数据。例如：

“150ABCD”

“一百五ABCD”

“One hundred and fiftyABCD”

分析思考过程：

以上字符串中，我们的源数据数据分别为：““150ABCD”、“一百五ABCD”、“One hundred and fiftyABCD”

假设我们要提取目标数据为：字符串中以数字开头的数据

那么我们约束条件为：只取字符串中以数字开头的源数据

将此约束条件转化为正则表达式为：[0-9](.+)\b

其中，[0-9]的语义为开头1位为0-9开头，中间间隔以通配符“.”代替，(.+)语义为字符串长度不做限定，\b的语义为，匹配一个边界。

正则后的目标数据：“150ABCD”

通过这个简单例子，我们大致了解到了为什么要用正则与正则所能实现的效果，讲通俗点就是，正则只是将我们的意愿（提取字符串中以数字开头的数据）以表达式的形式展现出来（[0-9](.+)\b），并最终通过表达式匹配到所需要的目标数据（“150ABCD”），所以灵活运用正则，可以通过简单的方法实现强大的功能。

为什么要在八爪鱼中使用正则？

在八爪鱼采集数据过程中，受限于网页HTML结构的原因，部分目标数据并不能单独提取出来，这时需要简单的搜索与替换操作来提取与预期搜索结果匹配的确切文本，除此之外，对数据要求精准规范的用户，还能通过正则表达式测试所提取数据字符串的模式、替换文本、基于匹配模式从字符串中提取子字符串等操作。

网站小说抓取方法

很多时候，我们有对网站小说数据采集的需要，手工复制粘贴费时费力、错误多，这时候会用到数据采集工具提高效率。本文以八爪鱼采集器为例，介绍一下对于网站小说抓取数据的方法。

本文将以起点中文网为例，介绍使用八爪鱼采集小说文本（以鬼吹灯小说为例）的方法。

以下为具体的采集步骤：

步骤1：创建采集任务

1）进入主界面，选择“自定义模式”

2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”

小说-文章内容采集图2

步骤2：创建列表循环

1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。选中页面里的第一条链接，系统会自动识别页面内的同类链接，选择“选中全部”

小说-文章内容采集图3

2）选择“循环点击每个链接”

小说-文章内容采集图4

步骤3：采集小说内容

1）选中页面内要采集的小说内容（被选中的内容会变成绿色），选择“采集该元素的文本”

2）修改字段名称

3）选择“启动本地采集”

小说-文章内容采集图7

步骤4：数据采集及导出

1）采集完成后，会跳出提示，选择“导出数据。选择“合适的导出方式”，将采集好的评论信息数据导出

小说-文章内容采集图8

2）这里我们选择excel作为导出为格式，数据导出后如下图

小说-文章内容采集图9

注意：采集下来的小说文本，导出为excel格式，可能不太符合阅读习惯。我们可以在excel 中进行符合自身阅读习惯的二次编辑。

【八爪鱼v7采集教程】分页列表详细信息采集方法

【八爪鱼采集教程】分页列表详细信息采集方法

很多网站有会这种模式，多个列表页面，点击列表中的一行链接会打开一个详细信息页面，本文给大家演示如何采集分页列表详情页面里的信息。目的是让大家了解怎么创建循环翻页并能正常采集网页详情的数据信息。

本文教程里讲到的示例网站地址为：

/guide/demo/moviespage1.html

步骤1登陆八爪鱼7.0采集器→点击新建任务→自定义采集，进入到任务配置页面：

然后输入网址→保存网址，系统会进入到流程设计页面并自动打开前面输入的网址。

分页列表详细信息采集-图1

我们需要循环点击下图浏览器中电影名称,再提取子页面中的数据信息,所以我们需要先做一个翻页循环再做一个循环点击电影名称提取数据的列表。

步骤2点击下图浏览器页面中的“下一页”按钮，在弹出的对话框中选择“循环点击下一页”；

分页列表详细信息采集-图2

下面对电影名称创建循环点击

步骤3 鼠标点击下图中第一个电影名称“教父：第二部”，在弹出的操作提示中选择“选中全部”选项, 然后选择“循环点击每个链接”选项

分页列表详细信息采集-图3

分页列表详细信息采集-图4

接下来页面就自动跳转到详情页面中去了，我们再做提取数据

步骤4 点击要提取的标题在弹出的提示框中选择“采集该元素的文本”，然后同样的方式选择点击浏览器中的其他字段，再选择“采集该元素的文本”

分页列表详细信息采集-图5

步骤5 这样提取完毕之后我们可以点一下流程按钮，然后修改字段名称。在下面界面中修改字段名称，修改完成之后，点击“确定”保存

分页列表详细信息采集-图6

58信息采集器使用教程

作为一个综合的分类信息网，58上有很多丰富的信息，这些信息被爬虫采集下来有很多作用，比如可以分析招聘岗位的热门与否；分析房价近几年的起伏状况；分析二手车市场的发展状况，查询58上的公司黄页信息等。数据采集是最重要的一步之一。

本次介绍八爪鱼采集器简易采集模式下“58同城爬虫规则”的使用教程以及注意要点。

58信息采集器使用步骤

步骤一、下载八爪鱼采集器并登陆

1、打开/download，即八爪鱼软件官方下载页面，点击图中的下载按钮。

2、软件下载好了之后，双击安装，安装完毕之后打开软件，输入八爪鱼用户名密码，然后点击登陆。

步骤二、设置58同城爬虫规则任务

1、进入登陆界面之后就可以看到主页上的网站简易采集了，选择立即使用即可。

2、进去之后便可以看到目前网页简易模式里面内置的所有主流网站爬虫规则了，需要采集58同城信息的，在这里选择58即可。

3、本文仅以“58同城招聘职位

”这条规则举例说明，需要采集58同城其他信息，可以选择其他爬虫规则，点击“立即使用”即可。

4、58同城招聘职位简易采集模式任务界面介绍

查看详情：点开可以看到示例网址，示例网址很重要，需认真观察任务名：自定义任务名，默认为58同城招聘职位

任务组：给任务划分一个保存任务的组，如果不设置会有一个默认组

招聘页面网址填写注意事项：提供要采集的网页网址，即

58招聘页的链接。这里输入的网址，需与示例网址的结构保持一致。我们点开示例网址（如下图所示），发现职位、地点、福利有多个关键词可选择，大家可根据自己的需求，更换要采集的关键词（红框中的关键词，均可点击更换）。

八爪鱼采集器API使用方法以及常见问题

常见问题
一、参数三种存放形式： 1)URL参数：通过这些参数，定位到一个确切的资源例如： http://dataapi.bazhuayu.com/api/alldata?taskid={taskid}&{pageindex}=1&{pagesize}=2 其中taskid、pagesize、pageindex都是URL参数 2)请求头Headers: 用于指定客户端身份、接受信息类型、可接受内容编码，此类参数以键值形式存放例如： Accept: application/json Authorization:bearer {access token} 3)Body参数：即表单参数，通过表单参数完成验证、提交信息等 content-type:内容类型指你提交的表单是何种格式，例如：八爪鱼获取token的格式是application/x-www-formurlencoded，微信的表单格式是text/xml 例如：注意事项：想要服务器响应你的请求，参数格式必须严格按照文档存放，经常出现用户在测试时将URL参数以
二、程序自动化：部分客户会根据八爪鱼做实时抓取，来给自家平台每天更新数据，调用增值接口完成任务启动、查询、导出、修改参数等典型客户：私有云-希酌：基于八爪鱼做了一个刑事诉求案件查询平台，有实时采集部分，用API完成程序自动化私有云-蓝汐、私有云-微屏互动：基于八爪鱼做类似“今日头条”的新闻采集，API完成数据入库

八爪鱼采集器配置采集参考手册

1、解压压缩包

安装过程除了需要修改保存地址外，其他无需修改，直接下一步直到安装成功安装后点击桌面图标启动

2、替换地址

3、启动采集

4、数据导出

默认无需修改名称即可。

默认无需修改，除非存在覆盖的情况，可以修改文件名称。

点击文件打开就可以看到采集的数据了

5、异常情况处理

5.1替换采集网址（修改查询条件后的网址）：

如果本地采集的数据遗忘导出了，可以在本地采集数据那进行导出操作