八爪鱼采集器API使用方法以及常见问题

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

常见问题
一、参数三种存放形式: 1)URL参数: 通过这些参数,定位到一个确切的资源 例如: http://dataapi.bazhuayu.com/api/alldata?taskid={taskid}&{pageindex}=1&{pagesize}=2 其中taskid、pagesize、pageindex都是URL参数 2)请求头Headers: 用于指定客户端身份、接受信息类型、可接受内容编码,此类参数以键值形式存放 例如: Accept: application/json Authorization:bearer {access token} 3)Body参数: 即表单参数,通过表单参数完成验证、提交信息等 content-type:内容类型 指你提交的表单是何种格式,例如:八爪鱼获取token的格式是application/x-www-formurlencoded,微信的表单格式是text/xml 例如: 注意事项: 想要服务器响应你的请求,参数格式必须严格按照文档存放,经常出现用户在测试时将URL参数 以
二、程序自动化: 部分客户会根据八爪鱼做实时抓取,来给自家平台每天更新数据,调用增值接口完成任务启 动、查询、导出、修改参数等 典型客户: 私有云-希酌:基于八爪鱼做了一个刑事诉求案件查询平台,有实时采集部分,用API完成程 序自动化 私有云-蓝汐、私有云-微屏互动:基于八爪鱼做类似“今日头条”的新闻采集,API完成数据入 库
二、个人总结:
1.缓解、变更在线导出数据方式 2.希望更多用户基于八爪鱼做数据提取,然后建立自己的平台或应用
应用场景以及典型客户
相对客户端功能,API功能的目标用户是配有编程人员的个人、数据团队、公司或企业等。 应用场景: 一、数据导出:
市面上未有任何软件或应用支持在线导百万级数据,所以如果用户再导出百万级数据时,在 得知用户是编程人员或拥有编程人员的团队,尽量推荐他们使用API。
Βιβλιοθήκη Baidu
详细介绍
一、通用接口: 1)获取token 2)分页获取任务所有数据 3)分页获取任务未导出数据 4)分页获取任务最近一次启动时采集到的数据 5)获取任务组 6)获取任务组内任务ID
二、增值接口: 1)启动任务 2)停止任务 3)查看任务运行状态 4)修改任务采集流程中的配置参数 5)获取任务采集流程中的配置参数 备注:原理上来说,只要客户端可以改的,增值API都可以实现
The End
谢谢大家
常见问题
二、细枝末节的问题 1)bearer {access token} 在Authorization:bearer {access token}这个键值中,bearer后面是要跟空格的,长期有用户因 为文档的原因,在测试接口时是bearer{access token} 2)关于大括号{} 由于C#的format: format(“username={0}&password={1}&grant_type=password”,Demousername,Demopass word) 经常有用户在URL参数也会把大括号带进去进行传参 3)修改任务采集中的参数 POST表单参数:{ taskid:{taskId}, name:{parmName}, value:{parmValue} } 这里的表单参数必须换行 三、请求方式: Get、Post,目前所有接口调用都有此两种形式组成 四、Json格式: 一种数据交换格式,是以一种键值对的形式保存数据,方便处理和反序
八爪鱼 . 让数据触手可及!
深圳视界信息技术有限公司 2017年03月
API开发者文档分享
销售客服部
目录
一、API简介
二、应用场景以及典型客户
三、详细介绍
四、常见问题
API简介
API(Application Programming Interface),中文称应用编程接口。在无需访问源码和理 解工作机制情况下使用某软件。 目前八爪鱼API接口分为通用接口与增值接口,通用接口可以完成数据导出,增值接口可以 完成程序自动化,原理上来说,只要客户端可以改的,API都可以实现。 一、目的: 1.导出数据(通用API) 2.完成程序自动化
相关文档
最新文档