八爪鱼提取网页数据的方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
二、找不到时如何处理
找不到数据时的三种处理办法 使用默认值 在找不到数据时默认填写一个字段,以补充没有采集到的内容 该字段留空 可以在结果中明显的看到哪里有数据没采集到 该步骤所有字段留空 一个字段找不到数据时,便忽略该信息所有字段,相当于跳过该条信息的采集 示例网址:https://book.douban.com/subject/25862578/ https://book.douban.com/subject/1858513/
八爪鱼 让数据触手可及
视频教程PPT
http://www.bazhuayu.com
提取数据
一、添加特殊字段、上移下移、抓取模板导入导出
二、找不到时如何处理
三、自定义抓取方式 四、自定义定源自文库元素方式 五、备用位置 六、格式化数据
七、自定义合并方式
一、 添加特殊字段、上移下移、抓取模板导入导出
1、添加特殊字段 当前时间 固定字段 空字段 当前页面信息 2、字段上移下移 3、抓取模板导入导出 示例网址: http://sz.ganji.com/fang1/
三、自定义抓取方式
自定义抓取方式包含以下三种 1、从页面中提取数据 2、从浏览器提取数据 3、生成数据 示例网址: https://book.douban.com/subject/258 62578/
四、自定义定位元素方式
定位元素:八爪鱼通过Xpath来实现数据的定位。 适用情况:八爪鱼自动定位方式不能满足需求。 示例网址: https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=0&type=T
六、格式化数据
利用格式化数据对需要的字段进行修改 替换 正则表达式替换 去除空格 添加前缀 添加后缀 日期时间格式化 Html转码 示例网址: https://book.douban.com/subject/25862578/
七、自定义合并方式
取数据里面的自定义合并方式,一般用于将多个字段追加至同一个字段 例如:新闻正文分页追加等 示例网址:http://money.163.com/17/0706/01/COKG34EG002580S6.html
The End
谢谢大家
五、备用位置
八爪鱼提取字段时,默认每个字段都是在页面里固定的位置。 但是某些特殊情况,当某字段在不同的页面,是处于不同的位置时,可以用八爪鱼 的备选位置功能。 示例网址: https://item.taobao.com/item.htm?spm=a1z10.1-c-s.w1201073114573359259.1.1c3577c8vTygcq&id=566814688341(淘宝商品详情页) https://detail.tmall.com/item.htm?spm=a230r.1.14.27.2e932897hyfHKC&id= 565712872904&ns=1&abbucket=4(天猫商品详情页)