淘宝图片抓取方法
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
淘宝图片抓取方法
我们一般网上购物都会看买家秀图片来决定是否购买,作为电商卖家则需要定期收集自家的买家秀图片,来向新客户进行展示。那么,如何才能快速批量地采集到这些照片呢?
本文向大家介绍一款网络数据采集工具【八爪鱼数据采集器】,以【淘宝买家秀】为例,教大家如何使用八爪鱼采集软件采集淘宝卖家秀图片的方法。
本文介绍使用八爪鱼7.0采集淘宝买家秀图片的方法:首先将淘宝商品详情页买家评论中图片的URL采集下来,再通过八爪鱼专用的图片批量下载工具,将采集到的买家秀图片通过下载工具,下载并保存到本地电脑中。
采集网址:淘宝商品详细页
比如羽绒服(可更换其他淘宝商品对淘宝买家秀图片进行采集):
https:///item.htm?spm=a220m.1000858.1000725.97.55a1040a1o WMrp&id=544520025569&skuId=3445518046675&user_id=196993935&cat_id= 2&is_b=1&rn=1580b4f8747de0465047648cf3baf1a9
采集数据内容:淘宝买家秀图片地址
●∙翻页设置
●∙图片链接采集
●∙Xpath
步骤1:创建淘宝买家秀图片采集任务
1)进入八爪鱼采集器主界面,选择自定义模式
淘宝买家秀图片采集步骤1
2)将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”,就创建了一个淘宝买家秀图片采集的任务。
淘宝买家秀图片采集步骤2
3)淘宝买家秀图片位于页面中部的累计评价中,所以最好设置一个滚动页面。设置方法为点击右上角流程按钮,然后点流程图中打开网页,勾上页面加载完成
后向下滚动这个选项,滚动次数8次,每次间隔1秒,滚动放松向下滚动一屏。如果网速不好可以设置超时这个选项。
淘宝买家秀图片采集步骤3
4)滚动页面至可以看到累计评价这个选项,然后点击,选择点击该链接,并设置ajax加载时间为2秒。
淘宝买家秀图片采集步骤4
5)点击图片这个选项,在弹出的框中选择点击该元素,并设置ajax加载时间为2秒。页面加载加载完成后向下滚动15次,滚动时间一秒,滚动方式为向下滚动一屏。
淘宝买家秀图片采集步骤5
●∙找到翻页按钮,设置翻页循环
●∙设置ajax翻页时间
●∙设置滚动页面
1)将页面下拉淘宝评论到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,选择“循环点击下一页”这个选项。
淘宝买家秀图片采集步骤6
2)选择右上角的流程按钮,点击流程图中的点击翻页按钮,然后选中ajax加载数据,时间选择4秒。并且页面加载加载完成后向下滚动这个选项也要勾上,参数根据自己实际情况选择。
淘宝买家秀图片采集步骤7
步骤3:淘宝买家秀图片链接采集
用google或者火狐浏览器观察源代码,确定淘宝买家秀的xpath
提取图片链接
1)打开火狐或者google浏览器,我这用的是google浏览器,鼠标移到买家秀图片上,右键选择查看,观察源代码可以看出图片的地址,在li标签的data-src 属性中,根据上一层ul的代码,所以xpath为
//ul[@class="tm-m-photos-thumb"]/li中的data-src属性。
淘宝买家秀图片采集步骤8
2)在流程图左侧可以推动一个循环以及提取数据进入流程图中。
淘宝买家秀图片采集步骤9
3)设置图片采集循环方式为不固定元素列表,xpath填写之前观察源代码的而得出的代码然后点击确定。
淘宝买家秀图片采集步骤10
3)提取元素选择添加一个空字段,选择自定义数据字段,弹出的框中,选择自
定义定位元素,按下图步骤13
设置,还是这个框,自定义抓取方式按下图步骤
14进行设置。
淘宝买家秀图片采集步骤11
淘宝买家秀图片采集步骤12
淘宝买家秀图片采集步骤13-自定义定位元素设置方法
淘宝买家秀图片采集步骤14-自定义抓取方式
4)修改采集任务名、字段名,并点击下方提示中的“保存并开始采集”
5)根据采集的情况选择合适的采集方式,这里选择“启动本地采集”
淘宝买家秀图片采集步骤15
步骤4:淘宝买家秀图片数据采集及导出
1)采集完成后,会跳出提示,选择导出数据
2)选择合适的导出方式,将采集好的数据导出
步骤5:将采集好的淘宝买家秀图片URL批量转换为图片经过如上操作,我们已经得到了要采集的图片的URL。接下来,再通过八爪鱼专用的图片批量下载工具,将采集到的图片URL中的图片,下载并保存到本地电脑中。
图片批量下载工具:https:///s/1c2n60NI
1)下载八爪鱼图片批量下载工具,双击文件中的MyDownloader.app.exe文件,打开软件
淘宝买家秀图片采集步骤16
2)打开File菜单,选择从EXCEL导入(目前只支持EXCEL格式文件)
淘宝买家秀图片采集步骤17
3)进行相关设置,设置完成后,点击OK即可导入文件
选择EXCEL文件:导入你需要下载图片地址的EXCEL文件
EXCEL表名:对应数据表的名称
文件URL列名:表内对应URL的列名称
保存文件夹名:EXCEL中需要单独一个列,列出图片想要保存到文件夹的路径,可以设置不同图片存放至不同文件夹
如果要把文件保存到文件夹,则路径需要以“\”结尾,例如:“D:\同步\”,如果要下载后按照指定的文件名保存,则需要包含具体的文件名,例如“D:\同步\1.jpg”
如果下载的文件路径和文件名完全一样,则原先存在的文件会被删除。
相关采集教程:
淘宝图片采集并下载到本地的方法
/tutorial/tbgoodspic
瀑布流网站图片采集方法,以百度图片采集为例