Python程序设计：编写Scrapy爬虫
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Scrapy爬虫框架 笔趣阁小说抓取
知识点：Scrapy爬虫框架使用
Scrapy爬虫框架使用
笔趣阁小说抓取编写思路
（1）首先分析页面，发现小说数据是通过ajax动态加载的，需要到控制台抓包，找到url规律。 （2）搭建Scrapy爬虫框架。 （3）构建每一页的url,然后发送请求。 （4）从响应内容中提取每本小说的链接。 （5）将提取的链接交给调度器，再从响应内容中提取章节内容。 （6）将得到的小说名字、章节名字、小说内容交给管道。 （7）通过管道，将小说保存到本地文件系统中。
Scrapy爬虫框架使用
笔趣阁小说抓取
books_spider.py
Scrapy爬虫框架使用
小结
Scrapy爬虫框架使用
谢谢观看
知识点：Scrapy爬虫框架使用
Scrapy爬虫框架使用
笔趣阁小说抓取编写思路
（1）首先分析页面，发现小说数据是通过ajax动态加载的，需要到控制台抓包，找到url规律。 （2）搭建Scrapy爬虫框架。 （3）构建每一页的url,然后发送请求。 （4）从响应内容中提取每本小说的链接。 （5）将提取的链接交给调度器，再从响应内容中提取章节内容。 （6）将得到的小说名字、章节名字、小说内容交给管道。 （7）通过管道，将小说保存到本地文件系统中。
Scrapy爬虫框架使用
笔趣阁小说抓取
books_spider.py
Scrapy爬虫框架使用
小结
Scrapy爬虫框架使用
谢谢观看