scrapy学习笔记_光环大数据Python培训

scrapy学习笔记_光环大数据Python培训一、安装在安装scrapy之前有一些依赖需要安装，否则可能会安装失败，scrapy的选择器依赖于lxml，还有Twisted网络引擎，下面是ubuntu下安装的过程1. linux下安装# 1. 安装xml依赖库$ sudo apt-get install libxml2 libxml2-dev$ sudo apt-get install libxslt1-dev$ sudo apt-get install python-libxml2# 2. 安装lxml$ sudo pip install lxml# 3. 安装Twisted（版本可以换成最新的），用pip也可以，如果失败的话下载源码安装，如下$ wget https:///packages/6b/23/8dbe86fc83215015e221fbd861a545 c6ec5c9e9cd7514af114d1f64084ab/Twisted-16.4.1.tar.bz2#md5=c6d09bdd681 f538369659111f079c29d$ tar xjf Twisted-16.4.1.tar.bz2$ cd Twisted-16.4.1$ sudo python setup.py install# 3. 安装scrapy$ sudo pip install scrapy2. Mac下安装# 安装xml依赖库$ xcode-select —install# 其实相关依赖pip会自动帮我们装上$ pip install scrapymac下安装有时候会失败，建议使用virtualenv安装在独立的环境下，可以减少一些问题，因为mac系统自带python，例如一些依赖库依赖的一些新的版本，而升级新版本会把旧版本卸载掉，卸载可能会有权限的问题二、基本使用1. 初始化scrapy项目我们可以使用命令行初始化一个项目$ scrapy startproject tutorial这里可以查看scrapy更多其他的命令初始化完成后，我们得到下面目录结构scrapy.cfg: 项目的配置文件tutorial/: 该项目的python模块, 在这里添加代码 items.py: 项目中的item文件pipelines.py: 项目中的pipelines文件. settings.py: 项目全局设置文件. spiders/ 爬虫模块目录我们先看一下scrapy的处理流程scrapy由下面几个部分组成spiders：爬虫模块，负责配置需要爬取的数据和爬取规则，以及解析结构化数据items：定义我们需要的结构化数据，使用相当于dictpipelines：管道模块，处理spider模块分析好的结构化数据，如保存入库等middlewares：中间件，相当于钩子，可以对爬取前后做预处理，如修改请求header，url过滤等我们先来看一个例子，在spiders目录下新建一个模块DmozSpider.pyimport scrapyclass DmozSpider(scrapy.Spider): # 必须定义name = "dmoz" # 初始urls start_urls =[ "/Computers/Programming/Languages/Python/Books/","/Computers/Programming/Languages/Python/Resources/" ] # 默认response处理函数 def parse(self, response): # 把结果写到文件中filename = response.url.split("/")[-2] with open(filename, 'wb') as f: f.write(response.body)打开终端进入根目录，执行下面命令$ scrapy crawl dmoz爬虫开始爬取start_urls定义的url，并输出到文件中，最后输出爬去报告，会输出爬取得统计结果2016-09-13 10:36:43 [scrapy] INFO: Spider opened2016-09-13 10:36:43 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0items/min)2016-09-13 10:36:43 [scrapy] DEBUG: Telnet console listeningon 127.0.0.1:60232016-09-13 10:36:44 [scrapy] DEBUG: Crawled (200) <GET/Computers/Programming/Languages/Python/Resources/> (referer: None)2016-09-13 10:36:45 [scrapy] DEBUG: Crawled (200) <GET/Computers/Programming/Languages/Python/Books/> (referer: None)2016-09-13 10:36:45 [scrapy] INFO: Closing spider (finished)2016-09-13 10:36:45 [scrapy] INFO: Dumping Scrapystats:{'downloader/request_bytes': 548, 'downloader/request_count': 2, 'downloader/request_method_count/GET': 2, 'downloader/response_bytes': 16179, 'downloader/response_count': 2, 'downloader/response_status_count/200': 2, 'finish_reason': 'finished', 'finish_time': datetime.datetime(2016, 9, 13, 2, 36, 45, 585113), 'log_count/DEBUG': 3, 'log_count/INFO': 7, 'response_received_count': 2, 'scheduler/dequeued': 2, 'scheduler/dequeued/memory': 2, 'scheduler/enqueued': 2, 'scheduler/enqueued/memory': 2, 'start_time': datetime.datetime(2016, 9, 13, 2, 36, 43, 935790)}2016-09-13 10:36:45 [scrapy] INFO: Spider closed (finished)这里我们完成了简单的爬取和保存的操作，会在根目录生成两个文件Resources和Books2. 通过代码运行爬虫每次进入控制台运行爬虫还是比较麻烦的，而且不好调试，我们可以通过CrawlerProcess通过代码运行爬虫，新建一个模块run.pyfrom scrapy.crawler import CrawlerProcessfrom scrapy.utils.project import get_project_settingsfrom spiders.DmozSpider import DmozSpider# 获取settings.py模块的设置settings = get_project_settings()process = CrawlerProcess(settings=settings)# 可以添加多个spider# process.crawl(Spider1)#process.crawl(Spider2)process.crawl(DmozSpider)# 启动爬虫，会阻塞，直到爬取完成process.start()参考：/en/latest/topics/practices.html#run-scrapy-from-a-script三、Scrapy类如上面的DmozSpider类，爬虫类继承自scrapy.Spider，用于构造Request 对象给Scheduler1. 常用属性与方法属性name：爬虫的名字，必须唯一（如果在控制台使用的话，必须配置） start_urls：爬虫初始爬取的链接列表parse：response结果处理函数custom_settings：自定义配置，覆盖settings.py中的默认配置方法start_requests：启动爬虫的时候调用，默认是调用make_requests_from_url方法爬取start_urls的链接，可以在这个方法里面定制，如果重写了该方法，start_urls默认将不会被使用，可以在这个方法里面定制一些自定义的url，如登录，从数据库读取url等，本方法返回Request对象make_requests_from_url：默认由start_requests调用，可以配置Request对象，返回Request对象parse：response到达spider的时候默认调用，如果在Request对象配置了callback函数，则不会调用，parse方法可以迭代返回Item或Request 对象，如果返回Request对象，则会进行增量爬取2. Request与Response对象每个请求都是一个Request对象，Request对象定义了请求的相关信息（url, method, headers, body, cookie, priority）和回调的相关信息（meta, callback,dont_filter, errback），通常由spider迭代返回其中meta相当于附加变量，可以在请求完成后通过response.meta访问请求完成后，会通过Response对象发送给spider处理，常用属性有（url, status, headers, body, request, meta, ）详细介绍参考官网https:///en/latest/topics/request-response.html#request-objectshttps:///en/latest/topics/request-response.html#response-objects看下面这个例子from scrapy import Spiderfrom scrapy import Requestclass TestSpider(Spider): name = 'test' start_urls =[ "/", ] def login_parse(self, response): ''' 如果登录成功,手动构造请求Request迭代返回 ''' print response for i in range(0, 10): yield Request('/list/1?page={0}'.format(i)) defstart_requests(self): ''' 覆盖默认的方法(忽略start_urls),返回登录请求页,制定处理函数为login_parse ''' return Request('/login', method="POST" body='username=bomo&pwd=123456', callback=self.login_parse) def parse(self, response): ''' 默认请求处理函数 ''' print response四、Selector上面我们只是爬取了网页的html文本，对于爬虫，我们需要明确我们需要爬取的结构化数据，需要对原文本进行解析，解析的方法通常有下面这些普通文本操作正则表达式：reDom树操作：BeautifulSoupXPath选择器：lxmlscrapy默认支持选择器的功能，自带的选择器构建与lxml之上，并对其进行了改进，使用起来更为简洁明了1. XPath选择器XPpath是标准的XML文档查询语言，可以用于查询XML文档中的节点和内容，关于XPath语法，可以参见这里先看一个例子，通过html或xml构造Selector对象，然后通过xpath查询节点，并解析出节点的内容from scrapy import Selectorhtml ='<html><body><span>good</span><span>buy</span></body></html>'sel =Selector(text=html)nodes = sel.xpath('//span')for node in nodes:print node.extract()Selector相当于节点，通过xpath去到子节点集合（SelectorList），可以继续搜索，通过extract方法可以取出节点的值，extract方法也可以作用于SelectorList，对于SelectorList可以通过extract_first取出第一个节点的值通过text()取出节点的内容通过@href去除节点属性值（这里是取出href属性的值）直接对节点取值，则是输出节点的字符串2. CSS选择器除了XPath选择器，scrapy还支持css选择器html = """ <html> <body> <span>good</span> <span>buy</span> <ul> <li class="video_part_lists">aa<li> <liclass="video_part_lists">bb<li> <liclass="audio_part_lists">cc<li> <liclass="video_part_lists"> <a href="/">主页</a> <li> </ul> </body> </html> """sel = Selector(text=html)# 选择class为video_part_lists的li节点lis = sel.css('li.video_part_lists')for li in lis: # 选择a节点的属性 print li.css('a::attr(href)').extract()关于css选择器更多的规则，可以见w3c官网https:///TR/selectors/五、Item类上面我们只是爬取了网页的html文本，对于爬虫，我们需要明确我们需要爬取的结构化数据，我们定义一个item存储分类信息，scrapy的item继承自scrapy.Itemfrom scrapy import Item, Fieldclass DmozItem(Item): title =Field() link = Field() desc = Field()scrapy.Item的用法与python中的字典用法基本一样，只是做了一些安全限制，属性定义使用Field，这里只是进行了声明，而不是真正的属性，使用的时候通过键值对操作，不支持属性访问what, 好坑爹，这意味着所有的属性赋值都得用字符串了，这里有解释（还是没太明白）why-is-scrapys-field-a-dict修改DmozSpider的parse方法class DmozSpider(scrapy.Spider): ... def parse(self, response): for sel in response.xpath('//ul/li'): dmoz_item = DmozItem() dmoz_item['title'] =sel.xpath('a/text()').extract() dmoz_item['link'] =sel.xpath('a/@href').extract() dmoz_item['desc'] =sel.xpath('text()').extract() print dmoz_item六、Pipelinespider负责爬虫的配置，item负责声明结构化数据，而对于数据的处理，在scrapy中使用管道的方式进行处理，只要注册过的管道都可以处理item数据（处理，过滤，保存）下面看看管道的声明方式，这里定义一个预处理管道PretreatmentPipeline.py，如果item的title为None，则设置为空字符串class PretreatmentPipeline(object): def process_item(self, item, spider): if item['title']: # 不让title为空item['title'] = '' return item再定义一个过滤重复数据的管道DuplicatesPipeline.py，当link重复，则丢弃from scrapy.exceptions import DropItemclass DuplicatesPipeline(object): def __init__(self): self.links =set() def process_item(self, item, spider): if item['link']in self.links: # 跑出DropItem表示丢掉数据 raiseDropItem("Duplicate item found: %s" % item) else: self.links.add(item['link']) return item最后可以定义一个保存数据的管道，可以把数据保存到数据库中from scrapy.exceptions import DropItemfrom Database import Databaseclass DatabasePipeline(object): def __init__(self): self.db = Database def process_item(self, item, spider): ifself.db.item_exists(item['id']): self.db.update_item(item) else: self.db.insert_item(item)定义好管道之后我们需要配置到爬虫上，我们在settings.py模块中配置，后面的数字表示管道的顺序ITEM_PIPELINES ={ 'pipelines.DuplicatesPipeline.DuplicatesPipeline': 1,'pipelines.PretreatmentPipeline.PretreatmentPipeline': 2,}我们也可以为spider配置单独的pipelineclass TestSpider(Spider): # 自定义配置 custom_settings ={ # item处理管道'ITEM_PIPELINES':{ 'tutorial.pipelines.FangDetailPipeline.FangDetailPipeline': 1, }, } ...除了process_item方法外，pipeline还有open_spider和spider_closed两个方法，在爬虫启动和关闭的时候调用七、Rule爬虫的通常需要在一个网页里面爬去其他的链接，然后一层一层往下爬，scrapy提供了LinkExtractor类用于对网页链接的提取，使用LinkExtractor需要使用CrawlSpider爬虫类中，CrawlSpider与Spider相比主要是多了rules，可以添加一些规则，先看下面这个例子，爬取链家网的链接from scrapy.spiders import CrawlSpider, Rulefrom scrapy.linkextractors import LinkExtractorclass LianjiaSpider(CrawlSpider): name = "lianjia" allowed_domains = [""] start_urls = [ "/ershoufang/" ] rules = [ # 匹配正则表达式,处理下一页Rule(LinkExtractor(allow=(r'/ershoufang/pg/s+$', )), callback='parse_item'), # 匹配正则表达式,结果加到url列表中,设置请求预处理函数# Rule(FangLinkExtractor(allow=('/client/', )), follow=True, process_request='add_cookie') ] def parse_item(self, response): # 这里与之前的parse方法一样，处理 pass1. Rule对象Role对象有下面参数link_extractor：链接提取规则callback：link_extractor提取的链接的请求结果的回调cb_kwargs：附加参数，可以在回调函数中获取到follow：表示提取的链接请求完成后是否还要应用当前规则（boolean），如果为False则不会对提取出来的网页进行进一步提取，默认为False process_links：处理所有的链接的回调，用于处理从response提取的links，通常用于过滤（参数为link列表）process_request：链接请求预处理（添加header或cookie等）2. LinkExtractorLinkExtractor常用的参数有：allow：提取满足正则表达式的链接deny：排除正则表达式匹配的链接（优先级高于allow）allow_domains：允许的域名（可以是str或list）deny_domains：排除的域名（可以是str或list）restrict_xpaths：提取满足XPath选择条件的链接（可以是str或list） restrict_css：提取满足css选择条件的链接（可以是str或list） tags：提取指定标签下的链接，默认从a和area中提取（可以是str 或list）attrs：提取满足拥有属性的链接，默认为href（类型为list）unique：链接是否去重（类型为boolean）process_value：值处理函数（优先级大于allow）关于LinkExtractor的详细参数介绍见官网注意：如果使用rules规则，请不要覆盖或重写CrawlSpider的parse 方法，否则规则会失效，可以使用parse_start_urls方法八、Middleware从最开始的流程图可以看到，爬去一个资源链接的流程，首先我们配置spider相关的爬取信息，在启动爬取实例后，scrapy_engine从Spider取出Request（经过SpiderMiddleware），然后丢给Scheduler（经过SchedulerMiddleware），Scheduler接着把请求丢给Downloader（经过DownloadMiddlware），Downloader把请求结果丢还给Spider，然后Spider把分析好的结构化数据丢给Pipeline，Pipeline进行分析保存或丢弃，这里面有4个角色scrapy有下面三种middlewaresSpiderMiddleware：通常用于配置爬虫相关的属性，引用链接设置，Url 长度限制，成功状态码设置，爬取深度设置，爬去优先级设置等 DownloadMiddlware：通常用于处理下载之前的预处理，如请求Header （Cookie,User-Agent），登录验证处理，重定向处理，代理服务器处理，超时处理，重试处理等SchedulerMiddleware（已经废弃）：为了简化框架，调度器中间件已经被废弃，使用另外两个中间件已经够用了1. SpiderMiddleware爬虫中间件有下面几个方法process_spider_input：当response通过spider的时候被调用，返回None（继续给其他中间件处理）或抛出异常（不会给其他中间件处理，当成异常处理）process_spider_output：当spider有item或Request输出的时候调动process_spider_exception：处理出现异常时调用process_start_requests：spider当开始请求Request的时候调用下面是scrapy自带的一些中间件（在scrapy.spidermiddlewares命名空间下）UrlLengthMiddlewareRefererMiddlewareOffsiteMiddlewareHttpErrorMiddlewareDepthMiddleware我们自己实现一个SpiderMiddleware为什么大家选择光环大数据！大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请大数据领域具有多年经验的讲师，提高教学的整体质量与教学水准。