Python爬虫使用bs4方法实现数据解析

Python爬⾍使⽤bs4⽅法实现数据解析聚焦爬⾍:
爬取页⾯中指定的页⾯内容。

编码流程：
1.指定url
2.发起请求
3.获取响应数据
4.数据解析
5.持久化存储
数据解析分类：
1.bs4
2.正则
3.xpath (***)
数据解析原理概述：
解析的局部的⽂本内容都会在标签之间或者标签对应的属性中进⾏存储
1.进⾏指定标签的定位
2.标签或者标签对应的属性中存储的数据值进⾏提取（解析）
bs4进⾏数据解析数据解析的原理：
1.标签定位
2.提取标签、标签属性中存储的数据值
bs4数据解析的原理：
1.实例化⼀个BeautifulSoup对象，并且将页⾯源码数据加载到该对象中
2.通过调⽤BeautifulSoup对象中相关的属性或者⽅法进⾏标签定位和数据提取
环境安装：
实例化BeautifulSoup对象步骤：
from bs4 import BeautifulSoup
对象的实例化：
1.将本地的html⽂档中的数据加载到该对象中
fp = open('./test.html','r',encoding='utf-8')
soup = BeautifulSoup(fp,'lxml')
2.将互联⽹上获取的页⾯源码加载到该对象中（常⽤⽅法，推荐）
page_text = response.text
soup = BeatifulSoup(page_text,'lxml')
提供的⽤于数据解析的⽅法和属性：
soup.tagName:返回的是⽂档中第⼀次出现的tagName对应的标签
soup.find():
find('tagName'):等同于soup.div
1.属性定位：
soup.find('div',class_/id/attr='song')
soup.find_all('tagName'):返回符合要求的所有标签（列表）
select：
select('某种选择器（id，class，标签...选择器）'),返回的是⼀个列表。

2.层级选择器：
soup.select('.tang > ul > li > a')：>表⽰的是⼀个层级
soup.select('.tang > ul a')：空格表⽰的多个层级
3.获取标签之间的⽂本数据：
soup.a.text/string/get_text()
text/get_text():可以获取某⼀个标签中所有的⽂本内容
string：只可以获取该标签下⾯直系的⽂本内容
4.获取标签中属性值：
soup.a['href']
案例：爬取三国演义⼩说所有的章节标题和章节内容代码如下：
import requests
from bs4 import BeautifulSoup
if __name__ == "__main__":
#对⾸页的页⾯数据进⾏爬取
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
url = '/book/sanguoyanyi.html'
page_text = requests.get(url=url,headers=headers).text
#在⾸页中解析出章节的标题和详情页的url
#实例化BeautifulSoup对象，需要将页⾯源码数据加载到该对象中
soup = BeautifulSoup(page_text,'lxml')
#解析章节标题和详情页的url
li_list = soup.select('.book-mulu > ul > li')
fp = open('./sanguo.txt','w',encoding='utf-8')
for li in li_list:
title = li.a.string
detail_url = ''+li.a['href']
#对详情页发起请求，解析出章节内容
detail_page_text = requests.get(url=detail_url,headers=headers).text
#解析出详情页中相关的章节内容
detail_soup = BeautifulSoup(detail_page_text,'lxml')
div_tag = detail_soup.find('div',class_='chapter_content')
#解析到了章节的内容
content = div_tag.text
fp.write(title+':'+content+'\n')
print(title,'爬取成功')
运⾏结果：
以上就是本⽂的全部内容，希望对⼤家的学习有所帮助，也希望⼤家多多⽀持。