爬虫入门到进阶(五)

BeautifulSoup库使用

xpath: 数据解析库, 
安装pip install lxml
pip install lxml==4.3.3
xpath编码流程: 
1).from lxml import etree 
2).实例化一个etree对象: tree = etree.HTML(res.text)
3).tag_tagatrribute = tree.xpath(‘xpath表达式’)

xpath基础语法: 
	nodeName:节点名定位 ./: 当前节点的直接子节点 .//: 当前节点的子孙节点
	nodeName[@attributename=“value”] @attributename text() # res.text
单属性多值匹配: '//div[contains(@class, “item”)]'
	多属性匹配: ‘//div[@class=“c1” and @name=“n1”]’
按序选择: 
	1).索引定位: 索引从1开始 
	2).last()函数: 最后一个, 倒是第二个: last()-1   
	3).position(): 位置范围

1.BeautifulSoup库使用

BeautifulSoup库介绍: BeautifulSoup也是一个解析库 BS解析数据是依赖解析器的, BS支持的解析器有html.parser, lxml, xml, html5lib等, 其中lxml 解析器解析速度快, 容错能力强. BS现阶段应用的解析器多数是lxml

# BeautifulSoup 使用步骤: 
from bs4 import BeautifulSoup 
	soup = BeautifulSoup(res.text, 'lxml') 
	tag = soup.select("CSS选择器表达式") 
	# 返回一个列表

选择器分类:
1).节点选择器
2).方法选择器
3).CSS选择器

# CSS选择器: 
1.根据节点名及节点层次关系定位标签: 标签选择器 & 层级选择器 
soup.select('title') 
soup.select('div > ul > li') # 单层级选择器 soup.select('div li') # 多层级选择器 

2.根据节点的class属性定位标签: class选择器(classical: 经典) 
soup.select('.panel') 

3.根据id属性定位标签: id选择器
soup.select('#item') 

4.嵌套选择: 
ul_list = soup.select('ul') # 得到的依然是一个列表数据类型 
for ul in ul_list: 
	print(ul.select('li')) 

# 获取节点的文本或属性: 
tag_obj.string: 获取直接子文本-->如果节点内有与直系文本平行的节点, 该方法拿到的是None 
tag_obj.get_text(): 获取子孙节点的所有文本 
tag_obj['attribute']: 获取节点属性

# 练习示例: 
html = ''' <div class="panel"> <div class="panel-heading"> <h4>BeautifulSoup练习</h4> </div> <div>这是一个div的直接子文本 <p>这是一个段落</p> </div> <a href="https://www.baidu.com">这是百度的跳转连接</a> <div class="panel-body"> <ul class="list" id="list-1"> <li class="element">第一个li标签</li> <li class="element">第二个li标签</li> <li class="element">第三个li标签</li> </ul> <ul class="list list-small"> <li class="element">one</li> <li class="element">two</li> </ul> <li class="element">测试多层级选择器</li> </div> </div> ''' 

from bs4 import BeautifulSoup 
	soup = BeautifulSoup(html, 'lxml') 
	# 1.根据节点名定位节点, 获取其文本 
	h4 = soup.select('h4') # 标签选择器
	print(h4[0].get_text()) 
	# 2.根据class属性定位节点 
	panel = soup.select('.panel-heading') print(panel) 
	# 3.根据id属性定位节点 
	ul = soup.select('#list-1') 
	print(ul) 
	# 4.嵌套选择 
	ul_list = soup.select('ul') 
	for ul in ul_list: 
		li = ul.select('li') 
		print(li)

# 5.单层级选择器与多层级选择器 
li_list_single = soup.select(".panel-body > ul > li") 
li_list_multi = soup.select(".panel-body li")

2. 案例: requests结合BS4实现深度爬取三国演义整部小说

# 作业: 爬取整部三国演义小说, 写入txt文件: 
'http://www.shicimingju.com/book/sanguoyanyi.html' 
import requests from bs4 
import BeautifulSoup 
url = 'http://www.shicimingju.com/book/sanguoyanyi.html' 
headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36' }

 # BeautifulSoup 使用步骤: 
 from bs4 import BeautifulSoup 
 soup = BeautifulSoup(res.text, 'lxml') 
 tag = soup.select("CSS选择器表达式") # 返回一个列表 
 # BS4获取文本属性与文本: 
 tag_obj.string: 获取直接子文本-->如果节点内有与直系文本平行的节点, 该方法拿到的是None 
 tag_obj.get_text(): 获取子孙节点的所有文本 
 tag_obj['attribute']: 获取节点属性