使用爬虫框架Scrapy爬取get请求中的数据 及其详情页内容
"""
直接请求get网页数据，不涉及使用items和pipelines
目前不涉及翻页
"""
class XxxSpider(scrapy.Spider):
... # name、allowed_domians
start_urls = ['需要获取列表数据的链接']
"""
获取页面元素列表内容
"""
def parse(self, response):
# 判断请求的链接返回的状态码和文本内容长度
if response.status == 200 and len(response.text) > 10:
# 使用xpath解析网页，获取所需元素
titles = response.xpath('xpath解析语句').extract()
urls = response.xpath('xpath解析语句').extract()
for i in range(0,len(titles)):
url = urls[i]
title = titles[i]
# 测试输出
print(url, title)
# 将解析到的 内容详情页url 拿去 获取页面中的内容
yield scrapy.Request(url=url, callback=self.html)
"""
获取url详情页中的数据
"""
def html(self.response):
# 判断请求的链接返回的状态码和文本内容长度
if response.status == 200 and len(response.text) > 10:
# 使用xpath解析内容详情页，获取所需元素
content = response.xpath('xpath解析语句').extract()
# 测试输出
print(content)
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/114877.html
