一、前言

2024年应该中国新能源汽车迅速发展的一年，各大新能源汽车厂家纷纷加入价格战，新能源汽车的价格一压再压。其实大家不仅关心汽车的价格，也一样关心汽车的品质。所以我用Python爬虫采集了60000+条最新全系车型口碑评价数据，也许能从这些数据中分析出点什么呢？嘻嘻嘻！

二、爬取目标

三、完整源码

1、导入需要的库

import csv
import requests
from lxml import etree

2、定义Page类

class Page:

3、Page类中定义初始化方法

def __init__(self, url, headers):
    self.url = url
    self.headers = headers
    self.datas = []

4、Page类中定义获取数据方法

def getData(self):
    try:
        response = requests.get(url=self.url, headers=self.headers)
        html = etree.HTML(response.text)
        comments = html.xpath("//div[@class='kbfb']")
        for comment in comments:
            user_name = comment.xpath(".//b[@class='user-name']/text()")[0]
            brand = comment.xpath(".//div[@class='dt_b']//tr[1]/td//text()")[0]
            vehicle_series = comment.xpath(".//div[@class='dt_b']//tr[2]/td//text()")[0]
            vehicle_model = comment.xpath(".//div[@class='dt_b']//tr[3]/td//text()")[0]
            score = comment.xpath(".//div[@class='dt_b']/p/b/text()")[0]
            title = comment.xpath(".//div[@class='cx_bt']/h1/text()")[0]
            advantage = comment.xpath(".//div[@class='kbnr']/ul/li[1]/p/text()")[0]
            disadvantage = comment.xpath(".//div[@class='kbnr']/ul/li[2]/p/text()")[0]
            summarize = comment.xpath(".//div[@class='kbnr']/ul/li[3]/p/text()")[0]
            time = comment.xpath(".//div[@class='kbnr']/ul/li[4]/text()")[0]
            self.datas.append([user_name, brand, vehicle_series, vehicle_model, score, title, advantage, disadvantage, summarize, time])
    except Exception as e: 
        print('采集网址：', self.url)
        print('异常：', e)
        print('========================================================n')

5、Page类中定义打印数据方法

def printData(self):
    for data in self.datas:
        print('用户：', data[0])
        print('品牌：', data[1])
        print('车系：', data[2])
        print('车型：', data[3])
        print('评分：', data[4])
        print('标题：', data[5])
        print('优点：', data[6])
        print('缺点：', data[7])
        print('总结：', data[8])
        print('时间：', data[9])
        print('========================================================n')

6、Page类中定义保存数据方法

def saveData(self):
    with open('汽车口碑评价.csv', 'a', encoding='utf-8', newline='') as file:
        writer = csv.writer(file)
        writer.writerows(self.datas)

7、定义main方法

def main():
    with open('汽车口碑评价.csv', 'a', encoding='utf-8', newline='') as file:
        writer = csv.writer(file)
        headers = [ "用户", "品牌", "车系", "车型", "评分", "标题", "优点", "缺点", "总结", "时间"]
        writer.writerow(headers)
            
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',}
    for i in range(3):
        url = 'https://www.12365auto.com/review/kb_{}_0_0_1_1_0_0_0_0.shtml'.format(i+1)
        page = Page(url, headers)
        page.getData()
        page.printData()
        page.saveData()

8、执行main方法

if __name__== "__main__" :
    main()

四、爬取结果

五、免责声明

本文所涉及源代码均为个人学习所编写，并于公众号（愤怒的it男）中原创发布，仅可用于计算机技术学习及研究等合法行为，禁止利用本文所涉及源代码从事任何违反本国（地区）法律法规的业务，如有发现存在违法违规行为我会举报到网监部门。

原文始发于微信公众号（愤怒的it男）：Python威武！最新全系车型口碑评价

文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/272403.html

Python威武！最新全系车型口碑评价