投稿
  1. 极客之音首页
  2. 技术漫谈

用Python爬京东的评论数据，好像也没有很难！

小半 • • 技术漫谈 • 阅读 169

一、前言

上一篇爬虫的文章已经可以拿到京东商品ID的列表了，而商品评价数据的api正是由商品ID组成的。不过需要注意的一点是京东商品ID的列表有很多重复项，因为一个商品可能会同时出现在第1页、第11页、第21页……所以要事先删除重复项，这样也能减少极大的采集压力。

二、爬取目标

用Python爬京东的评论数据，好像也没有很难！

三、完整源码

import pandas as pd
import requests
import csv
import time
import random

def getComment():
    df = pd.read_excel('京东商品列表.xlsx', names=['productId', 'shopName'])
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
               'Cookie': '自己的cookie',
               }

    with open('雨刷评价数据.csv', 'w', encoding='utf-8', newline='') as file:
        writer = csv.writer(file)
        header = [ "商品ID", "商品名称", "店名", "评价昵称", "评价分数", "评价地点", "评价内容", "评价时间"]
        writer.writerow(header)
    
        for index, row in df.iterrows():
            try:
                url = 'https://api.m.jd.com/?appid=item-v3&functionId=pc_club_skuProductPageComments&productId={}&score=0&sortType=5&page=0&pageSize=10'.format(row['productId'])
                response = requests.get(url=url, headers=headers)
                jsonData = response.json()
                maxPage = jsonData['maxPage']
                page = 1
                while page <= maxPage:
                    comments = jsonData['comments']
                    productId = row['productId']
                    shopName = row['shopName']
                    for comment in comments:
                        nickname = comment['nickname'] if 'nickname' in comment else ''
                        referenceName = comment['referenceName'] if 'referenceName' in comment else ''
                        score = comment['score'] if 'score' in comment else ''
                        location = comment['location'] if 'location' in comment else ''
                        content = comment['content'] if 'content' in comment else ''
                        creationTime = comment['creationTime'] if 'creationTime' in comment else ''
                        writer.writerow([productId, referenceName, shopName, nickname, score, location, content, creationTime])
                    url = 'https://api.m.jd.com/?appid=item-v3&functionId=pc_club_skuProductPageComments&productId={}&score=0&sortType=5&page={}&pageSize=10'.format(row['productId'], page)
                    response = requests.get(url=url, headers=headers)
                    time.sleep(random.randint(8, 15))
                    jsonData = response.json()
                    page += 1
            except Exception as e: 
                print('采集网址：', url)
                print('异常：', e)
                print('========================================================n')

def main():
    getComment()
    
if __name__== "__main__" :
    main()

四、爬取结果

10088424429655,车杰威丰田卡罗拉凯美瑞雷凌花冠皇冠汉兰达RAV4威驰原装雨刮器雨刷胶条 丰田凯美瑞/2018-2024款/八代 适配原装前雨刮器替换胶条一对【拍二发三】,车杰威官方旗舰店,A***明,5,广东,物品不错，使用效果很好,2024-04-07 11:35:02
10088424429655,车杰威丰田卡罗拉凯美瑞雷凌花冠皇冠汉兰达RAV4威驰原装雨刮器雨刷胶条 丰田凯美瑞/2018-2024款/八代 适配原装前雨刮器替换胶条一对【拍二发三】,车杰威官方旗舰店,月***6,5,浙江,非常好，刮的很干净，十分钟搞定，省了一大笔钱,2024-04-02 13:00:52
10088424429655,车杰威丰田卡罗拉凯美瑞雷凌花冠皇冠汉兰达RAV4威驰原装雨刮器雨刷胶条 丰田凯美瑞/2018-2024款/八代 适配原装前雨刮器替换胶条一对【拍二发三】,车杰威官方旗舰店,L***B,5,海南,很好,2024-03-27 23:36:05
10088424429655,车杰威丰田卡罗拉凯美瑞雷凌花冠皇冠汉兰达RAV4威驰原装雨刮器雨刷胶条 丰田凯美瑞/2018-2024款/八代 适配原装前雨刮器替换胶条一对【拍二发三】,车杰威官方旗舰店,j***i,5,山东,非常好用 值得购买,2024-03-09 06:28:42
10088424429655,车杰威丰田卡罗拉凯美瑞雷凌花冠皇冠汉兰达RAV4威驰原装雨刮器雨刷胶条 丰田凯美瑞/2018-2024款/八代 适配原装前雨刮器替换胶条一对【拍二发三】,车杰威官方旗舰店,f***1,5,北京,价廉物美,2023-11-22 08:07:36
10088424429655,车杰威丰田卡罗拉凯美瑞雷凌花冠皇冠汉兰达RAV4威驰原装雨刮器雨刷胶条 丰田凯美瑞/2018-2024款/八代 适配原装前雨刮器替换胶条一对【拍二发三】,车杰威官方旗舰店,z***u,5,陕西,便宜好用，更换方便，还会购买,2024-04-07 12:00:40
10088424429655,车杰威丰田卡罗拉凯美瑞雷凌花冠皇冠汉兰达RAV4威驰原装雨刮器雨刷胶条 丰田凯美瑞/2018-2024款/八代 适配原装前雨刮器替换胶条一对【拍二发三】,车杰威官方旗舰店,l***i,4,山东,用着还可以,2024-03-26 12:16:29
10088424429655,车杰威丰田卡罗拉凯美瑞雷凌花冠皇冠汉兰达RAV4威驰原装雨刮器雨刷胶条 丰田凯美瑞/2018-2024款/八代 适配原装前雨刮器替换胶条一对【拍二发三】,车杰威官方旗舰店,s***-,5,上海,还行吧,2024-03-28 18:58:56
10088424429655,车杰威丰田卡罗拉凯美瑞雷凌花冠皇冠汉兰达RAV4威驰原装雨刮器雨刷胶条 丰田凯美瑞/2018-2024款/八代 适配原装前雨刮器替换胶条一对【拍二发三】,车杰威官方旗舰店,L***g,5,浙江,还没有用,2024-03-12 18:21:57
10088424429655,车杰威丰田卡罗拉凯美瑞雷凌花冠皇冠汉兰达RAV4威驰原装雨刮器雨刷胶条 丰田凯美瑞/2018-2024款/八代 适配原装前雨刮器替换胶条一对【拍二发三】,车杰威官方旗舰店,j***w,5,江苏,完美解决。,2024-02-02 14:58:05
10088424429655,车杰威丰田卡罗拉凯美瑞雷凌花冠皇冠汉兰达RAV4威驰原装雨刮器雨刷胶条 丰田凯美瑞/2018-2024款/八代 适配原装前雨刮器替换胶条一对【拍二发三】,车杰威官方旗舰店,H***1,5,湖北,第一次在网上购买，也是看评价才买的，质量还不错，也很便宜，有需要的朋友可放心购买,2024-04-12 11:33:46
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,j***x,5,江苏,一直在用京东自营店买生活用品物流速度很快客服态度很好质量保证双十一搞活动价格便宜质量不错喜欢的小伙伴赶紧入手吧京东自营商品质量还是可以的,2023-11-09 20:25:41
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,j***w,5,江苏,很好 选对车型 特别合适 去店里换一个随随便便就要大几百 自己花了几十块钱就换了全新的 自己动手安装的 非常方便,2023-12-28 16:04:47
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,奋***行,5,新疆,非常喜欢这款产品，东西包装很好，没有破损，质量也非常不错，而且给的安装说明书非常详细，各种方式都有，非常适合新手自行安装,2023-12-20 23:37:16
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,j***0,5,湖北,十分好安装，和原装尺寸大小一样，接口一样，把原来的雨刮取下来后，轻轻松松就把这只雨刮上上去了，试了试效果还不错，挂的很干净，声音也很小,2023-12-30 22:58:00
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,豆***海,5,四川,"东西质量非常好，与卖家描述的完全一致，非常意,真的很喜欢，完全超出期望值，发货速度非常快，包装非常仔细、严实，物流公司服务态度很好，运送速度很快，很满意的一次购物。",2023-12-12 11:14:20
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,孙***街,5,江苏,质量还不错，刚好下雨天换上之后刮的很干净，无噪音！,2024-03-06 22:14:56
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,L***1,5,广东,雨刮器很好，安装也比较简单。,2024-02-25 12:33:08
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,白***给,5,广东,很新刮的挺赶紧的,2024-02-13 12:05:41
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,默***爸,5,江苏,刮的很干净，非常贴合，橡胶条还有保护，推荐购买,2023-12-11 20:48:00
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,h***h,5,湖南,非常好，刮的很干净，正品,2023-11-16 19:08:56
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,j***6,5,湖南,不错，发来还没用，比较便宜,2024-04-06 09:34:49
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,灵***4,5,福建,东西还行 价格不贵,2024-02-29 08:53:03
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,j***8,5,江苏,手感不错，还没有安装，希望能使用时间长一点的吧,2023-11-12 12:43:45
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,u***x,5,江西,东西看起来挺结实，用了后才知道效果，马上就下雨了！,2023-10-26 18:17:09
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,帅***_,5,山东,效果很好 安装简单 价格实惠,2024-03-06 07:44:32
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,航***爸,5,新疆,性价比超高.不异响刮的干净,2024-02-27 20:01:34
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,u***1,2,广东,雨刮不行，一点小雨都看不见路,2024-02-29 18:32:27
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,z***n,5,海外,很好很匹配，干干净净，终于没有咔咔响了,2024-02-08 12:26:35
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,疼***S,5,新疆,很好，一次就安上了 值得够买,2023-12-31 16:37:55
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,b***D,5,天津,送货真快,2023-11-18 17:15:32
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,j***7,5,重庆,非常好安装~小白都可以,2023-10-13 16:27:41
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,白***白,5,湖北,第一次购买雨刮器，自己按照送的说明书安装好了，真的很简单，价钱比去实体店便宜很多，安装之后试了试，很丝滑，刮的很干净，以后还是这家了，靠谱。,2023-07-02 17:48:03
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,故***友,5,河南,还得是京东，这新雨刷回来后赶紧换上，刚好我们这阴雨绵绵，试了试很不错，和原厂的一模一样！换上后再也不用听响，再也不用用毛巾去擦了,2023-09-27 11:57:29
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,秋***声,5,陕西,性价比高，我很喜欢，下次还会光临，东西质量还可以，快递速度也很给力,2023-09-09 20:40:00
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,j***u,5,广西,不错，很合适，也很软，不错的产品,2023-08-19 16:35:39
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,幽***丨,5,浙江,很好用 安装简易 刮出来效果很好 物有所值值得拥有👍大赞,2023-08-14 17:22:17
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,i***n,5,北京,当天就到了，快递很快，装上了，刮的很干净,2023-07-14 08:33:12
100027727579,一途长安CS55专用无骨雨刮器长安CS55 PLUS【22款-至今】雨刷CS55雨刮原厂原车尺寸雨刷器（1对装）A级胶条,一途（YITU）京东自营旗舰店,s***y,5,辽宁,昨天装好，今天下雨，正好试了试，刮得很干净，娃说&ldquo;干净得好像没有玻璃一样&rdquo;。丝滑顺畅，刮起来也几乎没有声音，满意,2023-06-29 09:46:33

用Python爬京东的评论数据，好像也没有很难！

五、免责声明

本文所涉及源代码均为个人学习所编写，并于公众号（愤怒的it男）中原创发布，仅可用于计算机技术学习及研究等合法行为，禁止利用本文所涉及源代码从事任何违反本国（地区）法律法规的业务，如有发现存在违法违规行为我会举报到网监部门。

原文始发于微信公众号（愤怒的it男）：用Python爬京东的评论数据，好像也没有很难！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/282600.html

赞 (0)
小半的头像小半
0 0

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站，欢迎收藏到浏览器，订阅我们！