一、爬取目标
二、完整源码
#""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
#
# Copyright (c) 2024 愤怒的it男, All Rights Reserved.
# FileName : code.py
# Date : 2024.01.11
# Author : 愤怒的it男
# Version : 1.0.0
# Node : 欢迎关注微信公众号【愤怒的it男】
#
#""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
import csv
import requests
import numpy as np
from lxml import etree
from prettytable import PrettyTable
def getData(page, baseUrl, headers):
response = requests.get(url=baseUrl, headers=headers)
html = etree.HTML(response.text)
contentList = html.xpath("//div[@class='left']/div[@class='sons']//a[1]/text()")
sourceList = html.xpath("//div[@class='left']/div[@class='sons']//a[2]/text()")
indexList = np.arange(page*50+1,page*50+len(sourceList)+1)
dataList = np.stack((indexList, contentList, sourceList))
dataList = np.transpose(dataList).tolist()
return dataList
def printData(result):
table = PrettyTable()
table.field_names = ["序号", "名言", "出处"]
table.add_rows(result)
print(table)
def saveData(result):
with open('春节名言.csv', 'w', newline='') as file:
writer = csv.writer(file)
writer.writerows(result)
def main():
result = []
baseUrlList = [
'https://so.gushiwen.cn/mingjus/default.aspx?page=1&tstr=春节',
'https://so.gushiwen.cn/mingjus/default.aspx?page=2&tstr=春节']
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
for page,baseUrl in enumerate(baseUrlList):
dataList = getData(page, baseUrl, headers)
result = result + dataList
printData(result)
saveData(result)
if __name__== "__main__" :
main()
三、爬取结果
+------+------------------------------------------------------------------+----------------------------------------------------+
| 序号 | 名言 | 出处 |
+------+------------------------------------------------------------------+----------------------------------------------------+
| 1 | 爆竹声中一岁除，春风送暖入屠苏。 | 王安石《元日》 |
| 2 | 一年将尽夜，万里未归人。 | 戴叔伦《除夜宿石头驿》 |
| 3 | 故乡今夜思千里，霜鬓明朝又一年。 | 高适《除夜作》 |
| 4 | 千门万户曈曈日，总把新桃换旧符。 | 王安石《元日》 |
| 5 | 半盏屠苏犹未举，灯前小草写桃符。 | 陆游《除夜雪》 |
| 6 | 愿得长如此，年年物候新。 | 卢照邻《元日述怀》 |
| 7 | 十年旧梦无寻处，几度新春不在家。 | 吴文英《思佳客·癸卯除夜》 |
| 8 | 悄立市桥人不识，一星如月看多时。 | 黄景仁《癸巳除夕偶成》 |
| 9 | 一年忧喜今宵过，两鬓风霜明日新。 | 谢榛《除夕吴子充诸人集旅寓有感》 |
| 10 | 命随年欲尽，身与世俱忘。 | 文天祥《除夜》 |
| 11 | 愿新年，胜旧年。 | 杨无咎《双雁儿（除夕）》 |
| 12 | 努力尽今夕，少年犹可夸。 | 苏轼《守岁》 |
| 13 | 万物迎春送残腊，一年结局在今宵。 | 戴复古《除夜》 |
| 14 | 北风吹雪四更初，嘉瑞天教及岁除。 | 陆游《除夜雪》 |
| 15 | 明年岂无年，心事恐蹉跎。 | 苏轼《守岁》 |
| 16 | 昨夜斗回北，今朝岁起东。 | 孟浩然《田家元日》 |
| 17 | 儿童强不睡，相守夜欢哗。 | 苏轼《守岁》 |
| 18 | 人歌小岁酒，花舞大唐春。 | 卢照邻《元日述怀》 |
| 19 | 乡心新岁切，天畔独潸然。 | 刘长卿《新年作》 |
| 20 | 衣懒换，酒难赊。可怜此夕看梅花。 | 吴文英《思佳客·癸卯除夜》 |
| 21 | 寒随一夜去，春逐五更来。 | 史青《应诏赋得除夜》 |
| 22 | 生盆火烈轰鸣竹，守岁筳开听颂椒。 | 戴复古《除夜》 |
| 23 | 共欢新故岁，迎送一宵中。 | 李世民《守岁》 |
| 24 | 乾坤空落落，岁月去堂堂；末路惊风雨，穷边饱雪霜。 | 文天祥《除夜》 |
| 25 | 今夕为何夕，他乡说故乡。 | 袁凯《客中除夕》 |
| 26 | 弥年不得意，新岁又如何？ | 刘禹锡《岁夜咏怀》 |
| 27 | 愿新春以后，吉吉利利。百事都如意。 | 赵长卿《探春令·笙歌间错华筵启》 |
| 28 | 一年滴尽莲花漏。碧井酴酥沈冻酒。 | 毛滂《玉楼春·己卯岁元日》 |
| 29 | 今岁今宵尽，明年明日催。 | 史青《应诏赋得除夜》 |
| 30 | 旅馆谁相问，寒灯独可亲。 | 戴叔伦《除夜宿石头驿》 |
| 31 | 今宵是除夕，明日又新年。 | 于谦《除夕》 |
| 32 | 春风来不远，只在屋东头。 | 于谦《除夜太原寒甚》 |
| 33 | 愁颜与衰鬓，明日又逢春。 | 戴叔伦《除夜宿石头驿》 |
| 34 | 共庆新年笑语哗，红岩士女赠梅花。 | 董必武《元旦口占用柳亚子怀人韵》 |
| 35 | 不求见面惟通谒，名纸朝来满敝庐。 | 文征明《拜年》 |
| 36 | 残日东风，不放岁华去。 | 吴文英《祝英台近·除夜立春》 |
| 37 | 命随年欲尽，身与世俱忘；无复屠苏梦，挑灯夜未央。 | 文天祥《除夜》 |
| 38 | 千家笑语漏迟迟，忧患潜从物外知。 | 黄景仁《癸巳除夕偶成》 |
| 39 | 历添新岁月，春满旧山河。 | 叶颙《己酉新正》 |
| 40 | 寒辞去冬雪，暖带入春风。 | 李世民《守岁》 |
| 41 | 晓寒料峭尚欺人，春态苗条先到柳。 | 毛滂《玉楼春·己卯岁元日》 |
| 42 | 有人添烛西窗，不眠侵晓，笑声转、新年莺语。 | 吴文英《祝英台近·除夜立春》 |
| 43 | 岁晚身何托，灯前客未空。 | 陈师道《除夜对酒赠少章》 |
| 44 | 举杯互敬屠苏酒，散席分尝胜利茶。 | 董必武《元旦口占用柳亚子怀人韵》 |
| 45 | 田家占气候，共说此年丰。 | 孟浩然《田家元日》 |
| 46 | 我亦随人投数纸，世情嫌简不嫌虚。 | 文征明《拜年》 |
| 47 | 陪都歌舞迎佳节，遥祝延安景物华。 | 董必武《元旦口占用柳亚子怀人韵》 |
| 48 | 一杯柏叶酒，未敌泪千行。 | 袁凯《客中除夕》 |
| 49 | 坐到三更尽，归仍万里赊。 | 戎昱《桂州腊夜》 |
| 50 | 新岁梦，去年情。 | 吴文英《醉桃源·元日》 |
| 51 | 旧曲梅花唱，新正柏酒传。 | 孟浩然《岁除夜会乐城张少府宅》 |
| 52 | 那堪正飘泊，明日岁华新。 | 崔涂《除夜 / 巴山道中除夜书怀》 |
| 53 | 阶馥舒梅素，盘花卷烛红。 | 李世民《守岁》 |
| 54 | 欲知垂尽岁，有似赴壑蛇。 | 苏轼《守岁》 |
| 55 | 今岁花期消息定，只愁风雨无凭准。 | 辛弃疾《蝶恋花·戊申元日立春席间作》 |
| 56 | 愿新春以后，吉吉利利。百事都如意。 | 赵长卿《探春令·笙歌间错华筵启》 |
| 57 | 自唱新词送岁华。 | 吴文英《思佳客·癸卯除夜》 |
| 58 | 翦红情，裁绿意，花信上钗股。 | 吴文英《祝英台近·除夜立春》 |
| 59 | 除日当早归，官事乃见留。 | 苏轼《除夜直都厅囚系皆满日暮不得返舍因题一诗于壁》 |
| 60 | 客行随处乐，不见度年年。 | 孟浩然《岁除夜会乐城张少府宅》 |
| 61 | 峥嵘岁又除。 | 秦观《阮郎归·湘天风雨破寒初》 |
| 62 | 笙歌间错华筵启。喜新春新岁。 | 赵长卿《探春令·笙歌间错华筵启》 |
| 63 | 爆竹声中岁又除。 | 赵师侠《鹧鸪天（丁已除夕）》 |
| 64 | 竹叶樽空翻采燕，九枝灯灺颤金虫。 | 纳兰性德《浣溪沙·庚申除夜》 |
| 65 | 除夕更阑人不睡，厌禳钝滞迎新岁；小儿呼叫走长街，云有痴呆召人买。 | 范成大《卖痴呆词》 |
| 66 | 续明催画烛，守岁接长筵。 | 孟浩然《岁除夜会乐城张少府宅》 |
| 67 | 扫除茅舍涤尘嚣，一炷清香拜九霄。 | 戴复古《除夜》 |
| 68 | 屠苏醉醒已三更。 | 李慈铭《临江仙·癸未除夕作》 |
| 69 | 谁向椒盘簪彩胜？ | 辛弃疾《蝶恋花·戊申元日立春席间作》 |
| 70 | 整整韶华，争上春风鬓。 | 辛弃疾《蝶恋花·戊申元日立春席间作》 |
| 71 | 瓦瓯篷底送年华。 | 张雨《喜春来·泰定三年丙寅岁除夜玉山舟中赋》 |
| 72 | 钗符金胜，又见一家春。 | 李慈铭《临江仙·癸未除夕作》 |
| 73 | 翠柏红梅围小坐，岁筵未是全贫。 | 李慈铭《临江仙·癸未除夕作》 |
| 74 | 收取闲心冷处浓，舞裙犹忆柘枝红。 | 纳兰性德《浣溪沙·庚申除夜》 |
| 75 | 谁家刻烛待春风。 | 纳兰性德《浣溪沙·庚申除夜》 |
| 76 | 老至居人下，春归在客先。 | 刘长卿《新年作》 |
| 77 | 风霜催腊尽，梅柳得春先。 | 于谦《除夕》 |
| 78 | 今夕定何夕，今夕岁还除。 | 李处全《水调歌头（除夕）》 |
| 79 | 团栾儿女，尽情灯火照围炉。 | 李处全《水调歌头（除夕）》 |
| 80 | 望家思献寿，算甲恨长年。 | 欧阳詹《除夜长安客舍》 |
| 81 | 江上见新年，年夜听春雨。 | 朱敦儒《卜算子（除夕）》 |
| 82 | 一年滴尽莲花漏。 | 毛滂《玉楼春·己卯岁元日》 |
| 83 | 寒泉贮、绀壶渐暖，年事对、青灯惊换了。 | 吴文英《花犯·谢黄复庵除夜寄古梅枝》 |
| 84 | 问暮鸦：何处阿戎家？ | 张雨《喜春来·泰定三年丙寅岁除夜玉山舟中赋》 |
| 85 | 残蜡烛，旧桃符。 | 赵师侠《鹧鸪天（丁已除夕）》 |
| 86 | 宁辞末后饮屠苏。 | 赵师侠《鹧鸪天（丁已除夕）》 |
| 87 | 爆竹惊残梦，寒镫照独眠。 | 于谦《除夕》 |
| 88 | 蜡鹅花下烛如银。 | 李慈铭《临江仙·癸未除夕作》 |
+------+------------------------------------------------------------------+----------------------------------------------------+
四、免责声明
本公众号所有源码均为个人学习所编写，仅可用于计算机技术学习及研究等合法行为，禁止利用本公众号的源码从事任何违反本国（地区）法律法规的业务，如有发现存在违法违规行为我会举报到网监部门。
原文始发于微信公众号（愤怒的it男）：朋友圈装逼神器！Python爬取古诗文网全部的春节名句
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/234374.html
