【Python实战】---- 爬取 CSDN 专栏文章列表

news/2024/9/21 14:30:52/

1. 场景

需求就是专栏中文章随着时间写的越多,如果后边需要去查找的时候比较麻烦,比如一些不常用的 git 命令,或者有些开发场景的细节,在之前已经开发完了,现在忘记部分细节,需要在之前的输出文章中去查找,当几十几百篇文章时,查找就比较麻烦,但是如果没发布一篇文章,自己去更新专栏的文章目录又是一个比较繁琐的事情,因此写了一个小的爬取程序,在每次发布新的文章时,运行此程序,就可以更新文章目录,方便后期在需要的时候能够快速查找。

2. 引入使用模块

  1. requests 获取网页的内容;
  2. re 使用正则匹配文章的发布日期;
  3. time 用于每次获取网页后的等待,防止被 CSDN 识别为爬虫;
  4. datetime 用于文章发布日期的排序格式化;
  5. BeautifulSoup HTML 解析。
import requests
import re
import time
from datetime import datetime
from bs4 import BeautifulSoup

3. 获取专栏文章


http://www.ppmy.cn/news/1528437.html

相关文章

微信小程序06-综合项目点餐系统

零、文章目录 微信小程序06-综合项目点餐系统 1、项目开发准备 (1)开发背景 现如今,相比以服务员为中介完成点餐、送餐、买单的传统点餐方式,越来越多的餐厅开始使用微信小程序进行点餐。商家可以在微信小程序中添加点餐和收款…

实例讲解使用Matlab_Simulink整车模型进行车速控制策略仿真测试验证方法

在进行VCU软件开发过程中,经常要设置一些扭矩控制相关的参数,一般可以通过经验先设置一版参数,然后通过与整车模型的联合仿真及实车标定优化相关参数,最终得到一版综合性能最优的参数作为最终程序定版参数。本文通过蠕行扭矩控制模…

在 CentOS 中安装 MySQL(无坑版)

1. 下载安装 MySQL yum 仓库 请按照自己的系统版本选择自己喜欢的 MySQL版本 uname -a 或者 lsb_release -aMySQL yum 仓库地址: https://repo.mysql.com/ CentOS 8 wget https://repo.mysql.com/mysql80-community-release-el8-1.noarch.rpm yum localinstall…

使用 Azure Functions 开发 Serverless 应用:详解与实战

使用 Azure Functions 开发 Serverless 应用:详解与实战 随着云计算的发展,Serverless(无服务器架构)已成为构建现代应用的重要模式。它能够让开发者专注于业务逻辑,而不需要关注底层的服务器管理、扩展等问题。Azure…

学习笔记 韩顺平 零基础30天学会Java(2024.9.16)

P563 自定义泛型方法 当调用方法时,要传入参数,因为当传入参数时,编译器就可以确定泛型代表的类型 泛型方法和方法使用了泛型是不一样的 泛型方法可以使用类声明的泛型,也可以使用自己的泛型 P564 泛型方法练习 P565 泛型的继承和…

[已更新前两问代码+全部建模]2024华为杯C题详细思路代码文章建模分享研究生数学建模竞赛数学建模研赛

截止9.21 12点 已更新问题一二的代码和全部内容的建模 下面我们会先进行代码讲解,之后给出全部内容的建模公式 ## https://docs.qq.com/doc/DVWhyZ1NFY01XcmNw基于磁通密度数据的特征提取与分类分析。 问题一代码详解 1. 导入必要的库 import pandas as pd import numpy as…

MATLAB绘图基础8:双变量图形绘制

参考书:《 M A T L A B {\rm MATLAB} MATLAB与学术图表绘制》(关东升)。 8.双变量图形绘制 8.1 散点图 散点图用于显示两个变量间的关系,每个数据点在图上表示为一个点,一个变量在 X {\rm X} X轴,一个变量在 Y {\rm Y} Y轴&#…

Python 装饰器使用详解

文章目录 0. 引言1. 什么是装饰器?2. 装饰器的基本语法3. 装饰器的工作原理4. 常见装饰器应用场景4.1. 日志记录4.2. 权限校验4.3. 缓存 5. 多重装饰器的执行顺序6. 装饰器的高级用法6.1. 带参数的装饰器6.2. 使用 functools.wraps6.3. 类装饰器 7. 图示说明7.1. 单…