使用xpath规则进行提取数据并存储

server/2024/12/19 10:51:15/

下载lxml

python">!pip install lxml
python">import requests
headers={"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.6261.95 Safari/537.36"
}
url="https://movie.douban.com/chart"
response = requests.get(url,headers=headers)

构建xpath的对象

python">from lxml import etree
tree = etree.HTML(response.text)

使用xpath规则进行提取

python">lists = tree.xpath("//div[@class='pl2']/a/span")
for list in lists:print(list.text)

输出
在这里插入图片描述
获取a链接

python">links = tree.xpath("//div[@class='pl2']/a/@href")
for link in links:print(link)

输出
在这里插入图片描述

数据存储

存储音乐

python">import requests
url="http://m801.music.126.net/20241218224557/987ec52295da84beb07585379448bf96/jdymusic/obj/wo3DlMOGwrbDjj7DisKw/35836053117/6356/740c/463a/5ad8c9d7ac9f59ea148b9cdf1802e87a.mp3"
response=requests.get(url)
content=response.content
with open("music.mp3","wb") as file:file.write(content)

存储文本
建议用csv

python">import csv
data=[[1,2,3],[4,5,6],[1,3,5]]
with open("data.csv","w",encoding="utf-8") as file:  #如果不想被覆盖,可以把“w”改查“a”就会追加csv_writer=csv.writer(file)csv_writer.writerows(data)#writerows添加多个元素csv_writer.writerow([8,8,8,8])#writerow添加一个元素

http://www.ppmy.cn/server/151424.html

相关文章

复习打卡Linux篇

目录 1. Linux常用操作命令 2. vim编辑器 3. 用户权限 4. Linux系统信息查看 1. Linux常用操作命令 基础操作: 命令说明history查看历史执行命令ls查看指定目录下内容ls -a查看所有文件 包括隐藏文件ls -l ll查看文件详细信息,包括权限类型时间大小…

基于单片机的智能灯光控制系统

摘要 现在的大部分的大学,都是采用了一种“绿色”的教学方式,再加上现在的大学生缺乏环保意识,所以在学校里很多的教室,在白天的时候灯都会打开,这是一种极大的浪费,而且随时都有可能看到,这是…

【自适应】postcss-pxtorem适配Web端页面

在进行页面开发时,自适应设计是一个关键的考虑因素。为了实现这一点,postcss-pxtorem是一个非常有用的工具,它可以将CSS中的px单位转换为rem单位,从而实现基于根元素字体大小的自适应布局。下面介绍一下在项目中如何引入并配置pos…

[OpenGL] Transform feedback 介绍以及使用示例

一、简介 本文介绍了 OpenGL 中 Transform Feedback 方法的基本概念和代码示例。 二、Transform Feedback 介绍 1. Transform Feedback 简介 根据 OpenGL-wiki,Transform Feedback 是捕获由顶点处理步骤(vertex shader 和 geometry shader&#xff0…

游戏引擎学习第48天

仓库: https://gitee.com/mrxiao_com/2d_game 回顾 我们正在进行碰撞检测的工作,昨天我们几乎完成了一部分代码。由于一些原因,昨天的直播结束时未能完成所有内容。今天我们将继续进行,首先回顾一下之前的进展。我们需要让角色能够正确地与…

Latex中表格添加底部文本注释并调整对齐

如何实现从第一个表到第三个表的转换, 其中主要涉及到两点: (1)底部脚注与表格自动对齐并缩进换行 (2)表格自适应页面宽度 底部脚注的对齐与换行缩进需要用到 \usepackage{threeparttable} \usepackage{…

概率论得学习和整理32: 用EXCEL描述正态分布,用δ求累计概率,以及已知概率求X的区间

目录 1 正态分布相关 2 正态分布的函数和曲线 2.1 正态分布的函数值,用norm.dist() 函数求 2.2 正态分布的pdf 和 cdf 2.3 正态分布的图形随着u 和 δ^2的变化 3 正态分布最重要的3δ原则 3.0 注意,这里说的概率一定是累计概率CDF,而…

jenkins 出现 Jenkins: 403 No valid crumb was included in the request

文章目录 前言解决方式:1.跨站请求为找保护勾选"代理兼容"2.全局变量或者节点上添加环境变量3.(可选)下载插件 the strict Crumb Issuer plugin4.重启 前言 jenkins运行时间长了,经常出现点了好几次才能构建,然后报了Je…