爬虫4:bs4

news/2024/9/18 12:52:00/ 标签: 爬虫

对于re来说,公式就是 . ∗ ? .*? .?贪婪搜索第一次匹配成功就返回,.*则返回所有成功匹配的

北京新发地尝试
那么对于bs4来说公式就是BeautifulSoup(“html源码”, “html.parser”)

import requests
from bs4 import BeautifulSoup# url = 'http://www.xinfadi.com.cn/getPriceData.html'
#
# headers = {
#     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0"
# }
# data = {
#     "limit" : "",
#     "current" : "",
#     "pubDataStartTime" : "",
#     "pubDataEndTime" : "",
#     "prodPcatid" : "",
#     "prodCatid" : "",
#     "prodName" : "大白菜",
# }
# resp = requests.post(url,data=data, headers=headers, verify=False)\
#
# print(resp.text)
#
# resp.close()
#
# # 生成bs对象
# page = BeautifulSoup(resp.text, "html.parser")
# # 从bs对象中查找数据
# # find找第一个(标签,属性=值)
# # find_all全找(标签,属性=值)
# table = page.find("table", attrs={
#     "class":"hq_table"
# })
# # 拿到所有数据行
# trs = table.find_all("tr")[1:]
# for tr in trs:
#     tds = tr.find_all("td")
#     for td in tds:
#         print(td.text, end=" ")
#     print()# 优美图库
url = 'https://www.umei.cc/update.htm'resp = requests.get(url)
resp.encoding = 'utf-8'# 源代码交给bs
main_page = BeautifulSoup(resp.text, "html.parser")
lst = main_page.find("div", class_="Clbc_top table").find_all("a")for a in lst:# src = a.find("img").get("src")# print(a.get('src'))# 拿到子页面源代码# child_page_resp = reqprint(a)# 写入图片,二进制写入# wb write
resp.close()

http://www.ppmy.cn/news/1524297.html

相关文章

【OJ】关于顺序表的经典题目(移除数组中指定元素的值、数组去重、合并两个有序的数组)

文章目录 前言题目1:移除数组中指定的元素题目描述解题思路方法1 :暴力法方法2:双指针法 题目2:数组去重题目描述解题思路双指针法 题目3:合并两个有序的数组题目描述解题思路方法1:暴力破解法方法2&#x…

多源BFS之矩阵距离

多源BFS 173. 矩阵距离 给定一个 N行 M列的 01矩阵 A,A[i][j]与 A[k][l]之间的曼哈顿距离定义为dist(i,j,k,l)|i−k||j−l| 输出一个 N行 M列的整数矩阵 B,其中: B[i][j]min1≤x≤N,1≤y≤M,A[x][y]1dist(i,j,x,y) 输入格式 第一行两个整数…

状压DP

状压DP 对于数据范围n<20的可以考虑状压DP 1.蒙德里安的梦想 题目描述 求把 N M NM NM 的棋盘分割成若干个 12 的的长方形&#xff0c;有多少种方案。 例如当$ N2&#xff0c;M4$ 时&#xff0c;共有 5 种方案。当 N 2 &#xff0c; M 3 N2&#xff0c;M3 N2&…

echarts 显示中国地图以及省份

这里使用echarts 4.9的版本显示中国地图&#xff0c;因为5.X的版本已经把地图模块分离出去了 可以从这里下载全国地图数据或各身份的数据 https://github.com/apache/echarts/tree/master/test/data/map 完整代码示例&#xff1a;中国地图 <!DOCTYPE html> <html&g…

全国各地身份证号开头6位数字及地区对照表

具体请前往&#xff1a;全国各地身份证号开头6位数字-省市县/区对照表

设计模式】Listener模式和Visitor模式的区别

文章目录 前言一、介绍Listener模式Visitor模式 二、代码实现2.1 Listener模式的Java实现2.2Listener模式的Go实现2.3Visitor模式的Java实现2.4Visitor模式的Go实现 三、总结 前言 在软件设计中&#xff0c;设计模式是解决特定问题的通用解决方案。Listener模式和Visitor模式是…

STL-stack/queue/deque(容器适配器)

目录 ​编辑 STL-stack 150. 逆波兰表达式求值 stack queue std::stack deque 性能测试 结构 STL-stack 栈的压入、弹出序列_牛客题霸_牛客网输入两个整数序列&#xff0c;第一个序列表示栈的压入顺序&#xff0c;请判断第二个序列是否可能为该栈的弹出顺序。假。题目…

信息安全国内外现状及技术要求示例(R155/R156)

国际政策、 法规的现状与趋势 鉴于对交通安全、社会安全甚至国家安全的重要影响&#xff0c;汽车网络安全、数据安全得到各相关国家和地区的高度重视&#xff0c;纷纷出台相关法规、标准。 信息安全法规 R155 法规适用范围覆盖了乘用车及商用车&#xff0c;适用于 M 类、N 类…

原生 input 中的 “type=file“ 上传文件

目标&#xff1a;实现文件上传功能 原型图&#xff1a; HTML部分&#xff1a; <div class"invoice-item"><div class"invoice-title">增值税专用发票</div><div class"invoice-box"><el-form-item label"标准…

C语言数组指针--自学笔记

一维数组指针 int a[3] {1,2,3}; int *pa a; //pa是一个整形的指针&#xff0c;pa 指针跨一个int大小的地址 int (*paa)[3] a; //paa是一个数组行指针, paa指针跨一行&#xff0c;3个int大小的地址 //a[n] *(pan) 二维数组指针 int b[2…

【H2O2|全栈】关于CSS(2)CSS基础(二)

目录 CSS基础知识 前言 准备工作 选择器的组合 盒模型 示例网页代码 后代选择器 亲代选择器 相邻兄弟选择器 后续兄弟选择器 多个元素选择器 通配符选择器 优先级 其他应用 伪类 锚链接的属性 列表的属性 list-style-type list-style-position list-style…

coding云原生构建实现自动化部署(前端代码v3+vite)

使用Coding CI/CD 在现代软件开发中&#xff0c;自动化部署是提高效率和降低出错率的关键步骤。本文将详细介绍如何使用 coding-ci.yml 文件配置 CI/CD 流程&#xff0c;实现一个自动化的部署过程。我们将以一个简单的项目为例&#xff0c;讲解如何利用 Coding CI/CD 工具自动…

EMQX 学习一二:认证和授权、主题重写、webhook

建议: 有问题找 官方文档 官方文档 官方AI EMQX : MQTT broker 安装: 启动: * cd 到 安装目录的bin目录下 * ./emqx start (守护进程启动)[root@localhost bin]# ./emqx start WARNING: Default (insecure) Erlang cookie is in use. WARNING: Configure node.cookie i…

Spring源码解读:解决循环依赖的三种方式

Spring源码解读&#xff1a;解决循环依赖的三种方式 目录 Spring源码解读&#xff1a;解决循环依赖的三种方式 一、循环依赖的定义与问题 1. 循环依赖的概念 2. 循环依赖带来的问题 二、Spring解决循环依赖的三种方式 1. 构造器注入的方式 2. Setter注入的方式 3. 使用Lazy注解…

golang学习笔记10——golang 的 Gin 框架,快速构建高效 Web 应用

推荐学习文档 golang应用级os框架&#xff0c;欢迎star基于golang开发的一款超有个性的旅游计划app经历golang实战大纲golang优秀开发常用开源库汇总golang学习笔记01——基本数据类型golang学习笔记02——gin框架及基本原理golang学习笔记03——gin框架的核心数据结构golang学…

计算机视觉中,Pooling的作用

在计算机视觉中&#xff0c;Pooling&#xff08;池化&#xff09;是一种常见的操作&#xff0c;主要用于卷积神经网络&#xff08;CNN&#xff09;中。它通过对特征图进行下采样&#xff0c;减少数据的空间维度&#xff0c;同时保留重要的特征信息。Pooling 的作用可以归纳为以…

免费云服务器申请教程

免费云服务器的申请流程通常包括以下几个步骤&#xff0c;但请注意&#xff0c;不同云服务提供商的具体步骤可能略有不同。以下是一个通用的申请流程&#xff1a; 一、选择合适的云服务提供商 首先&#xff0c;需要选择一家提供免费云服务器服务的云服务提供商。 免费云服务器汇…

R语言论文插图模板第9期—滑珠散点图

在之前的文章中&#xff0c;分享了R语言分组散点图的绘制模板&#xff1a; 特征渲染的散点图的绘制方法: 进一步&#xff0c;再来分享一下滑珠散点图的绘制方法。 先来看一下成品效果&#xff1a; 特别提示&#xff1a;本期内容『数据代码』已上传资源群中&#xff0c;加群的朋…

RabbitMQ练习(AMQP 0-9-1 Overview)

1、What is AMQP 0-9-1 AMQP 0-9-1&#xff08;高级消息队列协议&#xff09;是一种网络协议&#xff0c;它允许遵从该协议的客户端&#xff08;Publisher或者Consumer&#xff09;应用程序与遵从该协议的消息中间件代理&#xff08;Broker&#xff0c;如RabbitMQ&#xff09;…

MonoHuman: Animatable Human Neural Field from Monocular Video 翻译

MonoHuman&#xff1a;来自单目视频的可动画人类神经场 摘要。利用自由视图控制来动画化虚拟化身对于诸如虚拟现实和数字娱乐之类的各种应用来说是至关重要的。已有的研究试图利用神经辐射场&#xff08;NeRF&#xff09;的表征能力从单目视频中重建人体。最近的工作提出将变形…