【网络安全带你练爬虫-100练】第3练:遍历获取到的列表中元素

news/2024/10/18 8:19:21/

目录

一、前言:

二、分析代码

三、完善代码


一、前言:

(1)本练,我们来完善一下对于数据的处理

(2)对于同一标签内的内容的遍历爬取

上一段代码的,我们是不是在那个曾用名、高新技术企业、企业技术中兴

(也就是对于的企业的描述那里,指爬取到第一个)



二、分析代码

上一段代码:

company_type = item.find('div', attrs={'class': 'index_tag-list__wePh_'}).find_all('div', attrs={'class': 'index_tag-common__edIee'})[0].text

代码注释:

(1)item.find('div', attrs={'class': 'index_tag-list__wePh_'}) 表示在变量 item 所代表的HTML页面中查找具有 class 属性为 'index_tag-list__wePh_' 的 <div> 元素。这个方法返回的是第一个满足条件的 <div> 元素。

(2).find_all('div', attrs={'class': 'index_tag-common__edIee'}) 表示在前面找到的 <div> 元素内继续查找具有 class 属性为 'index_tag-common__edIee' 的所有 <div> 元素。这个方法返回的是一个列表,包含满足条件的所有元素。

(3)[0].text 表示从前面返回的列表中取出第一个元素,并获取其文本内容。.text 是 BeautifulSoup 库中的方法,用于提取元素的文本内容。


运行结果


三、完善代码

修改代码:

要获取class属性为index_tag-common__edIee的div元素中的所有文本内容

company_type = item.find('div', attrs={'class': 'index_tag-list__wePh_'}).find_all('div', attrs={'class': 'index_tag-common__edIee'}) 
tpye_texts = [element.text for element in company_type]

这将返回一个包含所有匹配的div元素中的文本内容的列表。


注释:

(1)item.find('div', attrs={'class': 'index_tag-list__wePh_'}) 表示在变量 item 所代表的 HTML 页面中查找具有 class 属性为 'index_tag-list__wePh_' 的 <div> 元素。这个方法返回的是第一个满足条件的 <div> 元素。

(2).find_all('div', attrs={'class': 'index_tag-common__edIee'}) 表示在前面找到的 <div> 元素内继续查找具有 class 属性为 'index_tag-common__edIee' 的所有 <div> 元素。这个方法返回的是一个列表,包含满足条件的所有元素。

(3)type_texts = [element.text for element in company_type] 是一个列表推导式。它遍历名为 company_type 的列表中的每个元素,并使用 .text 方法获取每个元素的文本内容。这样就创建了一个新的列表 type_texts,其中包含了 company_type 列表中每个元素的文本内容。


结果展示:


http://www.ppmy.cn/news/733543.html

相关文章

一键 为 Win7 安装盘 注入 USB 3.0驱动

一键 为 Win7 安装盘 注入 USB 3.0驱动 以使得 可以通过USB 3.0 安装Win7 https://downloadcenter.intel.com/zh-cn/download/25476/Windows7-USB3-0Creator 只需要下载此软件(Windows7 USB3.0 Creator),选择 你的安装所用的U盘, 轻轻一点 ,就等待成功吧

ESP32设备驱动-PCF8575IO扩展器驱动

PCF8575IO扩展器驱动 文章目录 PCF8575IO扩展器驱动1、PCF8575介绍2、硬件准备3、软件准备4、驱动实现1、PCF8575介绍 PCF8575用于两线双向总线 (I2C) 的 16 位 I/O 扩展器专为 2.5-V 至 5.5-V VCC 操作而设计。 PCF8575 器件通过 I2C 接口 [串行时钟 (SCL)、串行数据 (SDA)]…

【拼多多API商品详情页面采集】具体的API接口调用步骤

要从拼多多获取商品数据&#xff0c;可以使用拼多多提供的API接口。首先需要注册一个拼多多开放平台的开发者账号&#xff0c;然后创建一个应用程序&#xff0c;获取应用程序的app_id和app_secret&#xff0c;以在API请求中进行身份验证。 在使用API接口时&#xff0c;需要按照…

Loki+Grafana监控docker容器日志

目标&#xff1a;最近开发人员时常需要查看各个环境项目中容器日志&#xff0c;而直接通过ssh终端使用docker logs命令查看日志不太安全&#xff0c;这会导致很多人员知道服务器的账户和密码&#xff0c;有没有一种可以收集所有容器日志的平台系统。那么这套系统就是LokiGrafan…

如何在Android手机中更改SIM卡

So you got a new phone, which means swapping your SIM card from the old to the new. While it sounds slightly daunting if you’ve never done it before, it’s quite easy. Here’s how. 因此,您有一部新手机,这意味着将您的SIM卡从旧的换成新的。 如果您以前从未做…

stm32 SD(SDSC)卡的学习与SPI 模式应用(卡槽介绍)

这次的sd卡内容比较多&#xff0c;写的比较多&#xff0c;关于卡的命令和寄存器方面内容较多下面只是简要题一下&#xff0c;我们只需要指导如何使用即可&#xff0c;深入研究相对比较困难。 什么是SD 卡&#xff1f; SD 卡&#xff08; Secure Digital Memory Card&#xff0…

jeston nano bo1卡槽坏了,不能锁住tf卡,维修方法

如上图&#xff0c;jeston nano bo1卡槽坏了&#xff0c;不能锁住tf卡。首先应该找售后客服&#xff0c;如果可以维修的话最好。但大部分售后应该都不维修这种人为损坏的故障&#xff0c;所以只能自己买一个卡槽&#xff08;最好是相同类型的&#xff09;&#xff0c;然后找个手…

android的卡怎么打开不了图片,手机sim卡读不出来怎么办【图文教程】

我们都知道&#xff0c;如今的手机SIM卡对我们来说&#xff0c;可以说是买手机之后必买的卡类&#xff0c;因为sim卡往往代表着一个手机号码&#xff0c;利用这个号码我们可以和亲朋好友进行沟通、联系&#xff0c;比如打电话、发短信等等&#xff0c;而且&#xff0c;如今的很…