爬虫爬虫爬虫学习 day1:op.gg的爬取

news/2024/11/16 5:09:03/

学习目标:

Python爬虫


学习内容:

1、 python爬虫简单语句的学习 2、 理解爬虫语句

学习产出:

1.库的导入

import requests #导入requests库
import bs4 #导入bs4库
from bs4 import BeautifulSoup #导入BeautifulSoup库

2.返回html内容

	 r = requests.get(url,timeout = 30)r.raise_for_status()r.encoding = r.apparent_encodinghtml =r.txt

3.分析内容,获取数据

这是最重要的部分,也是最难的,课上学的,不知道为什么,都没法用,就很气,先记一下别人的吧

hlist = []
soup = BeautifulSoup(html,"html.parser")for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children: #遍历上单tbody标签的儿子标签if isinstance(tr,bs4.element.Tag): #判断tr是否为标签类型,去除空行tds = tr('td') #查找tr标签下的td标签heroName = tds[3].find(attrs = "champion-index-table__name").string #英雄名winRate = tds[4].string #胜率pickRate = tds[5].string #选取率hlist.append([heroName,winRate,pickRate]) 

soup.find( ):
name是标签的名字,attrs是class的名字
.children 是该标签下的儿子标签
在这里插入图片描述

tds=tr('td')#到了下一级查找tr标签下的td标签
heroName = tds[3].find(attrs = "champion-index-table__name").string #英雄名 
winRate = tds[4].string #胜率
pickRate = tds[5].string #选取率

tds 里边都是td以数组形式存放,又因为英雄名字要特地找一下
在这里插入图片描述


总结:

现在还是没有真正坐下来一个爬取,感觉本身爬虫本身不难,难得是对网页和前端的理解~

慢慢来吧~
加油菜鸡


http://www.ppmy.cn/news/675355.html

相关文章

面板——卡片面板、常规折叠面板、手风琴折叠

1. 卡片面板 2. 普通折叠面板 3. 手风琴面板 在普通面板上加 lay-accordion"" <% page language"java" contentType"text/html; charsetUTF-8"pageEncoding"UTF-8"%> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01…

更新Edge后打开网页失败问题

Edge推荐版本更新&#xff08;Microsoft Edge版本 112.0.1722.39 (正式版本) (64 位)&#xff09;&#xff0c;更新后打开后什么也打不开&#xff0c;网页打开失败&#xff0c;设置什么都打开失败 错误截图如下&#xff1a; 网上大概都是下面几个方法&#xff1a; 1、使用兼容…

Python爬取op.gg数据——英雄联盟版本强势英雄推荐

通过爬取韩服op.gg网站的数据&#xff0c;推荐当前版本各路强势英雄&#xff08;韩服比国服先更新&#xff09;。 目录 通过爬取韩服op.gg网站的数据&#xff0c;推荐当前版本各路强势英雄&#xff08;韩服比国服先更新&#xff09;。一、op.gg源码及请求头分析二、源码分析三、…

从零开始 Spring Boot 49:Hibernate Entity Lifecycle

从零开始 Spring Boot 49&#xff1a;Hibernate Entity Lifecycle 图源&#xff1a;简书 (jianshu.com) 本文将介绍 Hibernate 的 Session 接口&#xff0c;以及如何用 Session 的相关 API 转换实体&#xff08;Entity&#xff09;的生命周期状态。 如果缺少的 JPA 和 Hiberna…

python爬取率_利用Python爬取OPGG上英雄联盟英雄胜率及选取率信息

一、分析网站内容 由网站界面可以看出&#xff0c;右侧有英雄的详细信息&#xff0c;以Garen为例&#xff0c;胜率为53.84%&#xff0c;选取率为16.99%&#xff0c;常用位置为上单 现对网页源代码进行分析(右键鼠标在菜单中即可找到查看网页源代码)。通过查找“53.84%”快速定位…

爬虫实战(一)—利用requests、mongo、redis代理池爬取英雄联盟opgg实时英雄数据

概述 可关注微信订阅号 loak 查看实际效果。 代码已托管github&#xff0c;地址为&#xff1a;https://github.com/luozhengszj/LOLGokSpider 包括了项目的所有代码。 此篇文章&#xff0c;主要记录利用Python request模块爬取LOL opgg英雄实时数据&#xff0c;并保存到mongodb…

适合新手练手,用Python爬取OPGG里英雄联盟英雄胜率及选取率,详细讲解加注释(建议收藏练手)

今天来个简单的小项目&#xff0c;适合新手拿来练手&#xff0c;在OPGG上爬取英雄联盟里的法师&#xff0c;ADC&#xff0c;打野&#xff0c;辅助所有英雄的胜率及选取率&#xff0c;是不是感觉很高大上&#xff0c;但是却很简单&#xff0c;只要用三十多行代码就能实现&#x…

利用matlab爬虫从OPGG上整理LOL英雄信息

问题描述 OPGG是最权威的LOL数据网站&#xff0c;从这个网站上我们可以得到很多有关LOL的非常有用的数据&#xff0c;而matlab爬虫就是一个能够从网站上搜集信息的工具。这篇文章将要讲述如何利用matlab爬虫从OPGG上整理LOL英雄信息。 结果展示 英雄的信息分为三列&#xff0…