【你真的会斗图嘛?】Python爬虫实战项目——你想要的图都可以爬到(附安装地址)

news/2024/12/22 14:38:56/

目录

  • 一、安装知识
    • (1)Python环境变量
    • (2)Pycharm开发工具
    • (3)requests模块
      • 1、安装下载好Pycharm之后,找到终端进行下载requests模块
      • 2、输入下载语法:
      • 3、此次项目还需用到正则(re),
  • 二、代码部分
    • 1、导入下载好的requests模块
    • 2、输入需要爬取网站的网址
    • 3、通过请求网址拿到网页中所有的数据

大家好,我是辣条哥!
相信大家对于现在聊天的一些图片,表情包这些并不陌生,甚至现在还有专门互相斗图的!辣条有不不少爱斗图的朋友,但个人表情包储备量着实很少,但是架不住我有技术,于是乎我动起了我的小手,这里也告诉大家怎么操作,让大家在斗图路上一去不回头!
在这里插入图片描述

一、安装知识

(1)Python环境变量

网址:https://www.python.org/
下载与自己电脑版本相对应的环境即可

(2)Pycharm开发工具

网址:https://www.jetbrains.com/pycharm/download/#section=windows
在这里插入图片描述

(3)requests模块

1、安装下载好Pycharm之后,找到终端进行下载requests模块

在这里插入图片描述

2、输入下载语法:

pip install requests点击回车等待下载完成即可

3、此次项目还需用到正则(re),

但正则模块不需要下载,因为正则是Python自带的模块,我们不需要下载只需导入即可使用(如何导入模块在下方)

二、代码部分

1、导入下载好的requests模块

在这里插入图片描述

2、输入需要爬取网站的网址

(1)此次项目为斗图啦
(2)网址为字符串类型,在Pycharm中得需要用变量名来接收
在这里插入图片描述

3、通过请求网址拿到网页中所有的数据

(1)用到前面早已下载好的requests模块进行请求网址
在这里插入图片描述

(2)进行打印输出看数据有没有全部获取下来
在这里插入图片描述

打印内容:
在这里插入图片描述

(3)数据未获取完整,为什么呢?
① 浏览器也不蠢,浏览器检测出我们是使用爬虫进行抓取该网站信息,所以给我们进行反爬处理了,那么我们想达到“反反爬”的机制该如何来实现呢?——加“请求头”
② 那么请求头在哪呢?
1)在目标网页的空白处右键检查
在这里插入图片描述

2)找到请求头
在这里插入图片描述

3)CV进我们的项目中
在这里插入图片描述

我们所CV进来的请求头是属于字典类型,所以我们得遵循字典类型的规范,用花括号包含起来,并区分key与value值
4)写入之后需把请求头加到请求语句中去
在这里插入图片描述

5)进行重新打印输入
在这里插入图片描述

这样就拿到目标网页中所有的数据
6)拿到数据之后利用正则进行数据清洗,拿到我们想要图片的网址
a、目标网址在我们所获取到所有的代码中(如下图)
在这里插入图片描述

b、通过正则表达式拿到网址
在这里插入图片描述

c、打印输出
在这里插入图片描述

这样我们就能拿到所有目标图片的网址了,但是现在的网址是在列表中,那么我们如何才能从列表中把每一张图片的网址拿出来呢?
下周辣条会继续更新


http://www.ppmy.cn/news/300985.html

相关文章

手机电池电压

电池上标的3.7V是一个平均数,一般手机锂电池的电压都是标3.7V,实际上手机电池(以下均指普通锂电池)满电电压为4.2,电池用到3.4V以下就没多少电了,再低一点就保护了手机就自己关机了. 充电器上标的是空载电压,也就是没带上电池的时候的电压,带上电池以后它就和电池一个电压了,也…

一键修复手机电池_怎么恢复手机电池寿命(教你一键修复电池损耗)

对于手机电池,很多人会有这样的感觉,一般只要用到1年左右的时间,明显感觉电池续航时间变短了,甚至从原来的一天一充,变成了1天几充,还没怎么用,电量却又所剩无几。 于是,很多人想知道…

手机电池的更换标准/指标 最近小米手机换电池那些事

其实手机电池达到什么情况就要换了的说法众说纷纭,实际上电源/电池更换的唯一标准其实就是【内阻】。电池用久了不耐用,就是内阻变大的原因,内阻增大电压下降自然什么自动关机断电的事情就会频繁出现,尤其是大负载使用时更明显&am…

担心手机电池寿命,专家给出正确充电方式

本文转载自IT之家,IT之家 3 月 17 日消息 中国科学技术协会官方微信公众号 “科普中国”昨天发文为大家科普了正确的手机充电 “姿势”,并建议给手机充电时先用充电器插电源,然后插手机。 文章首先科普了名为 “电涌”的知识,电涌…

手机电池不耐用怎么办,一招叫你恢复如新

很久没有更新博客了,牛年第一篇文章,祝大家牛年牛气冲天!升职加薪不是梦!! 今天的篇博客不是用Java代码有关的技术博客,但是这篇文章的含金量非常高,花两分钟仔细阅读完,这几分钟的…

监控手机电池的状态

本文来自 Eric飞猪 老师的CSDN博客: Android代码---- 监控手机电池的状态(引申为可以监控手机usb线的插拔事件的监听) 现在做手机管理软件,我是手机端的,但是在这个过程中为了使用户有更好的额体验性,要在…

android 电池

android 电池(一):锂电池基本原理篇 转载至:http://blog.csdn.net/xubin341719/article/details/8497830 关键词:android 电池关机充电 androidboot.mode charger 平台信息: 内核:linux2.6/linux3.0 系…

adb命令查看手机电池信息

adb查看手机电池信息命令 adb命令 adb shell dumpsys battery 命令输出结果如下: 各字段说明: Current Battery Service state: ##当前电池服务状态 AC powered: false ##交流供电 USB powered: true ##USB供电 Wireless powered: false ##无线供电 …