爬虫入门——Request请求

ops/2024/10/25 12:21:12/

 

目录

 

前言

一、Requests是什么?

二、使用步骤

1.引入库

2.请求

3.响应

三.总结


 

 


前言

上一篇爬虫我们已经提及到了urllib库的使用,为了方便大家的使用过程,这里为大家介绍新的库来实现请求获取响应的库。

 

一、Requests是什么?

 

Requests is an elegant and simple HTTP library for Python, built for human beings.

翻译过来就是;Requests 是一个为人类所搭建的PythonHTTP文库,具有优雅而简洁的特点。

 

二、使用步骤

 

1.引入库

 

代码如下(示例):

import requests

 

2.请求

代码如下(示例):

url='https://www.baidu.com'
headers={'User-Agent':'这里加入你自己的UA'
}
response=requests.get(url=url,headers=headers)

 只需要用库去用GET方法即可,体现出了elegant。

96a47384cb5c438b920d15ae4d4886d1.png

复习一下:首先要定制请求头,讲要请求的URL写到变量里方便get或者post方法的运用,那么对于get或者post请求的选择,具体看开发者工具里“网络”中的请求方式。

 

3.响应

代码如下(示例):

response.encoding='utf-8'
content=response.text

 为了能让我们看懂源代码,我们要对响应的结果进行编码('utf-8'),若不是响应结果不是二进制内容,例如图片的存储形式就是二进制,我们就可以用text获取源代码。


*tips

有些网站的反爬处理会十分的严格,一个ip若访问请求了十几次就会对你的ip进行一个封禁,而一些免费的ip并没有起到多大的作用,这里介绍一个提供IP池业务的商家,希望能够帮到大家:

52ec2b20b31c40cc82124eafed501d03.jpeg

三.总结

以上就是今天要讲的内容,本文仅仅简单介绍了requests的使用,而提供了大量能使我们快速便捷地处理数据的函数和方法。大多数内容跟urllib是没太大区别的,甚至还精简很多,对于爬虫玩家来说是十分友好的,希望你能去尝试一下,巩固一下,这里再做一个预告,在下一次我们将介绍如何使用Xpath对爬到的源代码进行解析,来获取我们想要的内容,敬请期待吧。

 

 


http://www.ppmy.cn/ops/8368.html

相关文章

【数据结构】5.ArrayList与顺序表

目录 1.线性表 2.顺序表 2.1接口的实现 3.ArrayList简介 4.ArrayList使用 4.1ArrayList的构造 4.2ArrayList常见操作 4.3ArrayList的遍历 4.4ArrayList的扩容机制 5.ArrayList的具体使用 5.1简单的洗牌算法 5.2杨辉三角 1.线性表 线性表是n个具有相同特性的数据元素…

mysqlySQL中启用慢查询日志并设置阈值

要在MySQL中启用慢查询日志并设置阈值,可以按照以下步骤进行: 编辑MySQL配置文件:打开MySQL的配置文件(通常是my.cnf或my.ini),在[mysqld]部分添加或修改以下行来启用慢查询日志并设置阈值: s…

面试 Python 基础八股文十问十答第一期

面试 Python 基础八股文十问十答第一期 作者:程序员小白条,个人博客 相信看了本文后,对你的面试是有一定帮助的!关注专栏后就能收到持续更新! ⭐点赞⭐收藏⭐不迷路!⭐ 1)Python的基本数据类型…

go拼接字符串的方法

相信大家在工作中遇到不少拼接字符串的情况,而且就是应为字符串的拼接导致程序在一定的情况下变慢,今天我就把多重拼接字符串的方式放在下面,大家可以根据自己的需要选择不同的拼接方法 func TestJoinString(t *testing.T) {dataInfo : []st…

flask 应用程序

flask 程序示例 创建 hello.py 文件: # 导入 Flask 模块。Flask 类的一个对象是 wsgi 应用程序。 from flask import Flask# 创建app对象, Flask构造函数将当前模块的名称(__name__)作为参数。 app Flask(__name__)# route() 函数是一个装饰器,它告诉应…

动态Web项目讲解+Demo

web流程演示 请求路径 请求路径明确要请求的是哪个servlet 请求方式 servlet含有两种请求方式:doGet和doPost doGet&doPost 返回数据就是httpResponse,返回给success 参数 包含在request当中 成功 上述流程任何一步都没出问题,就会…

玩转云计算:教你在Akamai Linode上构建IT架构—确定需求

时至今日,选择以云计算方式来运维业务,已经成为大部分情况下的最优选。那么如果要从零开始开发一个新应用,并依托云平台来设计、开发、部害和远维,具体该从何处下手?这一系列文章将介绍如何基于Akamai Linode平台实现这…

HTML重要标签梳理学习

1、HTML文件的框架 使用VS Code编码时&#xff0c;输入!选中第一个&#xff01;就可以快速生成一个HTML文件框架。 2、标签 <hr> <!--下划线--> <br> <!--换行--> <strong>加粗</strong> &…