Python_爬虫1_Requests库入门

embedded/2024/11/17 13:44:35/

目录

Requests库

7个主要方法

Requests库的get()方法

Response对象的属性

爬取网页的通用代码框架

        理解requests库的异常

HTTP协议及Requests库方法

HTTP协议

HTTP协议采用URL作为定位网络资源的标识。

HTTP协议对资源的操作

理解PATCH和PUT的区别

HTTP协议与Requsets库

Requests库主要方法解析

requests.requst()

Requests库

python">>>> import requests# 获取网页
>>> r = requests.get("http://www.baidu.com")# 获取网页状态码，200表示成功
>>> print(r.status_code)
200>>> type(r)
<class 'requests.models.Response'>>>> r.headers
{'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, ection': 'Keep-Alive', 'Transfer-Encoding': 'chunked', 'Server':}

7个主要方法

方法说明
requests.requst()构造一个请求，最基本的方法，是下面方法的支撑
requests.get()获取HTML网页，对应HTTP中的GET方法
requests.post()向HTML网页提交POST信息，对应HTTP中的POST方法
requests.head()获取HTML网页的头信息，对应HTTP中的HEAD方法
requests.put()向HTML提交PUT方法，对应HTTP中的PUT方法
requests.patch()向HTML网页提交局部请求修改的的请求，对应HTTP中的PATCH方法
requests.delete()向HTML提交删除请求，对应HTTP中的DELETE方法

Requests库的get()方法

python">r = requests.get(url)

1、构造一个向服务器请求资源的Request对象 \Rightarrow Request

2、返回一个包含服务器资源的Response对象 \Rightarrow Response \Rightarrow Response对象包含爬虫返回的内容

python">requests.get(url,params=None,**kwargs)

url：获取html的网页的url

params：url中的额外的参数，字典或字节流格式，可选

**kwargs：12个控制访问的参数

python">def get(url,params=None,**kwargs):"""Send a GET request.:param url: URL for the new :class:'Request' object.:param params: (optional) Dictionary or bytes to be sent in the query string for the:param \*\*kwargs: Optional arguments that ''request'' takes.:return: class:'Request <Request>' object:rtype: requests.Request"""kwargs.setdefault('allow_radirects', True)return request('get', url, params=params, **kwargs)

Response对象的属性

属性说明
r.status_codeHTTP请求返回状态码，200表示连接成功，404表示失败
r.textHTTP响应的字符串形式，即，url对应的页面内容
r.encoding从HTTP　header中猜测的响应内容的编码方式
r.apparent_encoding从内容中分析响应内容的编码方式(备选编码方式)
r.contentHTTP响应内容的二进制形式

r.encoding：如果header中不存在charset，则认为编码为 ISO-8859-1。

r.apparent_encoding：根据网页内容分析出的编码方式。

爬取网页的通用代码框架

理解requests库的异常
异常说明
requests.ConnectionError网络连接异常，如DNS查询失败，拒绝连接等
requests.HTTPErrorHTTP错误异常
requests.URLRequiredURL缺失异常
requests.TooManyRedirects超过最大重定向次数，产生重定向异常
requests.ConnectTimeout连接远程服务器超时异常
requests.Timeout请求URL超时，产生超时异常

专门与异常打交道

python">import requests
def getHTMLText(url):try:r = requests.get(url, timeout=30)r.raise_for_status()  # 如果不是200，引发HTTPError异常r.encoding = r.apparent_encodingreturn r.textexcept:return "产生异常"if __name__ == "__main__":url = "http://www.daidu.dom"print(getHTMLText(url))

爬取网页的通用代码框架最大的作用是能够使用户访问或爬取网页变得更有效更稳定更可靠

HTTP协议及Requests库方法

HTTP协议

HTTP，Hypertext Transfer Protocol，超文本传输协议。

HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。

请求与响应：用户发起请求，服务器做相关响应。

无状态：第一次跟第二次请求之间并没有相关的关联。

应用层协议：该协议工作再TCP协议之上。

HTTP协议采用URL作为定位网络资源的标识。

URL格式：http://host[:post][path]

host：合法的Internet主机域名或IP地址

port：端口号，缺省端口为80

path：请求资源的路径

HTTP URL实例：

http://www.bit.edu.cn

http://220.181.111.188/duty

HTTP URL理解：

URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源。

HTTP协议对资源的操作

方法说明
GET请求获取URL位置的资源
HEAD请求获取URL位置资源的响应消息报告，即获取该资源的头部消息
POST 请求向URL位置的资源后附加新的数据
PUT请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE请求删除URL位置存储的资源

理解PATCH和PUT的区别

假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段。

需求：用户修改了UserName，其他不变。

  • 采用PATCH，仅向URL提交UserName的局部更新请求。
  • 采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除。

PATCH的最主要好处：节省网络带宽

HTTP协议与Requsets库

HTTP协议方法Requsets库方法功能一致性
GETrequests.get()一致
HEADrequests.post()一致
POSTrequests.head()一致
PUTrequests.put()一致
PATCHrequests.patch()一致
DELETErequests.delete()一致
Requsets库的head()方法
python">r = requests.head('http://httpbin.org/get')
r.headers # 展示反馈头部信息的内容
r.text # 展示全部内容，但发现内容是空

head()方法可以用很少的网络流量获取网络资源的概要信息。

Requsets库的post()方法
python">payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.post('http://httpbin.org/post', data = payload)
print(r.text)

当我们向UPL去POST一个字典，或者POAT键值对的时候，那么键值对会默认地被存储到表单的字段下。

python">r = requests.post('http://httpbin.org/post', data = 'ABC')
print(r.text)

如果我们不提交键值对，就提交一个字符串ABC，那么我们就发现ABC被存到了data的相关的字段下。

post方法根据用户提交内容的不同在服务器上会做数据的相关的整理。

put方法也是一样，它与post方法类似，只不过它能够将原有的数据覆盖掉。

python">payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.put('http://httpbin.org/post', data = payload)
print(r.text)

Requests库主要方法解析

requests.requst()

requests.requst(method,url,**kwargs)

method：请求方式，对应get/put/post等7种

url：拟获取页面的url链接

**kwargs：控制访问的参数，共13个

method：请求方式

python">r = requests.requst('GET',url,**kwargs)
r = requests.requst('HEAD',url,**kwargs)
r = requests.requst('POST',url,**kwargs)
r = requests.requst('PUT',url,**kwargs)
r = requests.requst('PATCH',url,**kwargs)
r = requests.requst('delete',url,**kwargs)
r = requests.requst('OPTIONS',url,**kwargs)

OPTIONS，事实上是向服务器获取一些服务器跟客户端能够打交道的参数，这里面并不与获取资源直接相关，因此平时中使用的少。

**kwargs：控制访问的参数，均为可选项

  • params：字典或字节序列，作为参数增加到url中
python">kv = {'key1': 'value1', 'key2': 'value2'}
r = requests.request('http://python123.io/ws', params = kv)
print(r.url)# 运行结果 http://python123.io/ws?key1=value1&key2=value2
  • data：字典、字节序列或文件对象，作为Request的内容
python">kv = {'key1': 'value1', 'key2': 'value2'}
r = requests.request('POST','http://python123.io/ws', data = kv)
body = '主体内容'
r = requests.request('POST','http://python123.io/ws', data = body)
  • json：JSON格式的数据，作为Request的内容
python">kv = {'key1': 'value1', 'key2': 'value2'}
r = requests.request('POST','http://python123.io/ws', json = kv)
  • headers：字典，HTTP定制头
python">hd = {'user-agent': 'Chrome/10'}
r = requests.request('POST','http://python123.io/ws', headers = hd)
  • cookies：字典或CookieJar，Request中的cookies
  • auth：元组，支持HTTP认证功能
  • files：字典类型，传输文件
python">fs = {'file': open'data.xls', 'rb'}
r = requests.request('POST','http://python123.io/ws', files = fs)
  • timeout：设定超时时间，秒为单位
python">r = requests.request('POST','http://python123.io/ws', timeout = 10)

proxies：字典类型，设定访问代理服务器，可以增加登录认证

python">pxs = { 'http':'http://user:pass@10.10.10.1:1234','https','http://10.10.10.1:4321'}
r = requests.request('POST','http://python123.io/ws', proxies = pxs)
  • allow_redirects：True/False，默认为True，重定向开关
  • stream：True/False，默认为True，获取内容立即下载开关
  • verify：True/False，默认为True，认证SSL证书开关
  • cert：本地SSL证书路径

requests.get()

requests.get(url,params=None,**kwargs)

url：获取页面中的url链接

params：url中的额外参数，字典或字节流格式，可选

**kwargs：12个控制访问的参数（request中除了params参数之外的）

requests.head()

requests.head(url,**kwargs)

url：拟获取页面中的url链接

**kwargs：13个控制访问的参数（与request一样）

requests.post()

requests.post(url,data = None, json = None,**kwargs)

url：拟更新页面的url链接

data：字典、字节序列或文件，Request的内容

json：JSON格式的数据，Request的内容

**kwargs：11个控制访问的参数（除了data和json，其他11个request一样的参数放最后）

requests.put()

requests.put(url,data = None,**kwargs)

url：拟更新页面的url链接

data：字典、字节序列或文件，Request的内容

**kwargs：12个控制访问的参数（除了data，其他12个request一样的参数放最后）

requests.patch()

requests.patch(url,data = None,**kwargs)

url：拟更新页面的url链接

data：字典、字节序列或文件，Request的内容

**kwargs：12个控制访问的参数（除了data，其他12个request一样的参数放最后）

requests.delete()

requests.delete(url,**kwargs)

url：拟删除页面的url链接

**kwargs：13个控制访问的参数（request一样）


http://www.ppmy.cn/embedded/138261.html

相关文章

童年的快乐，矫平机为玩具打造安全品质

童年的快乐，矫平机为玩具打造安全品质

童年的快乐&#xff0c;矫平机为玩具打造安全品质 每个人的童年都充满了欢笑和快乐&#xff0c;玩具作为这段时光中不可或缺的伙伴&#xff0c;其安全性和品质尤为重要。矫平机在这个领域扮演着重要角色&#xff0c;它确保了玩具材料的平整和安全&#xff0c;为孩子们的童年增…
阅读更多...
【视频讲解】Python深度神经网络DNNs-K-Means（K-均值）聚类方法在MNIST等数据可视化对比分析...

【视频讲解】Python深度神经网络DNNs-K-Means（K-均值）聚类方法在MNIST等数据可视化对比分析...

全文链接&#xff1a;https://tecdat.cn/?p38289 分析师&#xff1a;Cucu Sun 近年来&#xff0c;由于诸如自动编码器等深度神经网络&#xff08;DNN&#xff09;的高表示能力&#xff0c;深度聚类方法发展迅速。其核心思想是表示学习和聚类可以相互促进&#xff1a;好的表示会…
阅读更多...
分布式----Ceph部署

分布式----Ceph部署

目录 一、存储基础 1.1 单机存储设备 1.2 单机存储的问题 1.3 商业存储解决方案 1.4 分布式存储&#xff08;软件定义的存储 SDS&#xff09; 1.5 分布式存储的类型 二、Ceph 简介 三、Ceph 优势 四、Ceph 架构 五、Ceph 核心组件 #Pool中数据保存方式支持两种类型&…
阅读更多...
高级java每日一道面试题-2024年10月28日-RabbitMQ篇-RabbitMQ的使用场景有哪些?

高级java每日一道面试题-2024年10月28日-RabbitMQ篇-RabbitMQ的使用场景有哪些?

如果有遗漏,评论区告诉我进行补充 面试官: RabbitMQ的使用场景有哪些? 我回答: RabbitMQ是一个开源的消息代理和队列服务器&#xff0c;它遵循高级消息队列协议&#xff08;AMQP&#xff09;。RabbitMQ的核心作用是作为应用程序之间的中介&#xff0c;实现异步消息传递。它…
阅读更多...
http常⻅请求头和响应头详细讲解(笔记)

http常⻅请求头和响应头详细讲解(笔记)

http常⻅请求头状态码 简介&#xff1a;讲解http常⻅见的请求⽅方法和使⽤用 http1.0定义了了三种&#xff1a;GET: 向服务器器获取资源&#xff0c;⽐比如常⻅见的查询请求POST: 向服务器器提交数据⽽而发送的请求Head: 和get类似&#xff0c;返回的响应中没有具体的内容&am…
阅读更多...
【AI协作】让所有用电脑的场景都能在ChatGPT里完成。Canvas ：新一代可视化交互，让AI易用易得

【AI协作】让所有用电脑的场景都能在ChatGPT里完成。Canvas ：新一代可视化交互，让AI易用易得

Canvas &#xff1a;新一代可视化交互&#xff0c;让AI易用易得 要使 AI 更有用、更易获得&#xff0c;需要重新思考我们如何与 AI 交互。Canvas 是一种新方法&#xff0c;也是自两年前推出以来对 ChatGPT 视觉界面的首次重大更新。 Canvas 目前处于早期测试阶段&#xff0c;…
阅读更多...
【英特尔IA-32架构软件开发者开发手册第3卷：系统编程指南】2001年版翻译，2-25

【英特尔IA-32架构软件开发者开发手册第3卷：系统编程指南】2001年版翻译，2-25

文件下载与邀请翻译者 学习英特尔开发手册&#xff0c;最好手里这个手册文件。原版是PDF文件。点击下方链接了解下载方法。 讲解下载英特尔开发手册的文章 翻译英特尔开发手册&#xff0c;会是一件耗时费力的工作。如果有愿意和我一起来做这件事的&#xff0c;那么&#xff…
阅读更多...
MQTT协议解析 : 物联网领域的最佳选择

MQTT协议解析 : 物联网领域的最佳选择

1. MQTT协议概述 1.1 MQTT协议是什么 MQTT : Message Queuing Telemetry Transport 模式 : 发布 / 订阅主题优点 : 代码量小、低带宽、实时可靠应用 : 物联网、小型设备、移动应用MQTT 常用端口 : 1883 MQTT是一个网络协议&#xff0c;和HTTP类似&#xff0c;因为轻量简单&…
阅读更多...
最新文章

Copyright @ 2022~2023