一、request_基本使用
pip install requests -i https://pypi.douban.com/simple
一个类型六个属性
| r.text | 获取网站源码 |
| r.encoding | 访问或定制编码方式 |
| r.url | 获取请求的url |
| r.content | 响应的字节类型 |
| r.status_code | 响应的状态码 |
| r.headers | 响应的头信息 |
python">import requestsurl='http://www.baidu.com'resopnse=requests.get(url=url)# 第一类型和六个属性
# Response类型
print(type(resopnse))# 设置响应的编码格式
resopnse.encoding='utf-8'
# 以字符串的形式
print(resopnse.text)# 返回一个url地址
print(resopnse.url)# 返回的是二进制数据
print(resopnse.content)# 返回响应的状态码
print(resopnse.status_code)# 返回的是响应头
print(resopnse.headers)二、requests_get请求
定制参数
| 1、参数使用params 传递 |
| 2、参数无需urlencode编码 |
| 3、不需要请求对象的定制 |
| 4、请求资源路径中？可加可不加 |
python">
# urllib
# 1 一个类型六个方法
# 2 get 请求
# 3 post 请求
# 4 ajax get 请求
# 5 ajax post 请求
# 6 cookie登录
# 7 代理# requsets
# 1 一个类型六个属性
# 2 get 请求
# 3 post 请求
# 4 代理
# 5 cookie 验证码import requestsurl='http://www.baidu.com/s?'headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'
}data={'wd':'北京'
}# url 请求资源路径
# params 参数
# kwargs 字典
response=requests.get(url=url,params=data,headers=headers)content=response.textprint(content)# 参数使用params传递
# 参数无需urlencode编码
# 不需要请求对象定制
# 请求资源路径中的?可加可不加
三、request_post请求
get和post区别？
| 1： get 请求的参数名字是 params post 请求的参数的名字是 data |
| 2： 请求资源路径后面可以不加? |
| 3： 不需要手动编解码 |
| 4： 不需要做请求对象的定制 |
python">
import requestsurl='https://fanyi.baidu.com/sug'headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'
}data={'kw':'eye'
}#url 请求地址
#data 请求参数
#kwarg 字典
response=requests.post(url=url,data=data,headers=headers)content=response.textobj=response.json()
print(obj)#总结
# 1 post请求 是不需要编解码
# 2 post请求的参数是data
# 3 不需要请求对象的定制
四、使用requsests和xpath获取数据
示例 ：获取 百度一下
代码如下：
python">
# 使用requests和Xpath获取数据
from lxml import etree
import requestsurl = 'https://www.baidu.com/'
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) Chrome/65.0.3325.181'}response = requests.get(url,headers = headers)# 设置响应的编码格式
response.encoding='utf-8'# 获取网页源码
content= response.content.decode('utf-8')
# print(content)# xpath解析
html=etree.HTML(content,parser=etree.HTMLParser(encoding='utf-8'))
request=html.xpath('//*[@id="su"]/@value')[0]
print(request)运行结果：
