Python爬虫:urllib_post请求百度翻译(06)

server/2024/10/22 14:24:15/
#post的请求
import urllib.request
import urllib.parse
import jsonurl = 'https://fanyi.baidu.com/sug'headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36'}data = {'kw' : 'spider'
}#post请求的参数  必须要进行编码data = urllib.parse.urlencode(data).encode('utf-8')#post的请求的参数 是不会拼接在url的后面 而是需要放在请求对象的定制的参数中
#post请求的参数 必须要进行编码
request = urllib.request.Request(url=url, data=data, headers=headers)print(request)#模拟浏览去像服务器发送请求response = urllib.request.urlopen(request)#获取相应的数据content = response.read().decode('utf-8')#字符串 --> json对象obj = json.loads(content)print(obj)
# post请求方式的参数, 必须要编码  data = urllib.parse.urlencode(data).encode('utf-8')
#编码之后,必须调用encode方法
# 参数是放在请求对象定制的方法中  request = urllib.request.Request(url=url, data=data, headers=headers)

这里就有一点要注意的是,要是你爬取下来的网站,你需要在post的请求数据,后面加上encode('utf-8'),防止爬取下来的数据解码,但是要是如果你的网站已经是unicode的格式了,那就不需要在encode('utf-8')这个格式了


http://www.ppmy.cn/server/133924.html

相关文章

AI创新驱动教育:科技革命下的教育转型

日前,2024教育装备创新大会在杭州市余杭区举行,会上集中展示了AI技术如何赋能教学并深入探讨了其影响。AI技术正在以前所未有的力度,引领教育步入智能新时代,成为教育改革创新的催化剂。 在国家政策的积极推动下,AI技…

【前端】如何制作一个自己的网页(14)

当我们还需要对网页中的内容进行局部样式的修改。这时候,就需要用到HTML中的重要元素:span。 span是一个行内元素,可以对HTML文档中的内容进行局部布局。 如图,我们给标题和段落元素的部分内容设置了各种样式。 接下来&#xff0…

Redis入门:在Java程序中高效使用Redis

准备工作 下载windows版的Redis(自行查找网络资源) 解压到指定文件夹 如图所示:Redis的目录结构 redis本质上也是一个数据库,只不过经常被用作缓存 。redis分为服务端和客户端,先启动服务器redis-server,在…

华为od面试手撕代码真题题型4——链表

链表 1 单链表相交 160. 相交链表 - 力扣(LeetCode) 解法一 指针 pA 指向 A 链表,指针 pB 指向 B 链表,依次往后遍历。如果 pA 到了末尾,则 pA headB 继续遍历、如果 pB 到了末尾,则 pB headA 继续遍历…

CVTE Android面试题及参考答案(100道题)

目录 插件化 组件化 合并相似接口 抽象通用方法 使用接口代理 引入设计模式 编写源代码 资源文件准备 编译资源文件 编译源代码 生成 dex 文件 打包 APK 文件 技术能力提升 项目经验积累 职业发展 知识分享与团队协作 建立良好的沟通机制 明确团队目标和职责…

大数据新视界 --大数据大厂之大数据与边缘计算的协同:实时分析的新前沿

💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…

11 django管理系统 - 管理员管理 - 分页复习(REVIEW)

下面实现分页功能,还是按照固定步骤来。 我先随机插入100条数据。然后分页,每页显示10条数据。 分页类:在前面"08 django管理系统 - 部门管理 - 部门分页"讲到过,代码如下: from django.utils.safestring …

如何利用动态IP进行数据采集?

在数据驱动的时代,动态IP成为进行高效数据采集的利器。动态IP可以通过频繁更换IP地址避免因频繁访问而受限,从而实现更顺畅的数据获取。本文将详细探讨如何利用动态IP进行数据采集,为企业提升信息获取能力提供实用指导。 如何利用动态IP进行…