get请求(豆瓣电影第一页爬取)

server/2024/10/18 13:34:51/

目录

python%E5%BA%93-toc" style="margin-left:0px;">(一)需要的python

import urllib.request

 import urllib.parse

(二)找到url和headers

url

headers

(三)创建一个请求对象和返回一个响应对象

创建一个请求对象

 返回一个响应对象

 (四)读取内容和写入文档

读取内容

写入文档

 (五)完整代码

 (六)结果​


python%E5%BA%93">(一)需要的python

import urllib.request

import urllib.request导入了 urllib 模块中的 request 子模块,这个子模块提供了打开 URL(包括 HTTP、FTP 等协议)的功能,可以用于从网络上获取资源,比如发送 HTTP 请求获取网页内容等。

 import urllib.parse

import urllib.parse导入了 urllib 模块中的 parse 子模块,这个子模块主要用于解析 URL 和对 URL 中的参数进行编码和解码等操作,例如将字典形式的参数转换为 URL 编码的查询字符串,或者从 URL 中解析出参数等

(二)找到url和headers

url

https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=0&limit=20

headers

(三)创建一个请求对象和返回一个响应对象

  • 创建一个请求对象

Headers = urllib.request.Request(url=url,headers=header)
  •  返回一个响应对象

response = urllib.request.urlopen(Headers)

 (四)读取内容和写入文档

  • 读取内容

content = response.read().decode('utf-8')
  • 写入文档

open方法默认情况下使用的gbk的编码  如果我们想要保存中文  那么要在open方法中指定编码 utf-8
with open('豆瓣.json','w',encoding='utf-8') as fp:fp.write(content)

 (五)完整代码

import urllib.request
import urllib.parseurl = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=0&limit=20'header = {
"user-agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36"
}Headers = urllib.request.Request(url=url,headers=header)response = urllib.request.urlopen(Headers)content = response.read().decode('utf-8')
#open方法默认情况下使用的gbk的编码  如果我们想要保存中文  那么要在open方法中指定编码 utf-8
with open('豆瓣.json','w',encoding='utf-8') as fp:fp.write(content)

 (六)结果


加速中。。。


http://www.ppmy.cn/server/132770.html

相关文章

[Unity Demo]从零开始制作空洞骑士Hollow Knight第十四集:制作新的场景以及制作创建切换管理系统

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、制作新的场景 1.重新翻新各种Sprite2.制作地图前期应该做的事情3.疯狂的制作地图二、制作场景切换管理系统 1.制作场景切换点TransitionPoint2.切换场景时的…

概率论基本知识

随机变量及其分布 1.定义 随机变量是定义在样本空间上的实值函数,它将样本空间中的每一个样本点映射到一个实数上。通常用大写字母(如X、Y)表示随机变量,而小写字母(如x、y)表示随机变量的取值。他有两个…

解锁机器人视觉与人工智能的潜力,从“盲人机器”改造成有视觉能力的机器人(上)

正如人类依赖眼睛和大脑来解读世界,机器人也需要自己的视觉系统来有效运作。没有视觉,机器人就如同蒙上双眼的人类,仅能执行预编程的命令,容易碰撞障碍物,并犯下代价高昂的错误。这正是机器人视觉发挥作用的地方&#…

Steinberg VST Live Pro v2.1.1 演出音频灯光控制软件

现场演出音频视频灯光控制软件 Steinberg VST Live Pro 将让现场表演更轻松。这是一款独特、稳定的软件解决方案,专为想要进行精彩表演的音乐家而设计,无论身在何处都能使用声音、灯光和视频等相关功能。VST Live附带大量虚拟乐器,音乐同步功…

深度学习示例3-卷积神经网络(猫狗大战)_数据增强

一、数据获取 数据获取地址:cats_vs_dogs_small.zip 链接: https://pan.baidu.com/s/1n3pACSk3FWCNKotqWVss6Q 提取码: sij9 数据训练存放目录- cats_vs_dogs_small- test- cat- 1500~2499jpg- dog- 1500~2499jpg- train- cat- 0~999jpg- dog- 0~999jpg- validation- cat- 100…

GR-ConvNet论文 学习笔记

GR-ConvNet 文章目录 GR-ConvNet前言一、引言二、相关研究三、问题阐述四、方法A.推理模块B.控制模块C.模型结构D.训练方法E.损失函数 五、评估A.数据集B.抓取评判标准 六、实验A.设置B.家庭测试物体C.对抗性测试物体D.混合物体 七、结果A.康奈尔数据集B.Jacquard数据集C.抓取新…

苍穹外卖学习笔记(二十五)

文章目录 Spring Task介绍应用场景: cron表达式例如: 入门案例 订单状态定时处理处理超时订单处理一直配送中的订单OrderMapper WebSocket介绍HTTP协议和WebSocket协议对比应用场景:入门案例1. 使用websocket.html作为WebSocket客户端2. 导入…

瘦客户机介绍

瘦客户机(Thin Client)是一种计算设备,主要用于通过网络连接到远程服务器运行应用程序,而不是在本地进行大量计算和存储。与传统的PC相比,瘦客户机的硬件资源较少,通常依赖服务器进行处理,因此它…