python 爬虫爱好者必须掌握的知识点“ 协程爬虫”,看一下如何用 gevent 采集女生用头像

news/2024/10/25 19:30:18/

本篇博客是 python 爬虫 120 例中,基础知识补充篇,内容将围绕 python 协程进行。

在开始协程相关知识前,先补充一下预备概念。

在 python 爬虫的学习过程中,经常要区分两个概念,一个叫做 I/O 密集型任务,另一个叫做 计算密集型任务

以上两种任务,都有 2 个前提,一是存在可执行的子任务,二是需要计算机支持多核 CPU。

I/O 密集型任务

密集型任务指的硬盘 I/O 或者网络 I/O 占主要任务,程序计算量很小,大部分时间都用在请求网页和读写文件上。这种情况下,CPU 经常等待 I/O 操作完成,所以可以利用这些时间去完成其它事务。

基于上述内容,I/O 密集型任务,采用 多线程 就可以提高程序执行效率,当然采用 多进程 也是可以的,但多程会出现共享资源和通讯问题,因此,I/O 密集型任务,采用多线程即可

计算密集型任务

也叫作 CPU 密集型任务,在这种情况下,CPU 注意满负荷状态,例如大数据查找,大字符串处理。

计算密集型任务在 python 中一般采用多程处理,因为 python 中的多线程有同步锁安全机制,并且采用的是全局锁,所以即便使用多核 CPU,同一时间,也只有一个线程在执行。

除了以上两


http://www.ppmy.cn/news/959480.html

相关文章

利用chatgpt帮我写爬虫代码

首先我这里需要先赋予它一个身份,以便他更好的理解我们的话 接下来就可以让他帮我们写代码了 import requests from bs4 import BeautifulSoup# 请求头部信息,模拟浏览器访问 headers {user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/5…

怎样构建抖音壁纸表情包小程序?

第一,最新版本的图片小程序,壁纸表情头像游戏教程,教你跟上抖音小程序的步伐 我们都很熟悉取图(抖音演示:云云取图)。 传统的方法是搜索密码,然后下载和观看广告。这样,在瞬息万变的网络中,竞争力是有限的。…

chatgpt赋能python:Python安装教程:一步步实现Python开发环境搭建

Python安装教程:一步步实现Python开发环境搭建 Python是一种高效、易读、易维护的编程语言。在人工智能、数据科学、Web开发等领域都有广泛的应用。如果你是一名初学者或Python开发者,本文将为你提供Python安装教程。 第一步:下载Python安装…

chatgpt赋能python:Python虚拟环境搭建指南

Python虚拟环境搭建指南 Python是一种广受欢迎的编程语言,它可以用于各种应用程序开发。Python语言优雅简洁,易于理解和学习。但是,当您在多台计算机上编写Python代码时,会遇到与环境设置和包依赖项相关的问题。 虚拟环境可帮助…

chatgpt赋能python:Python在线聊天:实现即时通讯的快速解决方案

Python在线聊天:实现即时通讯的快速解决方案 在当今数字时代,在线聊天已经成为人与人之间交流的主流方式。Python在线聊天应用程序提供了一种快速且可定制的解决方案,使个人用户和企业可以进行互联网通信。本文将向您介绍Python在线聊天的基…

chatgpt赋能python:Python读取聊天记录-如何轻松得到你需要的信息

Python读取聊天记录 - 如何轻松得到你需要的信息 如果你曾经需要从聊天记录中获取信息,你肯定知道这是一个非常繁琐和耗时的过程。但是,如果你会使用Python,它将会是一个轻松的过程。在本文中,我们将介绍如何使用Python读取聊天记…

chatgpt赋能Python-如何用python聊天

介绍 Python是一种广泛使用的编程语言,用于构建各种应用程序和工具。它也是一个非常有效的工具,可用于开发聊天应用程序。Python具有丰富的库和框架,这些库和框架可以帮助您轻松地构建聊天应用程序。 在本文中,我们将介绍如何使…

chatgpt赋能python:Python聊天程序——让沟通更高效

Python聊天程序——让沟通更高效 在现代社会,随着科技的不断发展和互联网的普及,人们的沟通方式也在不断改变。而其中最受欢迎的方式就是聊天应用程序。聊天应用程序是一种可以在互联网上连接人们并使他们交流的工具。而Python聊天程序则是一种可以与他…