【Python爬虫实战】深入解析 Scrapy：从阻塞与非阻塞到高效爬取的实战指南

news/2024/11/27 10:36:41/

  🌈个人主页：易辰君-CSDN博客
🔥 系列专栏：https://blog.csdn.net/2401_86688088/category_12797772.html

​

目录

前言

一、阻塞和非阻塞

（一）阻塞

（二）非阻塞

二、Scrapy的工作流程

三、Scrapy每个模块的具体作用

（一）Engine引擎

（二）Scheduler调度器

（三）Downloader下载器

（四）Spider爬虫

（五）Item Pipeline数据管道

（六）Downloader Middlewares下载中间件

（七）Spider Middlewares爬虫中间件

（八）Extensions扩展

（九）Item数据对象

（十）Signals信号

四、Scrapy的入门使用

（一）安装 Scrapy

（二）创建 Scrapy 项目

（三）编写爬虫

（四）运行爬虫

（五）保存数据

（六）常见配置修改

（七）调试与扩展

五、总结

前言

在大数据时代，网络爬虫成为获取信息的重要工具，而 Scrapy 是其中的佼佼者。作为一个功能强大且高效的 Python 爬虫框架，它不仅支持复杂的网页抓取，还能通过非阻塞的异步机制极大提升爬取性能。然而，许多人在初学时常常被阻塞与非阻塞的概念以及 Scrapy 的模块化设计弄得一头雾水。这篇文章将从基础的阻塞与非阻塞概念出发，逐步深入解析 Scrapy 的工作流程和模块作用，最后通过一个完整的入门实例，帮助你快速掌握这款高效爬虫框架。

一、阻塞和非阻塞

在学习 Scrapy 时，理解阻塞和非阻塞是非常重要的，这直接影响到爬虫的性能和并发能力。

（一）阻塞

阻塞是指代码在执行某个操作时，会等待这个操作完成后，才会继续执行后续的代码。

  • 特点：代码会暂停，直到当前任务完成，其他任务会因此被延迟。

  • 缺点：在网络爬虫中，阻塞的网络请求会降低效率。例如，如果某个请求需要 2 秒才能返回数据，这 2 秒内程序不能做其他任何事情。

示例：

python">import timedef blocking_example():print("任务开始")time.sleep(2)  # 模拟阻塞操作print("任务完成")blocking_example()

输出：

任务开始
（等待2秒）
任务完成

在爬虫中，如果你使用了阻塞的网络请求库（例如 requests），程序会等待每个请求完成后才继续处理下一个请求。

（二）非阻塞

非阻塞是指代码不会等待某个操作完成，而是直接继续执行其他代码。

  • 特点：异步任务可以被调度，程序不会因单个任务的延迟而停滞。

  • 优点：在 Scrapy 中，非阻塞机制允许同时发出多个网络请求，大幅提高爬取速度。

异步调用示例：

python">import asyncioasync def non_blocking_example():print("任务开始")await asyncio.sleep(2)  # 模拟非阻塞操作print("任务完成")asyncio.run(non_blocking_example())

输出：

python">任务开始
（任务等待中，但主线程未阻塞）
任务完成

在爬虫中，Scrapy 利用了 Twisted 框架的异步特性来管理非阻塞 I/O，使得多个请求可以同时进行。

二、Scrapy的工作流程

Scrapy 的工作流程可以分为以下关键步骤，每个步骤紧密配合以实现高效的爬取和解析：

  • 引擎启动
    Scrapy 引擎负责协调各个模块的工作，包括调度器、下载器和爬虫代码。它是 Scrapy 的核心。

  • 调度器调度请求
    引擎将初始的请求发送给调度器。调度器按优先级对请求进行排序，并将它们排队等待执行。

  • 下载器下载页面
    调度器将请求发送给下载器，下载器负责根据请求的 URL 抓取对应的网页内容。

  • 爬虫处理响应
    下载的页面内容被传回引擎，并交给爬虫的回调函数（如 parse 方法）进行处理。爬虫提取所需数据并生成新的请求（递归爬取）。

  • 解析与提取

    • 提取到的数据会被交给 Item Pipeline 进一步清洗、验证和存储，如存入数据库或文件。

    • 中间件在请求和响应过程中允许对内容进行额外处理，如添加 headers、代理、错误处理等。

  • 循环重复
    生成的新请求再次交给调度器，重复上述流程，直到所有请求完成。

工作流程总结：

  1. 爬虫将初始请求发送给引擎。

  2. 引擎将请求传递给调度器。

  3. 调度器按优先级将请求发送给引擎。

  4. 引擎将请求传递给下载器。

  5. 下载器获取网页内容并返回响应。

  6. 引擎将响应发送给爬虫。

  7. 爬虫解析响应，生成数据和新的请求。

  8. 数据经过管道处理后存储，新的请求被传回调度器。

三、Scrapy每个模块的具体作用

Scrapy 是一个流行的 Python 爬虫框架，由多个模块组成，各模块协同工作以实现高效的数据抓取和处理。以下是 Scrapy 中各模块的具体作用：

（一）Engine引擎

  • 作用：

    • Scrapy 的核心模块，负责协调其他组件之间的工作流。

    • 它根据预定义的爬取规则控制数据流在框架内的流转，包括调度器、下载器、爬虫以及管道之间的交互。

  • 主要职责：

    • 处理调度器队列中的请求。

    • 将请求发送到下载器。

    • 接收下载器的响应并将其传递给爬虫。

    • 从爬虫中获取新的请求或 Item 并传递给相应组件。

（二）Scheduler调度器

  • 作用：

    • 用于管理请求队列。

    • 确保请求的优先级和去重，避免重复抓取相同的 URL。

  • 主要职责：

    • 接收引擎发来的请求。

    • 按照优先级对请求进行排序。

    • 将下一个请求交回给引擎。

（三）Downloader下载器

  • 作用：

    • 负责将调度器传来的请求发送到目标网站并获取网页内容。

  • 主要职责：

    • 执行 HTTP/HTTPS 请求。

    • 处理网络请求相关的中间件（如代理、用户代理设置）。

    • 返回网站响应（如 HTML、JSON 数据）。

（四）Spider爬虫

  • 作用：

    • 用户定义爬取逻辑的核心模块。

    • 从下载器传递的响应中提取所需的数据和后续需要爬取的 URL。

  • 主要职责：

    • 编写爬取规则（解析页面，提取数据，生成新的请求）。

    • 将提取的数据传递给 Item Pipeline 或调度器。

（五）Item Pipeline数据管道

  • 作用：

    • 用于对提取到的数据进行进一步处理（清理、验证、存储）。

  • 主要职责：

    • 接收 Spider 提取的数据（Item）。

    • 对数据进行清洗、去重、校验。

    • 存储数据到数据库、文件或其他目标位置。

（六）Downloader Middlewares下载中间件

  • 作用：

    • 位于引擎与下载器之间，用于对请求和响应进行处理。

    • 常用于修改请求头、设置代理、处理验证码等功能。

  • 主要职责：

    • 对即将发送的请求进行修改。

    • 对下载后的响应进行预处理。

（七）Spider Middlewares爬虫中间件

  • 作用：

    • 位于引擎和 Spider 之间，用于对 Spider 的输入和输出数据进行处理。

  • 主要职责：

    • 过滤、修改或扩展 Spider 输入的响应。

    • 处理 Spider 输出的请求或 Item。

（八）Extensions扩展

  • 作用：

    • 用于提供额外功能，例如日志记录、性能监控、信号处理等。

  • 主要职责：

    • 扩展 Scrapy 功能，例如设置超时重试、统计抓取进度等。

（九）Item数据对象

  • 作用：

    • 定义抓取的数据结构。

  • 主要职责：

    • 用于描述从网页中提取的数据字段及其属性。

（十）Signals信号

  • 作用：

    • 用于框架内事件的订阅与触发，便于实现钩子机制。

  • 主要职责：

    • 处理事件通知，如爬虫开始、爬虫结束、异常发生等。

四、Scrapy的入门使用

Scrapy 的入门使用主要包括安装、创建项目、编写爬虫以及数据保存等基本步骤。以下是详细流程：

（一）安装 Scrapy

使用 pip 安装：

python">pip install scrapy

确认安装成功：

python">scrapy --version

（二）创建 Scrapy 项目

创建一个新的项目：

python">scrapy startproject myproject

项目结构：

myproject/├── myproject/          # 项目模块│   ├── __init__.py│   ├── items.py        # 定义数据结构│   ├── middlewares.py  # 中间件│   ├── pipelines.py    # 数据管道│   ├── settings.py     # 配置文件│   └── spiders/        # 爬虫目录└── scrapy.cfg          # 项目配置

（三）编写爬虫

进入项目目录：

cd myproject

创建爬虫：

scrapy genspider example example.com

修改 spiders/example.py，示例爬取 quotes.toscrape.com：

python">import scrapyclass ExampleSpider(scrapy.Spider):name = 'example'start_urls = ['http://quotes.toscrape.com']def parse(self, response):for quote in response.css('div.quote'):yield {'text': quote.css('span.text::text').get(),'author': quote.css('span small.author::text').get(),'tags': quote.css('div.tags a.tag::text').getall(),}

（四）运行爬虫

执行命令运行爬虫：

python">scrapy crawl example

（五）保存数据

直接保存爬取结果为 JSON、CSV 或 XML 文件：

python">scrapy crawl example -o output.json

（六）常见配置修改

修改 settings.py：

python">DOWNLOAD_DELAY = 2

启用 User-Agent：

python">USER_AGENT = 'myproject (+http://www.example.com)'

（七）调试与扩展

使用调试工具检查 CSS 或 XPath 选择器：

python">scrapy shell 'http://quotes.toscrape.com'

在管道、下载中间件或扩展中实现更复杂功能。

五、总结

Scrapy 是一个以模块化、异步非阻塞为核心的爬虫框架，通过精细的组件协作，提供了高效抓取、数据处理和存储的能力。从理解阻塞与非阻塞的机制，到掌握 Scrapy 的引擎、调度器、下载器和中间件的作用，再到编写第一个爬虫，完整的流程让你从零起步，逐步进入 Scrapy 的世界。熟悉这些模块和配置后，你将不仅能快速构建爬虫项目，还能在复杂场景中灵活应对，实现数据抓取的高效化与专业化。


http://www.ppmy.cn/news/1550323.html

相关文章

JSON数据转化为Excel及数据处理分析

JSON数据转化为Excel及数据处理分析

在现代数据处理中，JSON（JavaScript Object Notation）因其轻量级和易于人阅读的特点而被广泛使用。然而，有时我们需要将这些JSON数据转化为Excel格式以便于进一步的分析和处理。本文将介绍如何将JSON数据转化为Excel文件&#xff0…
阅读更多...
大数据新视界 -- 大数据大厂之 Hive 函数库：丰富函数助力数据处理（上）（11/ 30）

大数据新视界 -- 大数据大厂之 Hive 函数库：丰富函数助力数据处理（上）（11/ 30）

💖💖💖亲爱的朋友们，热烈欢迎你们来到 青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…
阅读更多...
【ArcGIS Pro】实现一下完美的坐标点标注

【ArcGIS Pro】实现一下完美的坐标点标注

在CAD里利用湘源可以很快点出一个完美的坐标点标注。 但是在ArcGIS Pro中要实现这个效果却并不容易。 虽然有点标题党，这里就尽量在ArcGIS Pro中实现一下。 01 标注实现方法 首先是准备工作，准备一个点要素图层，包含xy坐标字段。 在地图框…
阅读更多...
Python Selenium简介（三）

Python Selenium简介（三）

Selenium点击元素的方法 使用右键点击 canvas_element chromedriver.find_element(By.TAG_NAME, canvas) ActionChains(chromedriver).context_click(canvas_element).perform()文本输入、清除与提交 import time # 导入selenium包 from selenium import webdriver from sel…
阅读更多...
排序算法之冒泡排序篇

排序算法之冒泡排序篇

冒泡排序的思想： 是一个把元素从小到大排的一个算法思想 相邻的两个元素两两比较，大的那一个元素向后移，小的那个元素向前移 核心逻辑： 比较所有相邻的两个项，如果第一个比第二个大，就交换它们 从头开始…
阅读更多...
数字图像处理（6）：除法运算、除法器

数字图像处理（6）：除法运算、除法器

（1）当除数是常数时，可以先转化为乘法，再右移，乘法的N越大，计算误差越小。 如：计算x/122，可以看成（x * 67）>>13,N13,使用verilog实现： reg …
阅读更多...
浅谈人工智能之基于容器云进行文生视频大模型搭建

浅谈人工智能之基于容器云进行文生视频大模型搭建

浅谈人工智能之基于容器云进行文生视频大模型搭建 引言 随着深度学习技术的不断发展，文生视频（Text-to-video）大模型成为了计算机视觉和自然语言处理领域的一个研究热点。文生视频模型可以根据输入的文本描述生成高质量的视频，广…
阅读更多...
Springboot自带注解@Scheduled实现定时任务

Springboot自带注解@Scheduled实现定时任务

基于Scheduled注解实现简单定时任务 原理 Spring Boot 提供了Scheduled注解，通过在方法上添加此注解，可以方便地将方法配置为定时任务。在应用启动时，Spring 会自动扫描带有Scheduled注解的方法，并根据注解中的参数来确定任务的…
阅读更多...
最新文章

Copyright @ 2022~2023