Python----Python爬虫(Scrapy的应用:CrawlSpider 使用,爬取小说,CrawlSpider版)

server/2025/1/17 18:59:37/

一、CrawlSpider 使用

1.1、CrawlSpider

CrawSpiders 是 Scrapy 框架中的一个特殊爬虫类,它用于处理需要跟随链接并抓取多个页面的情况。相比于基本的 Spider 类,CrawSpiders 提供了一个更灵活、更强大的方式来定义爬取规则。

在Scrapy中Spider是所有爬虫的基类,而CrawSpiders就是Spider的派生类。

适用于先爬取start_url列表中的网页,再从爬取的网页中获取link并继续爬取的工作

 

1.2、使用 CrawlSpider 的基本步骤


定义爬虫类:从 CrawlSpider 继承并定义爬虫类。


设置起始 URL:通过 start_urls 属性定义要开始爬取的 URL。


定义解析规则:通过 rules 属性设置爬取规则,这通常包括为页面提取数据和跟随链接的规则。 

 创建CrawlSpider

        

python">scrapy genspider -t crawl 爬虫名 (allowed_url)

 1.3、使用CrawlSpider中核心的2个类对象

1.3.1、Rule对象

Rule类与CrawlSpider类都位于scrapy.contrib.spiders模块中

python">class scrapy.contrib.spiders.Rule( link_extractor,         callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None) 

 

参数含义:

        link_extractor为LinkExtractor,用于定义需要提取的链接

        callback参数:当link_extractor获取到链接时参数所指定的值作为回调函数

                注意 回调函数尽量不要用parse方法,crawlspider已使用了parse方法

        follow:指定了根据该规则从response提取的链接是否需要跟进。当callback为None,默认值为True

        process_links:主要用来过滤由link_extractor获取到的链接

        process_request:主要用来过滤在rule中提取到的request

1.3.2、LinkExtractors

顾名思义,链接提取器

response对象中获取链接,并且该链接会被接下来爬取 每个LinkExtractor有唯一的公共方法是 extract_links(),它接收一个 Response 对象,并返回一个 scrapy.link.Link 对象 

python">class scrapy.linkextractors.LinkExtractor(allow = (),deny = (),allow_domains = (),deny_domains = (),deny_extensions = None,restrict_xpaths = (),tags = ('a','area'),attrs = ('href'),canonicalize = True,unique = True,process_value = None
)
  • allow:满足括号中“正则表达式”的值会被提取,如果为空,则全部匹配。

  • deny:与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。

  • allow_domains:会被提取的链接的domains。

  • deny_domains:一定不会被提取链接的domains。

  • restrict_xpaths:使用xpath表达式,和allow共同作用过滤链接(只选到节点,不选到属性)

  • restrict_css:使用css表达式,和allow共同作用过滤链接(只选到节点,不选到属性)

1.4、shell中验证 

首先运行

python">scrapy shell 'https://www.52wx.com/335_335954/131105239.html'

继续import相关模块:

python">from scrapy.linkextractors import LinkExtractor

提取当前网页中获得的链接

python">link = LinkExtractor(restrict_xpaths=(r'//div[@class="section-opt m-bottom-opt"]/a[3]'))

调用LinkExtractor实例的extract_links()方法查询匹配结果

python"> link.extract_links(response)
  • callback后面函数名用引号引起
  • 函数名不要用parse
  • 参数的括号嵌套,不要出问题

二、Scrapy爬取小说--普通版

spider 

python">import scrapyclass XiaoshuoSpider(scrapy.Spider):name = "xiaoshuo"allowed_domains = ["52wx.com"]start_urls = ["https://www.52wx.com/335_335954/131105239.html"]def parse(self, response):name=response.xpath('//div[@class="reader-main"]/h1/text()').get()new_url=response.xpath('//div[@class="section-opt m-bottom-opt"]/a[3]/@href').get()content=response.xpath('//div[@class="content"]/text()').extract()yield{'name':name,'content':content}next_url='https://www.52wx.com/335_335954/'+new_urlyield scrapy.Request(next_url,callback=self.parse)

 pipeline

python"># Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item types with a single interface
from itemadapter import ItemAdapterclass Scrapy03Pipeline:def open_spider(self,spider):self.file=open('xiaoshuo.txt','w',encoding='utf-8')def process_item(self, item, spider):self.file.write(item['name']+'\n')self.file.write(''.join(item['content']).replace('\r\n',''))def close_spider(self,spider):self.file.close()

 settings.py 

三、Scrapy爬取小说--CrawlSpider版

spider

python">import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Ruleclass XsSpider(CrawlSpider):name = "xs"allowed_domains = ["52wx.com"]start_urls = ["https://www.52wx.com/335_335954/"]rules = (Rule(LinkExtractor(restrict_xpaths=('//div[@class="section-box"][2]/ul/li/a[1]')), callback="parse_item", follow=True),Rule(LinkExtractor(restrict_xpaths=('//div[@class="section-opt m-bottom-opt"]/a[3]')), callback="parse_item", follow=True),)def parse_item(self, response):name=response.xpath('//div[@class="reader-main"]/h1/text()').get()content=response.xpath('//div[@class="content"]/text()').extract()print(content)yield{'name':name,'content':content}

 pipeline 

python"># Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item types with a single interface
from itemadapter import ItemAdapterclass Scrapy03Pipeline:def open_spider(self,spider):self.file=open('xiaoshuo.txt','w',encoding='utf-8')def process_item(self, item, spider):self.file.write(item['name']+'\n')self.file.write(''.join(item['content']).replace('\r\n',''))def close_spider(self,spider):self.file.close()

settings.py 

 

四、思维导图


http://www.ppmy.cn/server/159160.html

相关文章

[Effective C++]条款47 萃取器

本文初发于 “天目中云的小站”,同步转载于此。 条款47 : 请使用traits classes表现类型信息 traits classes(萃取器类), 如你所见萃取器其实是一个模板类, 在C中萃取器是一个神奇且有趣的存在, 它被广泛引用于标准库STL的编写中, 我们将在本条款中了解萃取器的功能…

设计模式-工厂模式/抽象工厂模式

工厂模式 定义 定义一个创建对象的接口,让子类决定实列化哪一个类,工厂模式使一个类的实例化延迟到其子类; 工厂方法模式是简单工厂模式的延伸。在工厂方法模式中,核心工厂类不在负责产品的创建,而是将具体的创建工作…

深入理解JavaScript闭包:原理、实践和优化

引言 在JavaScript中,闭包是一个非常重要的概念。它允许函数访问其外部作用域中的变量,即使这些变量在其定义的作用域之外。闭包的出现使得JavaScript能够实现许多高级功能,如模块封装、事件处理、异步编程等。然而,闭包的使用也…

长安“战疫”网络安全公益赛的一些随想

起因 今年刚进入大学,开始带校队,为了培养校队新成员,也就一直计划着和当地的一些高校合作交流,但是由于种种原因一直被搁置下来。正巧学校信息中心和四叶草有一个培训项目的合作,学校的网安协会也算是沾了光成为了培…

浏览器安全(同源策略及浏览器沙箱)

一、同源策略(Same Origin Policy) 1.定义 同源策略(Same - origin Policy)是一种浏览器的安全机制。它规定一个网页的脚本只能访问和操作与它同源的资源。这里的 “源” 包括协议(如 http、https)、域名&…

大数据组件常用端口(hdfs端口、hive端口、yarn端口)

1、不要记端口 用多了自然习惯了 为什么?因为端口没意义,只是映射一个地址而已,每套环境都可能有区别,比如CDH的8088,hadoop3的50070,腾讯的TBDS,华为,这些都不一样。 2、怎么去查…

Springboot项目启动优化详解

Springboot项目启动优化详解 目录 SpringBoot 简介项目启动优化详解 启动优化方案具体实现步骤 常见配置最佳实践 SpringBoot 简介 SpringBoot 是一个用于简化 Spring 应用开发的框架。它消除了设置 Spring 应用程序所需的复杂配置。 项目启动优化详解 启动优化方案 懒加…

桌面应用(wails)实现对等节点通信

P2P 是一种网络通信模式,在这种模式下,网络中的节点(对等节点或对等端)可以直接与其他节点进行通信,而不需要通过中央服务器进行中转。每个节点既可以作为客户端请求服务,也可以作为服务器提供服务&#xf…