scrapy出现OSError: could not get source code错误解决

embedded/2024/10/22 12:31:48/

出现问题如下:

Traceback (most recent call last):File "C:\Users\admin\Desktop\crawler_scrapy_us\venv\lib\site-packages\scrapy\utils\defer.py", line 73, in mustbe_deferredresult = f(*args, **kw)File "C:\Users\admin\Desktop\crawler_scrapy_us\venv\lib\site-packages\scrapy\core\spidermw.py", line 92, in _process_spider_inputreturn scrape_func(response, request, spider)File "C:\Users\admin\Desktop\crawler_scrapy_us\venv\lib\site-packages\scrapy\core\scraper.py", line 200, in call_spiderwarn_on_generator_with_return_value(spider, callback)File "C:\Users\admin\Desktop\crawler_scrapy_us\venv\lib\site-packages\scrapy\utils\misc.py", line 258, in warn_on_generator_with_return_valueif is_generator_with_return_value(callable):File "C:\Users\admin\Desktop\crawler_scrapy_us\venv\lib\site-packages\scrapy\utils\misc.py", line 234, in is_generator_with_return_valuesrc = inspect.getsource(func)File "C:\Users\admin\AppData\Local\Programs\Python\Python310\lib\inspect.py", line 1139, in getsourcelines, lnum = getsourcelines(object)File "C:\Users\admin\AppData\Local\Programs\Python\Python310\lib\inspect.py", line 1121, in getsourcelineslines, lnum = findsource(object)File "C:\Users\admin\AppData\Local\Programs\Python\Python310\lib\inspect.py", line 958, in findsourceraise OSError('could not get source code')
OSError: could not get source code

原因:想必是你小子手动创建了爬虫文件,这样出现了编码问题

解决办法:爬虫文件添加编码头注释 #coding=utf8

#coding=utf8
import scrapy

http://www.ppmy.cn/embedded/87427.html

相关文章

架构师的36项修炼 学习笔记

架构师的36项修炼 学习笔记 分布式缓存 缓存特点 1.技术简单 2.性能提升明显 3.应用场景多 缓存数据存储 hash表 缓存的关键指标 命中率 缓存失效方式 超时失效 LLT 实时清除 代理缓存 反向代理缓存 多层反向代理缓存 内容分发网络CDN 通读缓存 包括代理缓存…

昇思25天学习打卡营第1天|快速入门实操教程

昇思25天学习打卡营第1天|快速入门实操教程 目录 昇思25天学习打卡营第1天|快速入门实操教程 一、MindSpore内容简介 主要特点: MindSpore的组成部分: 二、入门实操步骤 1. 安装必要的依赖包 2. 下载并处理数据集 3. 构建网络模型 4. 训练模型…

PyTorch和TensorFlow概念及对比

PyTorch和TensorFlow是两个流行的深度学习框架,用于构建和训练机器学习和深度学习模型。它们各自有一些独特的特点和优点: 一 、PyTorch 动态计算图: PyTorch使用动态计算图(Dynamic Computation Graph),…

Aider + Llama 3.1:无需编码开发全栈APP

Llama 3.1在代码生成方面的卓越表现 在代码生成领域,Llama 3.1的表现尤为出色,几乎成为了开源模型中的佼佼者。它不仅在代码自动化和生成方面表现突出,还可以作为AI编程助手,帮助调试代码和开发完整的应用程序。在多个基准测试中…

手机空号过滤批量查询的意义及方法

手机空号过滤批量查询是现代营销和通信管理中常用的技术手段,旨在通过批量处理手机号码,筛选出活跃号码和空号等无效号码,以提高营销效率和减少不必要的通信成本。以下是关于手机空号过滤批量查询的详细解答: 一、手机空号过滤批…

CentOS 7.x 的 YUM 仓库问题

背景 CentOS Linux 7 的生命周期(EOL)已经于 2024 年 6 月 30 日终止这意味着 CentOS 7.x 的官方镜像站点将不再提供服务,导致在使用 yum 安装或更新程序时可能会遇到 错误。本文将介绍如何解决这一问题,使得你可以继续在 CentOS…

网络安全Sirius

关于Sirius Sirius是一款功能强大的通用漏洞扫描工具,该工具可以帮助广大研究人员在大多数场景下识别和验证应用程序中存在的安全漏洞。 现如今,信息安全社区仍然是收集网络安全情报数据最佳且最有利的来源,而且社区本身的表现经常会优于商…

Cocos Creator文档学习记录

Cocos Creator文档学习记录 一、什么是Cocos Creator 官方文档链接:Hello World | Cocos Creator 百度百科:Cocos Creator_百度百科 Cocos Creator包括开发和调试、商业化 SDK 的集成、多平台发布、测试、上线这一整套工作流程,可多次的迭…