Python爬虫基础文件操作

server/2025/2/22 15:45:52/

文件操作

引言

爬虫爬取的一切内容都是在内存进行的,这样会有什么问题吗?如果一旦短电或着发生意外电脑关机了那么你的工作成果将瞬间消失。所以,我们还缺少数据在本地文件系统进行持久化的能力,简单的来说就是文件读写操作。文件读写操作在爬虫中是必不可缺少的一部分。

文件打开

Python中内置了一个open()方法,用于对文件读写操作。使用open()方法操作文件可以分三步,一是打开文件,二是操作文件,三是关闭文件。

文件句柄/文件描述符

open()方法返回值是一个file对象,可以将它赋值给一个变量,这个变量就是所谓的文件句柄

file对象

可以调用read()和write()方法,对打开的文件进行读写操作

open方法的语法

f = open(fliename,mode)

filename

一个包含了你要访问的文件名称的字符串值,通常是文件路径。文件路径作用:定位到指定文件

mode

打开文件的模式,默认是只读r

文件打开的模式

常规文件打开模式操作示例

b模式:

二进制模式,通常用于读取图片、视频等二进制文件,注意,它在读写的时侯以bytes类型读写的,因此获得的是bytes对象而不是字符串在这个读写过程中,需要自己指定编码格式。在使用带b的模式一定要注意传入的数据类型,确保为bytes类型。

+模式:

对于w+模式,在读写之前都会清空文件的内容,建议不要使用。

对于a+模式,永远只能在文件末尾写入,有局限性。

对于r+模式,也就是读写模式,配合seek()和tell()方法可以实现更多操作

编码问题

要读取非utf-8文件,需要给open()函数传入encoding参数,例如,读取GBK编码的文件。

遇到一些编码不规范的文件,可能会抛出UnicodeDecodeError异常这表示在文件中可能掺杂了一些非法编码的。遇到这种情况可以提供errors='ignore'参数,表示如果遇到编码错误后如何处理。

文件对象操作

每当我们用open()方法打开文件时,将返回文件对象。这个对象内置了很多操作方法。

f.read(size)#size读取数据的个数

读取一定大小的数据,然后作为字符串或字节对象返回,size是一个可选的数字类型的参数,用于指定读取的数据量。当size被忽略了或者为负值,那么该文件的所有内容都将被读取并且返回。

注意:如果文件体积较大,建议不要使用read()方法一次性读入内存,而是read(512)一点一点的读。

f.readline()

从文件一行读取n内容。换行'\n'。如果返回一个空字符串,说明已经读取到最后一行。这种方法通常是读一行处理一行,并且不能回头读过的行不能在读了。

f.readlines()

件文件中所有的行,一行一行全部读入一个列表内,按顺序一个一个全部读入列表内,并返回这个列表。readlines方法一次性将文件全部读入内存,所以也存在一定的问题。但是它有个好处,每行都保存在列表里,可以随意存取。

python">fp = open('./text.txt','r')
text = for.read(10) #读取指定字节的数据
text_line = fp.readline() #一次读取一行数据
text_lines = fp.readlines() #读取多行数据返回一个列表
print(text_lines)
fq.close()

f.seek()

如果需要改变文件指针的位置,可以使用f.seek(offset,from_what)方法。seek()经常和tell()方法配合使用。

from_what

如果是0表示从文件开头计算

如果是1表示表示从文件读写指针的当前位置开始计算

2表示从文件结尾开始计算,默认是0

offset:表示偏移量

seek(x,0):从文件首行首字符开始移动x个字节

seek(x,1):表示从当前位置往后移动x个字节

seek(-x,2):表示从文件的末尾往前移动x个字节

python">fp=open('./text.txt','r')
fp.seek(9,0)
text=fp.read(5)
print(text)

f.tell()

返回文件读写指针当前所处的位置,它是从文件开头开始算起的字节数。一定要注意是字节数,而不是字符数。

python">fp=open('./text.txt','r')
print(fp.tell)
fp.close()

f.write()

将字符串或bytes类型的数据写入文件内。write()动作可以多次重复进行,其实都是在内存中操作,并不会立刻写入硬盘,直到执行close()方法后,才会将所有的的写入操作反映到硬盘上,在这个过程中,如果想将内存中修改,立刻保存到硬盘上,可以使用f.flush()方法。

python">fp=open('./text.txt','w')
fp.write('hello')
fp.close() #清空后写入
python">fp=open('./text.txt','a')
fp.write('hello')
fp.close() #追加


http://www.ppmy.cn/server/169875.html

相关文章

【HBase】HBaseJMX 接口监控信息实现钉钉告警

目录 一、JMX 简介 二、JMX监控信息钉钉告警实现 一、JMX 简介 官网:Apache HBase ™ Reference Guide JMX (Java管理扩展)提供了内置的工具,使您能够监视和管理Java VM。要启用远程系统的监视和管理,需要在启动Java…

RabbitMq 基础

文章目录 一、初识 MQ 1.1 同步调用:1.2 异步调用: 二、RabbitMQ三、SpringAMQP 3.1 依赖和配置文件3.2 消息发送和接收: 3.2.1 消息发送:3.2.2 消息接收: 3.3 WorkQueues 模型:3.4 交换机类型&#xff1a…

AI工作流+专业知识库+系统API的全流程任务自动化

我有点悲观,甚至很沮丧,因为AI留给普通人的机会不多了,这既是人类之间权力的斗争,也是硅基生命和碳基生命的斗争。AI自动化是无法避免的趋势,如果人类不能平权,那就只能跪下接受审判。 通过整合AI工作流、专…

微服务入门-笔记

微服务入门-笔记 介绍 这个mvn工程里边包含了微服务里最基础的服务拆分、基于nacos的服务注册和发现、配置中心以及OpenFeign版的远程调用。 初始化这个工程是来源于阿里云的脚手架,https://start.aliyun.com/,从这上边创建一个包含各种依赖的工程&am…

基于WebRTC与AI大模型接入EasyRTC:打造轻量级、高实时、强互动的嵌入式音视频解决方案

随着物联网和嵌入式技术的快速发展,嵌入式设备对实时音视频通信的需求日益增长。然而,传统的音视频解决方案往往存在体积庞大、实时性差、互动体验不佳等问题,难以满足嵌入式设备的资源限制和应用场景需求。 针对以上痛点,本文将介…

Screen Wonders for Mac v3.3.1 3D屏保应用 支持M、Intel芯片

应用介绍 Screen Wonders 是一款专为 macOS 设计的屏保应用,它提供了多种高质量的动态屏保选择,旨在为用户的屏幕增添美感和个性化元素。 如果你厌倦了桌面上静止的图片,如果你准备好迎接世界各地甚至平行宇宙的魔力,我们在这个…

【程序人生】怎样养生?关于中医的核心思想,经典著作,与西医理念的对比,优缺点

【程序人生】怎样养生?关于中医的核心思想,经典著作,与西医理念的对比,优缺点 中医学是中国传统的医学体系,其核心思想可以概括为 “整体观念”、“阴阳五行学说”和“辨证论治法”。 文章目录 【程序人生】怎样养生?关于中医的核心思想,经典著作,与西医理念的对比,优…

数字内容体验的技术支持包含哪些核心功能?

内容概要 在构建数字内容体验的技术架构时,技术支持的底层能力直接决定了内容运营的效能与用户互动深度。其核心功能以智能数据分析为起点,通过采集用户行为轨迹、设备特征及互动反馈,构建动态更新的用户行为图谱,为内容策略的持…