python合并不同文件夹相同文件名的文件

news/2024/10/18 14:21:37/

要求:
合并来自不同文件夹下相同csv文件,如:
在这里插入图片描述
三个文件夹均含有1.csv,2.csv,3.csv等等文件,现在对文件进行合并。思路:先创建一个文件名list,然后遍历。
python代码:

data = pd.read_csv(r'filename_list.csv')
base_path  = r"folder_path"
save_path = r'save_path'
folders = ['2016','2017','2018']for index, row in data.iterrows():fid = row['FID']print(fid)merged_df = pd.DataFrame()for folder in folders:folder_path = os.path.join(base_path, folder)file_path = os.path.join(folder_path,f'{fid}.csv')if os.path.exists(file_path):# print(file_path)data = pd.read_csv(file_path)merged_df = pd.concat([merged_df, data])if not merged_df.empty:merged_df.to_csv(os.path.join(save_path, f'{fid}.csv'), index=False)
print('done!')

http://www.ppmy.cn/news/1432241.html

相关文章

深入剖析Tomcat(三) 实现一个简易连接器

Tomcat中的servlet容器叫做Catalina,Catalina有两个主要模块:连接器与容器。在本章,将会建立一个连接器来增强第二章中应用程序的功能,用一种更好的方式来创建request与response对象。 截止文章编写日期,servlet规范已…

海康智能相机FTP本地存图流程

背景:近期一个新项目需要使用到智能相机,借助智能相机算法直接输出检测结果并将相机图像进行本地化保存和展示。由于申购目标智能相机未到,暂时使用测试智能相机。 目标智能相机型号:海康智能相机MV-SC3050XC 当前测试相机型号…

Spark面试整理-如何配置和管理Spark集群的资源,包括内存、CPU和存储

配置和管理Apache Spark集群的资源是确保高效运行Spark应用的关键步骤。合理的资源配置可以提高性能,避免资源浪费,并确保任务顺利执行。以下是配置和管理Spark集群资源(包括内存、CPU和存储)的一些指导原则: 内存管理 Executor内存设置:通过spark.executor.memory配置每…

加密、解密、签名、验签、数字证书、CA浅析

一、加密和解密 加密和解密应用的很广,主要作用就是防止数据或者明文被泄露。 加解密算法主要有两大类,对称加密和非对称加密。对称加密就是加密和解密的密钥都是一个,典型的有AES算法。非对称加密就是有公钥和私钥,公钥可以发布…

处理JavaScript中浮点数精度丢失的问题

如何处理JavaScript中浮点数精度丢失的问题 在使用JavaScript进行数学计算时,尤其是涉及浮点数时,经常会遇到精度丢失的问题。这是由于JavaScript使用IEEE 754标准的双精度浮点格式表示数字,这种表示方式在处理特别大或特别小的数时会不够精…

day24 java IO流 四个节点流

目录 FileInputStream FileOutputStream FileOutputStream类 FileOutputStream续写 FileInputStream类 FileWriter FileReader FileWriter写 FileWriter续写 FileWriter换行 FileWriter关闭和刷新 FileReader读 FileReader读取指定长度 当你创建一个流对象时&#x…

LeetCode 34在排序数组中查找元素的第一个和最后一个位置

LeetCode 34在排序数组中查找元素的第一个和最后一个位置 给你一个按照非递减顺序排列的整数数组nums,和一个目标值target。请你找出给定目标值在数组中的开始位置和结束位置。 如果数组中不存在目标值target,返回 [-1, -1]。 你必须设计并实现时间复…

总结一下背包里的顺序和是否逆序

1.对于01背包而言,一维压缩态只能物品到背包且需要逆序 2.对应多重背包而言,组合数物品到背包,排列数背包到物品,且都需要正序