4.1 读写不同数据源的数据

news/2024/11/15 1:45:57/

4.1 读写不同数据源的数据

  • 4.1.1 读写数据库数据
    • 1、数据库数据获取
    • 2、数据库数据存储
  • 4.1.2 读写文本文件
    • 1、文本文件读取
    • 2、文本文件存储
  • 4.1.3 读写Excel文件
    • 1、Excel文件读取
    • 2、Excel文件存储
  • 完整代码

4.1.1 读写数据库数据

1、数据库数据获取

pandas提供了读取与存储关系型数据库数据的函数与方法。除了pandas库外,还需要使用SQLAlchemy库建立对应的数据库连接。SQLAlchemy配合相应数据库的Python连接工具(例如MySQL数据库需要安装mysqlclient或者pymysql库),使用create_engine函数,建立一个数据库连接。
from sqlalchemy import create_engine ## 创建一个mysql连接器,
engine = create_engine('mysql+pymysql://root:123456@127.0.0.1:3306/test?charset=utf8’)
usarrest = pd.read_sql_table(‘usarrest’, con = engine) # 使用read_sql_table读取订单详情表
usarrest2 = pd.read_sql(‘select * from usarrest’, con = engine) # 使用read_sql读取订单详情表

pandas.read_sql_table(table_name, con, schema = None, index_col= None, coerce_float = True, columns = None)只能读取数据库的某一个表格,不能实现查询的操作。
pandas.read_sql_query(sql, con, index_col = None, coerce_float = True)只能实现查询操作,不能直接读取数据库中的某个表。
pandas.read_sql(sql, con, index_col = None, coerce_float = True, columns = None)是两者的综合,既能读取数据库中的某一个表,又能实现查询操作。

2、数据库数据存储

DataFrame.to_sql(name, con, if_exists = ‘fail’, index = True, index_label = None, dtype = None)

4.1.2 读写文本文件

1、文本文件读取

CSV是一种用分隔符分隔的文件格式,又被称为字符分隔文件

pandas.read_table(filepath, sep=‘\t’, header = ‘infer’, names = None, index_col = None, dtype = None, encoding = utf-8, engine = None, nrows = None)
pandas.read_csv(filepath, sep = ‘,’, header = ‘infer’, names = None, index_col = None, dtype = None, encoding=utf-8, engine=None, nrows=None)
在这里插入图片描述

# 文本文件读取
import pandas as pd
data1 = pd.read_table('E:/Input/info.csv')
print(data1)
data = pd.read_csv('E:/Input/info.csv')
print(data)

在这里插入图片描述

2、文本文件存储

文本文件的存储和读取类似,结构化数据可以通过pandas中的to_csv函数实现以csv文件格式存储文件。
DataFrame.to_csv(path_or_buf=None, sep=‘,’, na_rep=‘’, columns=None, header=True,
index=True, index_label=None, mode=‘w’, encoding=None)
在这里插入图片描述

# 文本文件存储
data.to_csv('E:/Output/out.csv', index=False)

4.1.3 读写Excel文件

1、Excel文件读取

pandas提供了read_excel函数来读取“xls”“xlsx”两种Excel文件
pandas.read_excel(io, sheetname=0, header=0, index_col=None, names=None, dtype=None)在这里插入图片描述

# Excel文件读取
data2 = pd.read_excel('E:/Input/info_xlsx.xlsx')
print(data2.head(3))

在这里插入图片描述

2、Excel文件存储

将文件存储为Excel文件,可以使用to_excel方法。其语法格式如下。
DataFrame.to_excel(excel_writer=None, sheetname=‘None’, na_rep=‘’, header=True, index=True, index_label=None, mode=‘w’, encoding=None)
与to_csv方法的常用参数基本一致,区别之处在于指定存储文件的文件路径参数名称为excel_writer,并且没有sep参数,增加了一个sheetnames参数用来指定存储的Excel sheet的名称,默认为sheet1。

data2.to_excel('E:/Output/out_excel.xlsx')

完整代码

import pandas as pd
from pandas import DataFrame# 文本文件读取
data1 = pd.read_table('E:/Input/info.csv')
print(data1.head(3))  # 打印前三行
data = pd.read_csv('E:/Input/info.csv')
print(data.head(3))
# 文本文件存储
data.to_csv('E:/Output/out.csv', index=False)
# Excel文件读取
data2 = pd.read_excel('E:/Input/info_xlsx.xlsx')
print(data2.head(3))
# Excel文件存储
data2.to_excel('E:/Output/out_excel.xlsx')

http://www.ppmy.cn/news/38738.html

相关文章

SQL Server存储过程(数据库引擎)使用详解

存储过程(数据库引擎)一、背景知识1.1、使用存储过程的好处1.2、存储过程的类型二、创建存储过程三、修改存储过程四、删除存储过程五、执行存储过程5.1、建议5.2、使用 Transact-SQL执行存储过程六、授予对存储过程的权限6.1、授予对存储过程的权限6.2、…

ChatGPT 本地部署及搭建

这篇简要说下清华开源项目 ChatGLM 本地部署的详细教程。清华开源项目 ChatGLM-6B 已发布开源版本,这一项目可以直接部署在本地计算机上做测试,无需联网即可体验与 AI 聊天的乐趣。 项目地址:GitHub - THUDM/ChatGLM-6B: ChatGLM-6B&#xf…

代码随想录刷题-字符串-实现 strStr()

文章目录实现 strStr()习题暴力解法kmp 解法实现 strStr() 本节对应代码随想录中:代码随想录,讲解视频:帮你把KMP算法学个通透!(理论篇)_哔哩哔哩_bilibili、帮你把KMP算法学个通透!&#xff0…

Cesium开发-vue3(vue-cli)

CesiumVue3cesium 获取 TOKENvue cli3 脚手架安装 cesiumcesium 获取 TOKEN 使用cesium需要申请一个token值, cesium申请token请点击这里 创建Token 然后就成功的获取到了一个 cesium 的秘钥 然后我们通过下面这句话就可以在项目里面添加一下秘钥,当…

SpringBoot 如何将配置文件挂到 jar 包外面?

目录一、SpringBoot 指定配置文件路径:1)使用命令行参数:2)使用环境变量:3)使用外部配置文件:二、SpringBoot 配置文件生效的优先级排序:一、SpringBoot 指定配置文件路径&#xff1…

腾讯云安装docker

卸载旧版本的 Docker 列出系统中已安装的docker包: yum list installed | grep docker卸载已安装的docker包: yum -y remove docker-ce-cli.x86_64 yum -y remove docker-ce.x86_64 yum -y remove containerd.io如果系统中没有 Docker,则直…

MySQL开发01-数据库范式

文章目录1、范式1.1、什么是数据库规范化1.2、什么是数据库范式2、总结1、范式 1.1、什么是数据库规范化 数据规范化通常是将大表分成较小的表,并且定义它们之间的关系。这样做的目的是为了避免冗余存放数据,并确保数据的一致性。添加、删除和修改数据…

CocosCreator实战篇 | 实现刮刮卡和橡皮擦 | 擦除效果

📢博客主页:https://blog.csdn.net/dxt19980308 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正! 📢本文由肩匣与橘编写,首发于CSDN🙉 📢生活依旧是美好而…