Python Pandas（3）：DataFrame

embedded/2025/2/11 0:23:53/

1 介绍

        DataFrame 是 Pandas 中的另一个核心数据结构，类似于一个二维的表格或数据库中的数据表。它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引），提供了各种功能来进行数据访问、筛选、分割、合并、重塑、聚合以及转换等操作。DataFrame 是一个非常灵活且强大的数据结构，广泛用于数据分析、清洗、转换、可视化等任务。

1.1 DataFrame 特点

  • 二维结构： DataFrame 是一个二维表格，可以被看作是一个 Excel 电子表格或 SQL 表，具有行和列。可以将其视为多个 Series 对象组成的字典。
  • 列的数据类型： 不同的列可以包含不同的数据类型，例如整数、浮点数、字符串或 Python 对象等。
  • 索引：DataFrame 可以拥有行索引和列索引，类似于 Excel 中的行号和列标。
  • 大小可变：可以添加和删除列，类似于 Python 中的字典。
  • 自动对齐：在进行算术运算或数据对齐操作时，DataFrame 会自动对齐索引。
  • 处理缺失数据：DataFrame 可以包含缺失数据，Pandas 使用 NaN（Not a Number）来表示。
  • 数据操作：支持数据切片、索引、子集分割等操作。
  • 时间序列支持：DataFrame 对时间序列数据有特别的支持，可以轻松地进行时间数据的切片、索引和操作。
  • 丰富的数据访问功能：通过 .loc、.iloc 和 .query() 方法，可以灵活地访问和筛选数据。
  • 灵活的数据处理功能：包括数据合并、重塑、透视、分组和聚合等。
  • 数据可视化：虽然 DataFrame 本身不是可视化工具，但它可以与 Matplotlib 或 Seaborn 等可视化库结合使用，进行数据可视化。
  • 高效的数据输入输出：可以方便地读取和写入数据，支持多种格式，如 CSV、Excel、SQL 数据库和 HDF5 格式。
  • 描述性统计：提供了一系列方法来计算描述性统计数据，如 .describe()、.mean()、.sum() 等。
  • 灵活的数据对齐和集成：可以轻松地与其他 DataFrame 或 Series 对象进行合并、连接或更新操作。
  • 转换功能：可以对数据集中的值进行转换，例如使用 .apply() 方法应用自定义函数。
  • 滚动窗口和时间序列分析：支持对数据集进行滚动窗口统计和时间序列分析。

1.2 创建DataFrame

        DataFrame 构造方法如下：

pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)
  • data：DataFrame 的数据部分，可以是字典、二维数组、Series、DataFrame 或其他可转换为 DataFrame 的对象。如果不提供此参数，则创建一个空的 DataFrame。
  • index：DataFrame 的行索引，用于标识每行数据。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。
  • columns：DataFrame 的列索引，用于标识每列数据。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。
  • dtype：指定 DataFrame 的数据类型。可以是 NumPy 的数据类型，例如 np.int64、np.float64 等。如果不提供此参数，则根据数据自动推断数据类型。
  • copy：是否复制数据。默认为 False，表示不复制数据。如果设置为 True，则复制输入的数据。

1.2.1 使用列表创建

python">import pandas as pddata = [['Google', 10], ['Bing', 12], ['Wiki', 13]]# 创建DataFrame
df = pd.DataFrame(data, columns=['Site', 'Age'])# 使用astype方法设置每列的数据类型
df['Site'] = df['Site'].astype(str)
df['Age'] = df['Age'].astype(float)print(df)

1.2.2 使用字典创建

python">import pandas as pddata = {'Site': ['Google', 'Bing', 'Wiki'], 'Age': [10, 12, 13]}df = pd.DataFrame(data)print(df)

1.2.3 使用ndarrays 创建

python">import numpy as np
import pandas as pd# 创建一个包含网站和年龄的二维ndarray
ndarray_data = np.array([['Google', 10],['Bing', 12],['Wiki', 13]
])# 使用DataFrame构造函数创建数据帧
df = pd.DataFrame(ndarray_data, columns=['Site', 'Age'])# 打印数据帧
print(df)

1.2.4 使用字典（key/value）

python">import pandas as pddata = [{'a': 1, 'b': 2}, {'a': 5, 'b': 10, 'c': 20}]df = pd.DataFrame(data)print(df)

        没有对应的部分数据为 NaN。

1.2.5 从 Series 创建 DataFrame

python">import pandas as pd# 从 Series 创建 DataFrame
s1 = pd.Series(['Alice', 'Bob', 'Charlie'])
s2 = pd.Series([25, 30, 35])
s3 = pd.Series(['New York', 'Los Angeles', 'Chicago'])
df = pd.DataFrame({'Name': s1, 'Age': s2, 'City': s3})
print(df)

1.3 loc属性

        Pandas 可以使用 loc 属性返回指定行的数据，如果没有设置索引，第一行索引为 0，第二行索引为 1，以此类推：

python">import pandas as pddata = {"calories": [420, 380, 390],"duration": [50, 40, 45]
}# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)# 返回第一行
print(df.loc[0])
# 返回第二行
print(df.loc[1])

        返回结果其实就是一个 Pandas Series 数据。也可以返回多行数据，使用 [[ ... ]] 格式，... 为各行的索引，以逗号隔开：

python">import pandas as pddata = {"calories": [420, 380, 390],"duration": [50, 40, 45]
}# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)# 返回第一行和第二行
print(df.loc[[0, 1]])

        返回结果其实就是一个 Pandas DataFrame 数据。我们可以指定索引值，如下实例：

python">import pandas as pddata = {"calories": [420, 380, 390],"duration": [50, 40, 45]
}df = pd.DataFrame(data, index=["day1", "day2", "day3"])print(df)

        Pandas 可以使用 loc 属性返回指定索引对应到某一行：

python">import pandas as pddata = {"calories": [420, 380, 390],"duration": [50, 40, 45]
}df = pd.DataFrame(data, index=["day1", "day2", "day3"])# 指定索引
print(df.loc["day2"])

2 DataFrame 方法

方法名称功能描述
head(n)返回 DataFrame 的前 n 行数据（默认前 5 行）
tail(n)返回 DataFrame 的后 n 行数据（默认后 5 行）
info()显示 DataFrame 的简要信息，包括列名、数据类型、非空值数量等
describe()返回 DataFrame 数值列的统计信息，如均值、标准差、最小值等
shape返回 DataFrame 的行数和列数（行数, 列数）
columns返回 DataFrame 的所有列名
index返回 DataFrame 的行索引
dtypes返回每一列的数值数据类型
sort_values(by)按照指定列排序
sort_index()按行索引排序
dropna()删除含有缺失值（NaN）的行或列
fillna(value)用指定的值填充缺失值
isnull()判断缺失值，返回一个布尔值 DataFrame
notnull()判断非缺失值，返回一个布尔值 DataFrame
loc[]按标签索引选择数据
iloc[]按位置索引选择数据
at[]访问 DataFrame 中单个元素（比 loc[] 更高效）
iat[]访问 DataFrame 中单个元素（比 iloc[] 更高效）
apply(func)对 DataFrame 或 Series 应用一个函数
applymap(func)对 DataFrame 的每个元素应用函数（仅对 DataFrame）
groupby(by)分组操作，用于按某一列分组进行汇总统计
pivot_table()创建透视表
merge()合并多个 DataFrame（类似 SQL 的 JOIN 操作）
concat()按行或按列连接多个 DataFrame
to_csv()将 DataFrame 导出为 CSV 文件
to_excel()将 DataFrame 导出为 Excel 文件
to_json()将 DataFrame 导出为 JSON 格式
to_sql()将 DataFrame 导出为 SQL 数据库
query()使用 SQL 风格的语法查询 DataFrame
duplicated()返回布尔值 DataFrame，指示每行是否是重复的
drop_duplicates()删除重复的行
set_index()设置 DataFrame 的索引
reset_index()重置 DataFrame 的索引
transpose()转置 DataFrame（行列交换）
python">import pandas as pd# 创建 DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],'Age': [25, 30, 35, 40],'City': ['New York', 'Los Angeles', 'Chicago', 'Houston']
}
df = pd.DataFrame(data)# 查看前两行数据
print('--------查看前两行数据--------')
print(df.head(2))# 查看 DataFrame 的基本信息
print('--------查看 DataFrame 的基本信息--------')
print(df.info())# 获取描述统计信息
print('--------获取描述统计信息--------')
print(df.describe())# 按年龄排序
print('--------按年龄排序--------')
df_sorted = df.sort_values(by='Age', ascending=False)
print(df_sorted)# 选择指定列
print('--------选择指定列--------')
print(df[['Name', 'Age']])# 按索引选择行
print('--------按索引选择行--------')
print(df.iloc[1:3])  # 选择第二到第三行（按位置）# 按标签选择行
print('--------按标签选择行--------')
print(df.loc[1:2])  # 选择第二到第三行（按标签）# 计算分组统计（按城市分组，计算平均年龄）
print('--计算分组统计（按城市分组，计算平均年龄）--')
print(df.groupby('City')['Age'].mean())# 处理缺失值（填充缺失值）
df['Age'] = df['Age'].fillna(30)# 导出为 CSV 文件
df.to_csv('output.csv', index=False)

 


http://www.ppmy.cn/embedded/161203.html

相关文章

接口自动化测试框架(pytest+allure+aiohttp+ 用例自动生成)

接口自动化测试框架(pytest+allure+aiohttp+ 用例自动生成)

近期准备优先做接口测试的覆盖，为此需要开发一个测试框架，经过思考，这次依然想做点儿不一样的东西。 接口测试是比较讲究效率的，测试人员会希望很快能得到结果反馈，然而接口的数量一般都很多，而且会越来越…
阅读更多...
GWO优化决策树回归预测matlab

GWO优化决策树回归预测matlab

灰狼优化算法（Grey Wolf Optimizer，简称 GWO）是一种群智能优化算法，由澳大利亚格里菲斯大学的 Mirjalii 等人于 2014 年提出。该算法的设计灵感源自灰狼群体的捕食行为，核心思想是模仿灰狼社会的结构与行为模式。 在本…
阅读更多...
Vue2常用指令

Vue2常用指令

一、指令基础概念 在 Vue2 里，指令是带有 v- 前缀的特殊属性。它的主要作用是当表达式的值发生变化时，会相应地将某些特殊的行为应用到 DOM 上。简单来说，指令就是 Vue 提供的一种便捷语法，让我们可以更轻松地操作 DOM 和实现业务…
阅读更多...
绘制中国平安股价的交互式 K 线图

绘制中国平安股价的交互式 K 线图

在本文中，探索如何使用 Python 的强大库进行股市数据分析与可视化。我们将以中国平安（股票代码：sh601318）为例，展示如何获取其股票数据，并绘制一张交互式 K 线图。 K 线图是股市分析中不可或缺的工具，它能够直观地显示股票的波动情况，包括开盘价、收盘价、最高价和最低…
阅读更多...
kafka服务端之控制器

kafka服务端之控制器

文章目录 概述控制器的选举与故障恢复控制器的选举故障恢复 优雅关闭分区leader的选举 概述 在Kafka集群中会有一个或多个broker，其中有一个broker会被选举为控制器（Kafka Controler），它负责管理整个集群中所有分区和副本的状态。…
阅读更多...
Java爬虫：打造高效的数据抓取利器——详解详情接口设计与实现

Java爬虫：打造高效的数据抓取利器——详解详情接口设计与实现

在当今数字化时代，数据如同黄金般珍贵。无论是企业进行市场调研、竞争对手分析，还是研究人员收集信息，数据的需求无处不在。而爬虫技术，作为一种高效的数据抓取手段，成为了众多开发者手中的利器。本文将深入探讨如何使…
阅读更多...
配置 VS Code 调试 ROS Python 脚本：完整步骤

配置 VS Code 调试 ROS Python 脚本：完整步骤

在 Ubuntu 系统上使用 ROS 和 VS Code 进行 Python 开发时，可能会遇到一些环境配置的问题，特别是当需要加载 ROS 环境变量以及确保正确使用 Python 3 环境时。以下是如何配置 launch.json 和 tasks.json 来确保 VS Code 调试环境能够正确加载 ROS 和 Pyt…
阅读更多...
优惠券平台（十五）：实现兑换/秒杀优惠券功能（2）

优惠券平台（十五）：实现兑换/秒杀优惠券功能（2）

业务背景 在上一节中，我们介绍了通过数据库扣减完成用户兑换优惠券的逻辑，这种方式虽然稳妥，但性能有所不足，因为主流程的操作是同步执行的，导致响应时间变长，吞吐量下降。在本章节中，我们通过…
阅读更多...
最新文章

Copyright @ 2022~2023