Python NumPy 数据分析:处理复杂数据的高效方法

embedded/2024/12/31 0:11:33/

Python NumPy 数据分析:处理复杂数据的高效方法

文章目录

  • Python NumPy 数据分析:处理复杂数据的高效方法
      • 一 数据来源
      • 二 获取指定日期数据
      • 三 获取指定行列数据
      • 四 求和计算
      • 五 比例计算
      • 六 平均值和标准差
      • 七 完整代码示例
      • 八 源码地址

本文详细介绍了如何使用 Python 和 NumPy 对复杂数据进行高效的数据分析。通过从 Kaggle 获取的公开数据集,演示了如何读取 CSV 文件、提取特定日期和字段的数据,并进行数据的统计与分析。本文展示了使用 NumPy 进行数据操作的便捷方式,如通过索引获取指定行列数据,计算累计数值和新增长的总数,还讲解了如何计算比率、平均值、标准差等关键统计数据。文章还包括完整的代码示例,帮助读者轻松上手进行复杂数据的分析任务。

导入 NumPy

python">import numpy as np

一 数据来源

数据来源:Kaggle 上的公开数据集 ,读取数据如下:

python">def get_result():with open("csv/your_data.csv", "r", encoding="utf-8") as f:data = f.readlines()your_data = {"date": [],"data": [],"header": [h for h in data[0].strip().split(",")[1:]]}for row in data[1:]:split_row = row.strip().split(",")your_data["date"].append(split_row[0])your_data["data"].append([float(n) for n in split_row[1:]])return your_data

数据太多可以先看少部分数据,如下:

python">    # 获取少数行数据print(your_data["data"][:2])print(your_data["date"][:5])

二 获取指定日期数据

python">date_idx = your_data["date"].index("2020-02-03")
print("日期->索引转换:", date_idx)data = np.array(your_data["data"])for header, number in zip(your_data["header"], data[date_idx]):print(header, ":", number)

三 获取指定行列数据

python"># 获取指定行列数据
row_idx = your_data["date"].index("2020-01-24")  # 获取日期索引
column_idx = your_data["header"].index("Confirmed")  # 获取标题的索引
confirmed0124 = data[row_idx, column_idx]
print("截止 2020-01-24 的累积数:", confirmed0124)row_idx = your_data["date"].index("2020-07-23")  # 获取日期索引
column_idx = your_data["header"].index("New deaths")  # 获取标题的索引
result = data[row_idx, column_idx]
print("截止 2020-07-23 的数:", result)

四 求和计算

python"># 总增长数
row1_idx = your_data["date"].index("2020-01-25")
row2_idx = your_data["date"].index("2020-07-22")
new_cases_idx = your_data["header"].index("New cases")# 注意要 row1_idx + 1 得到从 01-25 这一天的新增
# row2_idx + 1 来包含 7 月 22 的结果
new_cases = data[row1_idx + 1: row2_idx + 1, new_cases_idx]
# print(new_cases)
overall = new_cases.sum()
print("总共:", overall)

五 比例计算

python"># 比例计算
new_cases_idx = your_data["header"].index("New cases")
new_recovered_idx = your_data["header"].index("New recovered")not_zero_mask = data[:, new_recovered_idx] != 0
ratio = data[not_zero_mask, new_cases_idx] / data[not_zero_mask, new_recovered_idx]

代码中出现 nannannumpy 中表示的是 Not a Number,说明计算有问题,代码 not_zero_mask = data[:, new_recovered_idx] != 0 避免除数为 0 的情况。

六 平均值和标准差

python"># 平均值, 标准差
ratio_mean = ratio.mean()
ratio_std = ratio.std()
print("平均比例:", ratio_mean, ";标准差:", ratio_std)

平均比例 和 标准差计算。

七 完整代码示例

python"># This is a sample Python script.# Press ⌃R to execute it or replace it with your code.
# Press Double ⇧ to search everywhere for classes, files, tool windows, actions, and settings.
import numpy as np# 读取数据
def get_result():with open("csv/your_data.csv", "r", encoding="utf-8") as f:data = f.readlines()your_data = {"date": [],"data": [],"header": [h for h in data[0].strip().split(",")[1:]]}for row in data[1:]:split_row = row.strip().split(",")your_data["date"].append(split_row[0])your_data["data"].append([float(n) for n in split_row[1:]])return your_datadef print_hi(name):# Use a breakpoint in the code line below to debug your script.print(f'Hi, {name}')  # Press ⌘F8 to toggle the breakpoint.your_data = get_result()# 获取少数行数据print(your_data["data"][:2])print(your_data["date"][:5])# 获取指定日期数据date_idx = your_data["date"].index("2020-02-03")print("2020-02-03 日期->索引转换:", date_idx)data = np.array(your_data["data"])for header, number in zip(your_data["header"], data[date_idx]):print(header, ":", number)# 获取指定行列数据row_idx = your_data["date"].index("2020-01-24")  # 获取日期索引column_idx = your_data["header"].index("Confirmed")  # 获取标题的索引confirmed0124 = data[row_idx, column_idx]print("截止 2020-01-24 的累积数:", confirmed0124)row_idx = your_data["date"].index("2020-07-23")  # 获取日期索引column_idx = your_data["header"].index("New deaths")  # 获取标题的索引result = data[row_idx, column_idx]print("截止 2020-07-23 的数:", result)# 求和计算row1_idx = your_data["date"].index("2020-01-25")row2_idx = your_data["date"].index("2020-07-22")new_cases_idx = your_data["header"].index("New cases")# 注意要 row1_idx + 1 得到从 01-25 这一天的新增# row2_idx + 1 来包含 7 月 22 的结果new_cases = data[row1_idx + 1: row2_idx + 1, new_cases_idx]# print(new_cases)overall = new_cases.sum()print("总共:", overall)# 比例计算new_cases_idx = your_data["header"].index("New cases")new_recovered_idx = your_data["header"].index("New recovered")not_zero_mask = data[:, new_recovered_idx] != 0ratio = data[not_zero_mask, new_cases_idx] / data[not_zero_mask, new_recovered_idx]# 平均值, 标准差ratio_mean = ratio.mean()ratio_std = ratio.std()print("平均比例:", ratio_mean, ";标准差:", ratio_std)if __name__ == '__main__':print_hi('数据分析')# See PyCharm help at https://www.jetbrains.com/help/pycharm/

复制粘贴并覆盖到你的 main.py 中运行,运行结果如下。

python">Hi, 数据分析
[[555.0, 17.0, 28.0, 510.0, 0.0, 0.0, 0.0, 3.06, 5.05, 60.71, 6.0], [654.0, 18.0, 30.0, 606.0, 99.0, 1.0, 2.0, 2.75, 4.59, 60.0, 8.0]]
['2020-01-22', '2020-01-23', '2020-01-24', '2020-01-25', '2020-01-26']
2020-02-03 日期->索引转换: 12
Confirmed : 19887.0
Deaths : 426.0
Recovered : 604.0
Active : 18857.0
New cases : 3100.0
New deaths : 64.0
New recovered : 145.0
Deaths / 100 Cases : 2.14
Recovered / 100 Cases : 3.04
Deaths / 100 Recovered : 70.53
No. of countries : 25.0
截止 2020-01-24 的累积数: 941.0
截止 2020-07-23 的数: 9966.0
总共: 15247309.0
平均比例: 7.049556348053241 ;标准差: 19.094025710450307

八 源码地址

代码地址:

国内看 Gitee 之 numpy/数据分析.py

国外看 GitHub 之 numpy/数据分析.py

引用 莫烦 Python


http://www.ppmy.cn/embedded/121073.html

相关文章

HTML5实现好看的唐朝服饰网站模板源码2

文章目录 1.设计来源1.1 网站首页1.2 唐装演变1.3 唐装配色1.4 唐装花纹1.5 唐装文化 2.效果和源码2.1 动态效果2.2 源代码 源码下载万套模板,程序开发,在线开发,在线沟通 作者:xcLeigh 文章地址:https://blog.csdn.ne…

Qemu开发ARM篇-7、uboot以及系统网络连接及配置

文章目录 1、uboot及linux版本网络设置1、宿主机虚拟网卡创建2、uboot使用tap0网卡3、启动测试 2、访问外网设置 在上一篇Qemu开发ARM篇-6、emmc/SD卡AB分区镜像制作并通过uboot进行挂载启动中,我们制作了AB分区系统镜像,并成功通过uboot加载kernel以及d…

Flutter调试模式简介

在 Flutter 中,Profile 模式 是介于 Debug 和 Release 之间的运行模式,主要用于分析应用的性能,但同时保留一些有限的调试功能。它能够让你观察应用在接近生产环境下的表现,同时提供性能分析工具,如帧率、内存占用等&a…

Meta首款多模态Llama 3.2开源:支持图像推理,还有可在手机上运行的版本 | LeetTalk Daily...

“LeetTalk Daily”,每日科技前沿,由LeetTools AI精心筛选,为您带来最新鲜、最具洞察力的科技新闻。 Meta最近推出的Llama Stack的发布标志着一个重要的里程碑。这一新技术的推出不仅为开发者提供了强大的多模态能力,还为企业和初…

【JAVA高级】 redis分布式双重加锁(业务校验:防止接口并发调用时数据重复)

文章目录 此问题的考虑思路使用Redis的key-value锁的基本思路结合Redis数据结构实现避免重复注意事项实现代码只避免 name和age的重复避免 name和age的和age和sex重复:使用双重的分布式锁实现: 背景:在日常开发过程中,遇到了一个需…

无人机视角垃圾检测数据集,26700余张无人机图像,超过4万标注信息,共3.6GB数据量,可用于环卫快速检查,垃圾快速定位等应用。

无人机视角垃圾检测,26700余张无人机图像,超过4万标注信息,共3.6GB数据量,可用于环卫快速检查,垃圾快速定位等应用。 名称 无人机视角垃圾检测数据集 规模 图像数量:26700余张标注信息:超过4…

微服务nginx解析部署使用全流程

目录 1、nginx介绍 1、简介 2、反向代理 3、负载均衡 2、安装nginx 1、下载nginx 2、解压nginx安装包 3、安装nginx​编辑 1、执行configure命令 2、执行make命令 4、启动nginx 1、查找nginx位置并启动 2、常用命令 3、反向代理 1、介绍反向代理配置 1、基础配置…

【Linux进程间通信】Linux匿名管道详解:构建进程间通信的隐形桥梁

📝个人主页🌹:Eternity._ ⏩收录专栏⏪:Linux “ 登神长阶 ” 🌹🌹期待您的关注 🌹🌹 ❀Linux进程间通信 📒1. 进程间通信介绍📚2. 什么是管道📜3…