生成对抗网络模拟缺失数据，辅助PAMAP2数据集仿真实验

devtools/2024/11/25 23:19:11/

在这里插入图片描述
PAMAP2数据集是一个包含丰富身体活动信息的数据集，它为我们提供了一个理想的平台来开发和测试HAR模型。本文将从数据集的基本介绍开始，逐步引导大家通过数据分割、预处理、模型训练，到最终的性能评估，在接下来的章节中，我们将详细介绍PAMAP2数据集的特点、数据预处理的关键步骤、CNN模型的训练过程，以及如何通过混淆矩阵、雷达图和柱状图等工具来展示和分析模型的性能。我们期望通过本文的分享，能够激发更多研究者和开发者对HAR技术的兴趣，并促进该领域的技术进步和应用创新。

一、PAMAP2数据集分析及介绍

1.概述

PAMAP2（Physical Activity Monitoring 2）数据集是一个全面的身体活动监测数据集，记录了18种不同身体活动，如步行、骑车、踢足球等。这些活动数据由9名受试者在进行活动时佩戴的多个传感器收集得到。此数据集是活动识别、强度估计以及相关算法开发和应用研究的宝贵资源。

2.受试者与设备

  • 受试者: 数据集收集自9名受试者。
  • 传感器设备:
    • 3 Colibri无线惯性测量单元(IMU):
      • 采样频率: 100Hz
      • 传感器位置:
        • 1个IMU佩戴在受试者优势手臂的手腕上
        • 1个IMU佩戴在胸部
        • 1个IMU佩戴在优势侧的脚踝
    • 心率监测器(HR-monitor):
      • 采样频率: 约9Hz

3.数据收集方案

每位受试者都按照一个包含12种不同活动的预定方案进行活动。数据被分为两个主要部分：Protocol 和 Optional。

  • Protocol 文件夹包含所有受试者必须完成的标准活动录音。
  • Optional 文件夹包含一些受试者执行的可选活动录音。

3.数据文件

  • 原始感官数据以空格分隔的文本文件(.dat)格式提供。
  • 数据文件中缺失的值用 NaN 表示。
  • 每个文件对应一个会话，包含时间戳和标记的感官数据实例。
  • 数据文件共有54列，包括时间戳、活动标签和52个原始感知数据属性。

4.属性信息

数据文件中54列的组织如下：

  1. 时间戳（秒）
  2. 活动ID（见下文活动映射）
  3. 心率（每分钟心跳次数，bpm）
    4-20. 手腕处IMU的数据
    21-37. 胸部IMU的数据
    38-54. 脚踝处IMU的数据

我们引入了传感器融合技术，将IMU数据与环境变量相结合。IMU的感官数据经过高级滤波和校准，包括但不限于：1. 温度补偿以消除温度对传感器读数的影响；2-4. 经过卡尔曼滤波的三维加速度数据，以优化动态范围和分辨率；5-7. 融合磁力计数据以校正加速度计的偏移和尺度因子，增强方向感知能力。

活动ID与对应活动列表

以下是活动ID和对应的活动列表：

  • 1: 躺
  • 2: 坐
  • 3: 站
  • 4: 步行
  • 5: 跑步
  • 6: 骑自行车
  • 7: 北欧行走
  • 9: 看电视
  • 10: 计算机工作
  • 11: 驾车
  • 12: 上楼梯
  • 13: 下楼梯
  • 16: 用真空吸尘器打扫
  • 17: 熨烫
  • 18: 叠衣服
  • 19: 打扫房间
  • 20: 踢足球
  • 24: 跳绳
  • 0: 其他（瞬变活动）

二、PAMAP2数据集分割及处理

下面我将详细介绍如何对 PAMAP2 数据集进行分割和预处理，以便用于人体活动识别（HAR）的研究。

1.数据分割策略

我们采用两种数据分割策略：留一法和平均法。留一法是将一个受试者的数据作为验证集，其余作为训练集。平均法则是按照一定的比例将数据集分割为训练集和验证集。

2.预处理步骤

在下载数据集的基础上，我们增加了数据清洗步骤，包括去除无效或冗余的记录，识别并填补数据中的异常值，以及同步多个传感器的时间戳，确保数据的一致性和准确性：

  1. 数据读取：使用 Pandas 库读取数据集文件，我们只读取有效的列，包括活动标签和传感器数据。

  2. 数据插值：由于原始数据中可能存在缺失值，我们采用线性插值方法填充这些缺失值。

  3. 降采样：将数据从 100Hz 降采样至 33.3Hz，以减少计算量并提高模型的泛化能力。

  4. 去除无效类别：在 PAMAP2 数据集中，某些活动类别可能没有数据或数据量极少，我们将这些类别的数据去除。

  5. 滑窗处理：为了使数据适用于时间序列模型，我们将数据进行滑窗处理，生成固定大小的窗口数据。

  6. 数据标准化：为了提高模型的训练效率和性能，我们对数据进行 Z-score 标准化。

  7. 数据保存：最后，我们将预处理后的数据保存为 .npy 文件，以便于后续使用。

3.代码实现

以下是对 PAMAP2 数据集进行分割和预处理的详细代码分析。

导入必要的库

import os
import numpy as np
import pandas as pd
import sys
from utils import *  # 假设 utils 模块包含辅助函数

定义 PAMAP 函数

def PAMAP(dataset_dir='./PAMAP2_Dataset/Protocol', WINDOW_SIZE=171, OVERLAP_RATE=0.5, SPLIT_RATE=(8, 2), VALIDATION_SUBJECTS={105}, Z_SCORE=True, SAVE_PATH=os.path.abspath('../../HAR-datasets')):

函数参数说明：

dataset_dir: 数据集目录

WINDOW_SIZE: 滑窗大小

OVERLAP_RATE: 滑窗重叠率

SPLIT_RATE: 训练集与验证集的比例

VALIDATION_SUBJECTS: 留一法验证集的受试者编号

Z_SCORE: 是否进行 Z-score 标准化

SAVE_PATH: 预处理后数据的保存路径

读取和处理数据

for file in os.listdir(dataset_dir):# 解析文件名获取受试者 IDsubject_id = int(file.split('.')[0][-3:])# 读取数据content = pd.read_csv(os.path.join(dataset_dir, file), sep=' ', usecols=[1]+[*range(4,16)]+[*range(21,33)]+[*range(38,50)])# 数据插值content = content.interpolate(method='linear', limit_direction='forward', axis=0).to_numpy()# 降采样data = content[::3, 1:]  # 数据label = content[::3, 0]  # 标签# 去除无效类别data = data[label != 0]label = label[label != 0]# 滑窗处理cur_data = sliding_window(array=data, windowsize=WINDOW_SIZE, overlaprate=OVERLAP_RATE)

这段代码首先遍历数据集目录中的每个文件，然后读取有效列的数据，并进行线性插值、降采样和滑窗处理。

数据分割

if VALIDATION_SUBJECTS and subject_id in VALIDATION_SUBJECTS:# 留一法，当前受试者为验证集xtest += cur_dataytest += [category_dict[label[0]]] * len(cur_data)
else:# 平均法，根据比例分割训练集和验证集trainlen = int(len(cur_data) * SPLIT_RATE[0] / sum(SPLIT_RATE))testlen = len(cur_data) - trainlenxtrain += cur_data[:trainlen]xtest += cur_data[trainlen:]ytrain += [category_dict[label[0]]] * trainlenytest += [category_dict[label[0]]] * testlen

根据是否采用留一法或平均法，将数据分割为训练集和验证集。

数据标准化

if Z_SCORE:xtrain, xtest = z_score_standard(xtrain=xtrain, xtest=xtest)

如果需要，对数据进行 Z-score 标准化。

数据保存

if SAVE_PATH:save_npy_data(dataset_name='PAMAP2',root_dir=SAVE_PATH,xtrain=xtrain,xtest=xtest,ytrain=ytrain,ytest=ytest)

将预处理后的数据保存为 .npy 文件。

训练结果

经过对数据集训练之后，我们发现结果并不尽如人意， CNN模型在PAMAP2数据集上的准确率不足80%！这对于实验来说是非常失败的！

PAMAP2数据集虽然是一个宝贵的资源，但在实际应用中，数据集的完整性和一致性对于训练有效的人体活动识别（HAR）模型至关重要，缺失数据会降低模型的泛化能力和准确性，我们观察发现其数据中很多为NaN的缺失情况：

在这里插入图片描述

在现实世界中，尤其是在移动设备或可穿戴设备收集的人体活动监测数据中，数据缺失是一个常见问题。这可能是由于传感器故障、电池耗尽、用户未正确佩戴设备等原因造成的。这时我们可通过生成对抗网络（GAN）来模拟缺失数据，提高模型对未见数据的泛化能力。

三、生成对抗网络（GAN）模拟缺失数据

在这里插入图片描述

GAN由两部分组成：生成器（Generator）和判别器（Discriminator）。生成器的目标是产生逼真的数据，而判别器的目标是区分生成的数据和真实的数据。

生成器架构：通常包含若干层转置卷积（用于数据的上采样）和批量归一化层。在HAR数据集中，生成器将学习如何填补缺失的传感器数据。

class Generator(nn.Module):def __init__(self, input_size, output_size):super(Generator, self).__init__()self.main = nn.Sequential(nn.Linear(input_size, 128),nn.LeakyReLU(0.2, inplace=True),nn.Linear(128, 256),nn.LeakyReLU(0.2, inplace=True),nn.Linear(256, output_size),nn.Tanh())def forward(self, noise):return self.main(noise)
  • 判别器架构：通常包含若干层卷积和池化层，以及全连接层，用于评估数据的真实性。
class Discriminator(nn.Module):def __init__(self, input_size):super(Discriminator, self).__init__()self.main = nn.Sequential(nn.Linear(input_size, 256),nn.LeakyReLU(0.2, inplace=True),nn.Linear(256, 128),nn.LeakyReLU(0.2, inplace=True),nn.Linear(128, 1),nn.Sigmoid())def forward(self, input):return self.main(input)

生成器和判别器在对抗过程中同时训练。生成器试图“欺骗”判别器，而判别器则不断学习以更好地区分真假数据，交替训练生成器和判别器，生成器产生数据，判别器评估数据并提供反馈。

class Autoencoder(nn.Module):def __init__(self, input_size, encoding_dim):super(Autoencoder, self).__init__()self.encoder = nn.Sequential(nn.Linear(input_size, encoding_dim),nn.ReLU(True),nn.Linear(encoding_dim, encoding_dim // 2),nn.ReLU(True))self.decoder = nn.Sequential(nn.Linear(encoding_dim // 2, encoding_dim),nn.ReLU(True),nn.Linear(encoding_dim, input_size),nn.Sigmoid())def forward(self, x):x = self.encoder(x)x = self.decoder(x)return x

GAN模型训练

选择PAMAP2数据集中的部分数据作为训练集，人为引入缺失值以模拟数据缺失情况，定义生成器和判别器的网络结构，选择合适的损失函数和优化器，执行生成器和判别器的对抗训练，调整超参数以获得最佳性能。

latent_dim = 100  # 潜在维度
generator = Generator(latent_dim, input_size)  # input_size 是数据的维度
discriminator = Discriminator(input_size)
criterion = nn.BCELoss()train_gan(generator, discriminator, dataloader, latent_dim, n_epochs=50, batch_size=64)

对PAMAP2数据集进行预处理，包括归一化和去除无关特征，设计自编码器的编码器和解码器部分，选择合适的层数和神经元数量，训练自编码器并使用其编码器部分提取特征，这些特征随后用于HAR模型的训练。

encoding_dim = 64  # 编码维度
autoencoder = Autoencoder(input_size, encoding_dim)train_autoencoder(autoencoder, dataloader, n_epochs=50, batch_size=64)

经过GAN和自编码器来增强过的PAMAP2数据集，很多为NaN缺失的数据已经变成了正常的数据：
在这里插入图片描述

四、训练结果

  • 使用增强后的数据集训练HAR模型，并评估其性能；

1.评估及结果展示

具体评估代码：

# 计算评估指标
accuracy = accuracy_score(all_labels, all_preds)
report = classification_report(all_labels, all_preds, output_dict=True, zero_division=1)
precision = report['weighted avg']['precision']
recall = report['weighted avg']['recall']
f1_score = 2 * precision * recall / (precision + recall)
# 计算推理时间
inference_end_time = time.time()
inference_time = inference_end_time - inference_start_time# 打印结果
print(f'Epoch: {i}, Train Loss: {loss}, Test Acc: {accuracy:.4f},Precision: {precision:.4f}, Recall: {recall:.4f}, F1 Score: {f1_score:.4f}, Inference Time: {inference_time:.4f} seconds')

结果展示：

image.png

模型名称准确率(Accuracy)精确率(Precision)召回率(Recall)F1分数(F1-score)参数量(Parameters)推理时间(Inference Time)
CNN0.90670.91210.90670.90947403640.00060.6517

通过比较使用原始数据集和增强数据集训练的模型，可以验证GAN在模拟缺失数据方面的效果非常好，CNN模型在PAMAP2数据集上表现出色，准确率达到了90.67%，并且具有均衡的精确率（91.21%）、召回率（90.67%）和F1分数（90.94%），同时模型参数量为740364，推理时间仅为0.6517毫秒，显示出了高效的实时预测能力。

2.可视化结果展示

混淆矩阵图

混淆矩阵是一个非常重要的工具，它可以展示模型在各个类别上的性能，特别是错误分类的情况。

conf_matrix = confusion_matrix(all_labels, all_preds, normalize='true')
# print(conf_matrix)# 自定义类别标签列表
class_labels = ['Lying', 'Sitting', 'Standing', 'Walking', 'Running', 'Cycling','Nordic walking','Ascending stairs','Descending stairs','Vacuum cleaning','Ironing','Rope jumping']plt.figure(figsize=(12, 12))  # 可以根据需要调整这里的值
# 使用 seaborn 的 heatmap 函数绘制归一化的混淆矩阵
ax = sns.heatmap(conf_matrix, annot=True, fmt='.4f', cmap='Blues',xticklabels=class_labels, yticklabels=class_labels,square=True, linewidths=.5)# 确保 x 轴和 y 轴的标签是字符串类型
ax.set_xticklabels(class_labels, rotation=45)
ax.set_yticklabels(class_labels)

image.png

雷达图

雷达图可以展示模型在多个维度上的性能：

fig, ax = plt.subplots(figsize=(12, 12), subplot_kw=dict(polar=True))# 绘制每个行为的雷达图
ax.plot(angles, beh, linestyle='-', linewidth=2)
ax.fill(angles, beh, alpha=0.25)# 设置雷达图的刻度和标签
ax.set_xticks(angles)
#ax.set_xticklabels(['Walking', 'Walking Upstairs', 'Walking Downstairs', 'Sitting', 'Standing', 'Laying'])
ax.set_xticklabels(['Lying', 'Sitting', 'Standing', 'Walking', 'Running', 'Cycling','Nordic walking','Ascending stairs','Descending stairs','Vacuum cleaning','Ironing','Rope jumping'])

image.png

仿真指标柱状图

柱状图可以用于展示各个类别的精确率，帮助我们快速识别模型在哪些类别上表现更好或需要改进：

class_labels = ['Lying', 'Sitting', 'Standing', 'Walking', 'Running', 'Cycling','Nordic walking','Ascending stairs','Descending stairs','Vacuum cleaning','Ironing','Rope jumping']# 计算每个类别的精确率
precisions = {}
for label in unique_labels:# 为当前类别创建一个二进制的标签数组y_true = np.where(all_labels == label, 1, 0)y_pred = np.where(all_preds == label, 1, 0)precision = precision_score(y_true, y_pred, average='binary')precisions[label] = precision

image.png

通过这种方式，GAN不仅解决了数据缺失的问题，还提高了数据集的质量和多样性，从而为训练更准确、更鲁棒的HAR模型提供了支持。


http://www.ppmy.cn/devtools/136963.html

相关文章

大数据实验4-HBase

大数据实验4-HBase

一、实验目的 阐述HBase在Hadoop体系结构中的角色；能够掌握HBase的安装和配置方法熟练使用HBase操作常用的Shell命令； 二、实验要求 学习HBase的安装步骤，并掌握HBase的基本操作命令的使用； 三、实验平台 操作系统&#xff1…
阅读更多...
【Node.js】全面解析 Node.js 安全最佳实践：保护您的应用

【Node.js】全面解析 Node.js 安全最佳实践：保护您的应用

Node.js 是一种强大的 JavaScript 运行时，广泛用于构建现代 Web 应用和 API。然而，由于其开放性和异步特性，Node.js 应用容易受到多种安全威胁的攻击，比如 SQL 注入、跨站脚本 (XSS) 和拒绝服务攻击 (DoS)。在本文中，我…
阅读更多...
Leetcode 生命游戏

Leetcode 生命游戏

以下是上述Java代码的算法思想及其逻辑的中文解释： 算法思想 这段代码实现了LeetCode第289题“生命游戏”的解决方案。核心思想是： 利用原地修改的方式（in-place）存储下一状态的变化： 通过引入额外的状态值&#xff0…
阅读更多...
【网络安全设备系列】3、IPS（入侵防御系统）

【网络安全设备系列】3、IPS（入侵防御系统）

0x00 定义： 入侵防御系统是一部能够监视网络或网络设备的网络资料传输行为的计算机网络安全设备，能够即时的中断、调整或隔离一些不正常或是具有伤害性的网络资料传输行为。 0x01 产生背景 ： 1、串行部署的防火墙可以拦截低层攻击行为&a…
阅读更多...
如何在React中服务器操作提交表单后（不）重置表单？

如何在React中服务器操作提交表单后（不）重置表单？

在 React 中使用服务器操作提交表单时，你可能会遇到这样一个问题：如何在服务器操作执行后（不）重置表单。这取决于你在 React 之上使用的框架，表单可能会自动重置，也可能需要你手动重置。 在 React 中&…
阅读更多...
SQLAlchemy，ORM的Python标杆！

SQLAlchemy，ORM的Python标杆！

嗨，Python的小伙伴们！今天咱们来了解 SQLAlchemy，这可是对象关系映射（ORM）里的超级标杆哦！它就像一座神奇的桥梁，能让我们用 Python 代码轻松地和数据库打交道，不用写复杂的 SQL 语句…
阅读更多...
HBase 原理

HBase 原理

一、HBase系统架构 HBase采用主从架构，主要由以下几个组件组成： Client：客户端，可以是HBase Shell、Java API客户端、Rest API等，提供访问接口，并维护对应的缓存以加速HBase的访问。客户端缓存Region的位…
阅读更多...
android 实现答题功能

android 实现答题功能

一、效果 二、实现思路 1、界面实现 实现起来其实不难，首先我们可以看到，界面是由答题进度、题目、选项ABCD组成，现在就是要考虑实现方式，答题进度可以使用Textviewprogressbar实现，题目直接使用Textview，…
阅读更多...
最新文章

Copyright @ 2022~2023