本文由泡菜国高校于2024年3月6日发表于arXiv，做了一个专门处理运动想象信号的CNN模型，融合了EEGNet和DeepConvNet。

       FingerNet是一种专门用于细致MI分类的网络，利用了时间特征，在相同手部分类任务中表现出比EEGNet和DeepConvNet更好的性能。使用加权交叉熵损失函数来解决类别不平衡问题，减轻模型的偏向性预测。本文计划在未来的工作中改进FingerNet的准确性，设计更有效的网络结构。由于左右手受试者之间的比例不平衡，未来将收集更大、更平衡的数据集，以解决主导手评估MI能力不足的问题。通过提高性能的努力，可以实现对细致MI和粗略MI的有效执行。

论文连接：[2403.03526] FingerNet: EEG Decoding of A Fine Motor Imagery with Finger-tapping Task Based on A Deep Neural Network (arxiv.org)
 

摘要

脑-计算机接口（BCI）技术促进了人脑与计算机之间的通信，主要利用脑电图（EEG）信号来解读人类意图。虽然基于 EEG 的 BCI 系统已经为瘫痪患者开发出来，但正在进行的研究探索了用于言语意象和运动意象（MI）的系统。本研究介绍了 FingerNet，这是一个专门用于细微 MI 分类的网络，与传统的粗略 MI 研究不同。 FingerNet 可以从 EEG 信号中提取空间和时间特征，提高了在同一手中的分类准确性。实验结果表明，在分类五个手指敲击任务方面，包括拇指、食指、中指、无名指和小指的运动，性能显示出明显更高的准确性。 FingerNet 在与传统基线模型 EEGNet 和 DeepConvNet 的比较中表现出优势。FingerNet 的平均准确性为 0.3049，而 EEGNet 和 DeepConvNet 的准确性分别为 0.2196 和 0.2533，低于 FingerNet。统计验证也证明了 FingerNet 在基线网络上的优势。为了解决偏向性预测问题，尤其是拇指和食指类别，我们实施了加权交叉熵，并且还采用了加权交叉熵，这是一种通常用于减轻类别不平衡的方法。 FingerNet 的优化不仅涉及细致的 MI，而且加权交叉熵方法在涉及多类别分类任务的各种领域中具有更广泛的适用性。本研究表明，有效地执行运动意象不仅可以实现细致的 MI，还可以实现局部肌肉 MI。

关键词： BCI, EEG, DL, Motor-Imagery(MI), FingerNet, Five-finger tapping task, weighted cross-entropy

实验与数据

- 9名年龄在20至25岁之间的健康参与者，其中包括4名男性和5名女性，参与了实验。

- 实验方案包括250次重复，分为十个手指类别。

- 参与者经历了两个会话：物理敲击和模拟手指运动。

- 在参与者闭眼放松的情况下，收集了10分钟的脑电图数据。

- 数据收集: 64 channel EEG cap and BrainVision Recorder software (BrainProduct GMbH, Germany),

- 获得了忠北国立大学伦理审查委员会的批准（批准号CBNU-202310-HRHR-0228）。

- 分析了右手五个手指类别和运动想象（MI）会话的数据。

实验流程图

数据采集

模型与结果：

损失函数：

交叉熵、传统加权交叉熵和旨在减少预测偏差的加权交叉熵的公式分别表示为 (1)、(2) 和 (3)。符号 q 和 p 分别代表实际值和预测值。其中，α 相当于类数据数量的倒数，w 表示本研究中设定的启发式权重值。

本文主要适用加权交叉熵，对不同类别的标签进行处理，解决偏向性预测的问题

交叉熵是深度学习训练中的一种主要损失函数，用于计算实际值与预测值之间的差异。它用于评估模型预测的准确性，并引导学习过程。交叉熵更加强调对错误预测的惩罚，而不是对准确预测的奖励。因此，这种方法在学习过程中更加突出地处理了主要类别，导致训练中对次要类别的投入减少。为了解决这一问题，我们实现了加权交叉熵，利用每个类别关联的数据量作为加权因子来调整损失比率。从这个角度出发，我们通过调整权重来预防偏向性预测，从而解决了偏向性预测的问题。我们通过使用加权交叉熵，在特定类别（拇指和食指）的预测失败时增加损失值来解决偏向性预测的问题。这种方法旨在通过为与特定类别相关的错误预测分配更高的惩罚来解决偏向性预测的问题。用于解决类别不平衡的传统加权交叉熵根据数据量调整权重，而用于预防偏向性预测的加权交叉熵则没有确定权重的已建立度量。因此，我们最初将每个类别的权重设置为 1.0，然后通过逐步减少主要预测类别的权重 0.05 来启发式地调整权重，以减轻偏向性预测。

模型：

模型如表1所示，作者将提出的FingerNet模型与EEGNet和DeepConvNet对比，结论是本文模型结构更加复杂，模型层数更多，暗示了更大的存储和运算空间。

EEGNet 是一个使用深度卷积和可分离卷积层从 EEG 信号中提取空间特征的卷积神经网络。为了增强对细微 MI 的分类性能，我们设计了该网络以提取高维时间特征和空间特征。这种方法源自 DeepConvNet 的主要概念，即提取多样化的特征集合，而不受特定类型的限制。我们从这两个基线模型的设计中获得了 FingerNet 设计的灵感。通过将 EEGNet 和 DeepConvNet 的特征结合到 FingerNet 中设计，FingerNet 有利于从 EEG 信号中提取空间和时间高维特征进行细致 MI 分类。FingerNet 通过与 EEGNet 相同的深度和可分离卷积层提取特征，然后是三对类似于 DeepConvNet 的卷积和池化层，从而实现了更高维度特征的提取。为了减少 FingerNet 中多层的复杂性，我们采用了最大范数和丢弃技术。表 I 表示了 EEGNet、DeepConvNet 和 FingerNet 的结构比较。这三个模型都采用了相同的激活函数、优化器和损失函数。

结果：

比较了 EEGNet、DeepConvNet 和 FingerNet 的性能

结论：

       在本文中，我们提出了 FingerNet，这是一种专门用于细致 MI 分类的网络，利用时间特征。与其他基线模型（EEGNet 和 DeepConvNet）相比，FingerNet 在相同手部分类中表现出优势性能。尽管目前的性能受到相对较低的限制，但该模型表明利用高维时间特征和空间特征可以在局部区域对 MI 进行分类的潜力。此外，在本研究中，建议使用加权交叉熵损失函数，这是一种传统的用于解决类别不平衡问题的方法，作为减轻模型偏向性预测的手段。该方法通过调整损失函数在多类别分类中实现平衡的预测，从而有助于实现平衡的预测，特别是在发生偏向性预测的情况下。这意味着在数据获取成本高昂的情况下（如 EEG 数据），修改损失函数以解决偏向性预测可能是一种有益的方法。在未来的工作中，我们将改进 FingerNet 的准确性。正如前面提到的，设计更有效的网络结构非常重要。此外，在这个实验中，左右手受试者之间的比例不平衡。为了解决根据主导手评估 MI 能力的不足，我们计划在未来的工作中收集更大、更平衡的数据集。总之，通过这些提高性能的努力，我们相信不仅可以实现对细致 MI 的有效执行，还可以实现对粗略 MI 的有效执行。