Neuroimage | LMDA-Net第一作者亲自讲述其设计思想

近期，天津大学精仪学院和医工院联合，在神经科学和神经成像顶刊 Neuroimage中发表题为《LMDA-Net: 一种具有通用性和可解释性的轻量级EEG解码网络》的学术论文, 为解决人工神经网络模型在EEG解码时面临的跨数据集泛化性差、预测波动性高和模型可解释性差等问题做出了贡献。本文的论文和代码全部开源，有望在脑机接口系统的应用中发挥重要作用。

EEG信号的解码是神经科学和计算机科学领域的研究热点, 也是脑机接口系统中的关键问题。本文在人工神经网络设计时，充分吸取了EEG解码领域最具影响力的两个网络架构的设计思想---Shallow-ConvNet和EEGNet。前者采用的先时域卷积再空间域卷积的特征提取方式对解码时序EEG数据产生了重要影响, 而后者将可分离卷积的思想应用到人工神经网络的设计中, 让人意识到了轻量级人工神经网络在解码EEG中的优势。

然而在我们之前的工作中,我们注意到Shallow-ConvNet和EEGNet两个经典的网络架构在跨数据的泛化性上表现欠佳，而且Shallow-ConvNet在训练过程中表现出了较高的测试波动性。同时，在Shallow-ConvNet和EEGNet原文中, 虽然对人工神经网络模型进行了可视化, 但是可视化结果的可解释性欠佳, 尤其是很难给出符合神经科学先验知识的解读。

为此，本文深刻剖析了EEG信号采集的原理和人工神经网络的设计过程, 提出了一种基于多维注意力机制的轻量级解码网络LMDA-Net. 同时不同范式EEG信号产生的神经机理不同, 本文针对以错误相关负波(error-related negativity (ERN))为代表的诱发反应（evoked responses）信号和以运动想象(motor imagery (MI))为代表的内源性活动（endogenous activities）, 提出了对应的人工神经网络特征可解释性算法。

# LMDA-Net模型简介

图1：LMDA-Net网络架构图

LMDA-Net主要包含以下三部分。

(1)基准网络：轻量级浅层网络，主要负责EEG特征提取和分类。该部分主要借鉴了Shallow-ConvNet和EEGNet的解码架构设计, 并对卷积网络的参数, 激活函数, 下采样方式做了一些调整。文中为了体现实验的公平性，固体了卷积网络中的超参数。这些超参数也可以根据不同的脑机接口任务进行微调。

(2)通道注意力模块：受源重建（source reconstruction）启发, 通过张量乘积将输入EEG的空间信息扩展到深度维度。该部分的同样存在超参数D，其表示深度信息的维度。在实验中将D固定为9，其同样可以根据不同的任务进行微调。

(3)深度注意力模块：受模糊学习(fuzzy learning)启发, 以促进高维特征的交互。该部分的超参数是K，在文中固定为了7。在论文对应的Github主页，我们针对超参数K提供了可更新和不可更新两种类型的实验设置。在正文中，采用的是不可更新的方式，用来实现高维特征的交互。

实验结果简介:

图2：竞争模型在BCI4-2A，BCI4-2B，BCI3-4a和Kaggle-ERN数据集上的分类性能

作者注: LMDA-Net是一种轻量级的人工神经网络模型, 以BCI4-2A数据集为例, 其只有4284个可学习参数. 在图2中的各个场景中, LMDA-Net也都只训练了300个轮次. LMDA-Net的分类表现使其有潜力在在线脑机接口系统中发挥重要作用.

# 可解释性分析

对ERN信号的可解释性分析:

作者注1：因为ERN信号具有锁时的特点，因此可以将LMDA-Net所学到时域特征和Cz导联ERP的时域特征进行对比。因为Cz导联的ERP曲线图是有神经科学依据的，为此作为人工神经网络时域特征合理性的依据。如果人工神经网络的时域特征具有神经科学可解释性，那么可以进一步定位人工神经网络的空间特征，以此来研究人工神经网络在决策时对空间导联的关注程度。该过程要考虑噪声对可视化结果的干扰，为此我们提出了算法1来降低噪声对结果的影响。

作者注2: 算法1是人工神经网络模型在诱发反应（evoked responses）信号解码中的通用可解释性思想, 也适用于其他场景。

图3：LMDA-Net特征可视化和Cz导联ERP的时域特征以及不同导联显著性时刻的脑地形图的对比

对MI信号的可解释性分析:

作者注1：运动想象信号因为不具有锁时的特点，因此LMDA-Net的时域特征没有明显的单峰性. 因此很难定位到某一个特点时间点对应的显著特征。因此在该部分的可视化中，我们假设运动想象的空间特性是多峰值时间下综合作用的结果, 为此我们提出了算法2, 来可视化多个显著性时间综合作用下的LMDA-Net的空间特征.

作者注2: 算法2是人工神经网络模型在内源性活动（endogenous activities）信号解码中的通用可解释性思想, 也适用于其他场景。