LIF神经元模型的显隐转换

本文星主将介绍LIF神经元模型的显式和隐式转换（星主看见有论文[1]是这个称呼的，所以本文也称显式和隐式），并得到隐式模型的解析解。注意：理解本文内容需要有一定的微积分基础，如果大家看着数学头疼，那么看看结论即可。

1.简介

LIF（Leaky Integrate-and-Fire）神经元模型是计算神经科学中一种经典的数学模型，用于描述生物神经元的动力学行为。它是脉冲神经网络（SNN）中的基础模型之一，简洁而高效。

LIF模型通过一个电路方程模拟神经元的膜电位（membrane potential）变化，当膜电位超过某个阈值时，神经元发放一个脉冲（即“放电”），然后膜电位被重置为静息电位，随后进入一个短暂的“静默期”（也称不应期，Refractory）。星主看过一篇博客，人家是这么理解LIF模型的，简单而言就是“把LIF想像成一个电容，而LIF这三个字母分别对应电容的漏电、充电、放电”，星主感觉还是挺形象的，大家可以自行好好体会一下。

在正式介绍LIF模型的显式和隐式之前，星主先给大家看看从两篇论文中截取的LIF模型：

图1 LIF模型的隐式形式

图2 LIF模型的显式形式

大家第一看感觉是不是这是两个不同的模型，但仔细一想，这两个方程组之间应该存在一定的数学变化，可怎么做呢？欲知后事如何，请听下面分解。

2.显隐转换

图1和图2分别给出了LIF模型的隐式和显式形式，其中 $eq?%5Ctau$ 是一个时间常数， $eq?I$ 是前突触输入（把它理解为输入就行了）， $eq?u$ 是膜电位， $eq?u_%7Breset%7D$ 是静息电位， $eq?V_%7Bth%7D$ 是阈值电压。 $eq?S_t$ 是脉冲（spike）。

在正式推导之前，先解释一下为什么要进行转换？这篇论文[1]里是这么说的：便于使用现有的深度学习框架（Tensorflow，Pytorch）进行编程。

下面转换使用的是Euler（欧拉）方法，而Euler方法是 $eq?u_%7Bt+1%7D%3Du_t+%5Cfrac%7Bdu%7D%7Bdt%7D%5Ccdot%20dt$ ，其中 $eq?u_t$ 表示在时间 $eq?t$ 时的近似值，而 $eq?u_%7Bt+1%7D$ 则是在时间 $eq?t+dt$ 时的近似值。

隐式微分方程：

$eq?%5Ctau%20%5Cfrac%7Bdu%7D%7Bdt%7D%3D-u+I$

将其重新排列为：

$eq?%5Cfrac%7Bdu%7D%7Bdt%7D%3D-%5Cfrac%7Bu%7D%7B%5Ctau%7D+%5Cfrac%7BI%7D%7B%5Ctau%7D$

将导数导入Euler公式（ $eq?u$ 变为 $eq?u_t$ ）:

$eq?u_%7Bt+1%7D%3Du_t+%28-%5Cfrac%7Bu_t%7D%7B%5Ctau%7D+%5Cfrac%7BI%7D%7B%5Ctau%7D%29dt$

分配 $eq?dt$ ：

$eq?u_%7Bt+1%7D%3Du_t-%5Cfrac%7Bu_t%7D%7B%5Ctau%7Ddt+%5Cfrac%7BI%7D%7B%5Ctau%7Ddt$

提取 $eq?u_t$ ：

$eq?u_%7Bt+1%7D%3D%281-%5Cfrac%7Bdt%7D%7B%5Ctau%7D%29u_t+%5Cfrac%7Bdt%7D%7B%5Ctau%7DI$

这不就是图2中的1式吗，如何理解这个式子呢？星主觉得可以看成是加权求和，即下一时刻的膜电位由当前时刻的膜电位和前突触的输入共同决定（图2中1式前面的系数可以理解为权重）。

3.求解

接下来展示如何求解图1中的1式，求解这个式子有多种方法，如积分因子法、齐次解加特解法，还可以用拉普拉斯变换法，而下面只介绍积分因子法。

方程两边同时除以 $eq?%5Ctau$ ：

$eq?%5Cfrac%7Bdu%7D%7Bdt%7D%3D-%5Cfrac%7Bu%7D%7B%5Ctau%7D+%5Cfrac%7BI%7D%7B%5Ctau%7D$

移动其中一项：

$eq?%5Cfrac%7Bdu%7D%7Bdt%7D+%5Cfrac%7B1%7D%7B%5Ctau%7Du%3D%5Cfrac%7BI%7D%7B%5Ctau%7D$

这个式子是一阶线性常微分方程，形式为：

$eq?%5Cfrac%7Bdu%7D%7Bdt%7D+P%28t%29u%3DQ%28t%29$

其中， $eq?P%28t%29%3D%5Cfrac%7B1%7D%7B%5Ctau%7D%2CQ%28t%29%3D%5Cfrac%7BI%7D%7B%5Ctau%7D$

积分因子 $eq?u%28t%29$ 可以表示为：

$eq?u%28t%29%3De%5E%7B%5Cint%20P%28t%29dt%7D%3De%5E%7B%5Cint%20%5Cfrac%7B1%7D%7B%5Ctau%7Ddt%7D%3De%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D$

微分方程两边同时乘以积分因子 $eq?u%28t%29$ ：

$eq?e%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D%20%5Ccdot%20%5Cfrac%7Bdu%7D%7Bdt%7D%20+e%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D%5Ccdot%20%5Cfrac%7B1%7D%7B%5Ctau%7Du%3De%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D%5Ccdot%20%5Cfrac%7BI%7D%7B%5Ctau%7D$

左边应该是 $eq?u%5Ccdot%20u%28t%29$ 的导数：

$eq?%5Cfrac%7Bd%7D%7Bdt%7D%28u%5Ccdot%20e%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D%29%3De%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D%5Ccdot%20%5Cfrac%7BI%7D%7B%5Ctau%7D$

对两边关于 $eq?t$ 进行积分：

$eq?%5Cint%20%5Cfrac%7Bd%7D%7Bdt%7D%28u%5Ccdot%20e%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D%29dt%3D%5Cint%20e%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D%5Ccdot%20%5Cfrac%7BI%7D%7B%5Ctau%7Ddt$

即：

$eq?u%5Ccdot%20e%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D%20%3D%20%5Cint%20e%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D%5Ccdot%20%5Cfrac%7BI%7D%7B%5Ctau%7Ddt+C$

其中 $eq?C$ 是积分常数

计算右边的积分：

$eq?%5Cint%20e%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D%5Ccdot%5Cfrac%7BI%7D%7B%5Ctau%7Ddt%3D%5Cfrac%7BI%7D%7B%5Ctau%7D%5Cint%20e%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7Ddt$

令 $eq?z%3D%5Cfrac%7Bt%7D%7B%5Ctau%7D$ ，则 $eq?dz%3D%5Cfrac%7B1%7D%7B%5Ctau%7Ddt$ ，即 $eq?dt%3D%5Ctau%20dz$ 。代入得：

$eq?%5Cfrac%7BI%7D%7B%5Ctau%7D%5Ccdot%20%5Ctau%20%5Cint%20e%5E%7Bz%7Ddz%3DI%20%5Cint%20e%5Ez%20dz%3DIe%5Ez+C%3DIe%5E%7B%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D+C$

整理得：

$eq?u%28t%29%3DI+Ce%5E%7B-%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D$

根据LIF神经元模型的图像（如下图3所示）可知，解应为 $eq?u%28t%29%3DI-Ce%5E%7B-%5Cfrac%7Bt%7D%7B%5Ctau%7D%7D$ 。

图3 LIF模型的图像

解的含义是：神经元在未激活时，有部分成指数级衰减。

参考文献

[1] Wu Y, Deng L, Li G, et al. Direct training for spiking neural networks: Faster, larger, better[C]//Proceedings of the AAAI conference on artificial intelligence. 2019, 33(01): 1311-1318.