SNN综述(2)：生物可解释的脉冲神经网络

Biologically Plausible Spiking Neural Networks

作者：Aboozar Taherkhani, Ammar Belatreche, Yuhua Li, Georgina Cosma, Liam P. Maguire, T.M. McGinnity
译者：TianlongLee
时间：2020
原文链接：A review of learning in biologically plausible spiking neural networks

脉冲神经网络根据关注点和实现手段不同也可以分为若干小的方向，这篇综述聚焦于生物可解释的手段，这里略作翻译以备查看方便，个别字句略有不通，个别专业术语可能翻译不当，望见谅，也希望能够对同行有所帮助，欢迎点赞关注评论，共同进步。
如果大家对综述里的内容有什么疑问或想法，欢迎留言与私信，也欢迎大家指出其中错误。

摘要

人工神经网络（Artificial Neural Network，ANN）作为一种强大的处理工具，已经用于模式识别、控制、机器人和生物信息等各个领域，其广泛的适应范围激励着研究者们通过调研生物大脑来改进人工神经网络。最近几年神经学的研究已经有了显著的进展，发掘出了很多生物神经元的新特性。现在新的技术能够捕捉大脑内部活动时序变化的细节，并帮助分辨大脑自身活动和对给定刺激的反应的关系，这些新的知识促使了新的人工神经网络类型的产生。脉冲神经网络（Spiking Neural Network，SNN）认为生物的特性能够提供更高的处理能力。本文首先回顾一下脉冲神经网络学习算法的生物背景，然后展示了一个脉冲神经网络学习算法的重要元素：神经元模型、突触可塑性、信息编码和脉冲神经网络拓扑结构。然后，对使用单脉冲或多脉冲的SOTA脉冲神经网络学习算法进行了批判性地总结。另外，也适当回顾了深度脉冲神经网络，最后讨论了SNN的挑战和机遇。

1 引言

人类大脑是一个非常复杂的系统，由大约900亿神经元组成，这些神经元通过万亿计的突触进行结构性的连接。神经元间的信息通过电脉冲信号传递，称为Spikes。其由突触前神经元发送到结构神经元，其效应依赖于连接两个神经元的突触。神经元间的突触强度和连接模式在神经系统的信息处理容量上扮演着重要角色。大脑处理复杂问题的能力启发了许多研究者来调研器处理功能和学习机制。人工神经网络（ANN）作为一种能够处理复杂问题的强大且灵活的方式，已经了成为对大脑处理功能的研究的成果。

ANN是受生物神经系统启发的，已经成功应用于各种场景。然而，其对生物系统的高度抽象以及其在捕捉生物神经元处理复杂系统时序动态特性的不足导致了人工神经网络的新的领域——SNN，更加关注生物可解释的神经模型。由于其能够捕捉生物神经元丰富的动态特性以及表征和整合诸如时序、频率和相位等不同信息维度的能力，SNN提供了一个有前景的计算范式，有很大的潜力去建模大脑中的复杂的信息处理过程。SNN同时也有潜力去处理大量数据并使用脉冲序列进行信息表征。此外，SNN也非常适合低能耗硬件的部署。

使用脉冲来表征神经元电压的短暂和突然的升高并在神经元间传递信息已经成为了一种共识。通过脉冲进行信息的编码在计算神经科学界仍然是一个争论的点。此前，人们假设大脑通过脉冲频率进行信息编码^[1] 。然而神经生物学的研究表明大脑的高速处理不可能仅仅只靠速率编码这一种方案来完成^[2]。我们已经知道人类视觉处理可以通过使用多层（从视网膜到颞叶）的神经元在100ms内完成识别任务，每个神经元大概花费10ms的时间，因此这个时间窗对速率编码来说非常小。电鱼的电信号感知系统和回声定位的蝙蝠的听觉系统中的快速信息处理是生物神经系统的高速信息处理的另一个例子。高速信息处理任务可以使用精确的脉冲时序来完成。另外，速率编码一次仿真中大量脉冲放电也会需要大量的能量和资源。而精确的脉冲时许可以使用较少的脉冲神经元实现较大的信息编码容量。因此，不只是脉冲数或者脉冲发放率，单个脉冲的精确时序叶可能用来传递信息。

然而，神经元训练的确切的学习机制目前仍是一个开放性问题。最近，生物学家发现了由脉冲控制的生物突触可塑性的各种形式^[3]。虽然这些突出权重和延迟学习的各种形式在传统模型的应用中有相当大的困难，但是他们与脉冲神经元模型是相匹配的。

生物神经系统的活动可以在各种尺度、水平和角度来研究，例如基因和分子学、单细胞电生理、多神经元记录和认知神经科学和心理物理学。各种层级的文献中都有用到仿真和数学理论。在自底向上的研究生物神经系统的方法中，低层级的知识（如离子通道的性质）被用于描述高层级的现象比如动作电位的形成或记忆的形式。生物神经元中的Hodgkin-Huxley（HH）模型就是用自底向上方法进行描述的例子。HH模型建模了细胞膜上不同时间常数和动力特性的离子通道。生物神经系统的活动也可以在更高级的层次上进行调查。

本文从单细胞层次上开始进行回顾，然后是单细胞和神经元群的生物可解释性学习算法上。首先回顾了脉冲神经网络生物背景，然后研究了学习算法的重要组成，如脉冲神经元模型、突触可塑性、信息编码和SNN拓扑结构。接着回顾了SNN的state-of-the-art（SOTA）算法，最后我们讨论了SNN领域的挑战和机遇。

2 生物背景

神经元是大脑信息处理的最基本单元，它们通过发送和接收动作电位进行交流。神经元通过突触互相连接，其连接方式错综复杂，形成了特定的结构。一篇文献的回顾中提到SNN学习算法的设计过程中最重要的几点是：神经元模型、突触的交流、网络的拓扑结构以及信息编解码方法，下面我们就对这些重要的点进行讨论。

2.1 脉冲神经元模型

1952年，Hodgkin和Huxley在章鱼的巨型轴突上进行了实验并建立了4维的详细的基于点到的神经元模型用于重现电生理测试的结果。然而，该模型固有的计算复杂度增加了其计算消耗。之后，更加简单和现象级的脉冲神经元模型被用于大规模SNN仿真、神经编码和记忆。Izhikevich^[4]比较了各种脉冲神经元模型的生物可解释性以及实现上的消耗。Leaky Integrate-and-fired （LIF）模型和Spiking Response Model（SRM）模型是两种比较流行的计算消耗比较低的1D脉冲神经元模型，但他们和HH模型比起来生物可解释性较差。Izhikevich的2D模型在生物可解释性和计算效率上进行了很好的折衷。尽管Izhikevich模型能够产生各种脉冲特性，但是这里面的许多特性，比如噪声和生物稳定性，尚未用于当前的学习算法中。

根据生物上证明，神经元可以起到一个Integrator或Coincidence Detector（CD）的作用。在一个整合模型中，神经元整合突触后电势输入（ PSP可以认为是突触后膜电势的变化）的时间间隔要比CD中要长。整合模型不仅充分利用了短脉冲间隔内输入脉冲的作用，同时利用了那些相互之间间隔相对较远的脉冲。而CD只使用哪些相互靠的很近的脉冲来生成神经元总的PSP。因此，可以通过调整突触权重和延迟构建新的学习算法，提升SNN学习算法的生物可解释性和计算能力。

LIF神经元模型：详细的基于电导的神经元模型能够高度准确地重现电生理信号，但是其计算相当复杂。计算消耗低的、简单的现象级脉冲神经元模型在神经编码、记忆和网络动力学中非常受欢迎。LIF模型是一个1D脉冲神经元模型，其计算消耗很低，也是多数文献中常常采用的模型。LIF模型的子阈值动力学方程如下：
$${\tau }_m\frac{d{v}_m(t)}{dt}=-(v_m(t)-E_r)+R_{m}I(t)$$
其中，$v_m(t)$为膜电势，${\tau }_m$为细胞膜时间常数，$E_r$时细胞膜静息电位，$R_m$时细胞膜电阻，$I(t)$是输入突触提供的电流的和，其计算方式如下：
$$I(t)=W\cdot S(t)$$
其中，$W=[w_1,w_2,\cdots ,w_n]$是权重向量，$S(t)=[s_1(t);s_2(t);\cdots ;s_n(t)]$是时空脉冲序列，$s_i(t)$的计算方式为：
$$s_i(t)=\sum _f\delta (t-t_i^f)$$
其中，$t_i^f$是第$i$个输入脉冲序列的第$f$个脉冲。$s_i(t)$表示的是第$i$个突触，$\delta (t)$是狄利克雷函数。

当膜电势$v_m(t)$达到阈值$V_{th}$时，便会输出一个脉冲，然后膜电势重置为静息电位 E r E_r