神经形态芯片及电子设备的制作方法

1.本发明涉及一种神经形态芯片及电子设备，具体涉及一种可以超低功耗处理时域信号的神经形态芯片及电子设备。


背景技术：

2.传统深度神经网络（dnn）处理时域信号时，要么通过在约40毫秒的缓冲窗口中缓存移除时间信息的输入数据并将整个窗口作为单一的帧来处理；要么通过应用诸如lstms这种复杂循环动态的网络。与这些人工神经网络（ann）相比，脉冲神经网络（snn）则具有多个时域相关状态的动力学（dynamics），且可配置时间尺度范围，这是snn处理时域信号的天然优势。应用这些动力学，目前已有的从时域信号中提取特征的方案，要么是随机投射（比如现有技术1），要么通过精心挑选的时域特性（比如现有技术2）来构建循环网络。
3.现有技术1：blouw p, choo x, hunsberger e, et al. benchmarking keyword spotting efficiency on neuromorphic hardware[c]//proceedings of the 7th annual neuro-inspired computational elements workshop. 2019: 1-8.现有技术2：voelker a, kaji
ć i, eliasmith c. legendre memory units: continuous-time representation in recurrent neural networks[j]. advances in neural information processing systems, 2019, 32.另一种替代的方案则是构建带有通过挑选突触和细胞膜的时间常数而被调谐至各种不一样频率范围的独立脉冲单元的前馈网络，比如现有技术3，它比前面的循环网络的优势是更容易训练。
[0004]
现有技术3：weidel p, sheik s. wavesense: efficient temporal convolutions with spiking neural networks for keyword spotting[j]. arxiv preprint arxiv:2111.01456, 2021.时域信号，是一种低维度信号。技术、市场上，均希望处理这种信号所需的功耗、资源越低越好、准确度越高越好。比如，如果能通过声音低功耗地、准确地检测出设备所处场所，这对选择最优的降噪滤波参数是有益的。
[0005]
基于此，本发明披露一种超低功耗、低成本、高精度实现的神经形态芯片及电子设备。


技术实现要素：

[0006]
为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：一种神经形态芯片，其包括若干lif神经元，至少通过该些lif神经元构建至少n个层，n为正整数；所述n个层构成前馈网络，所述n个层中的前一层向后一层发放脉冲；所述lif神经元具有与该lif神经元相关的突触状态；所述前馈网络中，前一层中全部lif神经元所关联的突触时间常数集合或衰减参数集合，是后一层中全部lif神经元所关联的突触时间常数集合或衰减参数集合的真子集；其中，所述突触时间常数或衰减参数，用于对所述突
触状态的值执行衰减操作。
[0007]
这里的真子集，意味着前一层中突触时间常数集合或衰减参数集合，必然没有后一层中突触时间常数集合或衰减参数集合中的元素多。换言之，后一层中的突触时间常数集合或衰减参数集合更大，相比于前一层有新增的元素。
[0008]
在某类实施例中，所述衰减参数与所述突触时间常数之间，可以通过对数或指数转换关系而获得彼此。
[0009]
在某类实施例中，与该lif神经元相关的突触状态是突触电流。
[0010]
在某类实施例中，所述lif神经元具有与该lif神经元相关的膜状态，该膜状态是膜电位。
[0011]
在某类实施例中，依据突触时间常数或衰减参数，通过比特移位的方式实现对所述突触状态的值执行衰减操作；当通过比特移位的方式无法实现突触状态的值进一步衰减时，对突触状态的值执行线性衰减。
[0012]
这里的比特移位一般指的是右移，即数值变小的移位方法。移位后的值，是需要被衰减掉的值。
[0013]
在某类实施例中，该些lif神经元的膜时间常数均相同。
[0014]
该些lif神经元是分布在n个层中的神经元。
[0015]
在某类实施例中，所述神经形态芯片用于处理环境信号，所述环境信号至少经过滤波阵列处理后，最终转换为脉冲并传递给至少由所述前馈网络所构成的脉冲神经网络中以执行推理。
[0016]
在某类实施例中，所述前馈网络中任一层中全部lif神经元所关联的突触时间常数集合中的元素，从小到大排列后，符合指数增长关系；或/和，所述前馈网络中任一层中全部lif神经元所关联的衰减参数集合中的元素，从小到大排列后，符合线性增长关系。
[0017]
在某类实施例中，所述前馈网络中，前一层中全部lif神经元所关联的突触时间常数集合或衰减参数集合中元素的个数，是后一层中全部lif神经元所关联的突触时间常数集合或衰减参数集合中元素的个数的一半。
[0018]
这里的前一层是指所述n个层中任一前一层。如前一层中有时间常数取自｛τ1,τ2｝，那么后一层则取自｛τ1,τ2, τ3,τ4｝：既满足真子集的要求，又满足元素个数要求。
[0019]
一种电子设备，该电子设备包括如前任意一项所述的神经形态芯片，并用于对环境信号的推理，获得推理结果；电子设备根据该推理结果做出响应。
[0020]
本发明的部分或全部实施例，具有如下有益技术效果：1）超低功耗地实现时域信号处理；2）通过设置特别的突触时间常数及其在网络中的分布，使得lif神经元对特定信息时间尺度敏感，可以直接使用前馈网络，避免难以训练的循环网络；3）高推理精度、低延迟，芯片所占用面积小。
[0021]
更多的有益效果将在优选实施例中作进一步的介绍。
[0022]
以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实
施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。
[0023]
本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
[0024]
图1是数字lif神经元的结构示意图；图2是比特移位的低功耗衰减方案伪代码流程图；图3是本发明某类实施例中的环境信号的整体处理流程图；图4是分类的延迟分布图。
具体实施方式
[0025]
由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。
[0026]
除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。
[0027]
本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。
[0028]
本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例。本发明所公开的实施例，一般是出于披露优选实施例的目的，但这并不暗示该优选实施例的相反实施例，为本发明所排斥/排除，只要这种相反实施例至少解决了本发明的某个技术问题，都是本发明所希望涵盖的。基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。
[0029]
一种神经形态芯片，其包括若干模拟神经元功能的电路，这些神经元优选为lif神经元。这些神经元可以数字的，也可以是模拟电路实现的，以及数模混合实现的，还可以是光电器件（即光脉冲神经网络处理器）、忆阻器/reram实现的。本发明对神经形态芯片的实现方式不作限定。
[0030]
作为一个举例，数字lif神经元的构造可以参考图1。每个数字lif神经元包括一个整数突触状态（比如突触电流i
syn
）和一个膜状态（比如细胞膜的膜电压/膜电位v
mem
），比如二者均为16比特，而突触权重则可以是为8比特。
[0031]
优选地，突触状态或/和膜状态，可以通过比特移位的方式来实现，这样做的好处是通过移位以及加/减法，取代十分消耗资源和功耗的乘法运算。即通过突触状态或/和膜
状态的当前值（value）减去该当前值右移dash位后的值（value》》dash），得到更新后的当前值（new_value）。其中，dash是将时间常数τ转换为衰减参数的结果：dash=log2(τ/dt)，其中dt为一模拟时间步长度。
[0032]
作为本发明的进一步改进，value》》dash值为0以后，执行线性衰减。举例地，突触状态或/和膜状态的当前值（value）减去1，作为更新后的当前值。该比特移位方法，具体可以参考图2所示的伪代码。该方案的优势是超低功耗地实现参量的衰减，在神经元数量较多的情况下尤为明显。
[0033]
示例地，lif神经元的数学描述为：其中x(t)为权重化后的输入事件，i
syn
为突触状态的值，v
mem
为膜状态的值。为膜时间常数，为突触时间常数，θ为脉冲发放阈值，b为偏置。z(t)为输出，其中为lif神经元的膜电压在时间tk时超过脉冲发放阈值而发放的一个脉冲（事件），符号顶部的“点”为求导记法。
[0034]
作为整个信号处理链的一部分，优选地，输入的环境信号首先经过滤波阵列。滤波阵列可以是各种将模拟信号转换为脉冲（序列）的合理方式。比如，该滤波阵列是基于模拟电路实现的，共计16个滤波单元，每个滤波单元的中心频率不一样，且分布在50~8000hz之间。最终，这些信息被iaf神经元编码为脉冲序列，并送入由若干前述的lif神经元组织而成的snn。当然，还可以通过数字信号处理来实现信号的预处理。
[0035]
该snn优选为前馈网络，且包括n层。举例地，n=3，当然也可以是2或4或5等任意合理层数。所述n个层中的前一层向后一层发放脉冲，比如第一层（前一层）向第二层（后一层）发放脉冲，第二层（前一层）向第三层（后一层）发放脉冲，以此类推。
[0036]
本发明中所披露的由神经形态芯片中的lif神经元所构成的snn，可以为某个信息处理网络或信息处理方法/装置中的一部分，比如是神经形态芯片中更大的snn中的一部分或仅利用了神经形态芯片中部分神经元资源，本发明并不局限于本发明所披露的具体实施例。
[0037]
参考图3，其公开了本发明中环境信号的整体处理流程。经由前述的滤波阵列处理后，单通道的环境信号在频段上被分成若干个通道，比如16个通道，频段范围是50~8000hz。每个通道中的能量被量化为4比特（举例），然后送入snn。snn至少包括3层（也可称之为3个隐藏层），分别第一层、第二层、第三层，依序构成一个前馈网络（或某更大网络的一部分，因此可能还会存在其它的层）。第一层至第三层中，每一层中均包括若干lif神经元（不排除还有其它类型神经元）。
[0038]
举例地，第一层至第三层均包括24个lif神经元，并且每一层中的lif神经元均具有突触时间常数，投射至每一层神经元的突触权重矩阵分别为w1, w2, w3。在某类实施例中，每一层lif神经元的膜时间常数可以被固定设置为2ms。
[0039]
作为本发明改进的一方面，所述前馈网络中，前一层中全部lif神经元所关联的突
触时间常数或衰减参数，是后一层中全部lif神经元所关联的突触时间常数或衰减参数的真子集。举例地，对于3层网络，其中的lif神经元的突触时间常数被设置在2ms至256ms（举例）范围。优选地，第一层中lif神经元的突触时间常数仅包括两种：2ms、4ms（图3中τ1~τ2）；第二层中lif神经元的突触时间常数仅包括4种：2ms、4ms、8ms、16ms（图3中τ1~τ4）；第三层中lif神经元的突触时间常数则包括8种：2ms、4ms、8ms、16ms、32ms、64ms、128ms、256ms（图3中τ1~τ8）。该优选实施例中，前一层中全部lif神经元所关联的突触时间常数集合或衰减参数集合中元素的个数，是后一层中全部lif神经元所关联的突触时间常数集合或衰减参数集合中元素的个数的一半。
[0040]
换言之，该类实施例中，lif神经元随着层的深度增加（沿着脉冲投递方向前进），其突触时间常数的种类（体现值的多样性，如前例中的2、4、8种）和分布范围（体现取值范围大小，如前例中2~4、2~16、2~256）也在递增；比如，突触时间常数的种类按指数增加。在前述优选实施例中，所述前馈网络中，前一层中全部lif神经元所关联的突触时间常数集合或衰减参数集合中元素的个数，是后一层中全部lif神经元所关联的突触时间常数集合或衰减参数集合中元素的个数的一半。形象地描述，该snn是一个具有突触时间常数金字塔的脉冲神经网络。
[0041]
该种针对突触时间常数的布置，可以有利地对多个时间尺度进行感应、处理，避免了使用循环网络及其带来的缺陷。本发明中，在第一层中包括的是短突触时间常数的lif神经元，第三层则包括的是从短至长突触时间常数的lif神经元，第二层则介于二者之间。基于本发明前述示例的启示，突触时间常数的布置方案，还可以根据需要而设置成其它方案，本发明不以此为限。
[0042]
对于读出层，可以根据分类的总结果而定义数量，比如4类结果对应4个神经元。w4是投射至读出层中神经元的突触权重矩阵，读出层中的神经元可选地也为lif神经元。偏置是可选的，在某些实施例中可以包括偏置，而另一些则没有。
[0043]
上述snn最终存在于神经形态芯片中，但要想获得较佳的片上推理精度，需要在训练设备（gpu等）中进行训练，并将训练得到的网络配置参数部署至神经形态芯片中，以使得芯片具有对环境信号（尤其是时域信号）推理的能力。可选的训练方案是代理梯度方案。
[0044]
最终对于场所（汽车、街道、咖啡馆、家）信号分类，训练集精度达98.8%，验证集精度达98.7%，部署至芯片后的测试精度为98%。更为重要的是，芯片上snn核心的功耗可以低至数个微瓦。整个系统的延迟中位数为100ms（场景切换的时间尺度，一般远大于此），具体可以参考图4所示的分类的延迟分布。
[0045]
一种电子设备，比如耳机、移动通话设备，其具备前述的神经形态芯片，通过该芯片对环境信号的分类，电子设备根据结果做出响应，比如调整降噪滤波参数，以匹配环境最佳所需。该类电子产品具有显著的、低成本获得的智能特点。
[0046]
尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。
[0047]
因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公
开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。
[0048]
为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。
[0049]
所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。
[0050]
结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。