用于尖峰神经网络的尖峰突触元件的制作方法

用于尖峰神经网络的尖峰突触元件


背景技术：

1.本发明总体上涉及用于在硬件实现的尖峰神经网络的神经元之间传送信号的技术。具体而言，本发明涉及用于在尖峰神经网络的神经元之间传输信号的方法，其中，在将突触前尖峰序列传输到突触后神经元之前，在频率上调制从突触前神经元接收的尖峰以生成突触后尖峰序列(而不是被转换成变化幅度的电流)。
2.机器学习通常依赖于人工神经网络(ann)，其是由人类或动物脑中的生物神经网络启发的计算模型。这样的系统通过示例渐进地和自主地学习任务；它们已经被成功地应用于例如语音识别、文本处理和计算机视觉。
3.ann包括一组连接的单元或节点，其与动物脑中的生物神经元相类比并且因此被称为人工神经元。类似于突触，沿着人工神经元之间的连接(也称为边缘)传输信号。即，接收信号的人工神经元处理它，然后向连接的神经元发送信号。通常，沿着此类连接传送的信号是模拟实数，并且人工神经元的输出是借助于其输入总和的非线性函数来计算的。
4.连接权重(也被称为突触权重)与连接和节点相关联；这样的权重随着学习的进行而调整。每个神经元可以具有若干输入，并且连接权重被赋予每个输入(该特定连接的权重)。这样的连接权重在训练阶段期间被学习并由此被更新。学习过程是迭代的：通常一次一个地将数据情况呈现给网络，并且在每个时间步长处调整与输入值相关联的权重。
5.始于前馈神经网络，诸如多层感知器、深度神经网络和卷积神经网络，已经有许多类型的已知神经网络。除此之外，出现了新类型的神经网络，例如尖峰神经网络。尖峰神经网络(snn)基本上不同于通常的神经网络，因为snn使用尖峰来操作，这些尖峰是可以在任何时间点异步地发生的离散二进制事件，而不是以规则的时间步长计算的模拟值。即，除了神经元和突触状态之外，snn还并入时间的概念。即，神经元仅在膜电位达到特定值时激发，而不是如在例如多层感知器网络中在每个传播周期激发。在snn的上下文中，激发意味着神经元生成到达其他神经元的信号，该信号进而根据它们从其他神经元接收的信号来增大或减小它们的电势。
6.神经网络通常以软件实现。然而，神经网络也可在硬件中实现，例如实现为电阻性处理单元或光神经元形态系统。即，硬件实现的ann是明显不同于经典计算机(通用或专用计算机)的物理机器，因为它主要且专门被设计来实现ann(用于训练和/或推断目的)。硬件实现的ann可最好用经典计算机来仿真(尽管不具有相同的效率)，而其不能像经典计算机那样执行多个数据处理任务。


技术实现要素：

7.根据第一方面，本发明被实现为一种用于在硬件实现的尖峰神经网络(或snn)的神经元之间传送信号的方法。该网络包括神经元连接，每一神经元连接包括将突触前神经元连接至突触后神经元的突触单元。基本上，该方法依赖于数字调制过程，该数字调制过程针对所述神经元连接中的每个神经元连接并且在其每个突触单元处实施。即，首先基于存储在所述每个突触单元上的突触权重，在频率上调制从所述每个神经元连接的突触前神经
元接收的尖峰，以生成突触后尖峰。以此方式，将从突触前神经元接收到的第一数目的尖峰转换成第二数目的突触后尖峰。所产生的突触后尖峰随后被传送到所述每个神经元连接的突触后神经元。所生成的突触后尖峰可能全都具有相同的信号振幅。
8.本方法使得有可能在突触输出中获得更高的动态范围，由于在突触单元处生成的离散事件与现有技术解决方案中所使用的模拟信号相比，可在每一输出神经元处被更可辨识地读取和积分，在现有技术解决方案中，来自突触前神经元的输入尖峰在突触输出处转换成模拟电流。
9.与本发明的另一方面一致，上述过程说明在突触单元处执行的操作，本发明的另一方面涉及突触单元电路。然而，在各实施例中，以上过程由附加步骤来补充，诸如由突触前神经元和突触后神经元来执行。特别地，该过程导致在所述每个神经元连接的突触后神经元处基于传递的突触后尖峰产生输出尖峰。输出尖峰可以通过基于突触后神经元的计数对突触后神经元处接收到的突触后尖峰进行积分来生成。
10.在本发明的实施例中，该方法进一步包括(在所述每个突触单元)维持确定所述突触权重的状态，其中所述状态可根据认知学习机制来更改。具体而言，该方法还可包括：根据所述认知学习机制，一方面基于从所述突触前神经元接收到的尖峰，另一方面基于在snn的一个或多个突触后神经元处生成的输出尖峰，更改(再次，在所述每个突触单元处)所述状态。
11.突触单元可被配置成基于从所述突触前神经元接收到的尖峰以及在所述突触后神经元处生成的输出尖峰来实现尖峰定时依赖可塑性(stdp)机制。即，基于stdp机制来改变所述状态。
12.从所述突触前神经元接收的尖峰可以特别地在所述每个突触单元处通过以下方式来调制：首先将所接收的尖峰转换成一个或多个电信号(根据由所述状态确定的突触权重)，并且然后基于所述电信号来设置要生成的突触后尖峰的频率。
13.在实施例中，本方法涉及两个状态，即，除了上述状态(初级状态)之外的次级状态。即，尖峰调制过程进一步包括维持次级状态，该次级状态确定短期突触权重。该次级状态取决于从突触前神经元接收的尖峰。该调制方案还包括将由所述主要状态确定的当前突触权重与阈值进行比较。后者取决于所述短期突触权重(如从所述次级状态确定的)，由此仅在当前突触权重大于或等于所述阈值的情况下才生成突触后尖峰。
14.在给定类别的实施例中，此阈值等于所述短期突触权重，由此将当前突触权重与所述短期突触权重进行比较，而仅当所述当前突触权重大于或等于所述短期突触权重时才生成所述突触后尖峰。该调制进一步依赖于将该短期突触权重与该阈值所允许的最大值进行比较，并且如果相应地发现该值大于或等于该最大值，则重置该短期突触权重。
15.在另一类实施例中，出于将当前突触权重与所述阈值进行比较的目的，将所述阈值取为最大值与所述短期突触权重之间的差。该最大值是当前突触权重与所述短期突触权重之和所允许的最大值。即，只有在当前突触权重大于或等于所述差值时才生成突触后尖峰。这里，调制过程导致每当突触后尖峰被生成以供传送给所述突触后神经元时(以及在已经生成该尖峰之后)重置所述短期突触权重。
16.根据另一方面，本发明被实现为用于在硬件实现的snn的神经元之间传送信号的突触单元电路。该电路被设计成将网络的突触前神经元连接至突触后神经元，从而形成神
经元连接。与本方法一致，该电路被配置成当连接到突触前神经元和突触后神经元时，在频率上调制从突触前神经元接收到的尖峰，并将所生成的突触后尖峰传送给突触后神经元。基于存储在所述电路上的突触权重来调制从所述突触前神经元接收到的尖峰，以生成突触后尖峰，由此在操作中，从所述突触前神经元接收到的第一数目的尖峰被转换成第二数目的突触后尖峰。如先前所诱发的，该电路可被配置成生成全都具有相同振幅的突触后尖峰。
17.在实施例中，所述电路还被配置为：当连接到所述突触前神经元和所述突触后神经元时，维持确定所述突触权重的状态，并且一方面基于从所述突触前神经元接收的尖峰，并且另一方面基于由所述突触后神经元发射的尖峰来改变所述状态。
18.该电路可包括尖峰生成单元，该尖峰生成单元被设计成在操作中生成所述突触后尖峰并将后者传送给突触后神经元。所述电路还包括忆阻器件和更新单元，其可连接到所述突触前神经元和突触后神经元中的每一个，并且被配置为在操作中改变所述状态。一方面，忆阻器件连接到尖峰生成单元，并且可连接到所述突触前神经元。所述忆阻器件以其他方式被配置为保持所述状态，以便在操作中，所述尖峰生成单元基于从所述状态确定的突触权重，对由所述忆阻器件从所述突触前神经元接收的尖峰进行调制，并且生成所述突触后尖峰。另一方面，忆阻器件连接到所述更新单元，由此在操作中，由更新单元改变的任何状态确定用于调制尖峰的突触权重。
19.在各实施例中，所述更新单元被配置成基于从所述突触前神经元接收到的尖峰来实现stdp机制，并输出在所述突触后神经元处生成的尖峰，由此在操作中，基于该stdp机制来改变所述状态。
20.忆阻器件可以进一步被配置为将从突触前神经元接收的尖峰转换成一个或多个电信号(例如，电流或电压)，根据由所述忆阻器件中保持的所述状态确定的突触权重，所述尖峰生成单元还设计为设置要生成的突触后尖峰的频率，基于所述电信号，以在操作时调制从所述突触前神经元接收的尖峰。
21.在实施例中，所述状态是主状态，并且所述忆阻器件是第一忆阻器件，其被配置为保持所述主状态。所述突触单元电路还包括第二忆阻器件，所述第二忆阻器件可连接到所述突触前神经元，并且被设计成在操作时保持确定短期突触权重的次级状态，所述次级状态取决于由所述第二忆阻器件从所述突触前神经元接收到的尖峰。
22.所述突触单元电路还可以包括比较器，所述比较器连接到所述第一忆阻器件和所述第二忆阻器件中的每一个忆阻器件，以便将从所述初级状态确定的当前突触权重与阈值进行比较，所述阈值取决于从所述次级状态确定的所述短期突触权重。在操作中，只有在当前突触权重大于或等于所述阈值的情况下，才由尖峰生成单元生成突触后尖峰。
23.在实施例中，所述比较器是第一比较器，其被设计成使用所述短期突触权重作为所述阈值，由此仅在当前突触权重大于或等于所述短期突触权重的情况下，才由所述尖峰生成单元生成所述突触后尖峰。在那种情况下，该电路进一步包括第二比较器，该第二比较器被配置成用于将所述短期突触权重与针对所述阈值所允许的最大值进行比较，该电路否则被配置成用于如果发现后者大于或等于所述最大值则重置该短期突触权重。
24.比较器被设计成依赖于最大值与所述短期突触权重之间的差作为所述阈值，以用于将当前突触权重与所述阈值进行比较。该最大值是当前突触权重与所述短期突触权重之和所允许的最大值，由此在操作中，只有在当前突触权重大于或等于所述差值时，才由尖峰
生成单元生成所述突触后尖峰。而且，该电路被进一步配置成每当突触后尖峰被生成以供传送给突触后神经元时(在已经生成该尖峰之后)重置短期突触权重。
25.根据最后的方面，本发明实现为实现snn的硬件装置，其中网络包括多个神经元连接，每个神经元连接包括：突触前神经元；突触后神经元；以及诸如上述的突触单元电路。所述电路将突触前神经元连接至突触后神经元。
26.突触后神经元可由多个此类电路连接。特别地，所述神经元连接的每个突触后神经元可以特别地通过网络的多个突触单元电路连接，并且被配置为基于由连接到其的所有突触单元电路传输的突触后尖峰来产生输出尖峰。
27.在本发明的实施例中，所述每一突触后神经元进一步被配置成通过基于其计数对各突触单元电路所传送的突触后尖峰进行积分来生成所述输出尖峰。
28.现在将通过非限制性示例并参考附图来描述体现本发明的设备、装置和方法。
附图说明
29.附图用于进一步说明各种实施方式并且解释全部根据本公开的各种原理和优点，其中，贯穿单独的视图，相同的参考标号指代相同或功能相似的元件，并且与以下详细描述一起结合在本说明书中并且形成本说明书的一部分，其中：
30.图1a和1b是示意性地说明硬件实现的尖峰神经网络(snn)的选定组件的操作的示图，其中输入尖峰被转换成具有变化幅度的突触后电流，如现有技术的解决方案；
31.图2至图7是示意性地示出硬件实现的snn的所选组件的操作的示图，该硬件实现的snn被设计用于在其神经元之间传输信号，其中，如在实施例中，在将突触前神经元传输至突触后神经元之前，在频率(而非振幅)上调制从突触前神经元接收的尖峰以生成突触后尖峰。注意，图2和图7总体上展示了本方法基础的原理，而图3至图6涉及具体类别的实施例；并且
32.图8是示出根据实施例的用于在硬件实现的snn的神经元之间传送信号的方法的高级步骤的流程图。
33.附图示出了实施例中所涉及的设备和部件或其部分的简化表示。附图中类似或功能上类似的元件已被分配相同的附图标记，除非另外指明。
具体实施方式
34.脉冲神经网络(snn)的可靠且高效的硬件实现具有挑战性，因为连续信号(值)通常由突触(在其输出处)传送给突触后神经元。由于这可能被实现，这将影响由突触输出所输出的信号的动态范围。这一发现以及通常的硬件实现的snn的其他缺点已经促使本发明人开发用于在snn的神经元之间传送信号的新技术，其中，从突触前神经元接收的尖峰在频率上被调制以生成不同数量的突触后尖峰(而不是被转换成变化幅度的电流)。
35.参见图2和8，首先描述本发明的一个方面，其涉及用于在硬件实现的尖峰神经网络1、1a
‑
1c(此后称为snn)的神经元11、14之间传输信号的方法。这种方法及其变体统称为“本方法”。假定snn包括若干神经元连接，每个神经元连接包括将突触前神经元11连接至突触后神经元14的突触单元20、20a
‑
20c。该突触单元可特别地实施为电路，诸如稍后参照本发明的另一方面所描述的。snn作为整体可实现为硬件设备，稍后也参考本发明的最终方面
对其进行描述。
36.该方法必要地依赖于在snn的每个突触单元(即，针对网络的每个神经元连接)处实现的调制过程。根据该过程，从突触前神经元11接收(s22)的尖峰31在频率上被调制(s26),如图8的流程图中所反映的。鉴于生成s27突触后尖峰32，基于存储在每个突触单元20、20a
‑
20c上的突触权重w来执行该调制。由于频率调制，从突触前神经元接收到的尖峰的数目通常转换成不同数目的突触后尖峰。例如，从突触前神经元11接收到的尖峰31中的至少一些尖峰可以各自被转换成两个或更多个突触后尖峰32的串，如图7b和7c所示。随后经由突触单元将所生成的突触后尖峰32发送(s28)到由突触前神经元11连接的突触后神经元14。沿着snn的每个神经元连接进行相同的过程。
37.尖峰是引起由生物神经元生成的动作电位的脉冲信号。类似地，尖峰序列32是可与由生物神经元生成的动作电位序列进行比较的脉冲时间序列。
38.根据本方法，在突触单元20的输出处，将从突触前神经元11接收到的第一数目的输入尖峰转换成第二数目的尖峰32。突触后尖峰32将通常全部具有相同的幅度(为了简化生成过程)，但这不是严格的要求。在变体中，所发射的突触后尖峰32可以具有不同的幅度。此外，所发射的尖峰32可以可能具有与输入尖峰相同的振幅，但这也不是严格的要求。
39.由突触单元发出的尖峰的数目取决于其上存储的突触权重w。换言之，此处，突触权重确定生成(s27)的尖峰数目和发射(s28)的尖峰数目，而不是由突触单元发射的电流的幅度(比较图1和2)。有趣的是，本方法仍然与尖峰定时依赖可塑性(stdp)机制兼容。更普遍地，这样的方法可涉及不同学习机制。所有这样的机制导致随着学习的进行改变神经元连接的权重。一旦适当地进行s40训练，snn就可用于s50的目的推断。尽管如此，本网络1、1a至1c可能仅用于推断目的，由此这些权重可以各自被设置(即，被编程)到如从前一学习阶段学习到的任何合适的值并且为此保持不变。即，可能已经由于不同的硬件装置而学习了突触权重。
40.由于突触单元所发射(s28)的尖峰的数量是由单元20、20a
‑
20c上所存储的权重的调制引起的，所以不是每个接收到(s22)的尖峰31都可以实际上引起生成(s27)并向突触后神经元14传输(s28)尖峰32，如图7a所示。相反，实际上只有一些接收到的尖峰31可被看作被转换(调制)成更大(或更小)数量的尖峰32，参见图7b和7c。相应地生成的连续尖峰序列可以形成尖峰序列，如图7c中最佳所见。由于在频率中执行调制，所以接收(s22)的尖峰31将大部分被转换成不同数量的尖峰。该转换导致更大还是更小的数量取决于权重值和实际方案两者。例如，可以获得更大数量的尖峰的尖峰序列，如在图3和7a
‑
7c中所说明的实施例中，或者相反地，可以将从突触前神经元11接收到的尖峰转换成更小数量的尖峰(如在图4
‑
6和7d中所说明的实施例中)。但是由于转换还取决于权重值，因此在步骤s22接收的尖峰可能偶尔导致单个突触后尖峰31的发射(s28)，或者根本没有尖峰。在一些配置中，可能需要在突触单元处接收s22多于一个尖峰31，以触发突触后尖峰32的生成(s27)。在这样的情况下，取决于突触权重，输入尖峰31可以不被直接转换成一个或多个突触后尖峰32。
41.本方法允许高效且可靠的神经网络实现，其涉及离散事件而不是连续信号值的传输(比较图2b和1b)。根据定义，本方法与数字技术兼容。它以其他方式与使用忆阻器件的突触实现兼容，如在稍后参考本发明的另一方面所讨论的本发明的实施例中。
42.由于与模拟信号34(参见图1)相比，在突触单元处生成(s27)的离散事件可在每个
输出神经元14处被更可辨别地读取和积分，所提出的方案使得能够在突触输出中获得更高的动态范围。实际上，在依赖于模拟突触后信号的现有技术方法中，需要充分区分此类信号的振幅以允许在从此类振幅读取的值之间进行令人满意的区分。然而，这限制了针对突触输出中的信号可获得的动态范围。相反，本方法依赖于时间分辨率来区分突触后事件32。假设在输出神经元14处有足够快的检测机制，则人们理解可在突触输出中获得更高的动态范围。条件是指配给所生成的尖峰32的时隙通常导致较大的时间帧。然而，后者可以用在读取时的令人满意的时间分辨率来补偿。此外，突触后电流32可以在比用于接收神经元14中的膜电位处的模拟信号34所使用的时间步长更小的时间步长中被积分，所有事情在其他方面都是相等的。注意，所需要的时间分辨率以及可以用其实现的动态范围取决于目标应用和为其选择的实现方式。作为实例，假设系统在微秒时间内运行且使用纳秒脉冲对尖峰发放突触进行计时，则所达成的范围已胜过具有8位动态范围的标准(模拟)突触配置。
43.本方案具有其他优点。例如，其允许在全赢家网络中更有效地选择赢家神经元。即，在现有方法中，膜电位与激发阈值之间的差经常用于估计胜者，该胜者是要越过阈值的第一神经元。相反，在本文构想的实施例中，可通过阈值化来直接确定中奖者神经元而无需附加计算。
44.虽然理想的模拟突触在实践中难以实现，但是本方法提供了以不同方式表示权重的解决方案。此类方法可应用于原生神经元形态硬件技术，且因此有助于在认知任务中提供大功率和效率增益。硬件加速器使得可以加速这样的任务，特别是在由忆阻器的交叉式阵列构成的电阻式处理单元(rpu)中。
45.现在参照本发明的特定实施例详细描述所有这些。首先，注意，以上过程考虑如在突触单元20、20a
‑
20c处具体执行的操作，无论其是为了推断或训练目的。然而，在设备1、1a至1c的层级处，尤其在实现神经元11、14的电路处同时执行附加操作。这样的操作被包括在图8的流程图中，由此外部系统可以例如耦合到snn，并且由此向其传输信号。这样的信号在每个接收神经元处被读取(s12)作为输入，参见阶段s10。这进而导致在突触前神经元11处生成(s14)尖峰，随后向突触单元20、20a
‑
20c传输(s16)这些尖峰，以供它们实现如上所述的过程s20。随后由突触单元传输的尖峰在相应的突触后神经元14处被接收(s32)，从而导致生成(s34)输出尖峰并将后者传输(s36)到网络的其他层的其他突触前神经元，等等。
46.因此，在实施例中，本方法可以尤其包括在突触后神经元14处实现的步骤，由此基于s32传输的突触后尖峰32来在s34中生成输出尖峰33，如图8所示。在若干输入神经元11连接到同一输出神经元14(参见图2b)的情况下，最终添加141从所有毗连突触20输出的尖峰以在接收神经元14处形成总突触后信号(例如，电流)。总突触后信号在接收神经元14处被积分142，例如以生成(s34)输出尖峰33。
47.上述过程s10
‑
s30可以值得注意地出于训练目的被执行，如图8的流程图中所假设的。当训练完成(s40)时，获得最终权重，该最终权重随后可用于推断目的(s50)。即，最终权重可以在同一网络处保持不变或者被传递到另一网络，以便与其做出推断。要注意的是，出于推断的目的，可以同样执行上述步骤s26
‑
s28。同样在这种情况下，从突触前神经元11接收的输入被调制(s26)，由此生成被传送到突触后神经元14的尖峰，以便snn输出被解释为结果(推断)的信号。
48.在训练阶段期间，可以例如由于在突触单元处维持的状态来确定突触权重。如图8
中所见，每个突触单元20、20a
‑
20c将因此维持s25a状态，该状态确定进而用于步骤调制(s26)输入尖峰31的突触权重w。该状态可以根据认知学习机制而改变，以适当地调整权重。如前所述，认知机制可以例如是stdp机制。在变体中，该学习机制可以是任何合适的(例如，全局)学习方案，诸如反向传播机制。然而，在其他变型中，snn可简单地被设计成实现推断引擎，如之前所提到的。即，可基于如在别处学习到的权重来设置(即，编程)权重。
49.此类状态可以值得注意地通过形成突触单元20、20a
‑
20c的一部分的器件元件的电阻状态来捕获。例如，可以值得注意地使用忆阻器件21、21a
‑
21c，见图3
‑
6。这样的器件可以被认为是电阻开关，其能够基于施加的电压和电流的历史保持内阻的状态。即，忆阻器件能够基于先前施加的电压和电流(即，历史)来保持内阻的状态。这样的设备可以相应地用于存储和处理信息。在本上下文中，忆阻器件的性能特性可以优于常规集成电路。
50.学习机制致使基于从突触前神经元11接收s22的尖峰31、以及于步骤s34中在snn 1、1a
‑
1c的突触后神经元14处生成的输出尖峰33，来于步骤s24改变维持在突触单元20、20a
–
20c处的状态。注意，除了从突触前神经元11接收到的尖峰之外，局部学习机制仅依赖于由突触后神经元14局部地发出的尖峰，如图2中假定的。即，每个突触连接基于从相应的突触前神经元11接收到的尖峰31和在相应的突触后神经元14处生成的输出尖峰33来学习其相应的权重。例如，突触单元20、20a
‑
20c可以实施stdp机制或类似stdp的机制，如附图中所假定的。这样的机制使得每个突触单元一方面基于从相应的突触前神经元11接收(s22)的峰电位31以及在对应的突触后神经元14处生成(s34)的输出峰电位33，来改变(s24)它们保持的状态。在变体中，可使用更全局的学习方案，该方案还考虑由其他神经元发射的输出尖峰。
51.如图2b所示，可以通过基于突触后神经元14的计数对在突触后神经元14处接收到的突触后尖峰32进行积分来生成(s34)输出尖峰33。例如，在突触元件20处，从突触前神经元11接收到的输入尖峰31可以被转换成尖峰序列，所有尖峰序列都具有相同的幅度，其中尖峰的数量取决于突触权重。如图2b中所见，在突触j处，输入尖峰31局部地转换成尖峰序列，在积分激发(if)神经元的情况下，该尖峰序列导致对其神经元膜电位的以下贡献：
[0052][0053]
在以上等式中，δt
sp
代表每个输入尖峰的时间区间，并且q
j
(t)表示在突触j处的尖峰输出。所有这样的输出具有相同的幅度，使得它们的总和与突触权重w
j
(高达因子b)成比例。
[0054]
否则stdp机制不变。来自到达同一输出神经元14的所有突触j的尖峰被添加以在该接收神经元14处形成总突触后电流，并且该总突触后电流被集成到该接收神经元14处的膜电位中以生成输出尖峰33。因此，突触后电流的总贡献可以写成：
[0055][0056]
其中，x
j
(t)表示输入尖峰在时间实例t处在突触j处的发生(在此情况下存在n个通向感兴趣的输出神经元的连接)，w
j
是突触权重，并且b是常数。
[0057]
相反，在现有技术解决方案(参见图1a和1b)中，来自突触前神经元11的每一输入尖峰31在突触输出处转换成模拟电流34(突触后电流)，其中该电流的振幅取决于突触权重。如图1b所示，输入尖峰31局部地转化成对膜电位的下列贡献：
[0058]
δv
j
(δt
sp
)＝w
j
a，
[0059]
其中，δt
sp
代表每个输入尖峰的时间区间，w
j
是突触权重，并且a是常数。突触权重根据突触前神经元和突触后神经元的活动(例如，根据stdp机制)而变化。将来自所有突触的电流相加以在接收神经元处形成总突触后电流，并在接收神经元处对总突触后电流进行积分以生成输出尖峰。因此，在这种情况下，突触后电流的总贡献(如在范围从t0至t
l
的时间段内积分的)可以被写成：
[0060][0061]
现在参照图3描述第一类实施例。在该示例中，由于忆阻器件21，通过s262首先将接收的尖峰31转换成电流，来调制(s26)(在每个突触单元20处)从突触前神经元11接收(s22)的尖峰31。注意，更一般地，这样的尖峰可以首先被转换成电信号(可以依赖于电压信号)。在所有情况下，调制取决于当前突触权重w，其本身由突触20的当前状态确定。然后，基于所述电信号，并且在由于尖峰生成单元22而生成尖峰32之前，设置s264要生成的突触后尖峰32的频率。
[0062]
在图3的具体示例中，所描绘的设备形成硬件装置1的一部分，并且包括存储突触权重w的忆阻器件21，实现期望的学习规则的电路块15，以及生成具有取决于当前突触权重w的尖峰频率的尖峰(在预定义间隔中)的尖峰生成块22。尖峰生成单元22可以例如由神经元回路实现(诸如在背景技术部分中引用的参考文献中所描述的)来适配。图3所示的突触元件的操作如下。从突触前神经元11接收的输入尖峰31在忆阻元件21处生成读取事件。所产生的读取电流在尖峰生成块22处设置突触后尖峰频率，基于此来生成(s27)突触后尖峰。使用给定的学习规则(例如，基于stdp的)伴随地更新突触权重w。
[0063]
图4和图5涉及类似的过程，具有以下条件。图4和5反映了两个附加类别的实施例，其需要突触单元维持s25，每个是附加状态(将其称为次级状态)。即，主要状态确定权重w，而在s25在突触处维持的次要状态确定短期突触权重w
s
。如图4和5所示，后者还取决于从突触前神经元11接收到的尖峰31。更详细地，现在通过将当前突触权重w与阈值进行比较23a、23b来调制(s26)从突触前神经元11接收(s22)的尖峰31。后者取决于短期突触权重w
s
。只有在当前突触权重w大于或等于所述阈值的情况下，才生成(s27)突触后尖峰32。
[0064]
比较器23a、23b涉及该目的。以上比较相当于相对于所述阈值评估当前突触权重w的条件构造。这个值可以用不同的方式来定义。具体地，阈值可以被取为等于短期突触权重w
s
或作为差值w
max
–
w
s
，其中，w
max
是w w
s
之和所允许的最大值。
[0065]
更详细地，在诸如图4中所描绘的实施例中，将阈值取为等于短期突触权重w
s
，以使得仅在当前突触权重w恰好大于或等于w
s
时才将当前突触权重w与w
s
进行比较23a并且生成(s27)突触后尖峰32。调制和生成过程s26
‑
s27包括w
s
与w
s
的允许最大值w
max
之间的比较24a。接下来，如果发现w
s
大于或等于所述最大值，则将短期权重w
s
重置为其初始值，即，可能调整到0与w
max
之间的任何值的参数。
[0066]
在图4的具体示例中，所描绘的器件形成硬件装置1a的一部分，该硬件装置包括存储突触权重w的忆阻器件21a、确定调制时的突触后尖峰的数目的短存储器忆阻器件25a、以及两个比较器块23a、24a。如图3所示，电路块15实现学习规则。然而，尖峰生成块22a现在根据比较器块23a的输出来生成尖峰。所描绘的突触元件的操作如下。使用针对每一传入尖峰的写入脉冲将输入累积到短存储器装置25a(存储w
s
)。传入尖峰生成对两个忆阻性元件
21a、25a的读取事件。仅在w≥w
s
时生成输出尖峰，而在w
s
≥w
max
时重置短存储器忆阻器件25a。同时，使用给定学习规则来更新突触权重w。由此，当突触权重w小时，在几个传入事件之后，条件w≥w
s
将不是有效的，并且突触20a将停止激发。相反，当突触权重w高时，条件w≥w
s
对于若干传入事件保持有效。
[0067]
在如图5中所展示的实施例中，取而代之的是，将阈值取为最大值w
max
与短期突触权重w
s
之间的差值w
max
–
w
s
。注意，所述最大值现在是w w
s
之和所允许的最大值。因此，在23b中当前权重w现在与差值w
max
–
w
s
进行比较，并且只有在当前突触权重w大于或等于此差值时才在s27生成突触后尖峰32。每当s27生成突触后尖峰32以供传送给突触后神经元14时(即，在s27已生成该尖峰之后)，短期突触权重w
s
在22b被重置。
[0068]
在图5的特定实例中，所描绘的装置形成硬件设备1b的部分且包含类似于图4的组件15、21a、22a和25a的组件15、21b、22b和25b。然而，该元件不包括第二比较器。相反，加法器块26将从忆阻元件21b、25b获得的信号相加，并且尖峰生成块根据比较器块23b的输出来生成尖峰。该元件如下操作。使用每个输入尖峰31的写入脉冲，输入累积到短存储器装置25b。而且，传入尖峰31在两个元件21b、25b处生成读取事件。如果w w
s
≥w
max
，则生成输出尖峰。在变体中，突触20b可以生成具有取决于突触权重的尖峰频率的多个尖峰(在预定义的间隔中)。在这种情况下，短存储器装置25b在每个输出启动事件之后重置。由电路块15同时更新突触权重w。当突触权重w低时，总和w w
s
达到w
max
需要若干传入事件(也增加权重w
s
)。相反，当突触权重w已经高时，可能由于单个传入事件，总和w w
s
可更容易地达到w
max
。
[0069]
图6反映了另一类实施例，其中每个输入尖峰经由压控振荡器28触发振荡。在此，振荡器电路的频率或阻尼由存储在忆阻器设备21c上的权重w控制。大的权重值导致高频或低阻尼，而小的权重值导致低频或高阻尼。例如，忆阻器设备21c的权重用于确定单元29c的尖峰阈值。当电压超过阈值vth时，生成单个尖峰。
[0070]
参考图2a、图3
‑
6，现在详细描述本发明的另一个方面，该方面涉及用于在硬件实现的snn 1、1a至1c的神经元11、14之间传输信号的突触单元电路20、20a至20c。已经参照本方法描述了这样的电路的部件和操作。这些电路的主要特性因此仅在以下简要描述。这种突触电路通常被设计为将网络的突触前神经元11连接至突触后神经元14，从而形成神经元连接。当适当地连接到突触前神经元11和突触后神经元14时，此电路允许基于存储在突触前神经元11上的突触权重w来在频率上调制从该突触前神经元11接收到的尖峰31，以便生成突触后尖峰32。即，在操作中，在将所生成的突触后尖峰32传送给突触后神经元14之前，可以将从突触前神经元11接收到的尖峰31转换成不同数量的突触后尖峰32。
[0071]
如所述的那样，这样的电路可被配置成生成具有所有相同振幅的突触后尖峰32。此外，在操作中，该电路可以例如维持确定所述突触权重w的状态和改变所述状态，一方面基于从所述突触前神经元11接收到的尖峰31，并且另一方面基于由其附着的突触后神经元14发出的尖峰33。
[0072]
如图3至图5中所示，该电路可以包括尖峰生成单元22、22a至22c，其中，该单元被设计成用于生成突触后尖峰32，并且在操作中将相应地生成的突触后尖峰32传输至突触后神经元14。更新单元15通常形成电路的一部分。该单元15被布置成可连接到该对神经元11、14。单元15用于改变电路的状态(例如，基于stdp机制)，从而允许在操作中学习权重。此外，电路可以包括忆阻器件21、21a
‑
21c，其中，忆阻器件21、21a
‑
21c连接至尖峰生成单元和更
新单元15中的每一个。忆阻器件连接到尖峰生成单元22、22a
‑
22c；其以其他方式可连接到突触前神经元11。如之前所解释的，忆阻器件21、21a
‑
21c被适配成用于保持阻性状态，以便峰电位生成单元22、22a
‑
22c基于从该状态确定的突触权重w来调制由忆阻器件从突触前神经元11接收的峰电位31，以及随后在操作中生成突触后尖峰32。忆阻器件还连接到更新单元15：在操作中，忆阻器件的任何状态(如由更新单元15改变的)确定突触权重w(对其的改变)，突触权重w本身影响尖峰31的调制。
[0073]
如图3所示，忆阻器件21、21a、21b可以特别地被配置为在由突触权重w确定的程度上将尖峰31转换成电流，突触权重w本身由忆阻器件保持的状态确定。补充地，尖峰生成单元22、22a
‑
22c可被设计成在操作时基于这样的电流来设置突触后尖峰32的频率，以调制从突触前神经元11接收到的尖峰31。
[0074]
本发明人已经进行了许多实验来检查本方法的有效性。具体而言，它们已经测试并确认了检测与由若干输入流连接的神经元的相关性的可能性，该神经元以其他方式连接到如上所述的突触单元电路。由此得出结论，这样的尖峰发放突触元件使得能够明确地确定一些输入数据流是否在统计上相关。
[0075]
参看图4、5，此突触单元电路20a、20b可进一步经配置以保持相异状态，即，主要状态及次要状态。由第一忆阻器件21a、21b来保持初级状态，同时提供(再次，可连接到突触前神经元11)第二忆阻器件25a、25b以保持次级状态。后者确定短期突触权重w
s
。如前所述，在操作中，次级状态取决于由第二忆阻器件从突触前神经元11接收的尖峰31。
[0076]
如在图4、图5中进一步看到的，突触单元电路20a、20b可以进一步包括比较器23a、23b。后者连接到第一忆阻器件21a、21b和第二忆阻器件25a、25b中的每一个，以便能够将当前突触权重w与阈值进行比较。如上所述，能够以各种方式定义阈值。在所有情况下，此阈值取决于短期突触权重w
s
，其本身是从次要状态确定的。在操作中，只有在当前突触权重w大于或等于所述阈值的情况下，才由尖峰生成单元22a、22b生成突触后尖峰32。
[0077]
如前所述，可以简单地将该阈值设置为等于短期突触权重w
s
(参见图4)，在这种情况下，包括第二比较器24a以将所述短期突触权重w
s
与该阈值所允许的最大值w
max
进行比较。该电路以其他方式被配置成如果发现短期突触权重w
s
大于或等于所述最大值，则由于第二比较器24a而重置短期突触权重w
s
。
[0078]
在如图5中所展示的变体中，依赖于单个比较器23b，该单个比较器被设计成用于将差值w
max
–
w
s
用作用于比较目的的所述阈值。在那里，在操作时，仅当发现当前突触权重w大于或等于以上差值w
max
–
w
s
时，才由尖峰生成单元生成突触后尖峰32。每当突触后尖峰32被生成以供传送给突触后神经元14时(在已经生成该尖峰之后)，该电路重置短期突触权重w
s
。
[0079]
接下来，根据最终方面，本发明可以被实施为硬件设备1、1a
–
1c。该装置实现snn并且包括多个神经元连接。这些连接中的每一个包括突触前神经元11、突触后神经元14以及突触单元电路20、20a
‑
20c，诸如先前所描述的。每个突触单元电路分别将突触前神经元11连接至突触后神经元14。每个突触后神经元可以特别地通过网络的多个突触单元电路连接，如图2b所示。因此，每个突触后神经元14可以被配置为基于由各个突触单元电路20、20a至20c中的每一个发送的突触后尖峰32来生成输出尖峰33。如先前详细解释的，每个突触后神经元14可以进一步被配置成通过基于所传送的尖峰32的计数对由相应的电路20、20a至
20c所传送的突触后尖峰32进行积分来生成输出尖峰33。
[0080]
虽然已经参考有限数量的实施例、变体和附图描述了本发明，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以进行各种改变，并且可以替代等同物。具体地，在不脱离本发明的范围的情况下，在给定的实施例、变体中列举的或在附图中示出的特征(类似设备或类似方法)可以与另一个实施例、变体或附图中的另一个特征组合或替代该另一个特征。可相应地预期关于任何上述实施例或变型所描述的特征的不同组合，其仍在所附权利要求书的范围内。此外，可以进行许多微小的修改以使特定情况或材料适应本发明的教导而不偏离其范围。因此，本发明旨在不限于所披露的具体实施例，而是本发明将包括落入所附权利要求书的范围内的所有实施例。此外，可以设想除上面明确触摸之外的许多其他变型。