人工神经元

1.本发明是关于类脑计算技术领域，特别是关于一种基于群体编码的人工神经元。


背景技术：

2.当前，人工智能和大数据技术的蓬勃发展对计算设备的算力和能效提出了更高要求。然而，主流的芯片均是基于冯诺伊曼架构，在算力和能效提升上天然存在着瓶颈。为此，人们开始模拟大脑的工作机制，探索高算力、高能效、类脑的神经形态计算。
3.神经形态计算所依赖的硬件系统主要包括人工神经元和人工突触，其中，人工神经元用于对输入信号进行非线性处理，从硬件底层实现relu、sigmoid、softplus等软件非线性激活函数的功能。然而，不论是利用传统半导体cmos技术，或是利用阻变材料、相变材料等新材料构建的人工神经元，目前均只能实现一种非线性激活函数的功能，缺乏灵活性，难以适应不同人工智能计算场景的需要。相比之下，大脑通过神经元群体编码，不仅具有极高的计算灵活性，而且在计算的可靠性和能效之间实现了最优平衡。因此，利用新型纳米器件模拟群体编码机制在构建高灵活性的可重构神经元方面极具潜力。
4.公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。


技术实现要素：

5.本发明的目的在于提供一种具有高灵活性的基于群体编码的人工神经元，实现单神经元具有多种可调的非线性激活特性。
6.为实现上述目的，本发明的实施例提供了一种人工神经元，包括微波单元，器件单元以及权重单元。
7.所述微波单元用于产生微波信号；所述器件单元响应于所述微波信号，并输出符合不同峰值响应点的多条钟型曲线的直流电压信号；所述权重单元赋予权重值以调节所述直流电压信号强度。
8.在本发明的一个或多个实施方式中，所述权重单元被配置为可赋予与所述器件单元输出的多条钟型曲线一一对应的多个权重值以调节所述器件单元输出的直流电压信号强度。
9.在本发明的一个或多个实施方式中，所述权重单元包括多个权重器件，其中，一个所述权重器件为所述器件单元的符合一条钟型曲线的直流电压信号提供一个权重值。
10.在本发明的一个或多个实施方式中，所述权重器件包括cmos晶体管或忆阻器。
11.在本发明的一个或多个实施方式中，所述器件单元包括自旋矩二极管单元，所述自旋矩二极管单元通过自身磁各向异性的不同能够输出符合不同峰值响应点的多条钟型曲线的直流电压信号。
12.在本发明的一个或多个实施方式中，所述自旋矩二极管单元包括一个自旋矩二极管；所述人工神经元还包括磁各向异性调节件，所述磁各向异性调节件作用于所述自旋矩
二极管，用于根据作用其上的输入控制电信号来调控所述自旋矩二极管的磁各向异性，以使所述自旋矩二极管输出符合不同峰值响应点的多条钟型曲线的直流电压信号。
13.在本发明的一个或多个实施方式中，多个所述权重器件并联设置，所述自旋矩二极管通过连接开关可择一与所述权重单元内的权重器件电连接。
14.在本发明的一个或多个实施方式中，所述自旋矩二极管包括第一电极层，第二电极层以及磁性隧道结。所述第二电极层与所述第一电极层相对设置；所述磁性隧道结设置于所述第一电极层和所述第二电极层之间，所述磁性隧道结包括磁性自由层、势垒层、钉扎层以及反铁磁层，所述磁性自由层、势垒层、钉扎层以及反铁磁层由第一电极层向第二电极层方向依次层叠设置；其中，所述磁性自由层包括面内磁各向异性层或垂直磁各向异性层，所述自旋矩二极管通过改变所述磁性自由层的磁各向异性而输出符合不同峰值响应点的多条钟型曲线的直流电压信号；所述微波单元连接所述第一电极层和/或所述第二电极层。
15.在本发明的一个或多个实施方式中，所述磁各向异性调节件包括磁场产生装置，所述磁场产生装置用于根据作用其上的输入控制电信号生成磁场，以调控所述自旋矩二极管的磁性自由层的磁各向异性。
16.在本发明的一个或多个实施方式中，所述磁各向异性调节件包括磁电耦合装置，所述磁电耦合装置用于根据作用其上的输入控制电信号生成应力并将应变力传递至所述磁性自由层，以调控所述磁性自由层的磁各向异性。
17.在本发明的一个或多个实施方式中，所述磁电耦合装置包括压电薄膜，所述压电薄膜设置于所述第一电极层或所述第二电极层上，所述压电薄膜用于根据作用其上的输入控制电信号生成应变力。
18.在本发明的一个或多个实施方式中，所述磁各向异性调节件包括忆阻装置，所述忆阻装置用于根据作用其上的输入控制电信号生成电场，并在撤去控制电信号之后保持该电场，以实现所述磁性自由层的磁各向异性的忆阻性控制。
19.在本发明的一个或多个实施方式中，所述磁各向异性调节件包括忆阻装置，所述忆阻装置包括阻变薄膜或相变薄膜，所述阻变薄膜或相变薄膜设置于所述第一电极层或所述第二电极层上或包覆所述磁性隧道结设置。
20.在本发明的一个或多个实施方式中，所述人工神经元还包括积分电路，所述积分电路连接于所述自旋矩二极管以及所述权重单元，所述积分电路用于将所述自旋矩二极管生成的符合不同峰值响应点的多条钟型曲线的直流电压信号经权重单元赋予权重值后进行积分整合并输出。
21.在本发明的一个或多个实施方式中，所述自旋矩二极管单元包括多个自旋矩二极管，多个所述自旋矩二极管具有不同的磁各向异性，以输出符合不同峰值响应点的多条钟型曲线的直流电压信号；每个所述自旋矩二极管的输入端均电连接所述微波单元，每个所述自旋矩二极管的输出端均电连接一个所述权重器件，每个权重器件为与其连接的自旋矩二极管输出的符合钟型曲线的直流电压信号提供一个权重值；其中，符合不同峰值响应点的多条钟型曲线的直流电压信号在被赋予不同权重后被群体输出，以激活非线性目标函数。
22.在本发明的一个或多个实施方式中，所述自旋矩二极管包括第一电极层，第二电极层以及磁性隧道结。所述第二电极层与所述第一电极层相对设置；所述磁性隧道结设置
于所述第一电极层和所述第二电极层之间，所述磁性隧道结包括磁性自由层、势垒层、钉扎层以及反铁磁层，所述磁性自由层、势垒层、钉扎层以及反铁磁层由第一电极层向第二电极层方向依次层叠设置；其中，所述磁性自由层包括面内磁各向异性层或垂直磁各向异性层；所述微波单元连接所述第一电极层和/或所述第二电极层。
23.在本发明的一个或多个实施方式中，多个所述自旋矩二极管具有不同厚度或尺寸的磁性自由层，从而具有不同磁各向异性而输出符合不同峰值响应点的多条钟型曲线的直流电压信号。
24.在本发明的一个或多个实施方式中，所述微波单元包括微波源或微波天线，用于输入微波信号。
25.在本发明的一个或多个实施方式中，所述磁性自由层的材料包括cofeb、py、co、cofe、fept、co/ni中的至少一种。
26.在本发明的一个或多个实施方式中，所述磁性自由层的厚度为0.1nm～10nm。
27.在本发明的一个或多个实施方式中，所述第一电极层的厚度为10nm～200nm。
28.在本发明的一个或多个实施方式中，所述第一电极层的材料包括pt、au、pb、ta、cr中的一种。
29.在本发明的一个或多个实施方式中，所述第二电极层的厚度为10nm～200nm。
30.在本发明的一个或多个实施方式中，所述第二电极层的材料包括pt、au、pb、ta、cr中的一种。
31.在本发明的一个或多个实施方式中，所述势垒层的厚度为0.1nm～10nm，优选为1nm～5nm。
32.在本发明的一个或多个实施方式中，所述势垒层的材料包括mgo、al2o3、tio2中的一种。
33.在本发明的一个或多个实施方式中，所述钉扎层的厚度为0.1nm～10nm。
34.在本发明的一个或多个实施方式中，所述钉扎层的材料包括cofeb、py、co、cofe、fept中的一种或多种组合。
35.在本发明的一个或多个实施方式中，所述钉扎层的磁化方向为面内取向或垂直面内取向。
36.与现有技术相比，本发明实施方式的人工神经元具有如下优点和有益效果：
37.一、具有高度灵活性。本发明中的人工神经元可通过调节权重单元在同一神经元中实现多种非线性输入输出特性，从而模拟不同的激活函数，以适应不同应用场景的需求。
38.二、具有高度集成性。本发明中的人工神经元，其器件单元内具有磁性隧道结的器件，尺寸可低至几个纳米，因此能够实现高密度集成。
39.三、具有低功耗性。本发明中的人工神经元所使用的自旋矩二极管具有较高的微波响应灵敏度，对较低功率的微波信号也能够产生响应。此外，利用自旋矩二极管的微波能量收集特性，还可以从环境中捕获能量，实现自驱动的人工神经元。
附图说明
40.图1是本发明一实施方式的人工神经元的原理示意图。
41.图2是本发明一实施方式的自旋矩二级管输出的信号示意图。
42.图3是本发明实施例一中的采用时分复用的人工神经元的原理示意图；
43.图4是本发明实施例一中的采用时分复用的人工神经元在不同磁场下的输出信号示意图；
44.图5是本发明实施例一中的采用时分复用的人工神经元的输出信号示意图。
45.图6是本发明实施例二中的采用时分复用的人工神经元的原理示意图。
46.图7是本发明实施例三中的人工神经元的原理示意图。
47.图8是本发明实施例四中的人工神经元的原理示意图。
具体实施方式
48.下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
49.除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
50.如图1所示，本发明一实施方式提供了一种人工神经元，包括微波单元10，器件单元20以及权重单元30。微波单元10用于产生微波信号；器件单元20响应于微波信号，并输出符合不同峰值响应点的多条钟型曲线的直流电压信号；权重单元30赋予权重值以调节直流电压信号强度。
51.在一实施方式中，权重单元30被配置为可赋予与器件单元20输出的多条钟型曲线一一对应的多个权重值以调节器件单元20输出的直流电压信号强度。权重单元30包括多个权重器件31，其中，一个权重器件31为器件单元20的符合一条钟型曲线的直流电压信号提供一个权重值。在具体实施例中，权重器件31包括cmos晶体管或忆阻器，优选的，权重器件31为忆阻器。
52.在一实施方式中，器件单元20包括自旋矩二极管单元，自旋矩二极管单元通过自身磁各向异性的不同能够输出符合不同峰值响应点的多条钟型曲线的直流电压信号。具体的，自旋矩二极管单元可包括一个或多个自旋矩二极管21。在单个自旋矩二极管情况下，单个自旋矩二极管可以通过调控磁场、应力、电压等，基于时分复用技术，获得多条具有相近的的微波响应频率及对称的微波响应特性曲线；在多个自旋矩二极管情况下，每个自旋矩二极管具有相近的微波响应频率及对称的微波响应线形。
53.其中，每个自旋矩二极管21均包括第一电极层211，第二电极层212以及磁性隧道结213。第二电极层212与第一电极层211相对设置。磁性隧道结213设置于第一电极层211和第二电极层212之间。磁性隧道结213包括磁性自由层2131、势垒层2132、钉扎层2133以及反铁磁层2134，磁性自由层2131、势垒层2132、钉扎层2133以及反铁磁层2134由第一电极层211向第二电极层212方向依次层叠设置；其中，磁性自由层2131包括面内磁各向异性层或垂直磁各向异性层。微波单元10用于驱动磁性自由层2131的磁矩进动，并使得磁性隧道结213输出整流电压信号。
54.下面简要描述本技术的人工神经元的工作原理：首先，钉扎层2133的磁矩被反铁磁层2134固定，这样仅有磁性自由层2131的磁矩能够外加磁场或电信号作用下运动。当微波单元10向自旋矩二极管21注入一个频率与磁性自由层2131的本征铁磁共振频率相近的
微波时，由于电子隧穿效应，使得磁性自由层2131与钉扎层2133之间会产生电流。进一步地，这一电流通过自旋转移力矩效应驱动磁性自由层2131的磁矩发生进动，使得磁性自由层2131与钉扎层2133之间的磁矩排列状态发生周期性地变化，并通过隧穿磁电阻效应表现为周期性的电阻变化。这种周期性的电阻变化与微波单元10输入的微波信号周期性的电流变化叠加，对外输出一个直流电压信号。在磁性自由层2131具有适当的磁各向异性时，输出直流电压的大小与输入微波信号的频率满足对称的洛伦兹曲线，如图2所示。
55.在单个自旋矩二极管条件下，利用时分复用技术，通过调控单个自旋矩二极管的磁性隧道结213的铁磁共振频率，可获得多条具有不同特征响应频率的微波响应曲线，即可模拟大脑中群体编码所需的调谐曲线(tuning curves)。通过权重单元30调节输出，结合时分复用与积分电路，即可以在单个自旋矩二极管上实现多种人工神经元的非线性激活功能。
56.在多个自旋矩二极管条件下，不同自旋矩二极管之间通过改变磁性隧道结213尺寸、改变磁性自由层2131的厚度等改变磁性自由层2131的磁各向异性，使得不同自旋矩二极管具有不同特征响应频率的微波响应曲线，以作为群体编码所需的调谐曲线。进一步地，通过权重单元30对每个自旋矩二极管的输出进行调节，即可实现多种人工神经元的非线性激活功能。
57.需要说明的是，自旋矩二极管单元仅为器件单元20的一种具体表现形式，但不应对器件单元20进行限定为仅可以是自旋矩二极管单元，器件单元20还可以有其他表现形式，只要该表现形式的器件单元20的输入-输出关系满足对称线性的钟型曲线即可，如图2所示。
58.以上仅仅简单描述了本发明的人工神经元的基本原理，下面结合不同的实施例，进一步详细阐述本技术的具体技术原理。
59.实施例1：
60.如图3所示，图3为基于单个自旋矩二级管的人工神经元的原理示意图。本实施例中的人工神经元包括微波源10，单个自旋矩二级管21，磁各向异性调节件22，多个权重器件31以及积分电路。其中，微波源10连接于单个自旋矩二级管21的第一电极层211和第二电极层212，用于输入微波信号。磁各向异性调节件22连接单个自旋矩二级管21，用于根据输入的控制电信号来调控自旋矩二级管21的磁性自由层2131的磁各向异性，以使自旋矩二极管21与微波源40输出的微波信号响应而输出符合不同峰值响应点的多条钟型曲线的直流电压信号。多个权重器件31并联设置，自旋矩二极管21通过连接开关40可择一与权重单元30内的权重器件31电连接；积分电路连接于自旋矩二极管21以及权重单元30，积分电路用于将自旋矩二极管21生成的符合不同峰值响应点的多条钟型曲线的直流电压信号经权重单元30赋予权重值后进行积分整合并输出。
61.在本实施例中，自旋矩二级管21的第一电极层211的厚度优选为10nm～200nm，材料优选为pt或au或pb或ta或cr；第二电极层212的厚度优选为10nm～200nm，材料优选为pt或au或pb或ta或cr；势垒层2132的厚度优选为0.1nm～10nm，材料优选为mgo或al2o3或tio2，势垒层2132允许电荷载流子在磁性自由层2131和钉扎层2133之间隧穿；钉扎层2133的厚度优选为0.1nm～10nm，材料优选为cofeb或py或co或cofe或fept或它们的组合。钉扎层2133的磁化方向为面内取向或垂直面内取向。其中，面内取向具体为：其磁矩沿钉扎层2133所在
平面内排列，磁化方向被反铁磁层2134固定，且在自旋矩二级管21的工作条件下不会发生明显的变化。垂直面内取向具体为：其磁矩垂直于钉扎层2133所在平面排列的结构。磁性自由层2131的厚度为0.1nm～10nm，材料为cofeb或py或co或cofe或fept或co/ni多层膜中的至少一种。磁性自由层2131的磁化方向为面内取向或垂直面内取向。
62.磁性自由层2131的磁矩在微波电流的作用下，使得磁性隧道结213电阻发生周期性变化，进而输出整流电压，且整流电压随注入微波信号的频率满足以下关系：
[0063][0064]
其中，v
dc
为输出整流电压，fr为器件的本征响应频率，f为输入的微波信号的频率。δf为器件微波响应的半高宽，va与vs为器件微波响应中的反对称与对称洛伦兹分量的幅度，vc为补偿电压。
[0065]
磁性自由层2131通过选用前述材料，并通过控制厚度，使得磁性自由层2131具有合适的磁各向异性，从而抑制磁性隧道结213微波响应整流电压中的反对称洛伦兹分量，仅保留对称的洛伦兹分量，即使va为0，从而模拟群体编码所需的对称的钟型曲线，如图2所示。
[0066]
在本实施例中，磁各向异性调节件22为磁场产生装置，磁场产生装置用于根据作用其上的输入控制电信号产生磁场，以调控磁性自由层2131的磁各向异性，进而使得磁性隧道结213的微波特征响应频率发生偏移，以基于时分复用技术在单个自旋矩二极管上获得多条钟形调谐曲线。如图4所示，点线为实验测得的不同磁场下的自旋矩二极管响应曲线，实线为对应的洛伦兹函数。
[0067]
进一步地，通过权重单元30对不同调节情况下自旋矩二极管21的输出进行调节，其中，权重单元内的权重计算数量可视具体需求决定。本实施例中采用的是9个权重器件。结合积分电路，实现多种的软件激活函数的非线性输入输出关系。图5给出了基于图4获得的数据实现的两种常用的非线性激活函数-sigomiod与relu激活函数，其中实线为目标拟合函数，黑色数据点为基于实验数据点获得的输入-输出关系。
[0068]
需要说明的是，关于权重值的赋予，可以通过如下推导得出：
[0069]
首先，神经元群体响应曲线可表示为：
[0070][0071]
其中，wi表示第i个神经元输出所占的权重，ri(θ)为该神经元的响应函数。因此，通过改变权重wi即可获得不同的群体响应曲线，以适应不同的任务需要。
[0072]
利用自旋矩二极管群体编码在单一自旋矩二极管上实现多种神经元激活函数，即是设定公式中的群体响应曲线h(θ)为特定的激活函数，并根据所有的钟型相应曲线计算出每条曲线对应的权重值，并通过权重器件实现。在单自旋矩二极管模式下，首现需要确定所需的曲线数量n，这对应着自旋矩二极管以及权重器件所需的n个状态。当外界信号传入时，自旋矩二极管对其做出响应并通过权重器件将此时的输出存储到积分电路中，随后，利用磁各向异性调节件改变自旋矩二极管状态，使自旋二极管的微波响应曲线的特征响应值改
变，并重新选择权重器件表示的权重到响应值，在此状态下将输出存储到积分电路中。重复以上步骤，将n个状态下的输出通过积分电路进行积分以作为基于时分复用的自旋二极管群体的输出，从而实现多种人工神经元的非线性激活功能。
[0073]
实施例2：
[0074]
如图6所示，本实施例与实施例1的区别仅在于，磁各向异性调节件22采用磁电耦合装置，磁电耦合装置用于根据作用其上的输入控制电信号生成应力，并将应力传递至自旋矩二极管21的磁性自由层2131，以调控磁性自由层2131的磁各向异性，进而实现对磁性隧道结213微波响应中心频率的调控。作为优选实施例，磁电耦合装置包括压电薄膜，压电薄膜设置于自旋矩二极管21的第一电极层211或第二电极层212之上，压电薄膜用于根据作用其上的输入电信号产生应力。
[0075]
具体来说，压电薄膜的材料可为压电材料或铁电材料，铁电材料材料优选为钛酸钡(batio3)、铌镁酸铅(pmn-pt)、锆钛酸铅(pzt)等。在本实施例中，主要利用应变传递机制实现电压对磁各向异性调控。施加电压产生电场作用压电薄膜上，由于铁电材料或压电材料具有逆压电效应，压电薄膜将产生应变力，应变力通过界面传递到磁性隧道结213的磁性自由层2131，再通过磁致伸缩效应，改变磁性自由层2131的磁各向异性。需要说明的是，应力主要改变磁性自由层2131的磁各向异性，从而改变自旋矩二极管21的微波中心响应频率。
[0076]
进一步地，对压电薄膜输入多个不同的信号，即可获得群体编码所需的多条调谐曲线。
[0077]
实施例3：
[0078]
如图7所示，本实施例与实施例1和实施例2的不同之处在于，本实施例中的自旋矩二极管单元20内包含多个自旋矩二极管21。本实施例的人工神经元是通过多个自旋矩二极管21的群体编码实现，无需磁各向异性调节件。其中，自旋矩二极管21的数量视具体需求确定，本实施例中选用的数量是5。每个自旋矩二极管21的输入端均电连接微波单元10，每个自旋矩二极管21的输出端均电连接一个权重器件31，每个权重器件31为与其连接的自旋矩二极管21输出的符合钟型曲线的直流电压信号提供一个权重值。
[0079]
具体来说，通过控制每个自旋矩二极管21的磁性隧道结213的尺寸大小，或磁性自由层2131厚度等，使得所有自旋矩二极管21具有对称洛伦兹线性的微波响应特性曲线，并具有稍微不同的微波中心响应频率，从而获得群体编码所需的多条调谐曲线。进一步地，通过控制每个自旋矩二极管21对应的权重器件31，实现人工神经元激活函数。
[0080]
与实施例1、实施例2相比，通过多个自旋矩二极管群体编码实现人工神经元能够有效地降低计算所需时间，提高计算速度。
[0081]
实施例4：
[0082]
如图8所示，本实施例与实施例3的区别在于，本实施例中的微波单元10为微波天线，微波天线探测环境中的微波，并将微波转为微波电信号传输给自旋矩二极管21，进一步地，自旋矩二极管21直接对微波电信号进行处理，并输出直流信号。
[0083]
相比传统的微波信号探测与处理系统，自旋矩二极管21群体编码的人工神经元能够直接处理环境中的目标微波信息，无需传统的模拟-数字转换，可有效提高能效并直接进行人工神经网络计算。
[0084]
与现有技术相比，本发明的人工神经元具有如下技术效果：
[0085]
一、具有高度灵活性。本发明中的人工神经元可通过调节权重单元在同一神经元中实现多种非线性输入输出特性，从而模拟不同的激活函数，以适应不同应用场景的需求。
[0086]
二、具有高度集成性。本发明中的人工神经元，其器件单元内具有磁性隧道结的器件，尺寸可低至几个纳米，因此能够实现高密度集成。
[0087]
三、具有低功耗性。本发明中的人工神经元所使用的自旋矩二极管具有较高的微波响应灵敏度，对较低功率的微波信号也能够产生响应。此外，利用自旋矩二极管的微波能量收集特性，还可以从环境中捕获能量，实现自驱动的人工神经元。
[0088]
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。