存储器中的人工神经网络的制作方法

1.本公开大体上涉及存储器，并且更具体地说，涉及与存储器中的人工神经网络相关联的设备和方法。


背景技术：

2.存储器系统可在例如计算机、蜂窝电话、手持式电子装置等电子系统中实施。例如固态驱动器(ssd)、嵌入式多媒体控制器(emmc)装置、通用闪存存储装置(ufs)装置等一些存储器系统可包含用于存储来自主机的主机(例如，用户)数据的非易失性存储器。非易失性存储区存储器通过在未供电时保持所存储的数据来提供永久数据，并且可包含nand闪存存储器、“或非”闪存存储器、只读存储器(rom)、电可擦除可编程rom(eeprom)、电可擦除可编程rom(eprom)和电阻可变存储器，例如，相位变化随机存取存储器(pcram)、3d xpoint
tm
、电阻随机存取存储器(rram)、铁电随机存取存储器(feram)、磁阻随机存取存储器(mram)和可编程导电存储器，以及其它类型的存储器。
3.人工神经网络(ann)是可以通过将例如人脑中的神经元之类的神经元的网络建模以处理在特定环境中已经感测到的信息(例如，刺激)来处理信息的网络。类似于人脑，神经网络通常包含多个神经元拓扑(例如，可被称为人工神经元)。
附图说明
4.图1是根据本公开的若干实施例的呈包含主机和存储器系统的计算系统形式的设备的框图。
5.图2示出根据本公开的若干实施例的人工神经元的实例。
6.图3是根据本公开的若干实施例的包含多个层的实例存储器装置的框图。
7.图4是根据本公开的若干实施例的存储器装置的实例逻辑块的框图。
8.图5是根据本公开的若干实施例的在其中实施多个人工神经网络的相应存储器装置内包含的若干存储器装置和若干逻辑块的框图。
9.图6示出根据本公开的若干实施例的用于实施存储器中的ann的方法的实例流程图。
10.图7示出根据本公开的若干实施例的用于操作存储器中的多个ann的方法的实例流程图。
11.图8示出根据本公开的若干实施例的实例ann。
12.图9示出可在其内执行用于使得机器执行本文所论述的各种方法的指令集的计算机系统的实例机器。
具体实施方式
13.本文所公开的设备和方法涉及存储器中的多个人工神经网络(ann)。一种方法可包含将存储器装置的第一部分配置为第一ann以及将所述存储器装置的第二部分配置为第
二ann。所述存储器装置可包含存储器单元阵列下方的互补型金属氧化物半导体(cmos)中的多个逻辑块，并且存储器装置的第一部分和第二部分各自包括多个逻辑块中的至少一个。
14.本文所描述的若干实施例提供例如消除对具有用于操作多个ann的多个存储器系统的需要之类的益处。例如，本公开可在单个存储器系统内实施多个ann，这可在同一存储器系统内同时执行多个ann操作(例如，通过操作多个ann)。因此，在单个存储器系统内实施的多个ann可减少与操作多个ann相关联的成本和时间。
15.如本文所使用，“若干”某物可指此类事物中的一或多个。例如，若干存储器装置可指一或多个存储器装置。“多个”某物意指两个或多于两个。另外，如本文所使用的例如“n”的指定符，尤其相对于图式中的附图标记，指示如此指定的若干特定特征可与本公开的若干实施例一起包含。
16.本文中的图遵循编号惯例，其中第一一或多个数字对应于附图编号，并且其余数字标识附图中的元件或组件。可通过使用类似数字来标识不同图之间的类似元件或组件。如将了解，可添加、交换和/或去除本文中的各个实施例中示出的元件，以便提供本公开的若干额外实施例。另外，图中所提供的元件的比例和相对尺度旨在示出本公开的各种实施例，并且不会以限制性意义来使用。
17.图1是根据本公开的若干实施例的呈包含主机102和存储器系统104的计算系统100形式的设备的框图。如本文所使用，“设备”可指代但不限于多种结构或结构的组合。例如，主机102和存储器系统104还可被单独地视为“设备”。
18.在此实例中，计算系统100包含经由接口103耦合到存储器装置104的主机102。主机102可以是个人膝上型计算机、台式计算机、数码相机、移动电话、存储卡读卡器，或支持物联网(iot)的装置，以及各种其它类型的系统。主机102可包含能够存取存储器系统104的若干处理资源(例如，一或多个处理器、微处理器或某一其它类型的控制电路系统)。主机102可包含系统母板和/或底板，并且可包含若干处理资源(例如，一或多个处理器、微处理器或一些其它类型的控制电路系统)。
19.系统100可包含单独的集成电路，或主机102和存储器系统104两者可在同一集成电路上。系统100可以是例如服务器系统和/或高性能计算(hpc)系统和/或其一部分。虽然图1中示出的实例说明具有冯诺依曼(von neumann)架构的系统，但本公开的实施例可实施与非冯诺依曼架构中，所述非冯诺依曼架构可不包含通常与冯诺依曼架构相关联的一或多个组件(例如cpu、alu等)。
20.主机102可包含可经由接口103提供到存储器系统104的指令。作为实例，指令可包含ann指令109，所述ann指令109可在提供到存储器系统104时启用存储器系统104以使用分布在若干存储器装置108-1、
……
、108-n上的ann执行各种ann操作。
21.将主机102耦合到存储器系统104的接口103可包含例如采用合适协议的物理接口(例如，数据总线、地址总线和命令总线，或组合数据/地址/命令总线)。此类协议可以是定制的或专有的，或者接口103可采用标准化协议，例如外围组件互连高速(pcie)、计算表达链接(cxl)、gen-z、ccix等。
22.存储器系统104包含控制器106和若干存储器装置108-1、108-2、
……
、108-n(统称为存储器装置108)。控制器106可包括状态机、排序器和/或某一其它类型的控制电路系统，
并且包含呈专用集成电路(asic)、现场可编程门阵列等形式的硬件和/或固件(例如微码指令)。控制器106可位于存储器装置108中的每个存储器装置的本地。换句话说，尽管图1中示出一个控制器106，但存储器系统104可包含多个控制器，每个控制器位于相应存储器装置108的本地。
23.存储器装置108可包括以由存取线(其可在本文中被称为字线或选择线)耦合的行以及由感测线(其可在本文中被称为数字线或数据线)耦合的列布置的存储器单元。存储器单元阵列可包含但不限于例如dram阵列、sram阵列、stt ram阵列、pcram阵列、tram阵列、rram阵列、nand闪存阵列，和/或“或非”闪存阵列。存储器装置108可呈形成为芯片上的集成电路的多个单独存储器裸片和/或不同存储器层的形式。
24.在各种实施例中，存储器装置108可以是三维(3d)的并且可包含堆叠在一起的多个层。作为实例，存储器装置108中的每个存储器装置可包含：第一层，其包含逻辑组件(例如，逻辑块、行驱动器和/或列驱动器)；以及第二层，其堆叠在第一层上并且包含存储器组件，例如阵列或存储器单元。
25.尽管图1中未示出，但存储器系统104还可包含解码器(例如，行/列解码器)，所述解码器可由控制器106控制以例如对从主机102接收的地址信号进行解码。可经由控制器106将经解码地址信号进一步提供到行/列驱动器，所述行/列驱动器可激活存储器装置108的存储器单元阵列的行/列。
26.控制器106可将存储器装置108的相应逻辑(例如，如结合图4所描述的逻辑422)和/或存储器单元的物理位置(例如，地址)映射到相应逻辑地址并且将映射信息存储在查找表111中。使用查找表111，控制器106可因此存取存储器装置108的逻辑422和/或存储器单元和/或通过使用存储在查找表111中的映射信息来跟踪在存储器装置108内实施的ann的拓扑。
27.在若干实施例中，控制器106可将存储器装置108的各个部分配置为多个ann，并且响应于接收到ann指令109而使用被配置为ann的存储器装置108来执行相应ann操作。如本文所使用，术语“配置”是指将一组元件指定为相同网络的元件。例如，特定组逻辑块可被配置为ann，使得所述特定组逻辑块用于执行需要经由ann执行的操作(例如，ann操作)。如本文所使用，ann操作是指使用人工神经元执行处理输入以处理给定任务的操作。在一些实施例中，ann操作涉及执行各种机器学习算法以处理输入。可通过执行ann操作来处理的实例任务可包含计算机视觉处理、语音辨识、机器转换、社交网络过滤和/或医疗诊断。
28.可以各种粒度在存储器装置108内实施ann。在每个存储器装置包含多个逻辑块(例如，如图3所示出的逻辑块316)的实例中，可在单个逻辑块内和/或在多个逻辑块和/或存储器装置(例如，存储器装置108)上实施ann。可彼此独立地操作存储器装置108内实施的每个ann，使得例如可同时执行若干ann操作。
29.图2示出根据本公开的若干实施例的可用于模拟生物神经元(例如人脑的神经元)的人工神经元207的实例。此类神经元有时可被称为感知。可被称为刺激的若干输入x1至xn可分别应用于神经元207的输入213-1至213-n。可响应于感测某一形式的刺激而产生与输入x1至xn相对应的例如电压、电流或特定数据值(例如，二进制数字)的信号，并且可应用输入213-1至213-n。
30.在各种情况下，输入x1至xn可分别由可被称为突触权重的权重w1至wn进行加权。
例如，输入x1至xn可分别乘以权重w1至wn，以分别对输入x1至xn进行加权。例如，每个加权输入可被称为突触，并且所述权重可与人脑行为中的存储器相对应。
31.神经元207可包含求和函数215，所述求和函数215可对经加权输入执行加法操作以产生输出217，所述加法操作例如sum＝x1w1 x2w2
…
xnwn。在神经网络理论中，例如，“sum”可被称为“net”(例如，来自术语“network”)。例如，可对与经加权输入x1w1至xnwn相对应的经加权信号进行求和。在一些实例中，求和函数可被称为传递函数。神经元207进一步包含函数219，例如函数所述函数被配置成对求和sum作出响应并且在输出221处产生输出值y。在一些实例中，函数219可被称为激活函数。神经元的输出有时可被称为类别。
32.可使用各种函数以用于函数219。例如，函数219可包含阈值函数(例如，步长函数)以确定sum是否高于或低于特定阈值水平。如果sum大于或等于特定阈值量，则此阈值函数可在输出221上产生逻辑高输出(例如，逻辑1)，并且如果sum低于特定阈值量，则此阈值函数可在输出221上产生逻辑低(例如，逻辑0)。
33.在一些实例中，函数219可以是s型函数，其中s型函数可表达为s(z)＝1/(1 e
λz
)，其中λ是常数并且z可以是sum。例如，函数219可以是非线性函数。在一些实例中，在输出221处所产生的输出值y可应用于神经元的神经网络的若干额外神经元，例如应用于不同神经元的输入213。函数219可进一步包含符号函数和/或线性函数等。
34.图3是根据本公开的若干实施例的包含多个层的实例存储器装置308的框图。存储器装置308可类似于先前结合图1所描述的存储器装置108。
35.如图1所示，存储器装置308是包含堆叠在一起的多个层的3d存储器装置。作为实例，存储器装置308的第一层312(例如，如图3所示的存储器阵列)堆叠在存储器装置308的第二层314(例如，如图3所示的阵列下方的cmos)上。存储器装置308的第一层312可包含存储器单元阵列。尽管实施例不限于此，但阵列的存储器单元可包含dram存储器单元。
36.第二层314可包含被配置成例如使用存储在存储器单元阵列中的数据值执行各种函数的若干逻辑块。如结合图4进一步示出，每个逻辑块还可包含行/列驱动器。
37.图4是根据本公开的若干实施例的存储器装置的实例逻辑块416的框图。如结合图3所描述，逻辑块416可以是包含在例如先前分别结合图1和3所描述的存储器装置108和/或308之类的存储器装置内的多个逻辑块中的一个逻辑块。
38.逻辑块可以是可配置逻辑块(clb)，所述clb是现场可编程门阵列(fpga)的基本构建块。fpga是指具有在现场时改变其数据路径和/或重新编程的能力的芯片。通过此能力，fpga可在例如中央处理单元(cpu)与图形处理单元(gpu)之间灵活地切换。作为实例，当在现场时，已经充当微处理器的fpga可以重新编程以充当图形卡和/或加密单元。
39.如图4所示，逻辑块416包含逻辑422。逻辑422可以是基于lut的逻辑。作为实例，逻辑422的物理位置(例如，地址)可映射到逻辑地址，并且映射信息可存储在例如查找表111之类的查找表中。
40.逻辑块416可进一步包含行驱动器418和列驱动器420，所述行驱动器418和列驱动器420可被启用以激活存储器阵列(例如，先前结合图3描述的存储器阵列312)的行(或多个行)和/或列(或多个列)。如本文所描述，行驱动器418和列驱动器420可接收地址信号，所述地址信号可由例如先前结合图1所描述的控制器106之类的控制器控制的相应行解码器和列解码器进行解码。尽管图4未示出，但逻辑块416还可包含(例如，耦合到)将逻辑块416耦
合到另一逻辑块和/或另一外部装置(例如，位于存储器装置308外部的装置)的多个数据总线。如下文进一步描述，将逻辑块416耦合到另一逻辑块的逻辑块416的数据总线可包含互连光纤。
41.图5是根据本公开的若干实施例的在其中实施多个人工神经网络的相应存储器装置内包含的若干存储器装置508-1、508-2、
……
、508-n和若干逻辑块516的框图。存储器装置508-1、508-2、
……
、508n(统称为存储器装置508)的数目可分别类似于如先前结合图1和3所描述的存储器装置108和/或308。如本文所描述，每个存储器装置508可呈例如dram存储器裸片之类的单独存储器裸片的形式。
42.如图5所示，每个逻辑块可包含将逻辑块耦合到另一逻辑块和/或另一装置(例如，位于存储器装置外部的装置(例如，存储器装置508-1))的数据总线。例如，耦合到逻辑块516-a并且延伸超出存储器装置508-1的数据总线521-1是实现存储器装置508-1与位于存储器装置508-1外部的另一装置之间的数据通信的实例数据总线(例如，i/o边界)。例如，存储器装置508-1可经由例如数据总线521-1之类的数据总线与主机(例如，如图1所示的主机102)进行通信。例如，耦合逻辑块516-a至516a-(a 3)的数据总线521-2(例如，互连光纤)是实现例如逻辑块516-a与516a-(a 3)之间的逻辑块当中的块间数据路径的实例数据总线。
43.如图5所示，在存储器装置508-1内实施多个ann。作为实例，第一组逻辑块516-a、516-(a 1)、516-(a 2)、516-(a 3)、516-(a 4)和516-(a 5)被配置为第一ann 524-1；第二组逻辑块516-b、516-(b 1)、516-(b 2)、516-(b 3)、516-(b 4)、516-(b 5)、516-(b 6)、516-(b 7)、516-(b 8)、516-(b 9)、516-(b 10)和516-(b 11)被配置为第二ann 524-2；第三组逻辑块516-c、516-(c 1)、516-(c 2)和516-(c 3)被配置为第三ann 524-3，并且第四组逻辑块516-d、516-(d 1)、516-(d 2)、516-(d 3)、516-(d 4)、516-(d 5)、516-(d 6)、516-(d 7)和516-(d 8)被配置为第四ann 524-4。因此，在存储器装置508的多个逻辑块516上实施至少四个不同的ann。在一些实施例中，还可以单个逻辑块516和/或多个存储器装置508的粒度实施ann。
44.四个ann 524-1、524-2、524-3和524-4(统称为ann 524)可具有不同拓扑(例如，逻辑拓扑)。在一些实施例中，ann 524的相应拓扑可与组成逻辑块的物理拓扑相对应。在多个逻辑块上实施ann的实例中，ann的逻辑拓扑可与多个逻辑块(例如，各自被配置为ann的节点)的物理拓扑相对应。
45.在一些实施例中，ann 524的相应拓扑可不与组成逻辑块的物理拓扑相对应。在此实例中，控制器(例如，如先前结合图1所描述的控制器106)可映射(例如，在将存储器装置508的各个部分配置为ann 524后)并且使用查找表(例如，如先前结合图1所描述的查找表111)跟踪在存储器装置508内实施的每个ann的相应拓扑。控制器还可响应于ann 524中的改变而更新存储在查找表中的映射信息。ann 524中的改变可包含ann 524的组成逻辑块的改变和/或存储器装置508内的ann的添加/删除。
46.在存储器装置508(例如，存储器装置508-1)内实施的多个ann可彼此独立地操作。换句话说，可使用在存储器装置508内实施的多个ann同时执行多个ann操作，如本文进一步所描述。
47.图6示出根据本公开的若干实施例的用于在存储器中实施ann的方法630的实例流程图。在632处，存储器装置的第一部分可被配置为第一ann。在634处，存储器装置的第二部
分可被配置为第二ann。存储器装置可类似于先前分别结合图1、3和5所描述的存储器装置108、308和/或508。如本文所描述，存储器装置可包含多个逻辑块(例如，逻辑块416)，并且存储器装置的第一部分和第二部分中的至少一个可包含多个逻辑块中的相应逻辑块。
48.在一个实施例中，可在单个逻辑块内实施ann(例如，第一或第二ann)。在另一实施例中，可在多个逻辑块和/或多个存储器装置上实施ann。在一些实施例中，可通过将存储器装置的不同部分配置为ann来修改ann的组成逻辑块。
49.图7示出根据本公开的若干实施例的用于操作存储器中的ann的方法740的实例流程图。在742处，可通过控制被配置为第一ann的第一组逻辑块来执行第一ann操作。在744处，可通过控制被配置为第二ann的第二组逻辑块来独立于第一ann执行第二ann操作。在一些实施例中，第一组逻辑块和第二组逻辑块可以是同一存储器装置(例如，存储器装置108)的部分。
50.执行ann操作(例如，第一和/或第二ann操作)可包含传递从前一ann层的人工神经元接收的输入和/或对所述输入加权。在一个实施例中，在特定人工神经元处接收到的输入可按原样被传递到下一ann层的另一人工神经元。在另一实施例中，如结合图2所描述，在将输出提供到下一ann层的人工神经元之前，可对接收到的输入进行加权并且将所述输入与其它输入进行求和。
51.如本文所描述，可同时执行第一ann操作和第二ann操作。在一些实施例中，同时执行的多个ann操作可与同一任务相关联并且基于同一输入而执行。在此实例中，可选择从执行多个ann操作中获得的结果中的一个结果作为验证结果。在一些实施例中，验证结果可以是由已执行多个ann操作的多个ann的大部分验证的结果。
52.图8示出根据本发明的若干实施例的ann 848的实例模型。ann 848可包含具有节点856-1至856-n的ann层850(例如，输入层)，所述节点接收各种输入，例如先前结合图2所描述的输入x1至xn。每个ann层(例如，ann层850、852-1、852-2、852-3和854)的节点可与如本文所描述的人工神经元相对应。
53.ann 848可包含ann层852-1至852-3。ann层852-1可包含节点858-1至858-l。如互连区866-1所示，相应节点858-1至858-l中的每个节点可被耦合以从节点856-1至856-n接收输入。ann层852-2可包含节点860-1至860-l。如互连区866-2所示，相应节点860-1至860-l中的每个节点可被耦合以从节点858-1至858-l接收输入。ann层852-3可包含节点862-1至862-l。如互连区866-3所示，相应节点862-1至862-l中的每个节点可被耦合以从节点860-1至860-l接收输入。ann 848可在训练过程中配置，其中互连区866中的各种连接被分配有权重值或用新的权重值更新，所述新的权重值用于节点858、860或862处的操作或计算。取决于ann 848的特定应用或用途，训练过程可以是不同的。例如，可训练ann以用于图像辨识、语音辨识或任何数目的其它处理或计算任务。
54.ann 848可包含具有输出节点864-1至864-k的输出层854。相应输出节点864-1至864-k中的每个节点可被耦合以从节点862-1至862-l接收输入。由于在ann层850处馈送到节点856中的输入，在输出层854和输出节点864处接收可用输出的过程可被称为推断或前向传播。也就是说，可将表示一些现实世界现象或应用程序的输入信号馈送到经训练的ann 848中，并且通过由于由各种节点和互连件实现的计算而发生的推断，可输出结果。在经训练以用于语音辨识的ann 848的情况下，输入可以是表示呈一种语言的人类语音的信号，并
且输出可以是表示呈不同语言的人类语音的信号。在针对图像辨识而训练的ann 848的另一情况下，输入可以是表示照片的信号，并且输出可以是表示照片中的主体的信号。
55.如本文所描述，多个ann可被配置在存储器装置内。多个ann可被单独地(本地或远程地)训练，并且经训练的ann可用于存储器装置内的推断。多个ann可执行相同或不同函数。这些ann可具有相对于彼此相同或不同的权重。
56.图9示出可在其内执行用于使得机器执行本文所论述的各种方法的指令集的计算机系统900的实例机器。在各种实施例中，计算机系统900可对应于包含、耦合到或利用存储器子系统(例如图1的存储器装置104)或可用于执行控制器(例如图1的控制器106)的操作的系统(例如图1的系统100)。在替代性实施例中，机器可连接(例如联网)到lan、内联网、外联网和/或互联网中的其它机器。机器可作为对等(或分散式)网络环境中的对等机器或作为云计算基础设施或环境中的服务器或客户端机器而在客户端-服务器网络环境中的服务器或客户端机器的容量中进行操作。
57.机器可以是个人计算机(pc)、平板pc、机顶盒(stb)、个人数字助理(pda)、蜂窝式电话、网络器具、服务器、网络路由器、交换机或桥接桥，或能够(依序或以其它方式)执行指定将由所述机器采取的动作的指令集的任何机器。此外，虽然示出了单个机器，但还应认为术语“机器”包含单独地或共同地执行一组(或多组)指令以执行本文所论述的方法中的任何一种或多种的机器的任何集合。
58.实例计算机系统900包含处理装置902、主存储器972(例如，只读存储器(rom)、闪存存储器、例如同步dram(sdram)或rambus dram(rdram)等动态随机存取存储器(dram))、静态存储器974(例如，闪存存储器、静态随机存取存储器(sram)等)，以及数据存储系统980，其经由总线982彼此通信。
59.处理装置902表示一或多个通用处理装置，例如微处理器、中央处理单元(cpu)等等。更具体地说，处理装置可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器或实施其它指令集的处理器，或实施指令集的组合的处理器。处理装置902也可以是一或多个专用处理装置，例如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、网络处理器等。处理装置902被配置成执行指令970，以用于执行本文所论述的操作和步骤。计算机系统900可进一步包含网络接口装置986以通过网络976进行通信。
60.数据存储系统980可包含机器可读存储媒体984(也被称为计算机可读媒体)，所述机器可读存储媒体上存储有一或多组指令970或体现本文所描述的方法或功能中的任何一或多个的软件。指令970还可在由计算机系统900执行期间完全或至少部分地驻存在主存储器972内和/或处理装置902内，主存储器972和处理装置902也构成机器可读存储媒体。
61.在一个实施例中，指令970包含实施对应于图1的主机102和/或存储器系统104的功能性的指令。尽管在实例实施例中将机器可读存储媒体984示出为单个媒体，但术语“机器可读存储媒体”应被认为包含存储一组或多组指令的单个媒体或多个媒体。术语“机器可读存储媒体”还应被认为包含能够存储或编码供机器执行的一组指令并且使机器执行本公开的方法中的任何一种或多种的任何媒体。因此，术语“机器可读存储媒体”应被认为包含但不限于固态存储器、光学媒体和磁性媒体。
62.尽管已在本文中说明并描述了具体实施例，但所属领域的一般技术人员应了解，
经计算以实现相同结果的布置可取代所示出的具体实施例。本公开意图涵盖本公开的各种实施例的修改或变化。应理解，以上描述是以说明性方式而非限制性方式进行的。对于所属领域的技术人员而言在审阅以上描述之后以上实施例的组合以及本文中未具体描述的其它实施例将是显而易见的。本公开的各种实施例的范围包含其中使用以上结构和方法的其它应用。因此，本公开的各种实施例的范围应参考所附权利要求书以及这些权利要求书所授予的等效物的完整范围来确定。
63.在前述具体实施方式中，出于简化本公开的目的而将各种特征一起分组在单个实施例中。本公开的此方法不应被理解为反映本公开的所公开实施例必须使用比每个权利要求中明确陈述的特征更多的特征的意图。相反，如所附权利要求书所反映，本发明主题在于比单个所公开实施例的所有特征少。因此，所附权利要求书特此并入于具体实施方式中，其中每项权利要求就其自身而言作为单独实施例。