用于多协议处理的存储系统和方法与流程

用于多协议处理的存储系统和方法


背景技术：

1.主机可以向存储系统发送读取请求和写入请求以从存储系统的存储器读取数据并将数据存储在存储系统的存储器中。主机和存储系统可以使用通信协议进行通信，并且当前可用各种通信协议。
附图说明
2.图1a是一个实施方案的非易失性存储系统的框图。
3.图1b是示出一个实施方案的存储模块的框图。
4.图1c是示出一个实施方案的分级存储系统的框图。
5.图2a是示出根据一个实施方案的图1a所示的非易失性存储系统的控制器的部件的框图。
6.图2b是示出根据一个实施方案的图1a所示的非易失性存储器存储系统的部件的框图。
7.图3是一个实施方案的计算设备和存储系统的框图。
8.图4是用于一个实施方案的多协议处理的流程图。
9.图5是一个实施方案的计算设备和存储系统的图示。
具体实施方式
10.概述
11.通过介绍的方式，下面的实施方案涉及用于多协议处理的存储系统和方法。在一个实施方案中，提供了一种计算设备，该计算设备包括多个通信信道，该多个通信信道被配置为与存储系统通信，其中第一通信信道具有比第二通信信道快的数据传输速度。该计算设备还包括处理器，该处理器被配置为：确定命令的优先级级别；向存储系统发送具有其优先级级别的指示的命令；响应于命令是高优先级命令，使用第一通信信道传输针对命令的数据；以及响应于命令是低优先级命令，使用第二通信信道传输针对命令的数据。
12.在一些实施方案中，第一通信信道在外围部件快速互连(pcie)协议下操作，并且其中第二通信信道在安全数字协议下操作。
13.在一些实施方案中，用于传输用户数据的命令被确定为高优先级命令。
14.在一些实施方案中，用于传输日志文件或调试数据的命令被确定为低优先级命令。
15.在一些实施方案中，用于传输顺序数据的命令被确定为高优先级命令，并且其中用于传输随机数据的命令被确定为低优先级命令。
16.在一些实施方案中，基于发出命令的应用程序的识别来确定优先级级别。
17.在一些实施方案中，基于与命令相关联的逻辑区域来确定优先级级别。
18.在一些实施方案中，基于生成命令的应用程序的识别来确定优先级级别。
19.在一些实施方案中，处理器被配置为关闭第一通信信道和第二通信信道中的一者
并仅使用第一通信信道和第二通信信道中的另一者进行数据传输。
20.在另一个实施方案中，提供了一种方法，在经由第一通道和第二通道与主机通信的存储系统中执行该方法，第一通道具有比第二通道快的数据传输速度，其中存储系统包括存储器。该方法包括：将从主机接收的多个命令存储在队列中，其中每个命令用指示经由第一通道的数据传输的第一标记进行标记，或者用指示经由第二通道的数据传输的第二标记进行标记；使用第一通道传输针对用第一标记进行标记的命令的数据；以及使用第二通道传输针对用第二标记进行标记的命令的数据。
21.在一些实施方案中，该方法还包括对针对用第一标记进行标记的命令的存储系统资源进行排优。
22.在一些实施方案中，第一通道在外围部件快速互连(pcie)协议下操作，并且其中第二通道在安全数字协议下操作。
23.在一些实施方案中，针对用第一标记进行标记的命令传输的数据包括用户数据，并且其中针对用第二标记进行标记的命令传输的数据包括日志文件或调试数据。
24.在一些实施方案中，针对用第一标记进行标记的命令传输的数据包括顺序数据，并且其中针对用第二标记进行标记的命令传输的数据包括随机数据。
25.在一些实施方案中，存储器包括三维存储器。
26.在另一个实施方案中，提供了一种计算设备，该计算设备包括：多个通道，该多个通道被配置为与存储系统通信，其中第一通道具有比第二通道快的数据传输速度；用于使用第一通道在计算设备与存储系统之间传输对时间相对更敏感的数据的装置；和用于使用第二通道在计算设备与存储系统之间传输对时间相对更不敏感的数据的装置。
27.在一些实施方案中，第一通道包括外围部件快速互连(pcie)通道，并且其中第二通道包括安全数字通道。
28.在一些实施方案中，该计算设备还包括用于确定数据是对时间相对更敏感还是对时间相对更不敏感的装置。
29.在一些实施方案中，用户数据对时间相对更敏感，并且其中日志文件或调试数据对时间相对更不敏感。
30.在一些实施方案中，该计算设备还包括用于用指示时间敏感度的标记来标记命令的装置。
31.其他实施方案是可行的，并且实施方案中的每个可单独使用或组合在一起使用。因此，现在将参考附图描述各种实施方案。
32.实施方案
33.在图1a-图1c中示出适用于实现这些实施方案的各方面的存储系统。图1a是示出根据本文所述的主题的一个实施方案的非易失性存储系统100的框图。参考图1a，非易失性存储系统100包括控制器102和可由一个或多个非易失性存储器管芯104组成的非易失性存储器。如本文所述，术语管芯是指在单个半导体基板上形成的非易失性存储器单元的集合，以及用于管理那些非易失性存储器单元的物理操作的相关联的电路。控制器102与主机系统进行交互，并且将用于读取操作、编程操作和擦除操作的命令序列传输到非易失性存储器管芯104。
34.控制器102(其可以是非易失性存储器控制器(例如，闪存、电阻随机存取存储器
(reram)、相变存储器(pcm)或磁阻随机存取存储器(mram)控制器))可采用以下形式：例如，处理电路、微处理器或处理器，以及存储可由(微)处理器执行的计算机可读程序代码(例如，固件)的计算机可读介质、逻辑门、开关、专用集成电路(asic)、可编程逻辑控制器和嵌入式微控制器。控制器102可以配置有硬件和/或固件，以执行下文描述并且在流程图中示出的各种功能。另外，示出为在控制器内部的一些部件可也存储在控制器外部，并且可以使用其他部件。此外，短语“操作地与...通信”可能意味着直接或间接地(有线或无线)与一个或多个部件通信、通过一个或多个部件通信，其可在本文中示出或未示出。
35.如本文所用，非易失性存储器控制器是管理存储在非易失性存储器上的数据并且与主机诸如计算机或电子设备通信的设备。除了本文描述的特定功能外，非易失性存储器控制器可以具有各种功能。例如，非易失性存储器控制器可以对非易失性存储器进行格式化以确保存储器正在正确操作，标出坏的非易失性存储器单元，并且分配备用单元以替代将来的故障单元。备用单元中的一些部分可以用来容纳固件以操作非易失性存储器控制器并且实现其他特征。在操作中，当主机需要从非易失性存储器读取数据或向非易失性存储器写入数据时，它可与非易失性存储器控制器通信。如果主机提供要读取/写入数据的逻辑地址，那么非易失性存储器控制器可以将从主机接收的逻辑地址转换为非易失性存储器中的物理地址。(或者，主机可提供物理地址。)非易失性存储器控制器还可执行各种存储器管理功能，诸如但不限于损耗均衡(分配写入以避免损耗否则将被重复写入的特定存储器块)和垃圾收集(在块已满之后，仅将有效的数据页面移动到新块，因此可以擦除并且重用完整块)。
36.非易失性存储器管芯104可包括任何合适的非易失性存储介质，包括电阻随机存取存储器(reram)、磁阻随机存取存储器(mram)、相变存储器(pcm)、nand闪存单元和/或nor闪存单元。存储器单元可以采用固态(例如，闪存)存储器单元的形式，并且可以是可一次编程、可数次编程或可多次编程的。存储器单元还可以是单级单元(slc)、多级单元(mlc)、三级单元(tlc)，或者使用现在已知或之后开发的其他存储器单元级技术。另外，存储器单元可以二维方式或三维方式制造。
37.位于控制器102和非易失性存储器管芯104之间的接口可为任何合适的闪存接口，诸如切换模式200、400或800。在一个实施方案中，存储系统100可为基于卡的系统，诸如安全数字卡(sd)或微型安全数字(微型sd)卡。在另选的实施方案中，存储系统100可为嵌入式存储系统的部分。
38.虽然在图1a所示的示例中，非易失性存储系统100(本文有时称为存储模块)包括控制器102和非易失性存储器管芯104之间的单个信道，但是本文描述的主题不限于具有单个存储器信道。例如，在一些存储系统架构中(诸如图1b和图1c中所示的架构)，控制器和存储器设备之间根据控制器的能力可以存在2个、4个、8个或更多个存储器信道。在本文描述的任何实施方案中，即使在附图中示出单个信道，控制器和存储器管芯之间也可以存在超过一个单个信道。
39.图1b示出了包括多个非易失性存储系统100的存储模块200。同样地，存储模块200可包括存储控制器202，该存储控制器与主机以及包括多个非易失性存储系统100的存储系统204进行交互。存储控制器202和非易失性存储系统100之间的接口可以是总线接口，诸如串行高级技术附件(sata)、外围部件快速互连(pcie)接口或双倍数据率(ddr)接口。在一个
实施方案中，存储模块200可以是诸如在服务器pc或便携式计算设备诸如膝上型计算机和平板电脑中存在的固态驱动器(ssd)或非易失性双列直插式存储器模块(nvdimm)。
40.图1c是示出分级存储系统的框图。分级存储系统250包括多个存储控制器202，该多个存储控制器中的每个存储控制器控制相应的存储系统204。主机系统252可经由总线接口存取存储系统内的存储器。在一个实施方案中，总线接口可以是非易失性存储器快速(nvme)或以太网光纤信道(fcoe)接口。在一个实施方案中，图1c所示的系统可以是机架可安装的大容量存储系统，该机架可安装的大容量存储系统能够由多个主机计算机存取，诸如在数据中心中或在需要大容量存储的其他位置中可以找到。
41.图2a是更详细地示出控制器102的示例性部件的框图。控制器102包括与主机进行交互的前端模块108、与一个或多个非易失性存储器管芯104进行交互的后端模块110、以及执行现在将详细描述的功能的各种其他模块。模块可以采用以下形式：例如，设计用于搭配其他部件使用的封装功能硬件单元、能够由通常执行相关功能中的特定功能的(微)处理器或处理电路执行的程序代码的一部分(例如，软件或固件)，或者与更大系统进行交互的独立硬件或软件部件。控制器102的模块可包括多协议处理程序111(该多协议处理程序在下文中更详细地讨论)，并且该模块可在硬件或软件/固件中实现，以从视频流中提取各种视频帧。多协议处理程序111可被配置为执行下文所讨论并且在附图中示出的算法和方法。
42.再次参考控制器102的模块，缓冲区管理/总线控制器114管理随机存取存储器(ram)116中的缓冲区，并且控制控制器102的内部总线仲裁。只读存储器(rom)118存储系统引导代码。虽然图2a所示为与控制器102分开定位，但在其他实施方案中，ram 116和rom 118中的一者或两者可以定位在控制器内。在又其他实施方案中，ram和rom的部分可位于控制器102内和控制器外部。
43.前端模块108包括主机接口120和提供与主机或下一级存储控制器的电接口的物理层接口(phy)122。可以取决于所使用的存储器的类型来选择主机接口120的类型。主机接口120的示例包括但不限于sata、sata express、串行附接小型计算机系统接口(sas)、光纤信道、通用串行总线(usb)、pcie和nvme。主机接口120通常有利于传输数据、控制信号和定时信号。
44.后端模块110包括错误校正代码(ecc)引擎124，该ecc引擎对从主机接收的数据字节进行编码，并且对从非易失性存储器读取的数据字节进行解码和错误校正。命令定序器126生成命令序列，诸如编程命令序列和擦除命令序列，以传输到非易失性存储器管芯104。raid(独立驱动器冗余阵列)模块128管理raid奇偶校验的生成和失败数据的恢复。raid奇偶校验可用作写入存储器设备104中的数据的附加级的完整性保护。在一些情况下，raid模块128可以是ecc引擎124的一部分。存储器接口130向非易失性存储器管芯104提供命令序列并从非易失性存储器管芯104接收状态信息。在一个实施方案中，存储器接口130可以是双倍数据速率(ddr)接口，诸如切换模式200、400或800接口。闪存控制层132控制后端模块110的整体操作。
45.存储系统100还包括其他分立部件140，诸如外部电气接口、外部ram、电阻器、电容器或可与控制器102进行交互的其他部件。在另选的实施方案中，物理层接口122、raid模块128、媒体管理层138和缓冲区管理/总线控制器114中的一者或多者是控制器102中不需要的任选的部件。
46.图2b是更详细地示出非易失性存储器管芯104的部件的框图。非易失性存储器管芯104包括外围电路141和非易失性存储器阵列142。非易失性存储器阵列142包括用于存储数据的非易失性存储器单元。非易失性存储器单元可以是任何合适的非易失性存储器单元，包括采用二维配置和/或三维配置的reram、mram、pcm、nand闪存存储器单元和/或nor闪存存储器单元。非易失性存储器管芯104还包括高速缓存数据的数据高速缓存156。外围电路141包括提供状态信息到控制器102的状态机152。
47.再次返回图2a，闪存控制层132(其在本文中将被称为闪存转换层(ftl)，或者更一般地被称为“媒体管理层”，由于存储器可以不是闪存)处理闪存错误并与主机进行交互。具体地讲，ftl(其可以是固件中的算法)负责存储器管理的内部并将来自主机的写入转换为到存储器104的写入。ftl可能是需要的，因为存储器104可能具有有限的耐久性，可能仅写入多个页面，和/或可能不写入(除非其作为块被擦除)。ftl理解存储器104的这些潜在限制，这些限制可能对主机不可见。因此，ftl尝试将来自主机的写入转换为到存储器104中的写入。
48.ftl可包括逻辑到物理地址(l2p)映射以及分配的高速缓存存储器。这样，ftl将来自主机的逻辑块地址(“lba”)转换为存储器104中的物理地址。ftl可包括其他特征，诸如但不限于断电恢复(使得ftl的数据结构可在突然电力损失的情况下恢复)和损耗均衡(使得跨存储器块的损耗均匀，以防止某些块过度损耗，该过度损耗将导致更大机会出现故障)。
49.再次参考附图，图3是一个实施方案的主机300和存储系统100的框图。主机300可采用任何合适的形式，包括但不限于计算机、移动电话、平板电脑、可穿戴设备、数字视频记录器、监视系统等。在该实施方案中，主机300(此处，计算设备)包括处理器330和存储器340。在一个实施方案中，将处理器330配置为实现多协议处理程序的计算机可读程序代码存储在存储器340中并由处理器330执行。在另一个实施方案中，多协议处理程序仅在硬件中实现。
50.主机300和存储系统100经由第一通信信道310和第二通信信道320彼此通信。虽然图3中仅示出了两个通信信道310、320(在本文中有时被称为通道)，但是应当理解，可以使用多于两个信道。在该实施方案中，两个信道310、320具有不同的数据传输速度并且与不同的协议相关联。例如，通信信道中的一者可以在外围部件快速互连(pcie)协议下操作，并且另一个通信信道可以在安全数字协议下操作。在该示例中，存储系统100可以被认为是具有两个独立数据通道的sd-pcie存储系统，一个用于支持sd操作模式，并且另一个支持pcie操作模式。sd-pcie存储系统的规范可以继续到一起涉及sd堆栈和nvme堆栈的sd协议的后续版本(例如，sd 7.0及以上)。通常，nvme系统具有用于数据传输的pcie通道，并且除了所需的pcie通道之外，sd系统还可以具有sd数据传输通道以确保存储系统(例如，sd-express存储卡)是向后兼容的。
51.两个数据通信信道可以具有不同的数据传输速度，一个适用于nvme速度，并且另一个适用于sd速度。虽然存储系统100可以在任何给定时间仅使用信道中的一个信道，但是在一个实施方案中，主机300和存储系统100使用其多协议处理程序来利用两个数据通信信道来提高性能。例如，该实施方案可以使用两个硬件通道以用于更好系统吞吐量，其中根据主机的用例要求一起利用sd通道和pcie通道两者。可以由主机300利用低数据速率sd通道来实现非时间关键数据移动，因此允许pcie通道在全摆幅中操作。作为示例，主机300可以
使用sd通道以较少的每秒输入输出操作(iops)传输调试数据、日志数据或随机数据。主机300可以适当的时钟为两个通道供电。
52.图4是可以用于优化sd-pcie存储系统中的物理通道利用率以利用不是所有命令/数据都需要pcie性能的事实的一个实施方案的方法的流程图400。应当理解，虽然在该示例中将使用sd通道和pcie通道，但是可以使用其他协议和数据传输速率。另外，如上所述，虽然在该示例中将使用两个通道，但是可以使用多于两个通道(例如，用于x数量的不同优先级级别的x数量的通道中的每个通道)。
53.如图4所示，首先，主机300中的处理器330确定针对给定命令的数据是应使用第一通信信道310(例如，pcie通道)还是应使用第二通信信道320(例如，sd通道)(动作410)。主机300中的处理器330可以确定命令的优先级级别，并且标记或以其他方式指示命令的优先级级别(动作420)。例如，用于传输用户数据的命令可以被认为是高优先级命令，而用于传输日志文件、调试数据或其他非时间关键数据的命令可以被认为是低优先级命令。因此，可以基于用于命令的数据传输与另一个命令相比是对时间相对更敏感还是对时间相对更不敏感来进行通道选择。阈值水平可用于确定时间敏感度。作为另一个示例，用于传输顺序数据的命令可以被认为是高优先级命令，而用于以相对低的每秒输入输出操作(iops)传输随机数据的命令可被认为是低优先级命令。作为又一个示例，可以基于发出命令的应用程序的识别或基于存储器的与命令相关联的逻辑区域来确定优先级级别。当然，这些仅仅是示例，并且可使用对命令进行分类的其他方式。
54.然后，主机300向存储系统100发送具有其优先级级别的指示的命令(动作430)。如图5所示，为了与pcie协议一致，主机300可以使用控制、提交队列和完成队列信道通过存储系统100(此处，sd-pcie设备)中的现有nvme提交队列来提交命令。可用主机300想要传输数据的通道来标记命令(例如，命令1-pcie通道标记；命令2-pcie通道标记；命令3-sd通道标记；和命令4-pcie通道标记)。在混合负载(读/写)情况下，主机300可以在确定读取要以优先级执行的情况下在提交期间用pcie通道标记来标记读取命令并且用sd通道标记来标记写入命令。在另一个示例中，主机300可以从各种应用程序提交命令，并且在来自应用程序的命令需要快速命令周转的情况下用pcie通道标记来标记来自一个应用程序的逻辑区域，并且在其可以提供更多系统延迟的情况下用sd通道标记来标记来自另一个应用程序的命令。
55.对于任何给定命令，基于与命令相关联的标记来确定使用什么通信信道(动作440)。响应于命令与高优先级命令标记相关联，第一通信信道310用于传输针对命令的数据(动作450)。响应于命令与低优先级命令标记相关联，第二通信信道320用于传输针对命令的数据(动作460)。
56.主机300可以进行这些确定(例如，通过基于命令优先级挑选用于数据传输的通道)，或者可由存储系统100进行确定(例如，在nvme上下文中)。即使当存储系统100正在进行确定时，主机300仍然可以被认为是使用信道310、320进行数据传输，其用于接收针对读取命令的数据或提供针对写入命令的数据。
57.当存储系统100进行确定时，与用sd通道标记进行标记的那些命令相比，存储系统100中的处理器102可以对用pcie通道标记进行标记的那些命令进行排优。另外，存储系统100可以对其硬件资源进行排优，并且对用pcie通道标记进行标记的命令进行高速缓存。多
协议操作模式可以意味着或者可以不意味着主机300以不同通道速率标记不同逻辑区域。可以提交落入关闭逻辑区域中的两个不同命令以进行不同通道速率访问。由于nvme是成熟堆栈并且在很大程度上涵盖sd堆栈的要求，因此所有命令可以被提交到nvme队列中，但是存储系统100可以按照同意协议通过sd数据通道传输针对一些命令的数据。未在nvme协议下覆盖的剩余sd命令可以作为供应商特定命令发送到存储系统100。
58.如上面示例可以看出，该实施方案可以使用现有硬件通道以用于更好系统吞吐量，其中根据主机用例要求一起利用两个通信信道(此处，sd通道和pcie通道)。通道可以适当的速度进行时钟控制，如一个协议要求的情况那样，但是单独的通道根据主机/终端应用程序要求用于不同的命令。这允许较慢的sd通道用于非时间关键数据并且允许pcie在全摆幅中与其他数据一起操作。主机处理器330(例如，执行驱动器)可以对用例进行排序并将标记分配给每个提交的命令)。如果存在在主机300上运行的多个应用程序，则主机处理器320可以评估那些应用程序的性能要求。另外，虽然主机300可以为通道供电并且为它们提供适当的时钟信号，但是主机300还可以关闭第一通信信道310和第二通信信道320中的一者，并仅使用第一通信信道310和第二通信信道320中的另一者进行数据传输。因此，可以执行时钟门控以关闭一个通道并回退到单协议系统。另外，如果在sd速率下需要顺序访问，则可以通过使用pcie通道而不是sd通道来获得随机数据的高iops。
59.最后，如上所述，可以使用任何合适类型的存储器。半导体存储器设备包括易失性存储器设备，诸如动态随机存取存储器(“dram”)或静态随机存取存储器(“sram”)设备，非易失性存储器设备，诸如电阻式随机存取存储器(“reram”)、电可擦除可编程只读存储器(“eeprom”)、闪存存储器(也可以被认为是eeprom的子集)、铁电随机存取存储器(“fram”)和磁阻随机存取存储器(“mram”)，以及能够存储信息的其他半导体元件。每种类型的存储器设备可具有不同的配置。例如，闪存存储器设备可以nand配置或nor配置进行配置。
60.该存储器设备可由无源元件和/或有源元件以任何组合形成。举非限制性示例而言，无源半导体存储器元件包括reram设备元件，该无源半导体存储器元件在一些实施方案中包括电阻率切换存储元件诸如反熔丝、相变材料等，以及任选地包括导引元件诸如二极管等。进一步举非限制性示例而言，有源半导体存储器元件包括eeprom和闪存存储器设备元件，该有源半导体存储器元件在一些实施方案中包括具有电荷存储区域的元件，诸如浮栅、导电纳米粒子或电荷存储介电材料。
61.多个存储器元件可被配置为使得它们串联连接或者使得每个元件可被单独访问。以非限制性示例的方式，nand配置中的闪存存储器设备(nand存储器)通常包含串联连接的存储器元件。nand存储器阵列可被配置为使得该阵列由存储器的多个串构成，其中串由共享单个位线并作为组被访问的多个存储器元件构成。另选地，可配置存储器元件，使得每个元件可被单独访问，例如nor存储器阵列。nand存储器配置和nor存储器配置为示例，并且可以其他方式配置存储器元件。
62.位于基板内和/或上方的半导体存储器元件可被布置成两个或三个维度，诸如二维存储器结构或三维存储器结构。
63.在二维存储器结构中，半导体存储器元件被布置在单个平面或单个存储器设备级中。通常，在二维存储器结构中，存储器元件被布置在平面中(例如，在x-z方向平面中)，该平面基本上平行于支撑存储器元件的基板的主表面延伸。基板可以是存储器元件的层在其
之上或之中形成的晶圆，或者其可以是在存储器元件形成后附接到其的承载基板。作为非限制性示例，基板可包括半导体，诸如硅。
64.存储器元件可被布置在处于有序阵列中(诸如在多个行和/或列中)的单个存储器设备级中。然而，存储器元件可以非常规配置或非正交配置排列。存储器元件可各自具有两个或更多个电极或接触线，诸如位线和字线。
65.三维存储器阵列被布置成使得存储器元件占据多个平面或多个存储器设备级，从而形成三个维度(即，在x方向、y方向和z方向上，其中y方向基本上垂直于基板的主表面，并且x方向和z方向基本上平行于基板的主表面)的结构。
66.作为非限制性示例，三维存储器结构可被垂直地布置为多个二维存储器设备级的堆叠。作为另一个非限制性示例，三维存储器阵列可被布置为多个垂直列(例如，基本上垂直于基板的主表面延伸的列，即，在y方向上)，其中在每一列中每一列均具有多个存储器元件。列可以二维配置例如在x-z平面中布置，从而得到存储器元件的三维布置，其中元件位于多个垂直堆叠的存储器平面上。三维存储器元件的其他配置也可构成三维存储器阵列。
67.举非限制性示例而言，在三维nand存储器阵列中，存储器元件可耦接在一起以在单个水平(例如，x-z)存储器设备级内形成nand串。另选地，存储器元件可耦接在一起以形成横贯多个水平存储器设备级的垂直nand串。可设想到其他三维配置，其中一些nand串包含在单个存储器级中的存储器元件，而其他串则包含跨越多个存储器级的存储器元件。三维存储器阵列也可以nor配置以及reram配置来设计。
68.通常，在单片三维存储器阵列中，一个或多个存储器设备级在单个基板上方形成。任选地，单片三维存储器阵列还可具有至少部分地在单个基板内的一个或多个存储器层。作为非限制性示例，基板可包括半导体，诸如硅。在单片三维阵列中，构成阵列的每个存储器设备级的层通常形成在阵列的底层存储器设备级的层上。然而，单片三维存储器阵列的相邻存储器设备级的层可被共享或具有在存储器设备级之间的居间层。
69.然后，可单独形成二维阵列，并且然后封装在一起以形成具有多个存储器层的非单片存储器设备。例如，非单片的堆叠存储器可通过在单独的基板上形成存储器级并且然后将存储器级堆叠在彼此之上而构造。可在堆叠前将基板减薄或从存储器设备级移除，但由于存储器设备级在单独的基板上初始形成，因此所得的存储器阵列不是单片的三维存储器阵列。此外，多个二维存储器阵列或三维存储器阵列(单片或非单片)可在单独的芯片上形成，并且然后封装在一起以形成堆叠的芯片存储器设备。
70.通常需要相关联的电路来操作存储器元件并与存储器元件通信。作为非限制性示例，存储器设备可具有用于控制并驱动存储器元件以实现诸如编程和读取的功能的电路。该相关联的电路可与存储器元件位于同一基板上和/或位于单独的基板上。例如，用于存储器读取-写入操作的控制器可定位在单独的控制器芯片上和/或定位在与存储器元件相同的基板上。
71.本领域的技术人员将认识到，本发明不限于所述的二维结构和三维结构，但涵盖如本文所述的并且如本领域的技术人员所理解的本发明的实质和范围内的所有相关存储器结构。
72.预期将前面的详细描述理解为本发明可以采用的选定形式的说明，而不是作为本发明的定义。预期只有以下权利要求(包括所有等同物)限定要求保护的本发明的范围。最
后，应注意，本文所述的任何实施方案的任何方面均可单独使用或彼此组合使用。