数据处理设备、数据处理系统及数据处理系统的操作方法与流程

数据处理设备、数据处理系统及数据处理系统的操作方法
1.相关申请的交叉引用
2.本专利文件要求于2020年10月22日向韩国知识产权局提交的申请号为10-2020-0137477的韩国专利申请的优先权，该韩国专利申请通过引用整体并入本文。
技术领域
3.本专利文件中公开的技术和实施方式总体上涉及一种半导体集成装置，并且更特别地，涉及一种数据处理设备、包括数据处理设备的数据处理系统及数据处理系统的操作方法。


背景技术：

4.随着人工智能应用、大数据分析和图形数据处理的需求和重要性增加，需要能够使用更多的计算资源、高带宽网络以及大容量和高性能存储器装置来有效处理大量数据的计算系统。
5.由于扩展处理器的存储器容量以处理大量数据存在限制，因此已经开发了通过结构网络(fabric network)来扩展存储器容量的协议。由于附接结构存储器(fam：fabric-attached memory)理论上在容量扩展上不受限制，因此fam具有适于处理大量数据的结构。但是，随着主机装置对fam的访问次数增加，可能出现由于数据移动、功耗等导致的性能劣化。
6.因此，当前的计算系统已经发展为能够高速并行处理大量数据的以数据为中心的计算系统或以存储器为中心的计算系统。在数据(或存储器)计算系统中，执行操作的处理器被布置在存储器装置中或被布置在存储器装置附近，因此处理器可以卸载(offload)和执行主机装置请求的任务(操作处理、应用处理)。
7.在近数据处理(ndp：near data processing)环境下，需要通过简化主机装置与数据处理设备之间的通信来提高数据处理性能的方法。


技术实现要素：

8.在本公开的实施例中，一种数据处理设备可以包括：存储器组合，包括多个存储器模块；以及控制器，通过总线联接到存储器组合。控制器被配置为收集数据处理设备的计算资源的状态，创建指示计算资源的状态的元信息，并且将元信息传输到通过网络联接的主机装置。
9.在本公开的实施例中，一种数据处理系统可以包括：主机装置；以及多个数据处理设备，通过网络联接到主机装置。多个数据处理设备中的至少一个包括：存储器组合，包括多个存储器模块；以及控制器，通过总线联接到存储器组合，并且被配置为监控并收集多个数据处理设备中的至少一个的计算资源的状态，创建指示计算资源的状态的元信息并且将元信息传输到主机装置。
10.在本公开的实施例中，一种数据处理系统可以包括：数据处理设备，包括控制器，
控制器通过总线联接到包括多个存储器模块的存储器组合，控制器被配置为收集数据处理设备的计算资源的状态，创建指示计算资源的状态的元信息并且传输元信息；以及主机装置，通过网络联接到数据处理设备，并且被配置为基于元信息来选择数据处理设备并将应用处理卸载到所选择的数据处理设备。
11.在本公开的实施例中，一种数据处理系统的操作方法可以包括：由数据处理设备中包括的控制器通过收集数据处理设备的计算资源的状态来创建元信息，数据处理设备包括通过总线联接到控制器的多个存储器模块；并且由控制器将元信息传输到通过网络联接到数据处理设备的主机装置。
12.在说明书、附图和权利要求书中更详细地描述这些和其它特征、方面和实施例。
附图说明
13.根据下列结合附图的详细描述，将更清楚地理解本公开的主题的以上和其它方面、特征和优点。
14.图1是示出基于所公开的技术的实施例的数据处理设备的配置的示图。
15.图2是示出基于所公开的技术的实施例的元信息处理器件(handler)的配置的示图。
16.图3和图4是示出基于所公开的技术的实施例的元信息包的配置的示图。
17.图5是解释基于所公开的技术的实施例的数据处理设备的操作方法的流程图。
18.图6是示出基于所公开的技术的实施例的数据处理系统的配置的示图。
19.图7是示出基于所公开的技术的实施例的主机装置的配置的示图。
20.图8是示出基于所公开的技术的实施例的数据处理系统的配置的示图。
21.图9是解释基于所公开的技术的实施例的主机装置的操作方法的流程图。
22.图10示出根据所公开的技术的实施例的堆叠半导体设备的示例。
23.图11示出根据所公开的技术的实施例的堆叠半导体设备的另一示例。
24.图12示出根据所公开的技术的实施例的堆叠半导体设备的又一示例。
25.图13示出根据所公开的技术的实施例的包括数据存储装置的网络系统的示例。
具体实施方式
26.参照附图详细描述所公开的技术的各个实施例。
27.图1是示出基于所公开的技术的实施例的数据处理设备的配置的示图。
28.参照图1，根据实施例的数据处理设备100可以包括存储器控制器110和存储器组合120。
29.存储器控制器110可以通过例如硅通孔(tsv)的总线130联接到存储器组合120并且被配置为控制数据输入到存储器组合120/数据从存储器组合120输出。存储器控制器110可以通过解码通过结构网络从主机装置传输的命令来处理数据。处理数据的操作可以包括：将从主机装置传输的数据存储在存储器组合120中的操作；读取存储器组合120中存储的数据的操作；基于所读取的数据来执行操作的操作；以及向主机装置或存储器组合120提供经操作的数据的操作。
30.存储器组合120可以包括多个存储器模块m[x]，其中x是0至n-1之间的整数。存储
器组合120可以具有多个存储器模块m[x]通过诸如tsv的总线而堆叠的结构，但其它实施方式也是可行的。在一些实施方式中，存储器模块可以是容纳存储器芯片的印刷电路板。在一些实施方式中，存储器模块可以包括存储数据的任何物理装置。
[0031]
存储器控制器110可以包括微控制单元(mcu)111、数据移动器113、存储器115、处理器117、主机接口119和元信息处理器件20。
[0032]
mcu 111可以被配置为控制存储器控制器110的整体操作。
[0033]
主机接口119可以提供主机装置与存储器控制器110之间的接口连接。主机接口119可以将从主机装置提供的命令存储在命令队列1191中、调度命令并且向mcu 111提供调度结果。主机接口119可以临时存储从主机装置传输的数据并且将在存储器控制器110中处理的数据传输到主机装置。
[0034]
数据移动器113可以读取主机接口119中临时存储的数据并且将所读取的数据存储在存储器115中。数据移动器113可以将存储器115中存储的数据传输到主机接口119。数据移动器113可以是直接存储器访问(dma)装置。
[0035]
存储器115可以包括只读存储器(rom)，该rom存储存储器控制器110的操作所需的程序代码(例如，固件或软件)、程序代码使用的代码数据等。存储器115可以进一步包括随机存取存储器(ram)，该ram存储存储器控制器110的操作所需的数据、存储器控制器110生成的数据、从存储器组合120读取的数据、待写入存储器组合120中的数据等。进一步地，存储器115可以包括元信息队列q，该元信息队列q存储在元信息处理器件20中生成的元信息。
[0036]
处理器可以被配置为处理根据mcu 111的调度规则指定的操作。
[0037]
元信息处理器件20可以通过监控数据处理设备100的资源的状态来生成元信息包并且将元信息包传输到主机装置。在实施例中，元信息可以包括卸载和处理主机装置的任务所需的数据处理设备100的计算资源的状态信息。例如，元信息可以包括数据处理设备100的标识符、指示命令队列1191是满还是空的信息、指示mcu 111是忙碌还是空闲的信息和/或将存储待从主机装置传输的数据的存储器模块m[x]的地址。
[0038]
在至少一个主机装置和至少一个数据处理设备100通过结构网络联接的fam环境中，对于处理应用的卸载的卸载请求，主机装置可能需要获取包括每个数据处理设备100的资源状态的资源信息。
[0039]
为了在主机层级(level)收集数据处理设备100的资源状态，数据处理系统的性能可能由于通信开销而劣化，并且随着联接到结构网络的主机装置或数据处理设备100的数量增加，性能劣化可能加剧。
[0040]
所公开的技术的一些实施方式提议由数据处理设备生成元信息并且向联接到数据处理设备的主机装置通知所生成的元信息。在一些实施方式中，每个数据处理设备100可以通过收集自身的资源状态来生成元信息并且向主机装置主动通知所生成的元信息。因此，在将应用处理卸载到数据处理设备100之前，主机装置可以从联接到主机装置的多个数据处理设备100接收元信息，并且基于元信息来选择适于卸载应用处理的数据处理设备100。因此，可以防止由于主机装置与数据处理设备100之间的通信开销而导致的性能劣化。
[0041]
图2是示出基于所公开的技术的实施例的元信息处理器件20的配置的示图。
[0042]
参照图2，元信息处理器件20可以包括信息收集器210和传输控制器220。
[0043]
信息收集器210可以包括：监控器211，被配置为收集数据处理设备100的资源状
态；以及包生成器213，被配置为将在监控器211中收集的资源状态创建为可传输到主机装置的元信息格式。例如，包生成器213将在监控器211中收集的资源状态创建为元信息包。
[0044]
传输控制器220可以包括：存储装置221，被配置为存储在包生成器213中生成的元信息包；以及传输器223，被配置为通过主机接口119将存储装置221中存储的元信息包传输到主机装置。存储装置221可以是或包括图1所示的元信息队列q，但是不限于此并且存储装置221可以由设置在元信息处理器件20中的单独的存储空间来配置。
[0045]
传输控制器220可以进一步包括流量跟踪器225。流量跟踪器225可以计算数据处理设备100与主机装置之间的流量，例如，每单位时间的数据传输量。当所计算的流量小于阈值或处于通信空闲状态时，流量跟踪器225可以控制传输器223传输元信息包。
[0046]
基于数据处理设备100与主机装置之间的流量状态，可能存在不将元信息包传输到主机装置的数据处理设备100。在一些实施方式中，可以从卸载应用的候选者中排除这种数据处理设备100。在一些其它实施方式中，主机装置可以访问这种数据处理设备100以收集资源状态。
[0047]
图3和图4是示出基于所公开的技术的实施方式的元信息包的配置的示图。
[0048]
图3是通过将资源状态包括到协议包的保留区域ra而配置的元信息包的直观图。
[0049]
协议包可以是用于在数据处理设备100与主机装置之间传输请求或响应信号的包。协议包包括具有一定大小的保留区域ra。在保留区域ra中，包括指示资源状态的元信息。
[0050]
如图3所示，元信息可以包括指示命令队列1191是满还是空的字段ndp队列状态、指示mcu 111是忙碌还是空闲的字段ndp状态、数据处理设备100的标识符字段ndp id和将存储待从主机装置传输的数据的存储器模块m[x]的地址字段ndp目的地地址中的至少一个。
[0051]
协议包可以是为了通信请求和响应而在主机装置与数据处理设备100之间传输和接收的包。由于协议包以可传输格式创建，因此当使用协议包传输元信息时，不需要不同的格式来传输元信息包，从而不会由于不同的格式导致流量占用。因此，在一些实施方式中，当使用协议包时，流量跟踪器225可以不需要监控流量状态。
[0052]
图4是通过使用控制包而配置的元信息包的直观图。
[0053]
可以在主机装置与数据处理设备100之间传输和接收控制包并且可以使用控制包来配置元信息包。
[0054]
控制包可以用于传输在所传输和所接收的包中出现错误的情况下请求重新传输的控制信号或用于请求初始化的控制信号。与使用协议包来包括元信息包的情况相比，如果使用控制包来包括元信息包，可以增加元信息包的大小。因此，可以收集和传输更多样和更准确的资源状态。
[0055]
当通过流量跟踪器225计算的流量小于阈值或处于通信空闲状态时，可以将元信息包传输到主机装置。
[0056]
图5是解释基于所公开的技术的实施例的数据处理设备的操作方法的流程图。
[0057]
在一些实施方式中，数据处理设备100的信息收集器210可以监控数据处理设备100的资源状态(s101)并且将资源状态创建为可传输到主机装置的元信息格式，例如元信息包(s103)。资源状态可以包括指示命令队列1191是满还是空的信息、指示mcu 111是忙碌
还是空闲的信息、数据处理设备100的标识符和将存储待从主机装置传输的数据的存储器模块m[x]的地址中的至少一个。
[0058]
可以将元信息包缓冲在传输控制器220的存储装置221中(s105)。在缓冲操作之后，该进程基于元信息包是包括在协议包中还是包括在控制包中来进行。如上所述，在实施例中，元信息包可以被配置为协议包。在这种情况下，无论数据处理设备100与主机装置之间的流量的量如何，当将协议包传输到主机装置时，都可以传输元信息(s107)。
[0059]
在另一实施例中，元信息包可以被配置为控制包。在这种情况下，在缓冲操作之后，流量跟踪器225可以基于数据处理设备100与主机装置之间的流量的量来确定传输控制包的传输容量是否可获得(s109)。例如，当流量的量小于阈值或流量处于通信空闲状态(s109：是)时，元信息处理器件20中的传输控制器220可以将所缓冲的元信息包传输到主机装置(s107)。当流量的量不小于阈值并且流量不处于通信空闲状态(s109：否)时，传输控制器220可以暂停元信息包的传输，直到基于流量的量，传输容量可获得。
[0060]
图6是示出基于所公开的技术的实施例的数据处理系统的配置的示图。
[0061]
在实施方式中，数据处理系统10可以包括通过网络300联接到主机装置200的多个数据处理设备100-1、100-2、
……
、100-m。
[0062]
网络300可以是诸如以太网、光纤信道或无限带宽的结构网络。
[0063]
多个数据处理设备100-1至100-m中的每一个可以对应于图1所示的数据处理设备100。
[0064]
主机装置200可以向数据处理设备100-1至100-m传输与数据处理有关的请求以及与请求相对应的地址。在一些实施方式中，主机装置200可以将数据传输到数据处理设备100-1至100-m。数据处理设备100-1至100-m可以响应于主机装置200的请求、地址和数据而执行与主机装置200的请求相对应的操作，并且将处理结果传输到主机装置200。
[0065]
处理诸如大数据分析、机器学习等的一些应用可能需要对大量数据进行操作。主机装置200可以将这些操作分派到诸如数据处理设备100-1至100-m的近数据处理(ndp)设备，使得在近数据处理(ndp)设备中处理操作。
[0066]
在所公开的技术的一些实施方式中，数据处理设备100-1至100-m可以被配置为收集数据处理设备100-1至100-m的资源状态并且将包括资源状态的元信息主动传输到主机装置200。在卸载应用处理之前，主机装置200可以扫描从数据处理设备100-1至100-m中的至少一个传输的元信息，并且在数据处理设备100-1至100-m之中选择适于卸载应用处理的数据处理设备。然后，主机装置200可以将应用处理卸载到所选择的数据处理设备。在实施例中，可以基于以下条件来选择合适的数据处理设备：命令队列未满、主处理器不忙碌或者确保将存储主机数据的存储器空间。以上条件仅是示例并且可以考虑其它条件来选择卸载应用的数据处理设备。在一些实施方式中，可以通过考虑命令队列的状态和主处理器的状态中的至少一个来选择合适的数据处理设备。
[0067]
主机装置200可以将指令和数据传输到已经被选择用于卸载应用处理的数据处理设备。数据处理设备100-1至100-m可以通过参考传输到主机装置200的元信息中包括的存储器模块m[x]的地址信息来将从主机装置200传输的数据存储在存储器模块m[x]中，对数据执行操作并且将操作结果传输到主机装置200。
[0068]
图7是示出基于所公开的技术的实施例的主机装置200的配置的示图。
[0069]
参照图7，主机装置200可以包括网络接口201、处理器203和元信息存储装置205。
[0070]
网络接口201可以提供通信信道，主机装置200通过通信信道访问网络300并且与数据处理设备100-1至100-m通信。
[0071]
处理器203可以被配置为控制主机装置200的整体操作。
[0072]
元信息存储装置205可以被配置为存储从数据处理设备100-1至100-m中的至少一个传输的元信息。
[0073]
当存在来自主机装置200的卸载事件的请求时，处理器203可以通过扫描元信息存储装置205来选择合适的数据处理设备。在选择合适的数据处理设备之后，主机装置200将应用处理卸载到所选择的数据处理设备。
[0074]
当作为元信息存储装置205的扫描结果，未找到合适的数据处理设备时，处理器203可以暂停卸载请求或与不传输元信息的数据处理设备通信以收集资源状态。在实施例中，主机装置200可以通过参考元信息中包括的数据处理设备100的标识符字段ndp id来访问数据处理设备100-1至100-m中不传输元信息的一些数据处理设备以收集资源状态。
[0075]
图8是示出基于所公开的技术的实施例的数据处理系统的配置的示图。
[0076]
在图8所示的数据处理系统10-1中，多个数据处理设备100-1至100-m和多个主机装置200-1、200-2、
……
、200-l可以通过网络300联接。
[0077]
网络300可以是诸如以太网、光纤信道或无限带宽的结构网络。
[0078]
数据处理设备100-1至100-m中的每一个可以对应于图1所示的数据处理设备100。
[0079]
主机装置200-1至200-l中的每一个可以与图7的主机装置200类似地配置以接收和存储来自多个数据处理设备100-1至100-m的元信息。因此，在卸载应用处理之前，主机装置200-1至200-l基于元信息来选择合适的数据处理设备。
[0080]
当未找到适于卸载处理的请求的数据处理设备时，主机装置200-1至200-l可以访问数据处理设备100-1至100-m中不传输元信息的一些数据处理设备以收集资源状态。
[0081]
图9是解释基于所公开的技术的实施例的主机装置的操作方法的流程图。
[0082]
在操作或等待(s200)期间，主机装置200和200-1至200-l可以通过网络300从数据处理设备100-1至100-m接收包括元信息的包(s201)并且将包存储在元信息存储装置205中(s203)。
[0083]
主机装置200和200-1至200-l可以监控是否生成用于将操作处理分派到数据处理设备100-1至100-m之中的任意一个数据处理设备的卸载事件的请求(s205)，并且当生成卸载事件的请求(s205：是)时，通过搜索元信息存储装置205(s207)来确定是否存在合适的数据处理设备(s209)。
[0084]
当存在合适的数据处理设备(s209：是)时，主机装置200和200-1至200-l可以将应用处理卸载到相应数据处理设备(s211)。然后，主机装置200和200-1至200-l可以执行处理操作或转变到等待状态(s200)。
[0085]
当不存在合适的数据处理设备(s209：否)时，主机装置200和200-1至200-l可以与数据处理设备100-1至100-m通信以收集资源状态或暂停卸载请求，直到准备好合适的数据处理设备。在实施例中，主机装置200和200-1至200-l可以通过参考传输元信息的数据处理设备100的标识符字段ndp id来访问数据处理设备100-1至100-m之中不传输元信息的数据处理设备以收集资源状态(s213)。
[0086]
图6所示的数据处理系统10和图8所示的数据处理系统10-1可以包括高性能计算(hpc)装置，该高性能计算(hpc)装置使用超级计算机或计算机集群或联网的信息处理设备或配置为单独处理数据的服务器阵列以协作的方式执行高级操作。
[0087]
组成数据处理系统10和10-1的数据处理设备100-1至100-m可以包括至少一个服务器计算机、至少一个组成每个服务器计算机的机架(rack)或至少一个组成每个机架的板(board)。
[0088]
图10至图12示出用于实施所公开的技术的硬件的堆叠半导体设备的示例。
[0089]
图10示出包括堆叠多个存储器管芯的堆叠结构410的堆叠半导体设备40的示例。在示例中，堆叠结构410可以被配置为高带宽存储器(hbm)类型。在另一示例中，堆叠结构410可以被配置为多个管芯堆叠并且经由硅通孔(tsv)彼此电连接的混合存储器立方体(hmc：hybrid memory cube)类型，使得输入/输出单元的数量增加，因此带宽增加。
[0090]
在一些实施方式中，堆叠结构410包括基础管芯414和多个内核管芯412。
[0091]
如图10所示，多个内核管芯412可以堆叠在基础管芯414上并且经由硅通孔(tsv)彼此电连接。在内核管芯412中的每一个中，可以布置用于存储数据的存储器单元和用于存储器单元的内核操作的电路。内核管芯412可以构成图1所示的存储器组合120。
[0092]
在一些实施方式中，内核管芯412可以经由硅通孔(tsv)电连接到基础管芯414并且经由硅通孔(tsv)从基础管芯414接收信号、电力和/或其它信息。
[0093]
在一些实施方式中，基础管芯414例如可以包括图1所示的存储器控制器110。基础管芯414可以在堆叠半导体设备40中执行各种功能，例如，诸如电源管理、存储器单元的刷新功能的存储器管理功能或内核管芯412与基础管芯414之间的时序调整功能。
[0094]
在一些实施方式中，如图10所示，基础管芯414中包括的物理接口区域phy可以是地址、命令、数据、控制信号或其它信号的输入/输出区域。物理接口区域phy可以设置有能够满足堆叠半导体设备40所需的数据处理速度的预定数量的输入/输出电路。可以在基础管芯414的背面上的物理接口区域phy中设置多个输入/输出端子和电源端子，以接收输入/输出操作所需的信号和电力。
[0095]
图11示出根据实施例的堆叠半导体设备400。
[0096]
堆叠半导体设备400可以包括多个内核管芯412和基础管芯414的堆叠结构410、存储器主机420和接口衬底430。存储器主机420可以是cpu、gpu、专用集成电路(asic)、现场可编程门阵列(fpga)或其它电路实施方式。
[0097]
在一些实施方式中，基础管芯414可以设置有在内核管芯412与存储器主机420之间进行接口连接的电路。堆叠结构410可以具有与参照图10所描述的结构相似的结构。
[0098]
在一些实施方式中，堆叠结构410的物理接口区域phy和存储器主机420的物理接口区域phy可以通过接口衬底430彼此电连接。接口衬底430可以被称为中介层。
[0099]
图12示出根据所公开的技术的实施例的堆叠半导体设备4000。
[0100]
可以理解的是，通过将图11所示的堆叠半导体设备400布置在封装衬底440上来获得图12所示的堆叠半导体设备4000。
[0101]
在一些实施例中，封装衬底440和接口衬底430可以通过连接端子彼此电连接。
[0102]
在一些实施例中，可以通过将图11所示的堆叠结构410和存储器主机420堆叠在接口衬底430上并且将堆叠结构410、存储器主机420以及接口衬底430安装在用于封装的封装
衬底440上，来实施系统级封装(sip)型半导体设备。
[0103]
图13是示出用于实施所公开的技术的基于数据处理的神经网络的网络系统5000的示例的示图。如图13所示，网络系统5000可以包括具有用于数据处理的数据存储装置的服务器系统5300和通过网络5500联接以与服务器系统5300交互的多个客户端系统5410、5420和5430。
[0104]
在一些实施方式中，服务器系统5300可以响应于来自多个客户端系统5410至5430的请求而服务数据。例如，服务器系统5300可以存储由多个客户端系统5410至5430提供的数据。再如，服务器系统5300可以向多个客户端系统5410至5430提供数据。
[0105]
在一些实施方式中，服务器系统5300可以包括主机装置5100和存储器系统5200。存储器系统5200可以包括图1所示的数据处理设备100、图10所示的堆叠半导体设备40、图11所示的堆叠半导体设备400、图12所示的堆叠半导体设备4000及其组合中的一个或多个。
[0106]
尽管本专利文件包含许多细节，但是这些细节不应解释为对任何发明或可以要求保护的内容的范围的限制，而应解释为对可以对于特定发明的特定实施例而言特定的特征的描述。在本专利文件中在不同实施例的上下文中描述的某些特征也可以以组合的方式在单个实施例中实施。相反，在单个实施例的上下文中所描述的各种特征也可以在多个实施例中分别实施或以任何合适的子组合的方式实施。此外，尽管特征可能在上文被描述为以某些组合的方式发挥作用，甚至初始这样声称，但是可以在某些情况下从声称的组合去除一个或多个特征，从而该声称的组合可以指子组合或子组合的变型形式。
[0107]
类似地，尽管在附图中按特定顺序描述操作，但是这不应被理解为要求按所示的特定顺序或按先后顺序执行这些操作，或者要求执行所有示出的操作以实现期望的结果。此外，在本专利文件中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。
[0108]
仅描述一些实施方式和示例，并且可以基于在本专利文件中描述和示出的内容得到其它实施方式、增强形式和变型形式。