具有3D划分的集成电路的制作方法

具有3d划分的集成电路
技术领域
1.本公开涉及集成电路，尤其涉及三维(3d)集成电路。


背景技术：

2.三维集成电路(3d-ic)是通过如下方式制造的集成电路(ic)：堆叠硅晶片或管芯并使其垂直互连以使得它们表现为单个器件，以比常规ic减少的功率和更小的占用面积来实现性能改进。不同管芯之间小的占用面积和垂直互连允许更少的互连延迟和更低的功耗。
3.3d-ic可以被分成3d堆叠式ic(3d-soc)和单片3d ic，3d堆叠式ic是指使用焊料凸块至芯片(bump-to-chip)焊盘连接来面对面堆叠ic芯片，单片3d ic使用制造工艺在片上布线层级的局部级别实现3d互连，从而得到器件层之间的直接垂直互连。
4.然而，在单个芯片上放置越来越多的处理核以提升性能的趋势加剧了所谓的“存储器墙(memory wall)”问题，该问题描述了处理器/存储器性能差距。由于每个核享有针对存储器资源的相对较窄通道，因此存储器等待时间和带宽变得不足以为处理核提供足够的指令和数据来继续计算。结果，核总是在等待存储器时停顿，从而导致性能损失和功耗增加。该问题在高度并行系统中变得尤为突出，但也发生在从嵌入式系统到超级计算机的各平台中而不限于多处理器。


技术实现要素：

5.本公开的各实施例的目的是提供一种克服所谓的存储器墙问题的集成电路设计。本公开的进一步目的是提供一种能够实现进一步性能缩放的集成电路设计。
6.本发明的各种实施例所寻求的保护范围由独立权利要求阐述。本说明书中描述的未落入独立权利要求范围内的实施例和特征(如果有的话)应被解释为对理解本发明的各种实施例有用的示例。
7.根据本公开的第一示例方面，该目的是通过一种集成电路来实现的，该集成电路包括：
[0008]-第一集成电路层，该第一集成电路层包括处理核；
[0009]-第二集成电路层，该第二集成电路层包括与处理核相关联的存储器阵列；以及
[0010]-中间集成电路层，该中间集成电路层与第一和第二集成电路层互连并且包括存储器控制逻辑和用于管理处理核与存储器阵列之间的数据交换的接口电路系统。
[0011]
换言之，该集成电路是三维集成电路，包括集成处理核的一层、集成与处理核相关联的存储器阵列的另一层、以及集成存储器控制逻辑和用于管理处理核与存储器阵列之间的数据交换的接口电路系统的又一层。与处理核相关联的存储器阵列可以是相应处理核的本地存储器(即，高速缓存存储器)以及由核共享的本地存储器(即，系统高速缓存)。此外，与处理核相关联的任何软件控制的存储器阵列(诸如暂存存储器)也可被集成到第二层中。结果，该集成电路被划分为三个功能层，即，包括处理核的处理或计算层、包括与处理核相
关联的存储器阵列的存储器层、以及包括存储器控制逻辑和用于管理处理核与存储器阵列之间的数据交换的接口电路系统的数据管理层。这与采用两层功能拆分的常规解决方案形成对比，在常规解决方案中处理核通常被集成到与存储器阵列及其相关联的控制逻辑和接口电路系统分开的集成电路层中。
[0012]
通过在存储器阵列与存储器控制逻辑和接口电路系统之间引入附加的功能划分，实现了更灵活的集成电路设计。由于中间层现在纯粹用于数据管理，因此有更多空间可用于设计存储器阵列与处理核之间的互连。换言之，不存在常规解决方案中观察到的密度限制，这允许更灵活的互连设计。现在可以将单个互连引脚设计成对应于互连的宽度而不会增加开销。这最终引起带宽增加，并且因此提高性能并降低功耗。此外，随着更多区域被释放用于存储器阵列，可以进一步增加存储器容量和/或增加存储器层级。此外，现在可以实现三个功能层的独立优化，这是因为现在可以根据需要并且彼此独立地使用各种工艺技术对不同功能层中的各种电路系统进行缩放。
[0013]
根据示例实施例，中间集成电路层包括用于管理跨处理核的数据一致性的相干逻辑电路系统。
[0014]
换言之，附加功能划分允许也将相干逻辑电路系统集成在中间集成电路层中。从布局、路由、指令流和数据流的角度来看，这允许跨处理核更良好和高效的数据一致性管理。
[0015]
根据示例实施例，中间集成电路层进一步包括用于将处理核与一个或多个外部存储器进行互连的通信网络。
[0016]
根据示例实施例，中间集成电路层包括用于管理处理核与该一个或多个外部存储器之间的数据交换的接口电路系统。
[0017]
换言之，附加功能划分允许集成通信网络以及中间层中用于与外部存储器对接的任何接口电路系统。这可以减少处理核与外部存储器之间不必要的来回数据事务。
[0018]
根据示例实施例，中间集成电路层包括用于存储器阵列的转换后备缓冲器(tlb)。
[0019]
tlb通常也被称为地址转换高速缓存，其目的是将虚拟存储器地址转换为物理存储器地址。当需要减少访问存储器阵列的时间时，有时会使用tlb。在常规解决方案中，tlb通常与处理核一起被集成到计算层中。然而，在本文中，tlb与用于控制存储器访问以及存储器阵列与处理核之间的数据交换管理的其他电路系统一起被集成到数据管理层中。从布局、路由、指令流和数据流的角度来看，这允许跨处理核更良好和高效的数据一致性管理。
[0020]
换言之，管理存储器寻址以及处理核与存储器阵列之间的数据交换所需要的所有电路系统都被集成到中间或数据管理层中。由此实现了计算、存储器和数据管理功能性之间的清晰功能划分。
[0021]
根据示例实施例，相应的存储器阵列包括层一(l1)高速缓存、层二(l2)高速缓存和更高层高速缓存中的至少一者。
[0022]
换言之，与相应处理核相关联的一层或多层高速缓存(即，所谓的本地存储器或片上存储器)现在被集成到存储器层中，即，与计算和数据管理层分开的层中。不同的集成选项是可能的。例如，一个处理核可以使其相关联的高速缓存(从层一开始以及更高的高速缓存层)集成到存储器层中，而另一处理核可以仅使其层二和更高的高速缓存层集成到存储器层中。这允许增加存储器带宽以及高速缓存容量。
[0023]
根据示例实施例，第二集成电路层包括多个集成电路层，其中该多个集成电路层中的集成电路层包括与一个或多个处理核相关联的一个或多个高速缓存层。
[0024]
换言之，存储器层可包括不是一个而是多个集成电路层，其中一个或多个高速缓存层跨该多个集成电路层被集成。例如，与一个处理核相关联的高速缓存层l1和l2可以和与另一处理核相关联的高速缓存层l2集成在一起。这允许进一步增加每个特定高速缓存层的高速缓存容量。
[0025]
根据示例实施例，该一个或多个高速缓存层与相应的频域相关联。
[0026]
换言之，与各个处理核相关联但在相同频域内进行操作(即，以相同或相似的时钟频率)的高速缓存层可一起被集成到信号集成电路层中。这允许基于高速缓存层的频域来对其进行编群。这在计算层包括具有不同性能的处理核(诸如cpu、gpu和npu)的情况下尤其有益。
[0027]
根据示例实施例，相应存储器阵列是三维(3d)堆叠式存储器。
[0028]
换言之，与各个处理核相关联的高速缓存存储器可被实现为3d堆叠式存储器。例如，通过集成与处理核相关联并且在相同或相似时钟频率下操作的高速缓存层并对其进行3d堆叠，实现了紧凑的集成电路设计。
[0029]
根据示例实施例，处理核用不同的性能和/或功能性来表征。
[0030]
处理核可具有不同的性能和/或功能性。即，一些处理核可为了高性能进行优化，其他处理核可为了能效进行优化。例如，一个处理核可以是中央处理单元(cpu)，另一处理核可以是图形处理单元(gpu)或神经处理单元(npu)等等。
[0031]
根据示例实施例，集成电路系统是片上系统(soc)或系统级封装(sip)。
附图说明
[0032]
现在将参考附图描述一些示例实施例。
[0033]
图1a-1b示出了常规集成电路的各种细节；
[0034]
图2a-2b示出了另一常规集成电路的各种细节；
[0035]
图3a-3b示出了根据本公开的示例实施例的集成电路的各种细节；
[0036]
图4a-4b示出了根据本公开的另一示例实施例的集成电路的各种细节；
[0037]
图5a-5b示出了根据本公开的又一示例实施例的集成电路的各种细节；
[0038]
图6a-6d示出了根据本公开的示例片上系统(soc)的实现的各种细节。
具体实施方式
[0039]
图1a示出了常规集成电路100的示例的侧视图并且图1b示出了该示例的俯视图，该常规集成电路100包括第一集成电路层110和第二集成电路层120，第一集成电路层110包括处理核120，诸如中央处理单元(cpu)，第二集成电路层120包括与处理核120相关联的存储器(即，cpu的本地存储器)，该存储器包括存储阵列132及其相关联的存储器控制逻辑122。用于管理处理核120与存储器阵列132之间的数据交换的接口电路系统可以位于第一层上或第二层上，在位于第二层上的情形中，该接口电路系统可被集成在存储器控制逻辑122内。
[0040]
在该图中，存储器阵列包括层2(l2)高速缓存，其被拆分成两个阵列，其中存储器
控制逻辑122被置于这两个阵列之间。该存储器阵列132可以可任选地包括l2和更高的高速缓存层，诸如l3、l4等等。例如，控制逻辑122左侧的存储器阵列可以是l2高速缓存，并且控制逻辑122右侧的存储器阵列可以是l3高速缓存。
[0041]
常规地，用于将处理核112与外部存储器(无论是一个还是多个)进行互连的任何通信网络以及用于管理处理核与外部存储器之间的数据交换的接口电路系统，与处理核一起被集成在第一层110上或者与本地存储器和存储器控制逻辑一起被集成在第二层120上。此外，本地或外部存储器所需要的任何转换后备缓冲器(tlb)被集成到第一层110或第二层120中。
[0042]
图2a示出了常规集成电路100的另一示例的侧视图并且图2b示出了该示例的俯视图，该常规集成电路100包括第一集成电路层110和第二集成电路层120，第一集成电路层110在该情形中具有两个处理核，诸如中央处理单元(cpu)112和图形处理核(gpu)114，第二集成电路层120包括与相应处理核相关联的存储器，即，cpu的本地存储器阵列132及其相关联的存储器控制逻辑122，以及gpu的本地存储器阵列134及其相关联的存储器控制逻辑124。类似于图1的电路，用于管理处理核120与相应存储器阵列132之间的数据交换的接口电路系统可以位于第一层110上或第二层120上，在位于第二层120上的情形中这些接口电路系统可被集成在其相应的存储器控制逻辑122和124内。
[0043]
在该图中，存储器阵列132和134包括l2高速缓存，其中这些存储器阵列的相应存储器控制逻辑122和124被置于存储器阵列之间。类似于图1的示例，存储器阵列132和134可分别包括更高的高速缓存层，诸如l3、l4等等。例如，存储器阵列132的一部分可以是l2高速缓存并且另一部分可以是l3高速缓存。此外，在需要用于管理跨处理核的数据一致性的相干逻辑电路系统的情形中，这种相干逻辑电路系统与处理核一起被集成到第一层110中或被集成在第二层120中。
[0044]
用于将处理核与外部存储器(无论是一个还是多个)进行互连的任何通信网络以及用于管理处理核与外部存储器之间的数据交换的接口电路系统，与处理核一起被集成在第一层110中或者与本地存储器和存储器控制逻辑一起被集成在第二层120中。本地或外部存储器所需要的任何转换后备缓冲器(tlb)被集成到第一层110或第二层120中。
[0045]
图1和图2中所示的集成电路中的存储器组织向处理核提供有限的带宽，这造成增加的存储器等待时间以及因此处理核的停顿。这引起性能损失和功耗增加。处理核和存储器控制逻辑的特定集成呈现出处理核与存储器控制逻辑之间的紧密耦合，这限制了其性能优化，因为他们不以相同方式缩放。此外，将处理核和片上存储器进行互连的通信网络面临互连密度问题。所有这些问题发生在从嵌入式系统到超级计算机的各平台中，并且在高度并行系统中变得尤为突出。
[0046]
图3a示出了根据本发明的第一示例实施例的集成电路100的侧视图并且图3b示出了该集成电路100的俯视图。在本文中，集成电路100包括第一集成层110和第二集成层130，第一集成层110包括处理核122，诸如cpu，第二集成层130包括cpu本地存储器132，即，与处理核相关联的存储器阵列。在该示例中，存储器阵列包括被拆分成两个存储器阵列的l2高速缓存。然而，存储器阵列132可进一步包括更高的高速缓存层，诸如l3、l4等等。例如，左侧的存储器阵列可以是l2高速缓存而右侧的存储器阵列可以是l3高速缓存。
[0047]
不同于图1的集成电路，此处存储器控制逻辑122以及可任选地用于管理处理核与
存储器阵列之间的数据交换的接口电路系统(图中未示出)，被置于或集成到分开的中间层120中。在该示例实施例中，中间层被置于第一层110与第二层130之间。
[0048]
该中间层120可进一步包括将处理核112与一个或多个外部存储器进行互连所需的任何通信网络。中间层120可进一步包括管理处理核112与外部存储器之间的数据交换所需要的接口电路系统。本地或外部存储器所需要的任何转换后备缓冲器(tlb)现在也可被集成到中间层120中。
[0049]
图4a示出了根据本发明的第二示例实施例的集成电路100的侧视图并且图4b示出了该集成电路100的俯视图。此处，集成电路100包括第一集成层110和第二集成层130，第一集成层110包括两个处理核，诸如cpu 112和gpu114，第二集成层130包括cpu本地存储器132和gpu本地存储器134。在该示例中，存储器阵列132和134分别包括l2高速缓存，然而，它们可进一步包括更高的高速缓存层，诸如l3、l4等等。例如，与cpu 112相关联的存储器阵列132可被拆分成分别包括l2和l3高速缓存的两个阵列，而与gpu 114相关联的存储器阵列134可包括一个高速缓存层，例如l2高速缓存。其他集成方案也是可能的。例如，存储器阵列132可被拆分成分别包括用于处理核112的l1和l2高速缓存的两个存储器阵列，而存储器阵列134可被拆分成包括用于处理核114的l2至l4高速缓存的两个阵列。
[0050]
类似于图3的集成电路，此处用于管理相应存储器阵列132和134的存储器控制逻辑122和124以及可任选地其相应的用于管理处理核与相应存储器阵列之间的数据交换的接口电路系统(图中未示出)现在被集成到中间层120中。在该示例实施例中，中间层被置于第一层110与第二层130之间。
[0051]
此外，管理跨处理核的数据一致性所需要的相干逻辑电路系统(图中未示出)也可被集成到中间层120中。
[0052]
用于将处理核与外部存储器(无论是一个还是多个)进行互连的任何通信网络以及用于管理处理核与任何外部存储器之间的数据交换的接口电路系统，现在可与处理核一起被集成在第一层110中或者与存储器控制逻辑和接口电路系统一起被集成在中间层120中。本地或外部存储器所需要的任何转换后备缓冲器(tlb)通常被集成到第一层110或第二层120中。
[0053]
图5a示出了根据本发明的第三示例实施例的集成电路100的侧视图并且图5b示出了该集成电路100的俯视图。此处，集成电路100包括第一集成层110和第二集成层130以及第三集成层140，第一集成层110包括诸如cpu 112的一个处理核，第二集成层130和第三集成层140包括与处理核(即，cpu)相关联的本地存储器阵列132和134。在该示例中，存储器阵列132和134分别包括l2和l3高速缓存。这种将l2和l3 cpu高度缓存分成两个分开的层的特定拆分类似于基于高速缓存层级来分布高速缓存存储器阵列。换言之，相应的高速缓存层可被集成到分开的层中。由此，取决于高速缓存架构，高速缓存存储器阵列可被集成到两层、三层或更多层中。这种堆叠高速缓存层的方式通常被称为三维(3d)堆叠。换言之，集成各个高速缓存存储器阵列的各层的群组成3d堆叠式存储器。
[0054]
这种将存储器阵列的集成分布在若干集成电路层上的方式也可以应用于第一集成电路层包括两个或更多个处理核的情形。在该情形中，与相应处理核相关联的存储器阵列的分布可基于处理核的操作频率来进行。例如，以ghz范围中的频率(例如，以2.5ghz时钟频率)操作的cpu以及以mhz范围中的频率(例如，以745mhz时钟频率)操作的gpu将使其相应
l3高速缓存和l2高速缓存以相同或相似的频域进行操作。在此类情形中，cpu的l3高速缓存和gpu的l2高速缓存可被集成到一个集成电路层中。类似地，cpu的l4高速缓存和cpu的l3高速缓存可被集成到另一层中。由此，这种集成电路将包括四层，即，用于处理核的一个层、用于高速缓存存储器阵列的两个层、以及用于控制存储器阵列和管理存储器阵列与处理核之间的数据交换所需要的电路系统的中间层。
[0055]
类似于上面图3和图4的集成电路，此处用于管理相应存储器阵列132和134的存储器控制逻辑122以及可任选地用于管理相应处理核与存储器阵列之间的数据交换的接口电路系统被集成到分开的中间层120中。在该示例实施例中，中间层被置于第一层110与第二层130之间。
[0056]
用于将处理核与外部存储器(无论是一个还是多个)进行互连的任何通信网络以及用于管理处理核与任何外部存储器之间的数据交换的接口电路系统，现在可与处理核一起被集成在第一层110中或者与存储器控制逻辑和接口电路系统一起被集成在中间层120中。本地高速缓存或外部存储器所需要的任何转换后备缓冲器(tlb)通常被集成到第一层110或第二层120中。
[0057]
图6a示出了根据本发明的片上系统(soc)的架构的示例，而图6b至图6d示出了图6a的soc的实现。更具体而言，图6a示出了soc的整体架构中的各种电路系统，而图6b至图6d示出了这些电路系统在集成电路100的各个集成电路层中的集成。此处，集成电路100包括三个集成电路层110至130。第一层110包括具有不同处理能力的多个处理核。在该示例中，第一集成层包括图形处理单元(cpu)111、两个高性能处理核114-115、四个高能效处理核116-119、以及神经处理单元(npu)113。第二层130包括系统高速缓存存储器阵列132-133、用于高性能核114-115的本地存储器阵列134-135、以及用于高能效处理核116-119的本地存储器阵列136-137。第三中间层120包括用于相应存储器阵列的控制逻辑及其相关联的接口电路系统。更具体而言，中间层120包括用于管理系统高速缓存阵列132-133的存储器控制逻辑及其相关联的接口电路系统122、用于管理高速缓存阵列134-135的存储器控制逻辑及其相关联的接口电路系统124、以及用于管理高速缓存阵列136-137的存储器控制逻辑及其相关联的接口电路系统126。
[0058]
尽管图6c中未示出，但用于双倍数据率动态存取存储器的接口电路系统212-218也可被集成到第二层120中。这将进一步提高处理核与存储器阵列之间的数据交换效率。
[0059]
在图3至图6的所有实施例中，中间层充当数据管理层，所有存储器控制逻辑、其相关联的接口电路系统、相干逻辑电路系统、tlb、以及用于管理和控制处理核与任何外部存储器之间的数据交换的任何接口逻辑电路系统和通信网络都可被集成在该数据管理层中。
[0060]
虽然本技术已参照特定实施例进行了解说，但对于本领域技术人员将显而易见的是，本发明不限于前述解说性实施例的细节，并且本发明可以用各种改变和修改来实施而不会脱离本发明的范围。本发明的实施例因此应在所有方面被认为是解说性的而非限制性的，本发明的范围由所附权利要求书指示而不是由前述说明书指示，并且落入权利要求范围内的所有变化因此旨在被涵盖在其中。
[0061]
本专利申请的读者将进一步理解，措辞“包括”或“包含”不排除其他元件或步骤，措辞“一”或“一个”不排除多个，并且单个元素(诸如计算机系统、处理器或另一集成单元)可以实现权利要求中记载的若干装置的功能。权利要求中的任何附图标记不应被解读为限
制相关的相应权利要求。在说明书或权利要求中使用的术语“第一”、“第二”、“第三”、“a”、“b”、“c”等等是为了区分相似的元素或步骤而引入的，而不一定描述顺序或时间次序。类似地，引入术语“顶部”、“底部”、“上方”、“下方”等是为了描述性目的，而不一定表示相对位置。应理解，如此使用的术语在恰适情况下是可互换的，并且本发明的各实施例能够根据本发明以其他顺序或以不同于以上描述或解说的取向进行操作。