大规模矩阵重构和矩阵-标量操作的制作方法

大规模矩阵重构和矩阵-标量操作
政府权利声明
1.本发明是在由darpa授予的合同号hr0011-17-3-0004的政府支持下进行的。政府具有本发明中的特定权利。
技术领域
2.本发明的领域一般涉及计算机处理器架构，更具体地涉及处理矩阵数据。


背景技术：

3.在诸如机器学习和其他批量数据处理之类的许多计算任务中，矩阵正变得日益重要。深度学习是一类机器学习算法。诸如深度神经网络的深度学习架构已经被应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学和药物设计的领域。
4.用于深度学习的两种工具推理和训练正趋向于低精度算术。使深度学习算法和计算的吞吐量最大化可以辅助满足深度学习处理器的需求，深度学习处理器例如在数据中心中执行深度学习的那些处理器。
5.矩阵-矩阵乘法(也称为gemm或通用矩阵乘法)是在当今处理器上的常见的重计算操作。用于矩阵乘法(例如，gemm)的特殊硬件是用于改善诸如深度学习之类的某些应用的峰值计算(和能效)的好的选项。只要输出元素具有足够的位(即，多于输入)，这些应用中的一些，包括深度学习，就可以对具有相对少的位的输入数据元素进行操作而不损失准确度。
附图说明
6.在所附附图中以示例方式而非限制方式来图示本发明，在附图中，类似的附图标记指示类似的要素，其中：
7.图1a图示经配置的片的实施例；
8.图1b图示经配置的片的实施例；
9.图2图示矩阵存储的若干示例；
10.图3图示利用矩阵(片)操作加速器的系统的实施例；
11.图4和图5示出如何使用矩阵操作加速器来共享存储器的不同实施例；
12.图6图示使用片的矩阵乘法累加操作(“tmma”)的实施例；
13.图7图示链式融合乘法累加指令的迭代的执行的子集的实施例；
14.图8图示链式融合乘法累加指令的迭代的执行的子集的实施例；
15.图9图示链式融合乘法累加指令的迭代的执行的子集的实施例；
16.图10图示链式融合乘法累加指令的迭代的执行的子集的实施例；
17.图11图示根据实施例的尺寸为2的幂的simd实现方式，其中，累加器使用比至乘法器的输入的尺寸大的输入尺寸；
18.图12图示利用矩阵操作电路的系统的实施例；
19.图13图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作；
20.图14图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作；
21.图15图示按行为主格式和列为主格式表达的矩阵的示例；
22.图16图示矩阵(片)的使用的示例；
23.图17图示矩阵(片)的使用的方法的实施例；
24.图18图示根据实施例的对片的使用的配置的支持；
25.图19图示将支持的矩阵(片)的描述的实施例；
26.图20(a)-图20(d)图示(多个)寄存器的示例；
27.图21图示根据一些实施例的3x4矩阵和存储器中的对应的组织；
28.图22图示根据一些实施例的被转换为4x4矩阵的3x4矩阵和对应的存储器组织；
29.图23a图示根据一些实施例的dma.copy指令，其中2x4矩阵被复制为3x4矩阵；
30.图23b示出根据一些实施例的用于dma.copy指令的伪代码；
31.图23c图示根据一些实施例的用于矩阵复制的方法；
32.图24是根据一些实施例的硬件的框图；
33.图25a-图25b是图示根据实施例的通用向量友好指令格式及其指令模板的框图；
34.图25a是图示根据实施例的通用向量友好指令格式及其a类指令模板的框图；
35.图25b是图示根据实施例的通用向量友好指令格式及其b类指令模板的框图；
36.图26a是图示根据实施例的示例性专用向量友好指令格式的框图；
37.图26b是图示根据一个实施例的构成完整操作码字段的具有专用向量友好指令格式的字段的框图；
38.图26c是图示根据一个实施例的构成寄存器索引字段的具有专用向量友好指令格式的字段的框图；
39.图26d是图示根据一个实施例的构成扩充操作字段的具有专用向量友好指令格式的字段的框图；
40.图27是根据一个实施例的寄存器架构的框图；
41.图28a是图示根据实施例的示例性有序流水线以及示例性寄存器重命名的乱序发布/执行流水线两者的框图；
42.图28b是图示根据实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核两者的框图；
43.图29a-图29b图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块之一(包括相同类型和/或不同类型的其他核)；
44.图29a是根据实施例的单个处理器核以及它与管芯上互连网络的连接及其第二级(l2)高速缓存的本地子集的框图；
45.图29b是根据实施例的图29a中的处理器核的一部分的展开图；
46.图30是根据实施例的可具有超过一个的核、可具有集成存储器控制器、并且可具有集成图形器件的处理器的框图；
47.图31-图34是示例性计算机架构的框图；
48.图31示出根据本发明的一个实施例的系统的框图；
49.图32是根据本发明的实施例的第一更具体的示例性系统的框图；
50.图33是根据本发明的实施例的第二更具体的示例性系统的框图；
51.图34是根据本发明的实施例的芯片上系统(soc)的框图；以及
52.图35是根据实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。
具体实施方式
53.在下列描述中，阐述了众多特定细节。然而，应当理解，实施例可在没有这些特定细节的情况下实施。在其他实例中，未详细示出公知的电路、结构和技术，以免使对本描述的理解模糊。
54.说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可能不一定都包括该特定的特征、结构或特性。此外，此类短语不一定是指同一个实施例。此外，当结合实施例描述特定的特征、结构或特性时，认为结合无论是否被明确描述的其他实施例而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
55.如在本说明书和权利要求书中所使用，除非以其他方式指定，否则对用于描述要素的序数形容词“第一”、“第二”、“第三”等的使用仅仅指示正在引用要素的特定实例或类似要素的不同实例，并且不旨在暗示如此描述的这些要素在时间上、空间上、按等级或按任何其他方式必须按照特定的顺序。另外，如在本发明的实施例的描述中所使用，在多个项之间的“/”字符可意指所描述的内容可包括第一项和/或第二项(和/或任何其他附加项)，或者可使用、利用和/或根据第一项和/或第二项(和/或任何其他附加项)来实现。
56.在许多主流处理器中，处置矩阵是困难的和/或指令密集性任务。例如，可将矩阵的多行置入多个紧缩数据(例如，simd或向量)寄存器中，随后可单独地对矩阵的多行进行操作。例如，取决于数据尺寸，将两个8x2矩阵相加可能要求加载或聚集到四个紧缩数据寄存器中。然后，执行与来自每个矩阵的第一行对应的紧缩数据寄存器的第一加法并且执行与来自每个矩阵的第二行对应的紧缩数据寄存器的第二加法。随后，将所得到的紧缩数据寄存器往回分散到存储器。尽管对于小矩阵而言，该场景可能是可接受的，但是对于较大矩阵通常是不可接受的。讨论
57.本文中描述的是用于在诸如中央处理单元(cpu)、图形处理单元(gpu)和加速器之类的计算机硬件中支持矩阵操作的机制。矩阵操作利用表示存储器的一个或多个紧缩区域(诸如，寄存器)的2维(2-d)数据结构。贯穿本说明书，这些2-d数据结构被称为片。注意，矩阵可以比片小(使用少于片的全部)，或可利用多个片(矩阵大于任一片的尺寸)。贯穿本说明书，使用矩阵(片)语言来指示使用影响矩阵的片来执行的操作；矩阵是否大于任一片通常是不相关的。用于支持矩阵数据的处理和/或以其他方式与矩阵数据的处理有关的架构、操作、指令、数据等可被称为矩阵、片、以及片矩阵乘法累加(tmma)架构、操作、指令、数据等，等等其他可能的情况。在一些上下文中，矩阵和片可被可互换地使用。
58.每个片可由不同的操作来作用，这些操作诸如本文中详述的那些操作，包括但不限于：矩阵(片)乘法、片加法、片减法、片对角线、片归零、片变换、片点积、片广播、片行广播、片列广播、片乘法、片乘法和累加、片移动，等等。此外，在未来可以与这些操作一起使用
或为了支持非数值应用而使用对诸如使用缩放和/或偏置的操作器的支持，非数值应用例如，opencl“本地存储器”、数据压缩/解压缩，等等。本文中还描述了用于利用数据类型转换加载和存储矩阵(片)数据的指令。
59.存储(诸如，(非易失性和易失性的)存储器、寄存器、高速缓存等)的多个部分被布置为具有不同横向尺度和纵向尺度的片。例如，片可具有横向尺度4(例如，矩阵的四行)和纵向尺度8(例如，矩阵的8列)。典型地，横向尺度与元素尺寸(例如，2位、4位、8位、16位、32位、64位、128位等)相关。可支持多种数据类型(单精度浮点、双精度浮点、整数等)。经配置的片的示例性使用
60.在一些实施例中，可配置片参数。例如，可配置给定的片以提供片选项。示例性片选项包括但不限于：片的行数、片的列数、片是否为有效以及片是否由相等尺寸的片对组成。
61.图1a图示经配置的片的实施例。如图所示，应用存储器102的4kb具有存储于其上的4个1kb的片——片t0 104、片t1 106、片t2 108和片t3 110。在该示例中，这4个片不由对组成，并且每个片具有以行和列布置的元素。片t0 104和片t1 106具有k行和n列的4字节元素(例如，单精度数据)，其中k＝8，且n＝32。片t2 108和片t3 110具有k行和n/2列的8字节元素(例如，双精度数据)。由于双精度操作数的宽度是单精度操作数的两倍，因此该配置与用于提供片选项的调色板一致，将至少4kb的总存储提供给至少4个名称。在操作中，可使用加载操作和存储操作从存储器加载片以及向存储器存储片。取决于所使用的指令编码方案，可用的应用存储器的量以及可用片的尺寸、数量和配置有所不同。
62.图1b图示经配置的片的实施例。如图所示，应用存储器122的4kb具有存储于其上的2对1kb的片，第一对是片t4l 124和片t4r 126，第二对是片t5l 128和片t5r 130。如图所示，片对被划分为左片和右片。在其他实施例中，片对被划分为偶数片和奇数片。在该示例中，这4个片各自都具有以行和列布置的元素。片t4l 124和片t4r 126具有k行和n列的4字节元素(例如，单精度浮点数据)，其中k＝8，且n＝32。片t5l 128和片t5r 130具有k行和n/2列的8字节元素(例如，双精度浮点数据)。由于双精度操作数的宽度是单精度操作数的两倍，因此该配置与用于提供片选项的调色板一致，将至少4kb的总存储提供给至少2个名称。图1a的四个片使用4个名称，每一个名称对1kb的片命名，而图1b中的2个片对可使用2个名称来指定成对的片。在一些实施例中，片指令接受成对的片的名称作为操作数。在操作中，可使用加载操作和存储操作从存储器加载片以及向存储器存储片。取决于所使用的指令编码方案，可用的应用存储器的量以及可用片的尺寸、数量和配置有所不同。
63.在一些实施例中，片参数是可定义的。例如，“调色板”用于提供片选项。示例性选项包括但不限于：片名称的数量、存储的行中的字节数、片中的行数和列数，等等。例如，片的最大“高度”(行数)可定义为：片最大行＝所构造的存储/(调色板名称的数量*每行的字节数)。
64.由此，可写入应用，使得名称的固定使用将能够利用跨实现方式的不同存储尺寸。
65.可以使用片配置(“tileconfig”)指令完成对片的配置，其中，在所选择的调色板中定义特定的片使用。该声明包括要使用的片名称的数量、每个名称(片)的所请求的行数和列数，并且在一些实施例中包括每个片的所请求的数据类型。在一些实施例中，在tileconfig指令的执行期间执行一致性校验，以确定其匹配调色板条目的限制。
示例性片存储类型
66.图2图示矩阵存储的若干示例。在(a)中，片被存储在存储器中。如图所示，每“行”由四个紧缩数据元素组成。为了达到下一“行”，使用跨步值。注意，行可被连续地存储在存储器中。当片存储不映射底层存储器阵列行宽度时，跨步式存储器访问允许对一行到下一行的访问。
67.从存储器加载片以及向存储器存储片典型地是从应用存储器到紧缩的数据行的跨步式访问。示例性tileload和tilestore指令或对于作为加载操作指令中的tile(片)操作数的应用存储器的其他指令参考在一些实施例中是可重新开始的，以针对每条指令处置(高达)2*行的页错误、未掩码的浮点异常和/或中断。
68.在(b)中，矩阵存储在由多个寄存器组成的片中，这些寄存器诸如，紧缩数据寄存器(单指令多数据(simd)或向量寄存器)。在该示例中，片被叠加在三个物理寄存器上。典型地，使用连续的寄存器，然而，情况不必是这样。
69.在(c)中，矩阵被存储在可由在片操作中使用的融合乘法累加(fma)电路访问的非寄存器存储中的片中。该存储可在fma内部，或邻近fma。此外，在一些实施例中，如下文所讨论，该存储可用于数据元素，而不是用于整个行或整个片。
70.经由cpuid报告tmma架构的所支持的参数。在一些实施例中，信息列表包括最大高度和最大simd尺度。配置tmma架构要求指定每个片的尺度、每个片的元素尺寸以及调色板标识符。通过执行tileconfig指令来完成该配置。
71.tileconfig指令的成功执行启用后续的tile操作器。tilereleaseall指令清除片配置，并禁用tile操作(直到下一tileconfig指令执行)。在一些实施例中，在使用片的上下文切换中使用xsave、xstore等。在一些实施例中，在xsave中使用2个xcr0位，一个用于tileconfig元数据，一个位与实际的片有效载荷数据对应。
72.tileconfig不仅配置片使用，还设置状态变量，该状态变量指示在片经配置的情况下程序在代码区域中。实现方式可枚举对可与片区域一起使用的其他指令的限制，诸如，没有对现有寄存器组的使用，等等。
73.退出片区域典型地利用tilereleaseall指令来完成。该指令不取参数并迅速使所有片无效(指示数据不再需要任何保存或恢复)，并且清除与处于片区域中对应的内部状态。
74.在一些实施例中，片操作可使超出由片配置指定的尺度的任何行和任何列归零。例如，随着每一行被写入，片操作可使超出所配置的列数(将元素的尺寸考虑在内)的数据归零。例如，对于64字节的行以及配置有10行和12列的片，写入fp32元素的操作将以12*4字节向前10行中的每一行写入输出/结果数据，并且使每一行中的其余的4*4字节归零。片操作还对前10个经配置的行之后的任何行完全归零。当使用具有64字节的行的1k的片时，将会有16行，因此，在该示例中，最后6行也将被归零。
75.在一些实施例中，当加载数据时，上下文恢复指令(例如，xrstor)强制使超出片的所配置的行的数据可被维持为零。如果没有有效配置，则所有行被归零。对片数据的xrstor可加载超出那些所配置的列的列中的无用信息。xrstor对超出所配置的列数进行清除不应当是可能的，因为不存在与片配置相关联的元素宽度。
76.当将整个tile存储区写入存储器时，上下文保存(例如，xsave)暴露整个tile存储
区。如果xrstor将无用数据加载到片的最右边部分中，则可由xsave保存那个数据。对于超出为每个片指定的数量的行，xsave可写入零。
77.在一些实施例中，片指令是可重新开始的。访问存储器的操作允许在页错误之后重新开始。凭借受控制和/或状态寄存器控制的对异常的掩码，处理浮点操作的计算指令也允许未掩码的浮点异常。
78.为了支持在这些事件后重新开始指令，这些指令将信息存储在下文详述的起始寄存器中。矩阵(片)操作系统示例性硬件支持
79.图3图示利用矩阵(片)操作加速器的系统的实施例。在该图示中，主机处理器/处理系统301将命令311(例如，矩阵操纵操作，诸如，算术或矩阵操纵操作、或加载和存储操作)传递至矩阵操作加速器307。然而，这以这种方式示出，仅用于讨论的目的。如稍后所详述，该加速器307可以是处理核的部分。典型地，作为片操纵操作器指令的命令311可将片称为寄存器-寄存器(“reg-reg”)或寄存器-存储器(“reg-mem”)格式。诸如tilestore、tileload、tileconfig等的其他命令不对片执行数据操作。命令可以是供加速器307处置的经解码的指令(例如，微操作)或宏指令。
80.在该示例中，一致性存储器接口303耦合至主机处理器/处理系统301和矩阵操作加速器307，使得它们可以共享存储器。图4和图5示出如何使用矩阵操作加速器来共享存储器的不同实施例。如图4中所示，主机处理器401和矩阵操作加速器电路405共享同一存储器403。图5图示其中主机处理器501和矩阵操作加速器505不共享存储器，但可访问彼此的存储器的实施例。例如，处理器501可访问片存储器507，并照常利用其主机存储器503。类似地，矩阵操作加速器505可访问主机存储器503，但更典型地使用其自身的存储器507。注意，这些存储器可以是不同类型的。
81.在一些实施例中，使用在物理寄存器上的叠加结构来支持片。例如，取决于实现方式，片可以利用16个1024位的寄存器、32个512位的寄存器，等等。在一些实施例中，矩阵操作利用表示存储器的一个或多个紧缩区域(诸如，寄存器)的2维(2-d)数据结构。贯穿本说明书，这些2-d数据结构被称为片或片寄存器。
82.在一些实施例中，矩阵操作加速器307包括耦合至数据缓冲器305的多个fma 309(在一些实现方式中，这些缓冲器305中的一个或多个被存储在如图所示的网格的fma中)。数据缓冲器305对从存储器加载的片和/或向存储器存储的片进行缓冲(例如，使用片加载或片存储指令)。数据缓冲器可以是例如多个寄存器。典型地，这些fma被布置为能够读取和写入片的链式fma 309的网格。在该示例中，矩阵操作加速器307用于使用片t0、t1和t2来执行矩阵乘法操作。片中的至少一个片可被容纳在fma网格309中。在一些实施例中，操作中的所有片都被存储在fma网格309中。在其他实施例中，仅子集被存储在fma网格309中。如图所示，t1被容纳，而t0和t2不被容纳。注意，a、b和c是指这些片的矩阵，这些矩阵可以占据或可以不占据片的整个空间。
83.图6图示使用片的矩阵乘法累加操作(“tmma”)的实施例。
84.矩阵(片a 601)中的行数与串联的(链式)fma的数量匹配，这些串联的fma包括计算的等待时间。实现方式可自由地在更小高度的网格上再循环，但是计算保持相同。
85.源/目的地向量来自n行的片(片c 605)，并且fma的网格611执行n个向量-矩阵操作，从而导致执行片的矩阵乘法的完整指令。片b 603是另一向量源，并将“广播”项提供给每一级中的fma。
86.在操作中，在一些实施例中，(存储在片b 603中的)矩阵b的元素跨fma的矩形网格散布。(存储在片a 601中的)矩阵b使其行的元素被变换，以与fma的矩形网格的列尺度匹配。在网格中的每个fma处，a和b的元素被相乘，并被加到(来自上方的图中)传入的被加数，并且传出的和被传递至fma的下一行(或最终输出)。
87.单个步骤的等待时间与k(矩阵b的行高)成比例，并且从属的tmma典型地(在单片中或跨片)具有足够的源-目的地行以隐藏该等待时间。实现方式还可跨时间步长分割simd(紧缩数据元素)尺度m(矩阵a的行高)，但是这仅改变k乘以的常数。当程序指定比由tmacc枚举的最大值小的k时，实现方式利用“掩码”或“早出”来自由地实现此。
88.整个tmma的等待时间与n*k成比例。重复率与n成比例。每条tmma指令的mac的数量为n*k*m。
89.图7图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言，这图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加正对有符号源进行操作，其中，累加器2倍于输入数据的尺寸。
90.第一有符号源(源1 701)和第二有符号源(源2 703)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如浮点数据之类的有符号数据。第三有符号源(源3 709)具有两个紧缩数据元素，其中的每一个都存储有符号数据。第一有符号源701的尺寸和第二有符号源703的尺寸是第三有符号源(初始值或先前结果)709的尺寸的一半。例如，第一有符号源701和第二有符号源703可具有32位的紧缩数据元素(例如，单精度浮点)，而第三有符号源709可具有64位的紧缩数据元素(例如，双精度浮点)。
91.在该图示中，仅示出第一有符号源701和第二有符号源703的最高有效的两个紧缩数据元素位置以及第三有符号源709的最高有效的紧缩数据元素位置。当然，还将处理其他紧缩数据元素位置。
92.如图所示，成对地处理紧缩数据元素。例如，使用乘法器电路705将第一有符号源701和第二有符号源703的最高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路707将来自第一有符号源701和第二有符号源703的次高有效的紧缩数据元素位置的数据相乘。在一些实施例中，这些乘法器电路705和707重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为有符号第三源709的尺寸的通道来完成并行执行。使用加法电路711将这些乘法中的每个乘法的结果相加。
93.(使用不同的加法器713或同一加法器711)将这些乘法的结果的加法的结果加到来自有符号源3 709的最高有效紧缩数据元素位置的数据。
94.最终，第二加法的结果被存储到有符号目的地715中与来自有符号第三源709的所使用的紧缩数据元素位置对应的紧缩数据元素位置中，或者如果有下一迭代，则该第二加法的结果被继续传递到该下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
95.图8图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言，这图示
目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法累加正对有符号源进行操作，其中，累加器2倍于输入数据的尺寸。
96.第一有符号源(源1 801)和第二有符号源(源2 803)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如整数数据之类的有符号数据。第三有符号源(源3 809)具有两个紧缩数据元素，其中的每一个都存储有符号数据。第一有符号源801的尺寸和第二有符号源803的尺寸是第三有符号源809的尺寸的一半。例如，第一有符号源801和第二有符号源803可具有32位的紧缩数据元素(例如，单精度浮点)，而第三有符号源809可具有64位的紧缩数据元素(例如，双精度浮点)。
97.在该图示中，仅示出第一有符号源801和第二有符号源803的最高有效的两个紧缩数据元素位置以及第三有符号源809的最高有效的紧缩数据元素位置。当然，还将处理其他紧缩数据元素位置。
98.如图所示，成对地处理紧缩数据元素。例如，使用乘法器电路805将第一有符号源801和第二有符号源803的最高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路807将来自第一有符号源801和第二有符号源803的次高有效的紧缩数据元素位置的数据相乘。在一些实施例中，这些乘法器电路805和807重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为有符号第三源(初始值或先前迭代结果)809的尺寸的通道来完成并行执行。使用加法/饱和电路813将多个乘法中的每个乘法的结果加到有符号第三源809。
99.当加法导致过大的值时，加法/饱和(累加器)电路813保留操作数的符号。具体而言，对于多路加法与向目的地或下一迭代的写入之间的无限精度结果，饱和评估发生。当累加器813是浮点且输入项是整数时，乘积的和以及浮点累加器输入值被转换为无限精度值(数百位的定点数)，执行乘法结果与第三输入的加法，并执行向实际累加器类型的单次舍入。
100.无符号饱和意味着输出值被限于那个元素宽度的最大无符号数(全1)。有符号饱和意味着值被限于处于那个元素宽度的最小负数与最大正数之间的范围中(例如，对于字节，范围为从-128(＝-2^7)到127(＝2^7-1))。
101.加法和饱和校验的结果被存储到有符号结果815中与来自有符号第三源809的所使用的紧缩数据元素位置对应的紧缩数据元素位置中，或者如果有下一迭代，则该结果被继续传递到该下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
102.图9图示链式融合乘法-累加指令的迭代的执行的子集的实施例。具体而言，这图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法-累加正对有符号源和无符号源进行操作，其中，累加器4倍于输入数据的尺寸。
103.第一有符号源(源1 901)和第二无符号源(源2 903)各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都具有诸如浮点数据或整数数据之类的数据。第三有符号源(初始值或结果915)具有存储有符号数据的紧缩数据元素。第一源901的尺寸和第二源903的尺寸是第三有符号源915的尺寸的四分之一。例如，第一源901和第二源903可具有16位的紧缩数据元素(例如，字)，而第三有符号源915可具有64位的紧缩数据元素(例如，双精度浮点或64位整数)。
104.在该图示中，仅示出第一源901和第二源903的最高有效的四个紧缩数据元素位置以及第三有符号源915的最高有效的紧缩数据元素位置。当然，如果还有任何其他紧缩数据元素位置，则还将处理这些紧缩数据元素位置。
105.如图所示，按四元组处理紧缩数据元素。例如，使用乘法器电路905将第一源901和第二源903的最高有效的紧缩数据元素位置的数据相乘，使用乘法器电路907将来自第一源901和第二源903的次高有效的紧缩数据元素位置的数据相乘，使用乘法器电路909将来自第一源901和第二源903的第三高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路911将来自第一源901和第二源903的最低有效的紧缩数据元素位置的数据相乘。在一些实施例中，在乘法之前，对第一源901的有符号紧缩数据元素进行符号扩展，并且对第二源903的无符号紧缩数据元素进行零扩展。
106.在一些实施例中，这些乘法器电路905-911重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为有符号第三源915的尺寸的通道来完成并行执行。使用加法电路913将这些乘法中的每个乘法的结果相加。
107.(使用不同的加法器917或同一加法器913)将这些乘法的结果的加法的结果加到来自有符号源3 915的最高有效紧缩数据元素位置的数据。
108.最终，第二加法的结果919被存储到有符号目的地中与来自有符号第三源915的所使用的紧缩数据元素位置对应的紧缩数据元素位置中，或者被传递到下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
109.图10图示链式融合乘法累加指令的迭代的执行的子集的实施例。具体而言，这图示目的地的一个紧缩数据元素位置的迭代的执行电路。在该实施例中，链式融合乘法-累加正对有符号源和无符号源进行操作，其中，累加器4倍于输入数据的尺寸。
110.第一有符号源1001和第二无符号源1003各自都具有四个紧缩数据元素。这些紧缩数据元素中的每一个都存储诸如浮点数据或整数数据之类的数据。第三有符号源1015(初始或先前结果)具有存储有符号数据的紧缩数据元素。第一源的尺寸和第二源的尺寸是第三有符号源1015(初始或先前结果)的尺寸的四分之一。例如，第一源和第二源可具有16位的紧缩数据元素(例如，字)，而第三有符号源1015(初始或先前结果)可具有64位的紧缩数据元素(例如，双精度浮点或64位整数)。
111.在该图示中，示出第一有符号源1001和第二无符号源1003的最高有效的四个紧缩数据元素位置以及第三有符号源1015的最高有效的紧缩数据元素位置。当然，如果还有任何其他紧缩数据元素位置，则还将处理这些紧缩数据元素位置。
112.如图所示，按四元组处理紧缩数据元素。例如，使用乘法器电路1005将第一有符号源1001和第二无符号源1003的最高有效的紧缩数据元素位置的数据相乘，使用乘法器电路1007将来自第一有符号源1001和第二无符号源1003的次高有效的紧缩数据元素位置的数据相乘，使用乘法器电路1009将来自第一有符号源1001和第二无符号源1003的第三高有效的紧缩数据元素位置的数据相乘，并且使用乘法器电路1011将来自第一有符号源1001和第二无符号源1003的最低有效的紧缩数据元素位置的数据相乘。在一些实施例中，在乘法之前，对第一有符号源1001的有符号紧缩数据元素进行符号扩展，并且对第二无符号源1003
的无符号紧缩数据元素进行零扩展。
113.在一些实施例中，这些乘法器电路1005-1011重新用于其他紧缩数据元素位置。在其他实施例中，使用附加的乘法器电路，使得并行地处理紧缩数据元素。在一些上下文中，使用尺寸为第三有符号源1015(初始或先前结果)的尺寸的通道来完成并行执行。使用加法器/饱和1013电路将这些乘法结果的加法的结果加到来自第三有符号源1015(初始或先前结果)的最高有效紧缩数据元素位置的数据。
114.当加法导致对于有符号饱和过大或过小的值时，加法/饱和(累加器)电路1013保留操作数的符号。具体而言，对于多路加法与向目的地的写入之间的无限精度结果，饱和评估发生。当累加器1013是浮点且输入项是整数时，乘积的和以及浮点累加器输入值被转换为无限精度值(数百位的定点数)，执行乘法结果与第三输入的加法，并执行向实际累加器类型的单次舍入。
115.加法和饱和校验的结果1019被存储到有符号目的地中与来自第三有符号源1015(初始或先前结果)的所使用的紧缩数据元素位置对应的紧缩数据元素位置中或者被传递到下一迭代。在一些实施例中，将写掩码应用于此存储，使得如果对应的写掩码(位)被置位，则存储发生，如果对应的写掩码(位)未被置位，则存储不发生。
116.图11图示根据实施例的尺寸为2的幂的simd实现方式，其中，累加器使用比至乘法器的输入的尺寸大的输入尺寸。注意，(至乘法器的)源和累加器值可以是有符号值或无符号值。对于具有2x输入尺寸的累加器(换言之，累加器输入值的尺寸是源的紧缩数据元素的尺寸的2倍)，表1101图示不同的配置。对于字节尺寸的源，累加器使用尺寸为16位的字或半精度浮点(hpfp)值。对于字尺寸的源，累加器使用尺寸为32位的32位整数或单精度浮点(spfp)值。对于spfp或32位整数尺寸的源，累加器使用尺寸为64位的64位整数或双精度浮点(dpfp)值。
117.对于具有4x输入尺寸的累加器(换言之，累加器输入值的尺寸是源的紧缩数据元素的尺寸的4倍)，表1103图示不同的配置。对于字节尺寸的源，累加器使用尺寸为32位的32位整数或单精度浮点(spfp)值。在一些实施例中，对于字尺寸的源，累加器使用尺寸为64位的64位整数或双精度浮点(dpfp)值。
118.对于具有8x输入尺寸的累加器(换言之，累加器输入值的尺寸是源的紧缩数据元素的尺寸的8倍)，表1105图示配置。对于字节尺寸的源，累加器使用64位整数。
119.如之前所提示，矩阵操作电路可被包括在核中，或可作为外部加速器。图12图示利用矩阵操作电路的系统的实施例。在该图示中，多个实体与环形互连1245耦合。
120.多个核，核0 1201、核1 1203、核2 1205、以及核n 1207提供非基于片的指令支持。在一些实施例中，矩阵操作电路1251设于核1203中，而在其他实施例中，矩阵操作电路1211和1213是在环形互连1245上可访问的。
121.此外，提供一个或多个存储器控制器1223-1225，以代表核和/或矩阵操作电路来与存储器1233和1231通信。
122.图13图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作。分支预测和解码电路1303执行对来自存储在指令存储1301中的指令的分支预测、对这些指令的解码和/或分支预测和解码两者。例如，本文中详述的指令可存储在指令存储中。在一些实现方式中，分开的电路用于分支预测，并且在一些实施例中，至少一些指令被解码为一
个或多个微操作、微代码进入点、微指令、其他指令或使用微代码1305的其他控制信号。分支预测和解码电路1303可使用各种不同的机制来实现。合适机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列(pla)、微代码只读存储器(rom)等。
123.分支预测和解码电路1303耦合至分配/重命名1307电路，在一些实施例中，该分配/重命名1307电路耦合至调度器电路1309。在一些实施例中，这些电路通过执行以下步骤中的一个或多个来提供寄存器重命名、寄存器分配和/或调度功能：1)将逻辑操作数值重命名为物理操作数值(例如，一些实施例中的寄存器别名表)；2)将状态位和标志分配给经解码的指令；以及3)(例如，在一些实施例中，使用预留站)调度经解码的指令供在指令池外部的执行电路上执行。
124.调度器电路1309表示任意数量的不同调度器，包括预留站、中央指令窗口等。调度器电路1309耦合至(多个)物理寄存器堆1315或包括(多个)物理寄存器堆1315。(多个)物理寄存器堆1315中的每一个表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点、状态(例如，作为要执行的下一指令的地址的指令指针)、片，等等。在一个实施例中，(多个)物理寄存器堆1315包括向量寄存器电路、写掩码寄存器电路和标量寄存器电路。这些寄存器电路可提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆1315被引退电路1317覆盖，以图示可实现寄存器重命名和乱序执行的各种方式(诸如，使用(多个)重排序缓冲器和(多个)引退寄存器堆、使用(多个)未来文件(future file)、(多个)历史缓冲器、(多个)引退寄存器堆、使用寄存器映射和寄存器池，等等)。引退电路1317和(多个)物理寄存器堆1315耦合至执行电路1311。
125.尽管在乱序执行的上下文中描述寄存器重命名，但应当理解，寄存器重命名可在有序架构中被使用。虽然处理器的所图示的实施例也可包括分开的指令和数据高速缓存单元以及共享的l2高速缓存单元，但替代实施例也可具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(l1)内部高速缓存、或多个级别的内部高速缓存。在一些实施例中，系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。替代地，所有高速缓存都可在核和/或处理器的外部。
126.执行电路1311是一个或多个执行单元的集合，包括标量电路1321、向量/simd电路1323和矩阵操作电路1327、以及用于访问高速缓存1313的存储器访问电路1325。执行电路执行各种操作(例如，移位、加法、减法、乘法)并对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的数个执行单元，但是其他实施例可仅包括一个执行单元或全都执行所有功能的多个执行单元。标量电路1321执行标量操作，向量/simd电路1323执行向量/simd操作，并且矩阵操作电路1327执行本文中详述的矩阵(片)操作。
127.作为示例，示例性寄存器重命名的、乱序发布/执行核架构可以如下实现流水线：1)指令取出电路执行取出和长度解码级；2)分支和解码电路1303执行解码级；3)分配/重命名1307电路执行分配级和重命名级；4)调度器电路1309执行调度级；5)(耦合至或被包括在调度器电路1309和分配/重命名1307电路和存储器单元中的)(多个)物理寄存器堆执行寄存器读取/存储器读取级；执行电路1311执行执行级；6)存储器单元和(多个)物理寄存器堆单元执行写回/存储器写入级；7)各个单元可涉及异常处置级；以及8)引退单元和(多个)物
理寄存器堆单元执行提交级。
128.核可支持一个或多个指令集(例如，x86指令集(具有与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的mips技术公司的mips指令集；加利福尼亚州桑尼维尔市的arm控股公司的arm指令集(具有诸如neon等任选附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核1390包括用于支持紧缩数据指令集扩展(例如，avx1、avx2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
129.应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如超线程化技术中的同时多线程化)。
130.图14图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作。分支预测和解码电路1403执行对来自存储在指令存储1401中的指令的分支预测、对这些指令的解码和/或分支预测和解码两者。例如，本文中详述的指令可存储在指令存储中。在一些实现方式中，分开的电路用于分支预测，并且在一些实施例中，至少一些指令被解码为一个或多个微操作、微代码进入点、微指令、其他指令或使用微代码1405的其他控制信号。分支预测和解码电路1403可使用各种不同的机制来实现。合适机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列(pla)、微代码只读存储器(rom)等。
131.分支预测和解码电路1403耦合至分配/重命名1407电路，在一些实施例中，该分配/重命名1407电路耦合至调度器电路1409。在一些实施例中，这些电路通过执行以下步骤中的一个或多个来提供寄存器重命名、寄存器分配和/或调度功能：1)将逻辑操作数值重命名为物理操作数值(例如，一些实施例中的寄存器别名表)；2)将状态位和标志分配给经解码的指令；以及3)(例如，在一些实施例中，使用预留站)调度经解码的指令供在指令池外部的执行电路上执行。
132.调度器电路1409表示任意数量的不同调度器，包括预留站、中央指令窗口等。(多个)调度器单元调度器电路1409耦合至(多个)物理寄存器堆1415或包括(多个)物理寄存器堆1415。(多个)物理寄存器堆1415中的每一个表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点、状态(例如，作为要执行的下一指令的地址的指令指针)、片，等等。在一个实施例中，(多个)物理寄存器堆1415包括向量寄存器电路、写掩码寄存器电路和标量寄存器电路。这些寄存器电路可提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆1415被引退电路1417覆盖，以图示可实现寄存器重命名和乱序执行的各种方式(诸如，使用(多个)重排序缓冲器和(多个)引退寄存器堆、使用(多个)未来文件(future file)、(多个)历史缓冲器、(多个)引退寄存器堆、使用寄存器映射和寄存器池，等等)。引退电路1417和(多个)物理寄存器堆1415耦合至执行电路1411。
133.尽管在乱序执行的上下文中描述寄存器重命名，但应当理解，寄存器重命名可在有序架构中被使用。虽然处理器的所图示的实施例也可包括分开的指令和数据高速缓存单元以及共享的l2高速缓存单元，但替代实施例也可具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(l1)内部高速缓存、或多个级别的内部高速缓存。在一些实施例中，系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。替代地，所
有高速缓存都可在核和/或处理器的外部。
134.执行电路1411包括一个或多个执行电路1427的集合以及用于访问高速缓存1413的一个或多个存储器访问电路1425的集合。执行电路1427执行本文中详述的矩阵(片)操作。
135.作为示例，示例性寄存器重命名的、乱序发布/执行核架构可以如下实现流水线：1)指令取出电路执行取出和长度解码级；2)分支和解码电路1403执行解码级；3)分配/重命名1407电路执行分配级和重命名级；4)调度器电路1409执行调度级；5)(耦合至或被包括在调度器电路1409和分配/重命名1407电路和存储器单元中的)(多个)物理寄存器堆执行寄存器读取/存储器读取级；执行电路1411执行执行级；6)存储器单元和(多个)物理寄存器堆单元执行写回/存储器写入级；7)各个单元可涉及异常处置级；以及8)引退单元和(多个)物理寄存器堆单元执行提交级。
136.核可支持一个或多个指令集(例如，x86指令集(具有与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的mips技术公司的mips指令集；加利福尼亚州桑尼维尔市的arm控股公司的arm指令集(具有诸如neon等任选附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核1490包括用于支持紧缩数据指令集扩展(例如，avx1、avx2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
137.应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如超线程化技术中的同时多线程化)。布局
138.贯穿本说明书，使用行为主的数据布局来表达数据。列为主的用户应当根据项的定向来变换这些项。图15图示按行为主格式和列为主格式表达的矩阵的示例。如图所示，矩阵a是2x3矩阵。当该矩阵按行为主的格式存储时，行的数据元素是连续的。当该矩阵按列为主的格式存储时，列的数据元素是连续的。a
t
*b
t
＝(ba)
t
是矩阵的公知属性，其中，上标t表示变换。按行为主的数据那样来读取列为主的数据导致看起来像变换矩阵的矩阵。
139.在一些实施例中，在硬件中利用行为主的语义，并且列为主的数据将交换操作数顺序并使结果是矩阵的变换，但是对于从存储器的后续列为主的读取，其是正确的非变换矩阵。
140.例如，如果具有两个要相乘的列为主的矩阵：a b
ꢀꢀꢀꢀꢀꢀ
g i k
ꢀꢀꢀꢀꢀꢀ
ag bh ai bj ak blc d *
ꢀꢀꢀꢀ
h j l＝
ꢀꢀꢀꢀ
cg dh ci dj ck dle f
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
eg fh ei fj ek fl(3x2)
ꢀꢀꢀꢀ
(2x3)
ꢀꢀꢀꢀꢀꢀ
(3x3)
141.输入矩阵将按如下方式被存储在线性存储器中(列为主)：a c e b d f以及g h i j k l.
142.以尺度2x3和3x2将那些矩阵读取为行为主的，则它们将表现为：
a c e以及g hb d f i jk l
143.交换顺序和矩阵乘法：g h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
a c e
ꢀꢀꢀꢀꢀꢀꢀꢀ
ag bh cg dh eg fhi j
ꢀꢀꢀꢀꢀꢀꢀ
*b d f＝
ꢀꢀꢀꢀꢀꢀꢀ
ai bj ci dj ei fjk l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
ak bl ck dl ek fl
144.变换矩阵移出，并且随后可按行为主的顺序被存储：ag bh cg dh eg fh ai bj ci dj ei fj ak bl ck dl ek fl
145.并且在后续的列为主的计算中被使用，其是正确的未变换矩阵：ag bh
ꢀꢀꢀꢀꢀꢀꢀ
ai bj
ꢀꢀꢀꢀꢀꢀ
ak blcg dh
ꢀꢀꢀꢀꢀꢀꢀ
ci dj
ꢀꢀꢀꢀꢀꢀ
ck dleg fh
ꢀꢀꢀꢀꢀꢀꢀ
ei fj
ꢀꢀꢀꢀꢀꢀ
ek fl示例性使用
146.图16图示矩阵(片)的使用的示例。在该示例中，矩阵c 1601包括两个片，矩阵a 1603包括一个片，并且矩阵b 1605包括两个片。该图示出用于计算矩阵乘法的算法的内循环的示例。在该示例中，来自矩阵c1601的两个结果片tmm0和tmm1用于将中间结果累加。当来自矩阵a 1603的一个片(tmm2)乘以来自矩阵b 1605的两个片时，这个片被重复使用2次。指针用于加载来自箭头所指示方向的新a矩阵(片)和两个新b矩阵(片)。未示出的外循环调整用于c片的指针。
147.如图所示的示例性代码包括片配置指令的使用，并且被执行以配置片使用，加载片，用于处理片的循环，将片存储到存储器，并释放片使用。
148.图17图示矩阵(片)的使用的实施例。在1701处，配置片使用。例如，执行tileconfig指令以配置片使用，包括设置每个片的行数和列数。典型地，在1703处，从存储器加载至少一个矩阵(片)。在1705处，使用矩阵(片)来执行至少一个矩阵(片)操作。在1707处，将至少一个矩阵(片)向外存储到存储器，并且在1709处，上下文切换可发生。示例性配置片配置硬件支持
149.如上文所讨论，片使用通常需要在使用前进行配置。例如，可能不需要完全使用所有的行和列。在一些实施例中不配置这些行和列不仅节省了功率，而且可使用配置来判定操作是否将生成错误。例如，如果m和l不相同，则(n x m)*(l x n)形式的矩阵乘法通常不起作用。
150.在使用利用片的矩阵之前，在一些实施例中，将配置片支持。例如，配置每个片有多少行和多少列、将使用的片，等等。tileconfig指令是对计算机自身的改进，因为它提供对配置计算机以使用(作为处理器核的部分的、或作为外部设备的)矩阵加速器的支持。具体而言，tileconfig指令的执行使得配置从存储器被检取，并被应用于矩阵加速器内的矩阵(片)设置。片使用配置
151.图18图示根据实施例的对片的使用的配置的支持。存储器1801包含将被支持的矩
阵(片)的片描述1803。
152.处理器/核1805的指令执行资源1811将片描述1803的多个方面存储到片配置1817中。片配置1817包括用于详述配置了用于调色板的什么片(每个片中的行数和列数)的调色板表1813以及矩阵支持在使用中的标记。具体而言，指令执行资源1811配置成按片配置1817所指定来使用片。指令执行资源1811还可包括用于指示片使用的机器专用寄存器或配置寄存器。还设置附加的值，诸如，使用中值和开始值。片配置1817利用(多个)寄存器1819来存储片使用和配置信息。
153.图19图示将支持的矩阵(片)的描述的实施例。这是将应sttilecfg指令的执行而被存储的描述。在该示例中，每个字段为字节。在字节[0]中，存储调色板id 1901。调色板id用于对调色板表1813进行索引，该调色板表1813如由配置所定义来根据调色板id存储片中的字节数以及与该id相关联的片的每行的字节。
[0154]
字节1存储将被存储在“startrow”寄存器1903中的值，并且字节2存储将被存储在寄存器startp 1905中的值。为了支持在这些事件后重新开始指令，这些指令将信息存储在这些寄存器中。为了支持在诸如上文详述的那些事件之类的中断事件之后重新开始指令，这些指令将信息存储在这些寄存器中。startrow值指示应当被用于重新开始的行。startp值指示当对被使用时用于存储操作的行内的位置，并且在一些实施例中，该startp值指示(对的较低片中的)行的下半部分或(对的较高片中的)行的上半部分。一般而言，不需要行(列)中的该位置。
[0155]
成功地执行矩阵(片)指令可将startrow和startp两者设置为零，tileconfig和sttilecfg是例外。
[0156]
在不重新开始被中断的矩阵(片)指令的任何时刻，使startrow和startp值归零是软件的职责。例如，未掩码的浮点异常处置程序可决定在软件中完成操作，并且将程序计数器值改变为另一指令，通常是下一指令。在这种情况下，在恢复程序之前，软件异常处置程序必须使由操作系统呈现给该软件异常处置程序的异常中的startrow和startp值归零。操作系统随后可使用恢复指令来重新加载那些值。
[0157]
字节3存储片的对的指示(每片1b)1907。
[0158]
字节16-17存储片0的行数1913和列数1915，字节18-19存储片1的行数和列数，以此类推。换言之，每一2字节组指定片的行数和列数。如果2字节的组不用于指定片参数，则它们应当具有值零。为比实现限制或调色板限制更多的片指定片参数导致错误。未配置的片用0行0列被设置为初始状态。
[0159]
最终，存储器中的配置通常以诸如用于若干连续字节的全零之类的结尾描述结束。示例性片和片配置存储
[0160]
图20(a)-图20(d)图示(多个)寄存器1819的示例。图20(a)图示多个寄存器1819。如图所示，每个片(tmm0 2001...tmmn 2003)具有分开的寄存器，其中每个寄存器存储那个特定片的行尺寸和列尺寸。startp 2011和startrow 2013被存储在分开的寄存器中。对一个或多个状态寄存器2015置位(例如，tiles_configured＝1)以指示片经配置以供使用。
[0161]
图20(b)图示多个寄存器1819。如图所示，每个片具有用于其行和其列的分开的寄存器。例如，tmm0行配置2021、tmm0列配置2023、startp 2011和startrow 2013被存储在分
开的寄存器中。对一个或多个状态寄存器2015置位(例如，tiles_configured＝1)以指示片经配置以供使用。
[0162]
图20(c)图示单个寄存器1819。如图所示，该寄存器将片配置(每片的行和列)2031、startp 2011和startrow 2013存储在作为紧缩数据寄存器的单个寄存器中。对一个或多个状态寄存器2015置位(例如，tiles_configured＝1)以指示片经配置以供使用。
[0163]
图20(d)图示多个寄存器1819。如图所示，单个寄存器存储片配置(每片的行和列)2031。startp和startrow被存储在分开的寄存器2011和2013中。对一个或多个状态寄存器2015置位(例如，tiles_configured＝1)以指示片经配置以供使用。
[0164]
构想了其他组合，诸如，将起始寄存器组合到单个寄存器中，在该单个寄存器中，这些起始寄存器被分开显示，等等。矩阵操作
[0165]
密集计算矩阵-矩阵或矩阵-标量操作通常出现在许多人工智能(ai)和机器学习(ml)工作负荷中。矩阵-矩阵加法本质上要求具有匹配的尺度的矩阵。虽然矩阵-矩阵乘法不这样要求，但是实现密集矩阵乘法的专业的硬件(例如，谷歌张量处理单元(tpu)、英特尔片矩阵乘法(tmul)单元、和英伟达张量核)有时被优化以假设计算中所涉及的矩阵具有相同尺度(或是正方形尺寸)。当不是这种情况时，矩阵中的一个(或两个)必须通过将常数值填补到被调整尺寸的矩阵的空元素中而被调整尺寸。
[0166]
附加地，为了通过更高的数据局部性来提高系统性能，若干机器学习框架采用针对张量的分块布局。在当前实现方式中，该附加的分块步骤在核处以额外的指令和计算时间为代价被显式地完成。因此，将操作迁移到硬件引擎将核从具有重复模式的此类任务释放。
[0167]
典型地，矩阵将以使得列是直接相邻的方式被存储在存储器阵列中。图21示出示例3x4矩阵2110以及可以如何将其组织在存储器2120中。在该示例中，矩阵被逐行地存储。
[0168]
在来自图21的矩阵将在要求特定尺度的密集加速器中使用的情况下，矩阵可能首先需要被转换为例如4x4矩阵。图22示出矩阵结构2210和存储器2220中的组织。将空的零值插入存储器涉及将较高编号的行的所有值移位。通过使用标准的加载和存储操作，这需要被逐元素地完成。
[0169]
除了矩阵移动和重构之外，涉及矩阵和标量值的函数广泛分布在许多机器学习工作负荷中。一个示例是函数y＝ax，其中y和x两者都是密集矩阵，并且a是标量值。在软件中执行该函数将要求在标量值a与x的每个元素之间执行原子性`读取-乘法-写入’操作。另一个常见并且更复杂的等式是z＝ax by，其中x、y和z是矩阵，并且a和b是标量值。该操作将要求在最终的矩阵-矩阵加法之前的两个分开的矩阵-标量乘法例程。
[0170]
对矩阵调整尺寸和执行大的矩阵-标量操作的该过程在执行完整的矩阵-矩阵操作之前使用宝贵的线程资源对数据结构进行预处理(pre-condition)。算法的该阶段将受益于迁移能力，其中矩阵可以在后台被调整尺寸和缩放，而同时计算线程被允许对更关键的工作进行执行。一旦矩阵准备就绪，大规模矩阵-矩阵操作就可以执行。对该操作进行迁移将提高总工作负荷性能。
[0171]
根据实施例的系统可以利用直接存储器访问(dma)引擎实现矩阵复制和矩阵-标量指令。这些指令可以被包括在指令集架构(isa)中并且作为迁移机制来提供以对存储器
中的大矩阵进行执行。
[0172]
在实施例中，这些dma引擎指令可以提供对昂贵的大矩阵操作(即，x y、ax等)进行迁移同时还通过高效地使用硬件资源来允许更有效的负载平衡的能力。附加地，dma引擎可以利用双重操作特征来减少每元素等待时间并且允许更大量的未决请求，从而提高性能。dma.
matcopy isa
[0173]
在实施例中，架构可以通过isa来暴露直接存储器访问(dma)操作。实施例可以包括旨在对存储在存储器中的大的密集矩阵的高效操纵的指令。表1：dma.matcopy指令描述。
[0174]
表1示出根据实施例的用于dma.matcopy操作的isa定义。该指令为编程者提供将矩阵从一个存储器位置复制到另一个存储器位置同时在矩阵被复制时对数据结构调整尺寸的能力。寄存器输入r1和r2是用于源存储器的基础存储器位置(r1)和目的地存储器的基础存储器位置(r2)的64位的规范地址输入。寄存器输入r3和r4是分开的以提供源和目的地矩阵中的列数的32位的计数值(r3)和源和目的地矩阵中的行数的32位的计数值(r4)。
‘
fill(填充)’输入是2位的选项，其指定将占据目的地矩阵中的空元素的值(2`b00＝不填充；2`b01＝写入0；2`b10＝写入1)。
‘
optype(操作类型)’是11位的输入，该11位的输入指定逐元素操作(即，加法/减法、乘法、或按位)以允许dma.matcopy指令执行除了矩阵调整尺寸之外的矩阵-矩阵加法/减法/按位操作。最后，
‘
size(尺寸)’输入指定单个元素的尺寸(1、2、4或8字节)。
[0175]
图23a示出用于将源存储器2320中的2x3矩阵2310作为3x4矩阵2330复制到目的地存储器2340的dma.matcopy指令2300的视觉示例。较大目的地矩阵中的所有空元素用值零来写入/填充。
[0176]
为了支持迁移机制，完整的dma.matcopy指令从流水线被发送到其相邻的dma引擎。dma引擎然后执行操作的解码和存储器请求部分。存在由dma引擎作出的两种不同类型的存储器请求。第一种是使用位于每个存储器接口附近的远程双重操作引擎(openg)的op-load-store(操作-加载-存储)(1元素复制)。第二种请求类型是空元素值直接向目的地矩阵存储器的存储操作(
‘
fill(填充)’)。
[0177]
图23b示出当执行dma.matcopy指令时dma引擎的功能的伪代码。对于目的地矩阵界限内的每个元素，dma引擎将查看对于源矩阵是否存在当前行/列组合。如果存在，则dma引擎计算源和目的地地址，并且将1元素op-ld-st请求发送到在源存储器本地的openg。如果对于源矩阵不存在行/列组合，则dma引擎将会将存储请求与0值或1值(取决于fill选项)发送到目的地地址。如果fill＝2`b00，则对于该元素将不会有存储在目的地矩阵处的值，
并且因此dma引擎将不发送请求，并且将移动至下一个有效元素。注意，如果fill＝2`b00并且dma引擎检测到目的地行超过最大源行值，则操作完成，因为dma引擎不需要将任何更多值发送到目的地矩阵。
[0178]
在实施例中，optype修饰符是dma isa中的11位的立即数字段，其定义预期要在源和目的地矩阵的每个元素对之间执行的操作。这些操作假设第二矩阵已经存在于目的地地址处，并且经由远程原子性
‘
读取-操作-写入操作’(由目的地存储器接口处的功能单元执行)在目的地存储器位置处执行功能(加法、减法、乘法、位操作)。如果对于源矩阵不存在元素，则无论由
‘
fill’指定的值是什么，都将不会在目的地矩阵处执行操作。相反，已经存在于目的地处的值将保持不变。对optype位字段的分解在表2中示出。2中示出。表2：optype修饰符位字段描述
[0179]
通过支持逐元素操作，dma.matcopy isa指令实现用于执行如矩阵-矩阵加法的操作的软件开销的显著降低。在没有单条指令的情况下，来自源矩阵的每个元素将需要被加载到寄存器中，正确的对应的目的地元素地址将需要由软件计算，并且然后源数据将被原子地加到目的地。由于dma.matcopy无缝地支持不同尺寸的源和目的地矩阵，因此如果逐元素加法/减法/按位操作中涉及的两个矩阵具有显著不同的尺度，则编程者不需要进行任何修改或调整。dma矩阵-标量isa
[0180]
在实施例中，系统可以执行涉及大的密集矩阵和标量值的被重度使用的函数。一个示例是函数y＝ax，其中y和x两者都是密集矩阵，并且a是标量值。在软件中执行该函数将要求在标量值a与x的每个元素之间执行原子性
‘
读取-乘法-写入’操作。将该操作完全实现为单条dma指令将通过迁移该整个函数来再次释放软件线程资源。
[0181]
为矩阵-标量操作添加dma支持实现对越来越复杂的函数的支持。例如，以等式z＝ax by为例，其中x、y和z是矩阵，并且a和b是标量值。该操作将要求在最终的矩阵-矩阵加法
之前的两个分开的矩阵-标量乘法例程(即，具有加法的dma.matcopy)。在具有迁移能力的少量isa指令中支持这种类型的完整函数将显著地有益于用于许多密集人工智能和机器学习应用的代码尺寸和总运行时间。
[0182]
因此，实施例可以包括dma.matscalar.*类别的指令(表3)。这些指令与dma.matcopy指令共享多个类似的寄存器输入：r1和r2(分别)是源和目的地基础存储器地址；r3是分开的寄存器，其中[31:0]＝源行计数，并且[63:32]是目的地行计数；r4是相同的，例外在于用于列计数。dma.matscalar指令引入寄存器输入r5作为要与源矩阵进行操作的64位的标量数据值。表3：dma.matscalar.add/mul/bitop isa指令
[0183]
为了适应64位的指令字中的有限空间(由于添加了第5寄存器操作数)，每个矩阵-标量操作需要其自身的指令类型和操作码。因此，存在三条矩阵-标量指令：add(加法)、mul(乘法)和bitop(位操作)。在bitop指令内存在选择要在标量值与源矩阵的每个元素之间执行的按位操作的类型的两位的选项。
[0184]
为了执行dma.matscalar指令，dma引擎将再次在目的地矩阵尺度的界限内扫描源矩阵(与示例伪代码类似)。现在，有效的源矩阵元素被发送了经修改的op-ld-st指令，其中标量值(r5)与定义add、mul或bitop的操作码一起伴随请求到远程目的地。这将发起接下来的操作步骤。
[0185]
在源存储器本地的双重操作引擎(openg)将读取源矩阵元素值，并且在本地执行add/mul/bitop(使用被设计为处置远程原子性操作的算术逻辑单元/浮点单元(alu/
fpu))。openg将不会将值写回至源矩阵。
[0186]
矩阵-标量操作的结果将被发送至目的地矩阵元素(与optype一起)。如果任何操作被请求，则远程原子性单元将执行读取-操作-写入。如果没有操作被请求，则远程原子性单元将覆写目的地存储器。
[0187]
实现该函数产生使用单条dma.matscalar.mul指令对y＝ax等式的完全支持。为了执行等式z＝ax by，将使用两条dma.matscalar.mul指令(各自一条指令用于ax和by)，其中这两条指令均将z矩阵指定为目的地，在该目的地处原子性
‘
读取-加法-写入’将对每个元素发生(使用optype修饰符)。
[0188]
图23c图示根据一些实施例的用于矩阵复制的方法。在2352中，单条指令由硬件指令解码器解码。单条指令具有用于引用源矩阵的第一表示的基址的第一操作数和用于引用目的地矩阵的第二表示的基址的第二操作数。在其中核、处理器、芯片上系统、系统等执行方法的实施例中，硬件解码器可以对应于例如图13中的分支/解码电路1303、图14中的分支/解码电路1403、图28b中的解码单元2840等。
[0189]
在2352和2354中，执行电路响应于经解码的单条指令而执行一个或多个操作。在其中核、处理器、芯片上系统、系统等执行方法的实施例中，执行电路可以对应于例如图13中的执行电路1311、图14中的执行电路1411、图32中的协处理器3280或3238、图34中的协处理器3420等。
[0190]
在2352中，源矩阵的元素被复制到目的地矩阵中的对应的元素位置。在2354中，目的地矩阵的空元素位置被单个值填充。
[0191]
在各种实施例中，以下各项中的任一者可以被包括在方法中。单条指令还具有第三操作数，该第三操作数具有用于指定源矩阵的第一行数的第一字段。第三操作数还具有用于指定目的地矩阵的第二行数的第二字段。单条指令还具有第三操作数，第三操作数具有用于指定源矩阵的第一列数的第一字段。第三操作数还具有用于指定目的地矩阵的第二列数的第二字段。单条指令还用于指定单个值。单条指令还用于指定每个元素的尺寸。单条指令还用于指定用于在复制到目的地矩阵之前对源矩阵的每个元素执行的操作。操作用于使用要由指令指定的标量值来对源矩阵的每个元素执行。示例性硬件
[0192]
本节提供根据实施例的架构的描述。
[0193]
图24提供根据实施例的基本构建块的示例的示图。在最低级别(例如，核2410)处是16线程的桶形多线程流水线(mtp)和更高ilp的单线程流水线(stp)。所有流水线支持相同isa，并且具有每线程相同数量的架构寄存器。每个核由四个mtp和两个stp组成，意味着每个核可以支持多达66个硬件线程。
[0194]
所有核具有本地暂存器sram以及本地dram通道。经由分布式全局地址(dgas)存储器映射访问其他核的暂存器或dram将引发附加的等待时间成本。层级结构的附加级别如下：管芯2420由八个核组成；节点由32个管芯组成；并且机架由16个节点组成。遍历层级结构的每个级别以进行存储器访问将对等待时间有影响。
[0195]
所有流水线具有其自身的本地dma引擎以迁移mat-copy(矩阵-复制)和mat-scalar(矩阵-标量)操作。由dma引擎支持的其他指令包括聚集/分散、复制、广播和约减。dma引擎取得全部指令，在操作中在贯穿所有元素的循环中执行，并且为每个元素发布必要
的存储器请求。
[0196]
为了减少所需的未决存储器请求的总数，dma引擎利用双重操作引擎，该双重操作引擎为每个元素促进请求从源到目的地的移动。这允许每个元素的加载和存储请求被视为对dma引擎的单个请求，从而减少排队开销并且允许更大数量的未决存储器请求。这些双重操作引擎还在目标存储器(暂存器或dram)接口附近提供执行单元，其中用于mat-scalar指令的操作(add、mul、bitop)可以被执行。
[0197]
在实施例中，可以使用单个核的所有64-mtp线程，其中每个线程在移动到下一个元素之前为单个元素进行源加载、操作、和目的地存储。
[0198]
在实施例中，可以使用单个(更高指令级并行性)stp。其中，单个线程将并行地执行多个元素，但是负责为所有元素进行源加载、乘法、和目的地存储。由于可用的网络事务id的限制，stp具有16个飞行中操作的限制。
[0199]
实施例可用于执行在其中存在大的矩阵操纵操作的密集计算工作负荷。实施例可以提供专业的密集计算加速，其可以受益于高效的矩阵数据结构移动和调整尺寸。
[0200]
实施例可用于要求对大的矩阵数据结构的密集计算的应用，既是高度多线程的，又是迁移编程模型。在非均匀系统中，直接存储器操作可以被重度使用，尤其对于对矩阵尺度的修改、在较大的结构中插入子矩阵、以及执行标量-矩阵计算。对这些操作的性能的优化有益于总体上对应用的性能的优化。这些类型的操作可能在不同算法中出现许多次，并且给定较大的数据结构尺寸可能快速地变成显著的性能瓶颈。详细的示例性系统、处理器和仿真
[0201]
本文中详述的是用于执行上文描述的指令的硬件、软件等的示例。例如，下文所描述的内容详述了指令执行的多个方面，包括诸如取出、解码、调度、执行、引退等之类的各种流水线级。指令集
[0202]
指令集可包括一种或多种指令格式。给定的指令格式可定义各种字段(例如，位的数量、位的位置)以指定将要执行的操作(例如，操作码)以及将对其执行该操作的(多个)操作数和/或(多个)其他数据字段(例如，掩码)，等等。通过指令模板(或子格式)的定义来进一步分解一些指令格式。例如，可将给定指令格式的指令模板定义为具有该指令格式的字段(所包括的字段通常按照相同顺序，但是至少一些字段具有不同的位的位置，因为较少的字段被包括)的不同子集，和/或定义为具有以不同方式进行解释的给定字段。由此，isa的每一条指令使用给定的指令格式(并且如果经定义，则按照该指令格式的指令模板中的给定的一个指令模板)来表达，并包括用于指定操作和操作数的字段。例如，示例性add(加法)指令具有特定的操作码和指令格式，该特定的指令格式包括用于指定该操作码的操作码字段和用于选择操作数(源1/目的地以及源2)的操作数字段；并且该add指令在指令流中出现可使得在操作数字段中具有选择特定操作数的特定的内容。已经推出和/或发布了被称为高级向量扩展(avx)(avx1和avx2)和利用向量扩展(vex)编码方案的simd扩展集(参见例如2014年9月的64和ia-32架构软件开发者手册；并且参见2014年10月的高级向量扩展编程参考)。示例性指令格式
[0203]
本文中所描述的(多条)指令的实施例能以不同的格式体现。另外，在下文中详述
示例性系统、架构和流水线。(多条)指令的实施例可在此类系统、架构和流水线上执行，但是不限于详述的那些系统、架构和流水线。通用向量友好指令格式
[0204]
向量友好指令格式是适于向量指令(例如，存在专用于向量操作的特定字段)的指令格式。尽管描述了其中通过向量友好指令格式支持向量和标量操作两者的实施例，但是替代实施例仅使用通过向量友好指令格式的向量操作。
[0205]
图25a-图25b是图示根据实施例的通用向量友好指令格式及其指令模板的框图。图25a是图示根据实施例的通用向量友好指令格式及其a类指令模板的框图；而图25b是图示根据实施例的通用向量友好指令格式及其b类指令模板的框图。具体地，针对通用向量友好指令格式2500定义a类和b类指令模板，这两者都包括无存储器访问2505的指令模板和存储器访问2520的指令模板。在向量友好指令格式的上下文中的术语“通用”是指不束缚于任何特定指令集的指令格式。
[0206]
尽管将描述其中向量友好指令格式支持以下情况的实施例：64字节向量操作数长度(或尺寸)与32位(4字节)或64位(8字节)数据元素宽度(或尺寸)(并且由此，64字节向量由16个双字尺寸的元素组成，或者替代地由8个四字尺寸的元素组成)；64字节向量操作数长度(或尺寸)与16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；32字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)或8位(1字节)数据元素宽度(或尺寸)；以及16字节向量操作数长度(或尺寸)与32位(4字节)、64位(8字节)、16位(2字节)、或8位(1字节)数据元素宽度(或尺寸)；但是替代实施例可支持更大、更小和/或不同的向量操作数尺寸(例如，256字节向量操作数)与更大、更小或不同的数据元素宽度(例如，128位(16字节)数据元素宽度)。
[0207]
图25a中的a类指令模板包括：1)在无存储器访问2505的指令模板内，示出无存储器访问的完全舍入控制型操作2510的指令模板、以及无存储器访问的数据变换型操作2515的指令模板；以及2)在存储器访问2520的指令模板内，示出存储器访问的时效性2525的指令模板和存储器访问的非时效性2530的指令模板。图25b中的b类指令模板包括：1)在无存储器访问2505的指令模板内，示出无存储器访问的写掩码控制的部分舍入控制型操作2512的指令模板以及无存储器访问的写掩码控制的vsize型操作2517的指令模板；以及2)在存储器访问2520的指令模板内，示出存储器访问的写掩码控制2527的指令模板。
[0208]
通用向量友好指令格式2500包括以下列出的按照在图25a-25b中图示的顺序的如下字段。
[0209]
格式字段2540——该字段中的特定值(指令格式标识符值)唯一地标识向量友好指令格式，并且由此标识指令在指令流中以向量友好指令格式出现。由此，该字段对于仅具有通用向量友好指令格式的指令集是不需要的，在这个意义上该字段是任选的。
[0210]
基础操作字段2542——其内容区分不同的基础操作。
[0211]
寄存器索引字段2544——其内容直接或者通过地址生成来指定源或目的地操作数在寄存器中或者在存储器中的位置。这些字段包括足够数量的位以从pxq(例如，32x512、16x128、32x1024、64x1024)寄存器堆中选择n个寄存器。尽管在一个实施例中n可多达三个源寄存器和一个目的地寄存器，但是替代实施例可支持更多或更少的源和目的地寄存器(例如，可支持多达两个源，其中这些源中的一个源还用作目的地；可支持多达三个源，其中
这些源中的一个源还用作目的地；可支持多达两个源和一个目的地)。
[0212]
修饰符(modifier)字段2546——其内容将指定存储器访问的以通用向量指令格式出现的指令与不指定存储器访问的以通用向量指令格式出现的指令区分开；即在无存储器访问2505的指令模板与存储器访问2520的指令模板之间进行区分。存储器访问操作读取和/或写入到存储器层次(在一些情况下，使用寄存器中的值来指定源和/或目的地地址)，而非存储器访问操作不这样(例如，源和目的地是寄存器)。尽管在一个实施例中，该字段还在三种不同的方式之间选择以执行存储器地址计算，但是替代实施例可支持更多、更少或不同的方式来执行存储器地址计算。
[0213]
扩充操作字段2550——其内容区分除基础操作以外还要执行各种不同操作中的哪一个操作。该字段是针对上下文的。在一个实施例中，该字段被分成类字段2568、α字段2552和β字段2554。扩充操作字段2550允许在单条指令而非2条、3条或4条指令中执行多组共同的操作。
[0214]
比例字段2560——其内容允许用于存储器地址生成(例如，用于使用(2
比例
*索引 基址)的地址生成)的索引字段的内容的按比例缩放。
[0215]
位移字段2562a——其内容用作存储器地址生成的一部分(例如，用于使用(2
比例
*索引 基址 位移)的地址生成)。
[0216]
位移因数字段2562b(注意，位移字段2562a直接在位移因数字段2562b上的并置指示使用一个或另一个)——其内容用作地址生成的一部分；它指定将按比例缩放存储器访问的尺寸(n)的位移因数——其中n是存储器访问中的字节数量(例如，用于使用(2
比例
*索引 基址 按比例缩放的位移)的地址生成)。忽略冗余的低阶位，并且因此将位移因数字段的内容乘以存储器操作数总尺寸(n)以生成将在计算有效地址中使用的最终位移。n的值由处理器硬件在运行时基于完整操作码字段2574(稍后在本文中描述)和数据操纵字段2554c确定。位移字段2562a和位移因数字段2562b不用于无存储器访问2505的指令模板和/或不同的实施例可实现这两者中的仅一个或不实现这两者中的任一个，在这个意义上，位移字段2562a和位移因数字段2562b是任选的。
[0217]
数据元素宽度字段2564——其内容区分将使用多个数据元素宽度中的哪一个(在一些实施例中用于所有指令；在其他实施例中只用于指令中的一些指令)。如果支持仅一个数据元素宽度和/或使用操作码的某一方面来支持数据元素宽度，则该字段是不需要的，在这个意义上，该字段是任选的。
[0218]
写掩码字段2570——其内容逐数据元素位置地控制目的地向量操作数中的数据元素位置是否反映基础操作和扩充操作的结果。a类指令模板支持合并-写掩码，而b类指令模板支持合并-写掩码和归零-写掩码两者。当合并时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间保护目的地中的任何元素集免于更新；在另一实施例中，保持其中对应掩码位具有0的目的地的每一元素的旧值。相反，当归零时，向量掩码允许在执行(由基础操作和扩充操作指定的)任何操作期间使目的地中的任何元素集归零；在一个实施例中，目的地的元素在对应掩码位具有0值时被设为0。该功能的子集是控制正被执行的操作的向量长度的能力(即，从第一个到最后一个正被修改的元素的跨度)，然而，被修改的元素不一定要是连续的。由此，写掩码字段2570允许部分向量操作，这包括加载、存储、算术、逻辑等。尽管描述了其中写掩码字段2570的内容选择了多个写掩码寄存器中的包含要
使用的写掩码的一个写掩码寄存器(并且由此，写掩码字段2570的内容间接地标识要执行的掩码)的实施例，但是替代实施例替代地或附加地允许掩码写字段2570的内容直接指定要执行的掩码。
[0219]
立即数字段2572——其内容允许对立即数的指定。该字段在实现不支持立即数的通用向量友好格式中不存在且在不使用立即数的指令中不存在，在这个意义上，该字段是任选的。
[0220]
类字段2568——其内容在不同类的指令之间进行区分。参考图25a-图25b，该字段的内容在a类和b类指令之间进行选择。在图25a-图25b中，圆角方形用于指示特定的值存在于字段中(例如，在图25a-图25b中分别用于类字段2568的a类2568a和b类2568b)。a类指令模板
[0221]
在a类非存储器访问2505的指令模板的情况下，α字段2552被解释为其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的舍入型操作2510和无存储器访问的数据变换型操作2515的指令模板分别指定舍入2552a.1和数据变换2552a.2)的rs字段2552a，而β字段2554区分要执行所指定类型的操作中的哪一种。在无存储器访问2505的指令模板中，比例字段2560、位移字段2562a和位移因数字段2562b不存在。无存储器访问的指令模板——完全舍入控制型操作
[0222]
在无存储器访问的完全舍入控制型操作2510的指令模板中，β字段2554被解释为其(多个)内容提供静态舍入的舍入控制字段2554a。尽管在所述实施例中舍入控制字段2554a包括抑制所有浮点异常(sae)字段2556和舍入操作控制字段2558，但是替代实施例可支持这两个概念，可将这两个概念编码为同一字段，或仅具有这些概念/字段中的一个或另一个(例如，可仅具有舍入操作控制字段2558)。
[0223]
sae字段2556——其内容区分是否禁用异常事件报告；当sae字段2556的内容指示启用抑制时，给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序。
[0224]
舍入操作控制字段2558——其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段2558允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的一个实施例中，舍入操作控制字段2550的内容覆盖(override)该寄存器值。无存储器访问的指令模板－数据变换型操作
[0225]
在无存储器访问的数据变换型操作2515的指令模板中，β字段2554被解释为数据变换字段2554b，其内容区分要执行多个数据变换中的哪一个(例如，无数据变换、混合、广播)。
[0226]
在a类存储器访问2520的指令模板的情况下，α字段2552被解释为驱逐提示字段2552b，其内容区分要使用驱逐提示中的哪一个(在图25a中，对于存储器访问时效性2525的指令模板和存储器访问非时效性2530的指令模板分别指定时效性的2552b.1和非时效性的2552b.2)，而β字段2554被解释为数据操纵字段2554c，其内容区分要执行多个数据操纵操作(也称为基元(primitive))中的哪一个(例如，无操纵、广播、源的向上转换以及目的地的向下转换)。存储器访问2520的指令模板包括比例字段2560，并任选地包括位移字段2562a或位移因数字段2562b。
[0227]
向量存储器指令使用转换支持来执行来自存储器的向量加载以及向存储器的向量存储。如同寻常的向量指令，向量存储器指令以数据元素式的方式从/向存储器传输数据，其中实际被传输的元素由被选为写掩码的向量掩码的内容规定。存储器访问的指令模板——时效性的
[0228]
时效性的数据是可能足够快地被重新使用以从高速缓存操作受益的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。存储器访问的指令模板——非时效性的
[0229]
非时效性的数据是不太可能足够快地被重新使用以从第一级高速缓存中的高速缓存操作受益且应当被给予驱逐优先级的数据。然而，这是提示，并且不同的处理器能以不同的方式实现它，包括完全忽略该提示。b类指令模板
[0230]
在b类指令模板的情况下，α字段2552被解释为写掩码控制(z)字段2552c，其内容区分由写掩码字段2570控制的写掩码应当是合并还是归零。
[0231]
在b类非存储器访问2505的指令模板的情况下，β字段2554的一部分被解释为rl字段2557a，其内容区分要执行不同扩充操作类型中的哪一种(例如，针对无存储器访问的写掩码控制部分舍入控制类型操作2512的指令模板和无存储器访问的写掩码控制vsize型操作2517的指令模板分别指定舍入2557a.1和向量长度(vsize)2557a.2)，而β字段2554的其余部分区分要执行所指定类型的操作中的哪一种。在无存储器访问2505的指令模板中，比例字段2560、位移字段2562a和位移因数字段2562b不存在。
[0232]
在无存储器访问的写掩码控制部分舍入控制型操作2510的指令模板中，β字段2554的其余部分被解释为舍入操作字段2559a，并且禁用异常事件报告(给定的指令不报告任何种类的浮点异常标志，并且不唤起任何浮点异常处置程序)。
[0233]
舍入操作控制字段2559a——正如舍入操作控制字段2558，其内容区分要执行一组舍入操作中的哪一个(例如，向上舍入、向下舍入、向零舍入以及就近舍入)。由此，舍入操作控制字段2559a允许逐指令地改变舍入模式。在其中处理器包括用于指定舍入模式的控制寄存器的一个实施例中，舍入操作控制字段2550的内容覆盖该寄存器值。
[0234]
在无存储器访问的写掩码控制vsize型操作2517的指令模板中，β字段2554的其余部分被解释为向量长度字段2559b，其内容区分要执行多个数据向量长度中的哪一个(例如，128字节、256字节或512字节)。
[0235]
在b类存储器访问2520的指令模板的情况下，β字段2554的一部分被解释为广播字段2557b，其内容区分是否要执行广播型数据操纵操作，而β字段2554的其余部分被解释为向量长度字段2559b。存储器访问2520的指令模板包括比例字段2560，并任选地包括位移字段2562a或位移因数字段2562b。
[0236]
针对通用向量友好指令格式2500，示出完整操作码字段2574包括格式字段2540、基础操作字段2542和数据元素宽度字段2564。尽管示出了其中完整操作码字段2574包括所有这些字段的一个实施例，但是在不支持所有这些字段的实施例中，完整操作码字段2574包括少于所有的这些字段。完整操作码字段2574提供操作代码(操作码)。
[0237]
扩充操作字段2550、数据元素宽度字段2564和写掩码字段2570允许逐指令地以通用向量友好指令格式指定这些特征。
[0238]
写掩码字段和数据元素宽度字段的组合创建各种类型的指令，因为这些指令允许基于不同的数据元素宽度应用该掩码。
[0239]
在a类和b类内出现的各种指令模板在不同的情形下是有益的。在一些实施例中，不同处理器或处理器内的不同核可支持仅a类、仅b类、或者可支持这两类。举例而言，旨在用于通用计算的高性能通用乱序核可仅支持b类，旨在主要用于图形和/或科学(吞吐量)计算的核可仅支持a类，并且旨在用于通用计算和图形和/或科学(吞吐量)计算两者的核可支持a类和b类两者(当然，具有来自这两类的模板和指令的一些混合、但是并非来自这两类的所有模板和指令的核在本发明的范围内)。同样，单个处理器可包括多个核，这多个核全部都支持相同的类，或者其中不同的核支持不同的类。举例而言，在具有单独的图形核和通用核的处理器中，图形核中的旨在主要用于图形和/或科学计算的一个核可仅支持a类，而通用核中的一个或多个可以是具有旨在用于通用计算的仅支持b类的乱序执行和寄存器重命名的高性能通用核。不具有单独的图形核的另一处理器可包括既支持a类又支持b类的一个或多个通用有序或乱序核。当然，在不同实施例中，来自一类的特征也可在其他类中实现。将使以高级语言编写的程序成为(例如，及时编译或静态编译)各种不同的可执行形式，这些可执行形式包括：1)仅具有由用于执行的目标处理器支持的(多个)类的指令的形式；或者2)具有替代例程并具有控制流代码的形式，该替代例程使用所有类的指令的不同组合来编写，该控制流代码选择这些例程以基于由当前正在执行代码的处理器支持的指令来执行。示例性专用向量友好指令格式
[0240]
图26a是图示根据实施例的示例性专用向量友好指令格式的框图。图26a示出专用向量友好指令格式2600，其指定各字段的位置、尺寸、解释和次序、以及那些字段中的一些字段的值，在这个意义上，该专用向量友好指令格式2600是专用的。专用向量友好指令格式2600可用于扩展x86指令集，并且由此字段中的一些字段与如在现有的x86指令集及其扩展(例如，avx)中所使用的那些字段类似或相同。该格式保持与具有扩展的现有x86指令集的前缀编码字段、实操作码字节字段、mod r/m字段、sib字段、位移字段和立即数字段一致。图示来自图25a-图25b的字段，来自图26a的字段映射到来自图25a-图25b的字段。
[0241]
应当理解，虽然出于说明的目的在通用向量友好指令格式2500的上下文中参考专用向量友好指令格式2600描述了实施例，但是本发明不限于专用向量友好指令格式2600，除非另有声明。例如，通用向量友好指令格式2500构想了各种字段的各种可能的尺寸，而专用向量友好指令格式2600示出为具有特定尺寸的字段。作为具体示例，尽管在专用向量友好指令格式2600中数据元素宽度字段2564被图示为一位字段，但是本发明不限于此(即，通用向量友好指令格式2500构想数据元素宽度字段2564的其他尺寸)。
[0242]
专用向量友好指令格式2600包括以下列出的按照图26a中图示的顺序的如下字段。
[0243]
evex前缀2602(字节0-3)——以四字节形式进行编码。
[0244]
格式字段2540(evex字节0，位[7:0])——第一字节(evex字节0)是格式字段2540，并且它包含0x62(在一个实施例中，为用于区分向量友好指令格式的唯一值)。
[0245]
第二－第四字节(evex字节1-3)包括提供专用能力的多个位字段。
[0246]
rex字段2605(evex字节1，位[7-5])——由evex.r位字段(evex字节1，位[7]
–
r)、
evex.x位字段(evex字节1，位[6]
–
x)以及evex.b位字段(evex字节1，位[5]
–
b)组成。evex.r、evex.x和evex.b位字段提供与对应的vex位字段相同的功能，并且使用1补码的形式进行编码，即zmm0被编码为1111b，zmm15被编码为0000b。这些指令的其他字段对如在本领域中已知的寄存器索引的较低三个位(rrr、xxx和bbb)进行编码，由此可通过对evex.r、evex.x和evex.b相加来形成rrrr、xxxx和bbbb。
[0247]
rex’字段2510——这是rex’字段2510的第一部分，并且是用于对扩展的32个寄存器集合的较高16个或较低16个寄存器进行编码的evex.r’位字段(evex字节1，位[4]
–
r’)。在一个实施例中，该位与以下指示的其他位一起以位反转的格式存储以(在公知x86的32位模式下)与bound指令进行区分，该bound指令的实操作码字节是62，但是在mod r/m字段(在下文中描述)中不接受mod字段中的值11；替代实施例不以反转的格式存储该指示的位以及以下其他指示的位。值1用于对较低16个寄存器进行编码。换句话说，通过组合evex.r’、evex.r以及来自其他字段的其他rrr来形成r’rrrr。
[0248]
操作码映射字段2615(evex字节1，位[3:0]
–
mmmm)——其内容对隐含的前导操作码字节(0f、0f 38或0f 3)进行编码。
[0249]
数据元素宽度字段2564(evex字节2，位[7]
–
w)——由记号evex.w表示。evex.w用于定义数据类型(32位数据元素或64位数据元素)的粒度(尺寸)。
[0250]
evex.vvvv 2620(evex字节2，位[6:3]-vvvv)——evex.vvvv的作用可包括如下：1)evex.vvvv对以反转(1补码)形式指定的第一源寄存器操作数进行编码，并且对具有两个或更多个源操作数的指令有效；2)evex.vvvv对针对特定向量位移以1补码的形式指定的目的地寄存器操作数进行编码；或者3)evex.vvvv不对任何操作数进行编码，该字段被预留，并且应当包含1111b。由此，evex.vvvv字段2620对以反转(1补码)的形式存储的第一源寄存器指定符的4个低阶位进行编码。取决于该指令，额外不同的evex位字段用于将指定符尺寸扩展到32个寄存器。
[0251]
evex.u 2568类字段(evex字节2，位[2]-u)——如果evex.u＝0，则它指示a类或evex.u0；如果evex.u＝1，则它指示b类或evex.u1。
[0252]
前缀编码字段2625(evex字节2，位[1:0]-pp)——提供了用于基础操作字段的附加位。除了对以evex前缀格式的传统sse指令提供支持以外，这也具有压缩simd前缀的益处(evex前缀仅需要2位，而不是需要字节来表达simd前缀)。在一个实施例中，为了支持使用以传统格式和以evex前缀格式两者的simd前缀(66h、f2h、f3h)的传统sse指令，将这些传统simd前缀编码成simd前缀编码字段；并且在运行时在被提供给解码器的pla之前被扩展成传统simd前缀(因此，在无需修改的情况下，pla既可执行传统格式的这些传统指令又可执行evex格式的这些传统指令)。虽然较新的指令可将evex前缀编码字段的内容直接用作操作码扩展，但是为了一致性，特定实施例以类似的方式扩展，但允许由这些传统simd前缀指定的不同含义。替代实施例可重新设计pla以支持2位simd前缀编码，并且由此不需要扩展。
[0253]
α字段2552(evex字节3，位[7]
–
eh，也称为evex.eh、evex.rs、evex.rl、evex.写掩码控制、以及evex.n；也以α图示)——如先前所述，该字段是针对上下文的。
[0254]
β字段2554(evex字节3，位[6:4]-sss，也称为evex.s
2-0
、evex.r
2-0
、evex.rr1、evex.ll0、evex.llb，还以βββ图示)——如前所述，此字段是针对上下文的。
[0255]
rex’字段2510——这是rex’字段的其余部分，并且是可用于对扩展的32个寄存器
集合的较高16个或较低16个寄存器进行编码的evex.v’位字段(evex字节3，位[3]
–v’
)。该位以位反转的格式存储。值1用于对较低16个寄存器进行编码。换句话说，通过组合evex.v’、evex.vvvv来形成v’vvvv。
[0256]
写掩码字段2570(evex字节3，位[2:0]-kkk)——其内容指定写掩码寄存器中的寄存器的索引，如先前所述。在一个实施例中，特定值evex.kkk＝000具有暗示没有写掩码用于特定指令的特殊行为(这能以各种方式实现，包括使用硬连线到所有对象的写掩码或绕过掩码硬件的硬件来实现)。
[0257]
实操作码字段2630(字节4)还被称为操作码字节。操作码的一部分在该字段中被指定。
[0258]
mod r/m字段2640(字节5)包括mod字段2642、reg字段2644和r/m字段2646。如先前所述的，mod字段2642的内容将存储器访问操作和非存储器访问操作区分开。reg字段2644的作用可被归结为两种情形：对目的地寄存器操作数或源寄存器操作数进行编码；或者被视为操作码扩展，并且不用于对任何指令操作数进行编码。r/m字段2646的作用可包括如下：对引用存储器地址的指令操作数进行编码；或者对目的地寄存器操作数或源寄存器操作数进行编码。
[0259]
比例、索引、基址(sib)字节(字节6)——如先前所述的，sib 2650的内容用于存储器地址生成。sib.xxx 2654和sib.bbb 2656——先前已经针对寄存器索引xxxx和bbbb提及了这些字段的内容。
[0260]
位移字段2562a(字节7-10)——当mod字段2642包含10时，字节7-10是位移字段2562a，并且它与传统32位位移(disp32)一样地工作，并且以字节粒度工作。
[0261]
位移因数字段2562b(字节7)——当mod字段2642包含01时，字节7是位移因数字段2562b。该字段的位置与以字节粒度工作的传统x86指令集8位位移(disp8)的位置相同。由于disp8是符号扩展的，因此它仅可在-128和127字节偏移之间寻址；在64字节高速缓存行的方面，disp8使用可被设为仅四个真正有用的值-128、-64、0和64的8位；由于常常需要更大的范围，所以使用disp32；然而，disp32需要4个字节。与disp8和disp32对比，位移因数字段2562b是disp8的重新解释；当使用位移因数字段2562b时，通过将位移因数字段的内容乘以存储器操作数访问的尺寸(n)来确定实际位移。该类型的位移被称为disp8*n。这减小了平均指令长度(单个字节用于位移，但具有大得多的范围)。此类经压缩的位移假设有效位移是存储器访问的粒度的倍数，并且由此地址偏移的冗余低阶位不需要被编码。换句话说，位移因数字段2562b替代传统x86指令集8位位移。由此，位移因数字段2562b以与x86指令集8位位移相同的方式被编码(因此，在modrm/sib编码规则中没有变化)，唯一的不同在于，将disp8超载至disp8*n。换句话说，在编码规则或编码长度方面没有变化，而仅在有硬件对位移值的解释方面有变化(这需要将位移按比例缩放存储器操作数的尺寸以获得字节式地址偏移)。立即数字段2572如先前所述地操作。完整操作码字段
[0262]
图26b是图示根据一个实施例的构成完整操作码字段2574的具有专用向量友好指令格式2600的字段的框图。具体地，完整操作码字段2574包括格式字段2540、基础操作字段2542和数据元素宽度(w)字段2564。基础操作字段2542包括前缀编码字段2625、操作码映射字段2615和实操作码字段2630。
寄存器索引字段
[0263]
图26c是图示根据一个实施例的构成寄存器索引字段2544的具有专用向量友好指令格式2600的字段的框图。具体地，寄存器索引字段2544包括rex 2605字段、rex’2610字段、modr/m.reg字段2644、modr/m.r/m字段2646、vvvv字段2620、xxx字段2654和bbb字段2656。扩充操作字段
[0264]
图26d是图示根据一个实施例的构成扩充操作字段2550的具有专用向量友好指令格式2600的字段的框图。当类(u)字段2568包含0时，它表明evex.u0(a类2568a)；当它包含1时，它表明evex.u1(b类2568b)。当u＝0且mod字段2642包含11(表明无存储器访问操作)时，α字段2552(evex字节3，位[7]
–
eh)被解释为rs字段2552a。当rs字段2552a包含1(舍入2552a.1)时，β字段2554(evex字节3，位[6:4]
–
sss)被解释为舍入控制字段2554a。舍入控制字段2554a包括一位sae字段2556和两位舍入操作字段2558。当rs字段2552a包含0(数据变换2552a.2)时，β字段2554(evex字节3，位[6:4]
–
sss)被解释为三位数据变换字段2554b。当u＝0且mod字段2642包含00、01或10(表明存储器访问操作)时，α字段2552(evex字节3，位[7]
–
eh)被解释为驱逐提示(eh)字段2552b，并且β字段2554(evex字节3，位[6:4]
–
sss)被解释为三位数据操纵字段2554c。
[0265]
当u＝1时，α字段2552(evex字节3，位[7]
–
eh)被解释为写掩码控制(z)字段2552c。当u＝1且mod字段2642包含11(表明无存储器访问操作)时，β字段2554的一部分(evex字节3，位[4]
–
s0)被解释为rl字段2557a；当它包含1(舍入2557a.1)时，β字段2554的其余部分(evex字节3，位[6-5]
–s2-1
)被解释为舍入操作字段2559a，而当rl字段2557a包含0(vsize 2557a.2)时，β字段2554的其余部分(evex字节3，位[6-5]-s
2-1
)被解释为向量长度字段2559b(evex字节3，位[6-5]
–
l
1-0
)。当u＝1且mod字段2642包含00、01或10(表明存储器访问操作)时，β字段2554(evex字节3，位[6:4]
–
sss)被解释为向量长度字段2559b(evex字节3，位[6-5]
–
l
1-0
)和广播字段2557b(evex字节3，位[4]
–
b)。示例性寄存器架构
[0266]
图27是根据一个实施例的寄存器架构2700的框图。在所图示的实施例中，有32个512位宽的向量寄存器2710；这些寄存器被引用为zmm0到zmm31。较低的16个zmm寄存器的较低阶256个位覆盖(overlay)在寄存器ymm0-16上。较低的16个zmm寄存器的较低阶128个位(ymm寄存器的较低阶128个位)覆盖在寄存器xmm0-15上。专用向量友好指令格式2600对这些被覆盖的寄存器堆操作，如在以下表格中所图示。
[0267]
换句话说，向量长度字段2559b在最大长度与一个或多个其他较短长度之间进行选择，其中每一个此类较短长度是前一长度的一半，并且不具有向量长度字段2559b的指令模板在最大向量长度上操作。此外，在一个实施例中，专用向量友好指令格式2600的b类指令模板对紧缩或标量单/双精度浮点数据以及紧缩或标量整数数据操作。标量操作是对zmm/ymm/xmm寄存器中的最低阶数据元素位置执行的操作；取决于实施例，较高阶数据元素位置要么保持与在指令之前相同，要么归零。
[0268]
写掩码寄存器2715——在所图示的实施例中，存在8个写掩码寄存器(k0至k7)，每一写掩码寄存器的尺寸是64位。在替代实施例中，写掩码寄存器2715的尺寸是16位。如先前所述，在一个实施例中，向量掩码寄存器k0可以不用作写掩码；当将正常指示k0的编码用作写掩码时，它选择硬连线的写掩码0xffff，从而有效地禁止写掩码用于那条指令。
[0269]
通用寄存器2725——在所示出的实施例中，有十六个64位通用寄存器，这些寄存器与现有的x86寻址模式一起使用以对存储器操作数寻址。这些寄存器通过名称rax、rbx、rcx、rdx、rbp、rsi、rdi、rsp以及r8到r15来引用。
[0270]
标量浮点栈寄存器堆(x87栈)2745，在其上面重叠了mmx紧缩整数平坦寄存器堆2750——在所图示的实施例中，x87栈是用于使用x87指令集扩展来对32/64/80位浮点数据执行标量浮点操作的八元素栈；而使用mmx寄存器来对64位紧缩整数数据执行操作，以及为在mmx与xmm寄存器之间执行的一些操作保存操作数。
[0271]
替代实施例可以使用更宽的或更窄的寄存器。另外，替代实施例可以使用更多、更少或不同的寄存器堆和寄存器。示例性核架构、处理器和计算机架构
[0272]
处理器核能以不同方式、出于不同的目的、在不同的处理器中实现。例如，此类核的实现可以包括：1)旨在用于通用计算的通用有序核；2)旨在用于通用计算的高性能通用乱序核；3)旨在主要用于图形和/或科学(吞吐量)计算的专用核。不同处理器的实现可包括：1)cpu，其包括旨在用于通用计算的一个或多个通用有序核和/或旨在用于通用计算的
一个或多个通用乱序核；以及2)协处理器，其包括旨在主要用于图形和/或科学(吞吐量)的一个或多个专用核。此类不同的处理器导致不同的计算机系统架构，这些计算机系统架构可包括：1)在与cpu分开的芯片上的协处理器；2)在与cpu相同的封装中但在分开的管芯上的协处理器；3)与cpu在相同管芯上的协处理器(在该情况下，此类协处理器有时被称为专用逻辑或被称为专用核，该专用逻辑诸如，集成图形和/或科学(吞吐量)逻辑)；以及4)芯片上系统，其可以将所描述的cpu(有时被称为(多个)应用核或(多个)应用处理器)、以上描述的协处理器和附加功能包括在同一管芯上。接着描述示例性核架构，随后描述示例性处理器和计算机架构。示例性核架构有序和乱序核框图
[0273]
图28a是图示根据各实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线的框图。图28b是示出根据各实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核的框图。图28a-图28b中的实线框图示有序流水线和有序核，而虚线框的任选增加图示寄存器重命名的、乱序发布/执行流水线和核。考虑到有序方面是乱序方面的子集，将描述乱序方面。
[0274]
在图28a中，处理器流水线2800包括取出级2802、长度解码级2804、解码级2806、分配级2808、重命名级2810、调度(也被称为分派或发布)级2812、寄存器读取/存储器读取级2814、执行级2816、写回/存储器写入级2818、异常处置级2822和提交级2824。
[0275]
图28b示出处理器核2890，该处理器核2890包括前端单元2830，该前端单元2830耦合到执行引擎单元2850，并且前端单元2830和执行引擎单元2850两者都耦合到存储器单元2870。核2890可以是精简指令集计算(risc)核、复杂指令集计算(cisc)核、超长指令字(vliw)核、或混合或替代的核类型。作为又一选项，核2890可以是专用核，诸如例如，网络或通信核、压缩引擎、协处理器核、通用计算图形处理单元(gpgpu)核、图形核，等等。
[0276]
前端单元2830包括分支预测单元2832，该分支预测单元2832耦合到指令高速缓存单元2834，该指令高速缓存单元2834耦合到指令转换后备缓冲器(tlb)2836，该指令转换后备缓冲器2836耦合到指令取出单元2838，该指令取出单元2838耦合到解码单元2840。解码单元2840(或解码器)可对指令解码，并且生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信号作为输出。解码单元2840可使用各种不同的机制来实现。合适机制的示例包括但不限于，查找表、硬件实现、可编程逻辑阵列(pla)、微代码只读存储器(rom)等。在一个实施例中，核2890包括存储用于某些宏指令的微代码的微代码rom或其他介质(例如，在解码单元2840中，或以其他方式在前端单元2830内)。解码单元2840耦合到执行引擎单元2850中的重命名/分配器单元2852。
[0277]
执行引擎单元2850包括重命名/分配器单元2852，该重命名/分配器单元2852耦合到引退单元2854和一个或多个调度器单元的集合2856。(多个)调度器单元2856表示任何数量的不同调度器，包括预留站、中央指令窗等。(多个)调度器单元2856耦合到(多个)物理寄存器堆单元2858。(多个)物理寄存器堆单元2858中的每一个物理寄存器堆单元表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点，状态(例如，作为要执行的下一
条指令的地址的指令指针)等等。在一个实施例中，(多个)物理寄存器堆单元2858包括向量寄存器单元、写掩码寄存器单元和标量寄存器单元。这些寄存器单元可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆单元2858由引退单元2854重叠，以图示可实现寄存器重命名和乱序执行的各种方式(例如，使用(多个)重排序缓冲器和(多个)引退寄存器堆；使用(多个)未来文件、(多个)历史缓冲器、(多个)引退寄存器堆；使用寄存器映射和寄存器池，等等)。引退单元2854和(多个)物理寄存器堆单元2858耦合到(多个)执行集群2860。(多个)执行集群2860包括一个或多个执行单元的集合2862以及一个或多个存储器访问单元的集合2864。执行单元2862可执行各种操作(例如，移位、加法、减法、乘法)并可对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的多个执行单元，但是其他实施例可包括仅一个执行单元或全都执行所有功能的多个执行单元。(多个)调度器单元2856、(多个)物理寄存器堆单元2858和(多个)执行集群2860示出为可能有多个，因为某些实施例为某些类型的数据/操作创建分开的流水线(例如，标量整数流水线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点流水线，和/或各自具有其自身的调度器单元、(多个)物理寄存器堆单元和/或执行集群的存储器访问流水线——并且在分开的存储器访问流水线的情况下，实现其中仅该流水线的执行集群具有(多个)存储器访问单元2864的某些实施例)。还应当理解，在使用分开的流水线的情况下，这些流水线中的一个或多个可以是乱序发布/执行，并且其余流水线可以是有序的。
[0278]
存储器访问单元的集合2864耦合到存储器单元2870，该存储器单元2870包括数据tlb单元2872，该数据tlb单元2872耦合到数据高速缓存单元2874，该数据高速缓存单元2874耦合到第二级(l2)高速缓存单元2876。在一个示例性实施例中，存储器访问单元2864可包括加载单元、存储地址单元和存储数据单元，其中的每一个均耦合到存储器单元2870中的数据tlb单元2872。指令高速缓存单元2834还耦合到存储器单元2870中的第二级(l2)高速缓存单元2876。l2高速缓存单元2876耦合到一个或多个其他级别的高速缓存，并最终耦合到主存储器。
[0279]
作为示例，示例性寄存器重命名的乱序发布/执行核架构可如下所述地实现流水线2800：1)指令取出2838执行取出级2802和长度解码级2804；2)解码单元2840执行解码级2806；3)重命名/分配器单元2852执行分配级2808和重命名级2810；4)(多个)调度器单元2856执行调度级2812；5)(多个)物理寄存器堆单元2858和存储器单元2870执行寄存器读取/存储器读取级2814；执行集群2860执行执行级2816；6)存储器单元2870和(多个)物理寄存器堆单元2858执行写回/存储器写入级2818；7)各单元可牵涉到异常处置级2822；以及8)引退单元2854和(多个)物理寄存器堆单元2858执行提交级2824。
[0280]
核2890可支持一个或多个指令集(例如，x86指令集(具有已与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的mips技术公司的mips指令集；加利福尼亚州桑尼维尔市的arm控股公司的arm指令集(具有诸如neon的任选的附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核2890包括用于支持紧缩数据指令集扩展(例如，avx1、avx2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。
[0281]
应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单
个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如超线程化技术中的同时多线程化)。
[0282]
尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括分开的指令和数据高速缓存单元2834/2874以及共享的l2高速缓存单元2876，但是替代实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(l1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。或者，所有高速缓存都可以在核和/或处理器的外部。具体的示例性有序核架构
[0283]
图29a-图29b图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块。取决于应用，逻辑块通过高带宽互连网络(例如，环形网络)与一些固定的功能逻辑、存储器i/o接口和其他必要的i/o逻辑进行通信。
[0284]
图29a是根据实施例的单个处理器核以及它至管芯上互连网络2902的连接及其第二级(l2)高速缓存的本地子集2904的框图。在一个实施例中，指令解码器2900支持具有紧缩数据指令集扩展的x86指令集。l1高速缓存2906允许对进入标量和向量单元中的、对高速缓存存储器的低等待时间访问。尽管在一个实施例中(为了简化设计)，标量单元2908和向量单元2910使用分开的寄存器集合(分别为标量寄存器2912和向量寄存器2914)，并且在这些寄存器之间传输的数据被写入到存储器，并随后从第一级(l1)高速缓存2906读回，但是替代实施例可以使用不同的方法(例如，使用单个寄存器集合或包括允许数据在这两个寄存器堆之间传输而无需被写入和读回的通信路径)。
[0285]
l2高速缓存的本地子集2904是全局l2高速缓存的一部分，该全局l2高速缓存被划分成多个分开的本地子集，每个处理器核一个本地子集。每个处理器核具有到其自身的l2高速缓存的本地子集2904的直接访问路径。由处理器核读取的数据被存储在其l2高速缓存子集2904中，并且可以与其他处理器核访问其自身的本地l2高速缓存子集并行地被快速访问。由处理器核写入的数据被存储在其自身的l2高速缓存子集2904中，并在必要的情况下从其他子集转储清除。环形网络确保共享数据的一致性。环形网络是双向的，以允许诸如处理器核、l2高速缓存和其他逻辑块之类的代理在芯片内彼此通信。每个环形数据路径为每个方向1012位宽。
[0286]
图29b是根据实施例的图29a中的处理器核的一部分的展开图。图29b包括l1高速缓存2904的l1数据高速缓存2906a部分，以及关于向量单元2910和向量寄存器2914的更多细节。具体地，向量单元2910是16宽向量处理单元(vpu)(见16宽alu 2928)，该单元执行整数、单精度浮点以及双精度浮点指令中的一个或多个。该vpu通过混合单元2920支持对寄存器输入的混合，通过数值转换单元2922a-b支持数值转换，并且通过复制单元2924支持对存储器输入的复制。写掩码寄存器2926允许掩蔽所得的向量写入。
[0287]
图30是根据实施例的可具有多于一个的核、可具有集成存储器控制器、以及可具有集成图形器件的处理器3000的框图。图30中的实线框图示具有单个核3002a、系统代理3010、一个或多个总线控制器单元的集合3016的处理器3000，而虚线框的任选增加图示具有多个核3002a-n、系统代理单元3010中的一个或多个集成存储器控制器单元的集合3014
以及专用逻辑3008的替代处理器3000。
[0288]
因此，处理器3000的不同实现可包括：1)cpu，其中专用逻辑3008是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核)，并且核3002a-n是一个或多个通用核(例如，通用有序核、通用乱序核、这两者的组合)；2)协处理器，其中核3002a-n是旨在主要用于图形和/或科学(吞吐量)的大量专用核；以及3)协处理器，其中核3002a-n是大量通用有序核。因此，处理器3000可以是通用处理器、协处理器或专用处理器，诸如例如，网络或通信处理器、压缩引擎、图形处理器、gpgpu(通用图形处理单元)、高吞吐量的集成众核(mic)协处理器(包括30个或更多核)、嵌入式处理器，等等。该处理器可以被实现在一个或多个芯片上。处理器3000可以是一个或多个基板的一部分，和/或可使用多种工艺技术(诸如例如，bicmos、cmos、或nmos)中的任何技术被实现在一个或多个基板上。
[0289]
存储器层次结构包括核内的一个或多个级别的高速缓存、一个或多个共享高速缓存单元的集合3006、以及耦合到集成存储器控制器单元的集合3014的外部存储器(未示出)。共享高速缓存单元的集合3006可包括一个或多个中间级别的高速缓存，诸如，第二级(l2)、第三级(l3)、第四级(l4)或其他级别的高速缓存、末级高速缓存(llc)和/或以上各项的组合。虽然在一个实施例中，基于环的互连单元3012将专用逻辑3008(集成图形逻辑是专用逻辑的示例并且在本文中也被称为专用逻辑)、共享高速缓存单元的集合3006以及系统代理单元3010/(多个)集成存储器控制器单元3014互连，但是替代实施例可使用任何数量的公知技术来互连此类单元。在一个实施例中，在一个或多个高速缓存单元3006与核3002a-n之间维持一致性。
[0290]
在一些实施例中，一个或多个核3002a-n能够实现多线程化。系统代理3010包括协调和操作核3002a-n的那些部件。系统代理单元3010可包括例如功率控制单元(pcu)和显示单元。pcu可以是对核3002a-n以及专用逻辑3008的功率状态进行调节所需的逻辑和部件，或可包括这些逻辑和部件。显示单元用于驱动一个或多个外部连接的显示器。
[0291]
核3002a-n在架构指令集方面可以是同构的或异构的；即，核3002a-n中的两个或更多个核可能能够执行相同的指令集，而其他核可能能够执行该指令集的仅仅子集或不同的指令集。示例性计算机架构
[0292]
图31-34是示例性计算机架构的框图。本领域中已知的对膝上型设备、台式机、手持pc、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(dsp)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以及各种其他电子设备的其他系统设计和配置也是合适的。一般地，能够包含如本文中所公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般都是合适的。
[0293]
现在参考图31，所示出的是根据本发明一个实施例的系统3100的框图。系统3100可以包括一个或多个处理器3110、3115，这些处理器耦合到控制器中枢3120。在一个实施例中，控制器中枢3120包括图形存储器控制器中枢(gmch)3190和输入/输出中枢(ioh)3150(其可以在分开的芯片上)；gmch 3190包括存储器和图形控制器，存储器3140和协处理器3145耦合到该存储器和图形控制器；ioh 3150将输入/输出(i/o)设备3160耦合到gmch 3190。或者，存储器和图形控制器中的一个或这两者被集成在(如本文中所描述的)处理器
内，存储器3140和协处理器3145直接耦合到处理器3110，并且控制器中枢3120与ioh 3150处于单个芯片中。
[0294]
附加的处理器3115的任选性在图31中通过虚线来表示。每一处理器3110、3115可包括本文中描述的处理核中的一个或多个，并且可以是处理器3000的某一版本。
[0295]
存储器3140可以是例如动态随机存取存储器(dram)、相变存储器(pcm)或这两者的组合。对于至少一个实施例，控制器中枢3120经由诸如前端总线(fsb)之类的多分支总线、诸如快速路径互连(qpi)之类的点对点接口、或者类似的连接3195来与(多个)处理器3110、3115进行通信。
[0296]
在一个实施例中，协处理器3145是专用处理器，诸如例如，高吞吐量mic处理器、网络或通信处理器、压缩引擎、图形处理器、gpgpu、嵌入式处理器，等等。在一个实施例中，控制器中枢3120可以包括集成图形加速器。
[0297]
在物理资源3110、3115之间可以存在包括架构、微架构、热、功耗特性等一系列品质度量方面的各种差异。
[0298]
在一个实施例中，处理器3110执行控制一般类型的数据处理操作的指令。嵌入在这些指令内的可以是协处理器指令。处理器3110将这些协处理器指令识别为具有应当由附连的协处理器3145执行的类型。因此，处理器3110在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令的控制信号)发布到协处理器3145。(多个)协处理器3145接受并执行所接收的协处理器指令。
[0299]
现在参见图32，所示出的是根据本发明的实施例的第一更具体的示例性系统3200的框图。如图32中所示，多处理器系统3200是点对点互连系统，并且包括经由点对点互连3250耦合的第一处理器3270和第二处理器3280。处理器3270和3280中的每一个都可以是处理器3000的某一版本。在一个实施例中，处理器3270和3280分别是处理器3110和3115，而协处理器3238是协处理器3145。在另一实施例中，处理器3270和3280分别是处理器3110和协处理器3145。
[0300]
处理器3270和3280示出为分别包括集成存储器控制器(imc)单元3272和3282。处理器3270还包括作为其总线控制器单元的一部分的点对点(p-p)接口3276和3278；类似地，第二处理器3280包括p-p接口3286和3288。处理器3270、3280可以经由使用点对点(p-p)接口电路3278、3288的p-p接口3250来交换信息。如图32中所示，imc 3272和3282将处理器耦合到相应的存储器，即存储器3232和存储器3234，这些存储器可以是本地附连到相应处理器的主存储器的部分。
[0301]
处理器3270、3280可各自经由使用点对点接口电路3276、3294、3286、3298的各个p-p接口3252、3254来与芯片组3290交换信息。芯片组3290可以任选地经由高性能接口3292来与协处理器3238交换信息。在一个实施例中，协处理器3238是专用处理器，诸如例如，高吞吐量mic处理器、网络或通信处理器、压缩引擎、图形处理器、gpgpu、嵌入式处理器，等等。
[0302]
共享高速缓存(未示出)可被包括在任一处理器中，或在这两个处理器的外部但经由p-p互连与这些处理器连接，使得如果处理器被置于低功率模式，则任一个或这两个处理器的本地高速缓存信息可被存储在共享高速缓存中。
[0303]
芯片组3290可以经由接口3296耦合到第一总线3216。在一个实施例中，第一总线3216可以是外围部件互连(pci)总线或诸如pci快速总线或另一第三代i/o互连总线之类的
总线，但是本发明的范围不限于此。
[0304]
如图32中所示，各种i/o设备3214可连同总线桥3218一起耦合到第一总线3216，该总线桥3218将第一总线3216耦合到第二总线3220。在一个实施例中，诸如协处理器、高吞吐量mic处理器、gpgpu、加速器(诸如例如，图形加速器或数字信号处理(dsp)单元)、现场可编程门阵列或任何其他处理器的一个或多个附加处理器3215耦合到第一总线3216。在一个实施例中，第二总线3220可以是低引脚数(lpc)总线。在一个实施例中，各种设备可耦合到第二总线3220，这些设备包括例如键盘和/或鼠标3222、通信设备3227以及存储单元3228，该存储单元3228诸如可包括指令/代码和数据3230的盘驱动器或者其他大容量存储设备。此外，音频i/o 3224可以被耦合到第二总线3220。注意，其他架构是可能的。例如，代替图32的点对点架构，系统可以实现多分支总线或其他此类架构。
[0305]
现在参考图33，示出的是根据本发明的实施例的第二更具体的示例性系统3300的框图。图32和33中的类似元件使用类似的附图标记，并且从图33中省略了图32的某些方面以避免混淆图33的其他方面。
[0306]
图33图示处理器3270、3280可分别包括集成存储器和i/o控制逻辑(“cl”)3272和3282。因此，cl 3272、3282包括集成存储器控制器单元，并包括i/o控制逻辑。图33图示不仅存储器3232、3234耦合到cl 3272、3282，而且i/o设备3314也耦合到控制逻辑3272、3282。传统i/o设备3315被耦合到芯片组3290。
[0307]
现在参考图34，示出的是根据本发明的实施例的soc 3400的框图。图30中的类似要素使用类似的附图标记。另外，虚线框是更先进的soc上的任选的特征。在图34中，(多个)互连单元3402被耦合到：应用处理器3410，其包括一个或多个核的集合3002a-n以及(多个)共享高速缓存单元3006，一个或多个核的集合3002a-n包括高速缓存单元3004a-n；系统代理单元3010；(多个)总线控制器单元3016；(多个)集成存储器控制器单元3014；一个或多个协处理器的集合3420，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(sram)单元3430；直接存储器访问(dma)单元3432；以及用于耦合到一个或多个外部显示器的显示单元3440。在一个实施例中，(多个)协处理器3420包括专用处理器，诸如例如，网络或通信处理器、压缩引擎、gpgpu、高吞吐量mic处理器、或嵌入式处理器，等等。
[0308]
本文公开的机制的各实施例可以被实现在硬件、软件、固件或此类实现方式的组合中。实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
[0309]
可将程序代码(诸如，图32中图示的代码3230)应用于输入指令，以执行本文中描述的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本技术的目的，处理系统包括具有处理器的任何系统，该处理器诸如例如，数字信号处理器(dsp)、微控制器、专用集成电路(asic)或微处理器。
[0310]
程序代码可以用高级的面向过程的编程语言或面向对象的编程语言来实现，以便与处理系统通信。如果需要，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定的编程语言的范围。在任何情况下，该语言可以是编译语言或解释语言。
[0311]
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，该指令表示处理器中的各种逻辑，该指令在被机器读取时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“ip核”的此类表示可以被存储在有形的机器可读介质上，并可被供应给各个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
[0312]
此类机器可读存储介质可以包括但不限于通过机器或设备制造或形成的制品的非暂态、有形布置，其包括存储介质，诸如硬盘；任何其他类型的盘，包括软盘、光盘、紧致盘只读存储器(cd-rom)、可重写紧致盘(cd-rw)以及磁光盘；半导体器件，诸如，只读存储器(rom)、诸如动态随机存取存储器(dram)和静态随机存取存储器(sram)的随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、闪存、电可擦除可编程只读存储器(eeprom)；相变存储器(pcm)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。
[0313]
因此，实施例还包括非暂态的有形机器可读介质，该介质包含指令或包含设计数据，诸如硬件描述语言(hdl)，它定义本文中描述的结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。仿真(包括二进制变换、代码变形等)
[0314]
在一些情况下，指令转换器可用于将指令从源指令集转换至目标指令集。例如，指令转换器可以将指令变换(例如，使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式转换成要由核处理的一条或多条其他指令。指令转换器可以用软件、硬件、固件、或其组合来实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。
[0315]
图35是根据实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所图示的实施例中，指令转换器是软件指令转换器，但替代地，该指令转换器可以用软件、固件、硬件或其各种组合来实现。图35示出可使用x86编译器3504来编译高级语言3502形式的程序，以生成可由具有至少一个x86指令集核的处理器3516原生执行的x86二进制代码3506。具有至少一个x86指令集核的处理器3516表示可通过兼容地执行或以其他方式处理以下各项来执行与具有至少一个x86指令集核的英特尔处理器基本相同的功能的任何处理器：1)英特尔x86指令集核的指令集的实质部分，或2)目标为在具有至少一个x86指令集核的英特尔处理器上运行以便取得与具有至少一个x86指令集核的英特尔处理器基本相同的结果的应用或其他软件的目标代码版本。x86编译器3504表示可操作用于生成x86二进制代码3506(例如，目标代码)的编译器，该二进制代码可通过或不通过附加的链接处理在具有至少一个x86指令集核的处理器3516上执行。类似地，图35示出可以使用替代的指令集编译器3508来编译高级语言3502形式的程序，以生成可以由不具有至少一个x86指令集核的处理器3514(例如，具有执行加利福尼亚州桑尼维尔市的mips技术公司的mips指令集、和/或执行加利福尼亚州桑尼维尔市的arm控股公司的arm指令集的核的处理器)原生执行的替代的指令集二进制代码3510。指令转换器3512用于将x86二进制代码3506转换成可以由不具有x86指令集核的处理器3514原生执行的代码。该转换后的代码不大可能与替代的指令集二进制代码3510相同，因为能够这样做的指令转换器难以制造；然而，转换后的代码将完成一般操作，并且由来自替代指令集的指令构成。因此，指令转换器3512通过仿真、模拟或任何其他过程来表示允许不具有x86指令集处理器或核的处理器或其他电子设备执行x86二进制代码3506的软件、固件、硬件或其组合。
附加的示例
[0316]
在实施例中，一种装置包括：硬件指令解码器，用于对单条指令解码；以及执行电路，耦合至硬件指令解码器，执行电路用于执行与单条指令对应的一个或多个操作。单条指令具有用于引用源矩阵的第一表示的基址的第一操作数和用于引用目的地矩阵的第二表示的基址的第二操作数。一个或多个操作包括：将源矩阵的元素复制到目的地矩阵中的对应的位置；以及利用单个值填充目的地矩阵的空元素。
[0317]
任何此类实施例可以包括以下方面中的任一项。单条指令还具有第三操作数，第三操作数具有用于指定源矩阵的第一行数的第一字段。第三操作数还具有用于指定目的地矩阵的第二行数的第二字段。单条指令还具有第三操作数，第三操作数具有用于指定源矩阵的第一列数的第一字段。第三操作数还具有用于指定目的地矩阵的第二列数的第二字段。单条指令还用于指定单个值。单条指令还用于指定每个元素的尺寸。单条指令还用于指定用于在复制到目的地矩阵之前对源矩阵的每个元素执行的操作。操作用于使用要由指令指定的标量值来对源矩阵的每个元素执行。
[0318]
在实施例中，一种装置包括：硬件指令解码器，用于对单条指令解码，单条指令具有用于引用源矩阵的第一表示的基址的第一操作数和用于引用目的地矩阵的第二表示的基址的第二操作数；以及执行电路，用于执行与单条指令对应的一个或多个操作，包括：利用基于来自源矩阵的对应的位置的源元素值的目的地元素值来填充目的地矩阵的元素位置；以及在目的地矩阵的、不具有源矩阵中的对应位置的元素位置中留下现有的元素值。
[0319]
任何此类实施例可以包括以下方面中的任一项。单条指令还用于指定用于对每个源元素值执行以生成对应的目的地元素值的操作。操作用于使用来自目的地矩阵的对应的元素位置的目的地元素值对每个源元素值执行。单条指令还具有第三操作数，第三操作数具有用于指定源矩阵的第一行数的第一字段。第三操作数还具有用于指定目的地矩阵的第二行数的第二字段。单条指令还具有第三操作数，第三操作数具有用于指定源矩阵的第一列数的第一字段。第三操作数还具有用于指定目的地矩阵的第二列数的第二字段。单条指令还用于指定单个值。单条指令还用于指定每个元素的尺寸。操作用于使用要由指令指定的标量值来对源矩阵的每个元素执行。
[0320]
在实施例中，一种方法包括：由硬件指令解码器对单条指令解码，单条指令具有用于引用源矩阵的第一表示的基址的第一操作数和用于引用目的地矩阵的第二表示的基址的第二操作数；以及由执行电路执行与单条指令对应的一个或多个操作，包括：将源矩阵的元素复制到目的地矩阵中的对应的元素位置；以及利用单个值填充目的地矩阵的空元素位置。
[0321]
任何此类实施例可以包括以下方面中的任一项。单条指令还具有第三操作数，第三操作数具有用于指定源矩阵的第一行数的第一字段。第三操作数还具有用于指定目的地矩阵的第二行数的第二字段。单条指令还具有第三操作数，第三操作数具有用于指定源矩阵的第一列数的第一字段。第三操作数还具有用于指定目的地矩阵的第二列数的第二字段。单条指令还用于指定单个值。单条指令还用于指定每个元素的尺寸。单条指令还用于指定用于在复制到目的地矩阵之前对源矩阵的每个元素执行的操作。
[0322]
在实施例中，装置可以是核、处理器、协处理器、加速器、耦合到协处理器或加速器的核或处理器、芯片上系统、系统等。在实施例中，设备可以包括用于执行本文所公开的任
何功能的装置。在实施例中，一种装置可以包括数据存储设备，该数据存储设备存储代码，该代码当由硬件处理器执行时使该硬件处理器执行本文中公开的任何方法。装置可如在具体实施方式中所描述。方法可如在具体实施方式中所描述。在实施例中，一种非暂态机器可读介质可以存储代码，该代码在由机器执行时使该机器执行包括本文中公开的任何方法的方法。
[0323]
方法实施例可以包括本说明书中描述的任何细节、特征等或细节、特征等的组合。
[0324]
尽管已经通过若干实施例来描述本发明，但是本领域技术人员将认识到，本发明不限于所描述的实施例，并且本发明可在所附权利要求书的精神和范围内作出修改和更改来实践。描述因此被视为是说明性的而不是限制性的。