用于对矩阵值灵活求和的设备和方法与流程

技术特征：
1.一种设备，包括：矩阵转置组件，所述矩阵转置组件被配置为转置元素的输入矩阵以输出已经转置的元素的输出矩阵，其中：使用第一数量的比特来表示所述元素的输入矩阵中的每个元素；使用大于所述第一数量的比特的第二数量的比特来表示存储在所述输入矩阵中的一组值中的每个值；和所述一组值中的每个值被存储为跨越所述输入矩阵的元素中的一个以上元素的分割段；矩阵处理组件，所述矩阵处理组件被配置为将第一乘法输入矩阵与第二乘法输入矩阵相乘，其中所述矩阵转置组件的输出矩阵被用作所述第一乘法输入矩阵，并且掩码向量被用作所述第二乘法输入矩阵；数据对齐组件，所述数据对齐组件被配置为修改所述矩阵处理组件的结果的元素的至少一部分；和数据缩减组件，所述数据缩减组件被配置为至少对所述矩阵处理组件的经修改结果的元素求和，以确定所述一组值的和。2.根据权利要求1所述的设备，其中所述第一数量的比特是八比特，并且所述第二数量的比特是三十二比特。3.根据权利要求1所述的设备，其中存储在所述掩码向量中的每个值是使用所述第一数量的比特表示的值一。4.根据权利要求1所述的设备，其中所述矩阵处理组件的结果是点积结果的向量。5.根据权利要求4所述的设备，其中所述点积结果的向量的点积结果是所述第一乘法输入矩阵的行与所述掩码向量的点积。6.根据权利要求1所述的设备，其中所述数据对齐组件被配置为修改所述矩阵处理组件的结果的元素的至少一部分，包括通过被配置为将所述矩阵处理组件的结果的元素进行比特移位指定的比特移位量。7.根据权利要求6所述的设备，其中，所述矩阵处理组件的结果的元素的指定的比特移位量至少部分地基于所述输入矩阵的元素的相应分割段位置。8.根据权利要求6所述的设备，其中不同的指定的比特移位量的数量等于用于存储所述一组值中的每个值的分割段的数量。9.根据权利要求6所述的设备，其中指定的比特移位量是以下中的至少一项：二十四比特、十六比特、8比特或0比特。10.根据权利要求1所述的设备，其中所述矩阵处理组件包括多个点积处理组件。11.根据权利要求10所述的设备，其中所述多个点积处理组件中的至少一个点积处理组件包括向量乘法单元和向量加法器单元。12.根据权利要求11所述的设备，其中所述向量加法器单元包括加法器树，所述加法器树包括多个二进制加法器、至少一个寄存器和数据路由路径。13.根据权利要求1所述的设备，其中所述数据对齐组件包括多个比特移位器。14.根据权利要求1所述的设备，其中所述数据缩减组件包括加法器单元。15.根据权利要求14所述的设备，其中所述加法器单元包括加法器树，所述加法器树包
括多个二进制加法器、至少一个寄存器和数据路由路径。16.根据权利要求1所述的设备，其中所述输入矩阵在人工神经网络操作中使用。17.根据权利要求1所述的设备，其中所述矩阵转置组件被配置为转置所述元素的输入矩阵，包括通过被配置为将所述输入矩阵的元素复制到缓冲储存器。18.根据权利要求1所述的设备，其中所述矩阵转置组件被配置为转置所述元素的输入矩阵，包括通过被配置为将存储所述输入矩阵的元素的存储器中的所述输入矩阵的元素的至少一部分移动到所述存储器中的不同位置。19.一种方法，包括：使用专用集成电路设备来转置元素的输入矩阵，以输出已经转置的元素的输出矩阵，其中：使用第一数量的比特来表示所述元素的输入矩阵中的每个元素；使用大于所述第一数量的比特的第二数量的比特来表示存储在所述输入矩阵中的一组值中的每个值；和所述一组值中的每个值被存储为跨越所述输入矩阵的元素中的一个以上元素的分割段；使用所述专用集成电路设备将第一乘法输入矩阵与第二乘法输入矩阵相乘，其中所述已经转置的元素的输出矩阵被用作所述第一乘法输入矩阵，并且掩码向量被用作所述第二乘法输入矩阵；使用所述专用集成电路设备来修改所述第一乘法输入矩阵与所述第二乘法输入矩阵相乘的结果的元素的至少一部分；和使用所述专用集成电路设备至少对所述第一乘法输入矩阵与所述第二乘法输入矩阵相乘的经修改结果的元素求和，以确定所述一组值的和。20.一种集成电路设备，包括：矩阵转置组件，所述矩阵转置组件被配置为转置元素的输入矩阵以输出已经转置的元素的输出矩阵，其中：使用第一数量的比特来表示所述元素的输入矩阵中的每个元素；使用大于所述第一数量的比特的第二数量的比特来表示存储在所述输入矩阵中的一组值中的每个值；和所述一组值中的每个值被存储为跨越所述输入矩阵的元素中的一个以上元素的分割段；第一矩阵处理组件，所述第一矩阵处理组件被配置为将第一乘法输入矩阵与第二乘法输入矩阵相乘，其中所述矩阵转置组件的输出矩阵的第一部分被用作所述第一乘法输入矩阵，并且掩码向量被用作所述第二乘法输入矩阵；第二矩阵处理组件，所述第二矩阵处理组件被配置为将第三乘法输入矩阵与第四乘法输入矩阵相乘，其中所述矩阵转置组件的输出矩阵的第二部分被用作所述第三乘法输入矩阵，并且所述掩码向量被用作所述第四乘法输入矩阵；数据对齐组件，所述数据对齐组件被配置为修改所述第一矩阵处理组件和所述第二矩阵处理组件的结果的元素的至少一部分；和数据缩减组件，所述数据缩减组件被配置为至少对所述第一矩阵处理组件和所述第二
矩阵处理组件的经修改结果的元素求和，以确定所述一组值的和。

技术总结
本申请涉及用于对矩阵值灵活求和的设备和方法。一种设备(例如，专用集成电路芯片)包括矩阵转置组件、矩阵处理组件、数据对齐组件和数据缩减组件。矩阵转置组件被配置为转置元素的输入矩阵以输出已经转置的元素的输出矩阵。矩阵处理组件被配置为将第一乘法输入矩阵与第二乘法输入矩阵相乘，其中矩阵转置组件的输出矩阵被用作第一乘法输入矩阵，并且掩码向量被用作第二乘法输入矩阵。数据对齐组件被配置成修改矩阵处理组件的结果的元素的至少一部分。数据缩减组件被配置为至少对矩阵处理组件的经修改结果的元素求和，以确定一组值的和。和。和。


技术研发人员：克里希纳库马尔
受保护的技术使用者：脸谱公司
技术研发日：2021.05.07
技术公布日：2021/11/8