用于人工智能和机器学习的向量加速器的制作方法

技术特征：
1.一种用于处理向量或矩阵运算的加速器，包括：向量处理单元，包括多个计算单元，所述计算单元具有被配置为并行处理向量运算的电路；矩阵乘法单元，包括第一矩阵乘法算子、第二矩阵乘法算子和累加器，所述第一矩阵乘法算子和所述第二矩阵乘法算子具有被配置为处理矩阵运算的电路，所述累加器具有被配置为累加所述第一矩阵乘法算子和所述第二矩阵乘法算子的输出结果的电路；以及存储器，用于存储向量运算或矩阵运算的输入数据，所述存储器被配置为与所述向量处理单元和所述矩阵乘法单元通信。2.根据权利要求1所述的加速器，其中，所述多个计算单元中的每一个计算单元具有被配置为并行处理向量运算的元素计算的电路。3.根据权利要求1所述的加速器，其中，所述存储器包括多个行，每一行被配置为存储由所述多个计算单元同时处理的数据，所述输入数据被划分为多个数据段，每个数据段被存储在所述多个行的对应行中。4.根据权利要求1所述的加速器，其中，所述输入数据包括权重矩阵和属性矩阵，所述第一矩阵算子被配置为在所述权重矩阵的第一权重块和所述属性矩阵的第一属性块被加载到所述第一矩阵乘法算子之后，计算所述第一权重块和所述第一属性块之间的第一矩阵乘法，在所述第一权重块被加载之后，所述第一属性块被加载；所述第二矩阵乘法算子被配置为在所述第一矩阵乘法算子完成所述第一矩阵乘法的计算之后，计算所述权重矩阵的第二权重块和所述属性矩阵的第二属性块之间的第二矩阵乘法，并且，在所述第一属性块被加载到所述第一矩阵乘法算子时加载所述第二权重块，在所述第一矩阵算子计算所述第一矩阵乘法时加载所述第二属性块。5.根据权利要求4所述的加速器，其中，所述累加器被配置为：依次获取所述第一矩阵乘法的第一结果和所述第二矩阵乘法的第二结果；以及计算所述第一结果和所述第二结果的总和并且生成累加结果。6.根据权利要求5所述的加速器，其中，所述累加器包括累加器缓冲器，所述累加器缓冲器被配置为当所述累加结果是部分结果时存储所述累加结果；所述输入数据还包括偏置数据，并且在所述第一权重块被加载到所述第一矩阵乘法算子之前，所述偏置数据被加载到所述累加器缓冲器。7.根据权利要求4所述的加速器，其中，所述矩阵乘法单元还包括第一接口和第二接口，所述第一接口被配置为加载所述权重矩阵，所述第二接口被配置为加载所述属性矩阵。8.一种用于在加速器上处理向量或矩阵运算的方法，所述加速器包括：向量处理单元，包括多个计算单元，所述计算单元具有被配置为并行处理向量运算的电路；矩阵乘法单元，包括矩阵乘法算子，所述矩阵乘法算子具有被配置为处理矩阵运算的电路；以及存储器，用于存储向量运算或矩阵运算的输入数据，所述存储器包括多个行，每一行被配置为存储由所述多个计算单元或由所述矩阵乘法算子同时处理的数据，所述方法包括：将输入数据划分为多个数据段，并将每个数据段存储在所述多个行的对应行中；将存储在所述多个行的第一行中的第一数据段提供给所述向量处理单元或所述矩阵乘法单元；以及由所述多个计算单元或由所述矩阵乘法算子对所述第一数据段同时地执行向量运算
或矩阵运算。9.根据权利要求8所述的方法，其中，所述输入数据包括权重矩阵和属性矩阵，所述矩阵乘法算子包括第一矩阵乘法算子和第二矩阵乘法算子，以及其中，提供所述第一数据段包括：向所述第一矩阵乘法算子提供所述权重矩阵的第一权重块，所述第一权重块包括所述第一数据段；向所述第一矩阵乘法算子提供所述属性矩阵的第一属性块；和其中，执行向量运算包括通过所述第一矩阵乘法算子执行所述第一权重块和所述第一属性块之间的第一矩阵乘法。10.根据权利要求9所述的方法，所述方法还包括：当所述第一属性块被提供给所述第一矩阵乘法算子时，将所述权重矩阵的第二权重块提供给所述第二矩阵乘法算子；当所述第一矩阵乘法算子执行所述第一矩阵乘法时，将所述属性矩阵的第二属性块提供给所述第二矩阵乘法算子；和通过所述第二矩阵乘法算子执行所述第二权重块和所述第二属性块之间的第二矩阵乘法。11.根据权利要求10所述的方法，其中，所述矩阵乘法单元还包括累加器，所述方法还包括：将所述第一矩阵乘法的第一结果和所述第二矩阵乘法的第二结果顺序地提供给所述累加器；执行所述第一结果和所述第二结果的求和，并生成累加结果。12.一种装置，包括：主机单元；加速器，所述加速器与所述主机单元通信耦合，所述加速器包括：向量处理单元，包括多个计算单元，所述计算单元具有被配置为并行处理向量运算的电路；矩阵乘法单元，包括第一矩阵乘法算子、第二矩阵乘法算子和累加器，所述第一矩阵乘法算子和所述第二矩阵乘法算子具有被配置为处理矩阵运算的电路，所述累加器具有被配置为累加所述第一矩阵乘法算子和所述第二矩阵乘法算子的输出结果的电路；以及存储器，用于存储向量运算或矩阵运算的输入数据，所述存储器被配置为与所述向量处理单元和所述矩阵乘法单元通信。

技术总结
本公开提供一种用于处理向量或矩阵运算的加速器。加速器包括：向量处理单元，包括多个计算单元，所述计算单元具有被配置为并行处理向量运算的电路；矩阵乘法单元，包括第一矩阵乘法算子、第二矩阵乘法算子和累加器，所述第一矩阵乘法算子和所述第二矩阵乘法算子具有被配置为处理矩阵运算的电路，所述累加器具有被配置为累加所述第一矩阵乘法算子和所述第二矩阵乘法算子的输出结果的电路；以及存储器，用于存储向量运算或矩阵运算的输入数据，所述存储器被配置为与所述向量处理单元和所述矩阵乘法单元通信。述矩阵乘法单元通信。述矩阵乘法单元通信。


技术研发人员：薛菲 韩伟 王雨豪 孙飞 段立德 李双辰 牛迪民 关天婵 黄林勇 杜朝阳 郑宏忠
受保护的技术使用者：阿里巴巴集团控股有限公司
技术研发日：2021.08.17
技术公布日：2021/12/16