矩阵计算装置和矩阵计算方法与流程
本技术实施例涉及芯片,尤其涉及一种矩阵计算装置和矩阵计算方法。
背景技术:
1、稀疏矩阵矢量乘(sparse matrix vector multiplication,spmv)是矩阵计算中的基础操作,也是图像处理、数学优化和数值计算里最基本也是最关键的操作。在许多领域,稀疏矩阵矢量乘是底层最关键的操作之一,比如在数值计算求解器的迭代法或者数学优化一阶算法的原始-对偶混合梯度(primal-dual hybrid gradient,pdhg)算法中,稀疏矩阵矢量乘可能占迭代求解算法端到端总时间的60%~80%。由此,稀疏矩阵矢量乘的计算效率决定了迭代求解算法的整体效率,如何提高稀疏矩阵矢量乘的计算效率,成为了亟待解决的问题。
技术实现思路
1、本技术实施例提供一种矩阵计算装置和矩阵计算方法,通过提高矩阵计算的访问效率,提高了矩阵计算的效率。
2、为达到上述目的,本技术实施例采用如下技术方案。
3、第一方面,本技术实施例提供一种矩阵计算装置,矩阵计算装置包括第一处理器和多个第二处理器,每个第二处理器包括多个非均匀访存模块numa节点,每个numa节点包括本地内存和多个处理器核。第一处理器用于获取输入向量和系数矩阵,并对输入向量和系数矩阵进行分块处理,得到多个分块矩阵。第一处理器还用于基于多个numa节点的架构信息和矩阵分配策略将多个分块矩阵分别存储至多个本地内存,矩阵分配策略包括:每个分块矩阵对应一个线程,处理器核和至少一个线程绑定,每个分块矩阵的地址位于处理器核对应的本地内存的地址范围内。处理器核用于运行线程,加载本地内存中的分块矩阵进行矩阵计算。
4、相较于将多个分块矩阵分配至单个处理器的本地内存的分配方式或随机分配至内存的分配方式,本技术实施例提供的矩阵计算装置中的第一处理器在分配分块矩阵的地址时,使用内存亲和的分配方式。也即,第一处理器根据多个numa节点的架构信息和矩阵分配策略进行分块矩阵的地址的分配,第一处理器通过多个numa节点的架构信息可以感知底层硬件的架构信息,以将分块矩阵分配至处理器核就近的本地内存中,避免了处理器核在运行线程时需要从远端内存读取分块矩阵的问题,可以提高处理器核执行矩阵计算操作的访问效率,也就可以提高矩阵计算装置的矩阵计算效率,例如提高稀疏矩阵矢量乘的计算效率。
5、在一种可能的实现方式中,每个处理器核还包括多级缓存,矩阵分配策略还包括:每个分块矩阵在本地内存中的起始地址和多级缓存的缓存行对齐。
6、这种实现方式中,第一处理器还可以使用缓存对齐的分配方式,以进一步减少从内存中读取分块矩阵的次数,提高处理器核的访问效率,以提高矩阵计算装置的矩阵计算效率。
7、在一种可能的实现方式中,第一处理器还包括分配接口,第一处理器还用于在分配接口获取到预设分配条件的情况下,基于多个numa节点的架构信息、矩阵分配策略和预设分配条件将多个分块矩阵分别存储至多个本地内存。
8、这种实现方式中,地址计算装置还可以提供用户自定义策略(即预设分配条件)的方式,支持用户通过环境变量进行策略限制,并制定矩阵分配策略方案,为分块矩阵的分配提供高的灵活性,进一步提高矩阵计算装置的矩阵计算效率。
9、在一种可能的实现方式中,多个numa节点的架构信息包括如下至少一种:多个第二处理器的数量、每个第二处理器的numa节点的数量、每个numa节点中处理器核的数量和每个处理器核的每级缓存的大小。
10、这种实现方式中,多个numa节点的架构信息即底层硬件的架构信息,第一处理器通过感知底层硬件的架构信息,为后续的分块矩阵的分配提供底层硬件的支持,避免执行多线程时的性能劣化,以充分发挥底层硬件的性能。
11、在一种可能的实现方式中,第一处理器,还用于获取多个numa节点的架构信息。
12、在一种可能的实现方式中,第一处理器,还用于获取并汇总多个处理器核矩阵计算的结果,得到输出向量。
13、第二方面,本技术实施例提供一种矩阵计算方法,该矩阵计算方法应用于矩阵计算装置,矩阵计算装置包括:第一处理器和多个第二处理器,每个第二处理器包括多个非均匀访存模型numa节点,每个numa节点包括本地内存和多个处理器核;矩阵计算方法包括:第一处理器获取输入向量和系数矩阵,并对输入向量和系数矩阵进行分块处理,得到多个分块矩阵。第一处理器基于多个numa节点的架构信息和矩阵分配策略将多个分块矩阵分别存储至多个本地内存。矩阵分配策略包括:每个分块矩阵对应一个线程,处理器核和至少一个线程绑定,每个分块矩阵的地址位于处理器核对应的本地内存的地址范围内。处理器核运行线程,加载本地内存中的分块矩阵进行矩阵计算。
14、在一种可能的实现方式中,每个处理器核还包括多级缓存,矩阵分配策略还包括:每个分块矩阵在本地内存中的起始地址和多级缓存的缓存行对齐。
15、在一种可能的实现方式中,第一处理器还包括分配接口,地址计算方法还包括:在分配接口获取到预设分配条件的情况下,第一处理器基于多个numa节点的架构信息、矩阵分配策略和预设分配条件将多个分块矩阵分别存储至多个本地内存。
16、在一种可能的实现方式中,多个numa节点的架构信息包括如下至少一种:多个第二处理器的数量、每个第二处理器的numa节点的数量、每个numa节点中处理器核的数量和每个处理器核的每级缓存的大小。
17、在一种可能的实现方式中,在第一处理器获取输入向量和系数矩阵之前,方法还包括:第一处理器获取多个numa节点的架构信息。
18、在一种可能的实现方式中,第一处理器获取并汇总多个处理器核矩阵计算的结果,得到输出向量。
19、第三方面,本技术实施例提供了一种电子设备,该电子设备包括电路板和如第一方面中任一项的矩阵计算装置,矩阵计算装置设置于电路板上。
20、第四方面,本技术实施例提供了一种电子设备,包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行上述任一方面及任一项可能的实现方式中的矩阵计算方法。
21、第五方面,本技术实施例提供了一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述任一方面及任一项可能的实现方式中的矩阵计算方法。
22、在一种可能的实现方式中,计算机可读存储介质为非瞬时计算机可读存储介质。
23、第六方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在计算机或处理器上运行时,使得计算机或处理器执行上述任一方面及任一项可能的实现方式中的矩阵计算方法。
24、可以理解的是,上述提供的任一种电子设备、计算机可读存储介质或计算机程序产品等均可以应用于上文所提供的地址计算装置,因此,其所能达到的有益效果可参考对应的地址计算装置中的有益效果,此处不再赘述。
25、本技术的这些方面或其他方面在以下的描述中会更加简明易懂。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com