用于神经网络模型的编译方法和相关产品与流程

技术特征：
1.一种用于神经网络模型的编译方法，包括：对所述神经网络模型进行运算分析，以获取在执行所述神经网络模型时所要进行的张量运算和标量运算；对所述张量运算和标量运算在多个处理器上执行时的性能指标进行评估；以及根据所述评估的评估结果将所述张量运算和标量运算分配至相应的处理器以便执行。2.根据权利要求1所述的编译方法，其中对所述张量运算和标量运算在多个处理器上执行时的性能指标进行评估包括：使用代价函数和/或收益函数来评估所述张量运算和标量运算的所述性能指标，其中所述代价函数用于确定所述张量运算或标量运算在候选的处理器上运行时所产生的代价，并且所述收益函数用于确定所述张量运算或标量运算在候选的处理器上运行时所产生的收益。3.根据权利要求2所述的编译方法，其中所述代价函数包括数据传输代价和/或累积代价，其中所述数据传输代价是所述张量运算或标量运算在候选的处理器上运行时传输数据所产生的代价，而所述累积代价是通过累加所述张量运算或标量运算在候选的处理器上持续运行所产生的代价而获得的。4.根据权利要求3所述的编译方法，其中所述收益函数包括加速收益和/或复杂度收益，其中所述加速收益是所述张量运算或标量运算在候选的处理器上运行时所获得的运算效率收益，而所述复杂度收益是所述张量运算或标量运算在候选的处理器上运行时，运算复杂度得以降低时所获得的收益。5.根据权利要求1-4的任意一项所述的编译方法，其中根据所述评估结果将所述张量运算和标量运算分配至相应的处理器以便执行包括：使用所述代价函数和收益函数来查找函数库，以获得所述代价函数和收益函数的代价值和收益值；以及基于所述代价值和收益值来确定将所述张量运算或标量运算分配至相应的通用处理器或智能处理器之一。6.根据权利要求5所述的编译方法，其中针对于所述收益函数设置有第一阈值并且针对于所述代价函数设置有第二阈值，并且其中分配至相应的处理器包括根据以下的比较来将所述张量运算或标量运算分配至相应的通用处理器或智能处理器之一：根据所述收益值与所述第一阈值的比较；和/或根据所述代价值与所述第二阈值的比较。7.根据权利要求6所述的编译方法，其中：当所述收益值大于或等于所述第一阈值时，将对应的张量运算或标量运算分配至相应的通用处理器或智能处理器之一；或者当所述代价值小于或等于所述第二阈值时，将对应的张量运算或标量运算分配至相应的通用处理器或智能处理器之一。8.根据权利要求6所述的编译方法，其中：当所述收益值大于或等于所述第一阈值并且所述代价值小于或等于第二阈值时，将对应的所述张量运算或标量运算分配至相应的通用处理器或智能处理器之一。9.根据权利要求6-8的任意一项所述的编译方法，其中所述智能处理器包括多个智能
处理器核，所述编译方法包括将所述张量运算或标量运算分配至相应的智能处理器核之一。10.根据权利要求1所述的编译方法，其中进行所述运算分析以获取所要进行的所述张量运算和标量运算包括：根据运行所述神经网络模型的硬件配置来对所述神经网络模型进行编译，以获得执行神经网络模型时所要进行的张量运算和标量运算。11.根据权利要求10所述的编译方法，其中所述编译包括对神经网络模型执行形状推导、分块和张量优化处理中的一项或多项，以获得执行所述神经网络模型时所要进行的张量运算。12.根据权利要求10所述的编译方法，其中所述编译还包括对所述神经网络模型中的标量运算进行标量优化，以获得执行所述神经网络模型时所要进行的标量运算。13.根据权利要求11所述的编译方法，其中所述编译还包括将执行形状推导、分块和优化处理中的一项或多项所产生的标量运算进行标量优化。14.一种编译器，包括：运算分析单元，其配置成对神经网络模型进行运算分析，以获取在执行所述神经网络模型时所要进行的张量运算和标量运算；运算分配单元，其配置成：对所述张量运算和标量运算在多个处理器上执行时的性能指标进行评估；以及根据所述评估的评估结果将所述张量运算和标量运算分配至相应的处理器以便执行。15.一种用于神经网络模型编译的设备，包括：处理器；以及存储器，其存储有程序，当所述程序由处理器执行时，使得所述设备执行根据权利要求1-13的任意一项所述的编译方法。16.一种计算机可读存储介质，其上存储有用于神经网络模型编译的程序，当所述程序由一个或多个处理器执行时，使得实现根据权利要求1-13的任意一项所述的编译方法。

技术总结
本披露公开了一种用于神经网络模型的编译方法和相关产品，该相关产品包括编译器、设备和计算机可读存储介质。该设备可以包括在组合处理装置的计算处理装置中，该计算处理装置可以包括一个或多个数据处理装置。前述的组合处理装置还可以包括接口装置和其他处理装置。所述计算处理装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与设备和其他处理装置连接，用于存储该设备和其他处理装置的数据。通过利用本披露的方案，可以有效地实现标量运算和张量运算的合理分配。现标量运算和张量运算的合理分配。现标量运算和张量运算的合理分配。


技术研发人员：ꢀ(74)专利代理机构
受保护的技术使用者：上海寒武纪信息科技有限公司
技术研发日：2021.05.10
技术公布日：2022/11/10