一种内存管理的方法、设备及系统与流程

技术特征：
1.一种内存管理的方法，其特征在于，包括：获取人工智能模型的计算图，所述计算图包括多个算子和至少一条边，其中，每条边用于表示所述多个算子中两个算子之间的输入关系或输出关系；按照所述多个算子中每个算子对内存需求从大到小的顺序，依次为所述每个算子分配内存，其中，第一算子的内存地址与第二算子的内存地址存在重叠，且所述第二算子不是所述第一算子的互斥算子，其中，所述第一算子的互斥算子的内存不能被所述第一算子复用。2.根据权利要求1所述的方法，其特征在于，所述第一算子的互斥算子包括与所述第一算子具有输入关系或输出关系的算子。3.根据权利要求2所述的方法，其特征在于，所述互斥算子还包括以下两种算子中的至少一种；所述计算图中与所述第一算子所在的第一分支并列的第二分支上的算子，以及在执行顺序上位于所述第一算子之前的网络输出算子，所述网络输出算子为与所述计算图中的其他算子有输入关系，且没有输出关系的算子。4.根据权利要求1-3任一项所述的方法，其特征在于，所述按照所述多个算子中每个算子对内存需求从大到小的顺序，依次为所述每个算子分配内存，包括：所述第一算子是所述多个算子中内存需求最大的算子，则按照所述第一算子的内存需求，为所述第一算子申请内存。5.根据权利要求1-3任一项所述的方法，其特征在于，所述按照所述多个算子中每个算子对内存需求从大到小的顺序，依次为所述每个算子分配内存，包括：所述第一算子不是所述多个算子中内存需求最大的算子，则获取已分配内存的每个算子的内存地址；从已分配内存的非互斥算子的内存中为所述第一算子分配内存，所述非互斥算子为所述多个算子中除所述第一算子的互斥算子之外的算子，所述非互斥算子包括所述第二算子。6.根据权利要求5所述的方法，其特征在于，所述从已分配内存的非互斥算子的内存中为所述第一算子分配内存，包括：所述已分配内存的非互斥算子的剩余内存满足所述第一算子的内存需求，则从所述非互斥算子的剩余内存中为所述第一算子分配对应内存需求的内存，所述非互斥算子的剩余内存为所述非互斥算子被分配的总内存或为所述非互斥算子的总内存中被第三算子占用后剩余的内存，所述第三算子为在所述第一算子之前被分配内存，且与所述非互斥算子不互斥的算子。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：所述已分配内存的非互斥算子的剩余内存不满足所述第一算子的内存需求，则将所述剩余内存分配给所述第一算子，并再为所述第一算子申请余量内存，所述余量内存的值为所述目标算子的内存需求与所述非互斥算子的剩余内存的差值。8.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：向终端设备发送所述多个算子中每个算子的内存地址，所述每个算子的内存地址指示所述终端设备使用所述人工智能模型执行数据推理时所述每个算子所使用的内存。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被
一个或多个处理器执行时实现如权利要求1-8任一项所述的方法。10.一种计算设备，其特征在于，包括一个或多个处理器和存储有计算机程序的计算机可读存储介质；所述一个或多个处理器与所述计算机可读存储介质耦合，所述计算机程序被所述一个或多个处理器执行时实现如权利要求1-8任一项所述的方法。11.一种芯片系统，其特征在于，包括一个或多个处理器，所述一个或多个处理器被调用用于执行如权利要求1-8任一项所述的方法。12.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序当被一个或多个处理器执行时用于实现如权利要求1-8任一项所述的方法。

技术总结
本申请公开了一种内存管理的方法，应用于人工智能技术领域，该方法包括获取人工智能模型的计算图，该计算图包括多个算子和至少一条边，其中，每条边用于表示多个算子中两个算子之间的输入关系或输出关系；按照多个算子中每个算子对内存需求从大到小的顺序，依次为每个算子分配内存，其中，第一算子的内存地址与第二算子的内存地址存在重叠，且第二算子不是第一算子的互斥算子，其中，第一算子的互斥算子的内存不能被第一算子复用。本申请技术方案由于可以复用非互斥算子的内存，因此可以提高已分配内存的利用率，还可以降低该计算图所占用的内存的峰值需求。的内存的峰值需求。的内存的峰值需求。


技术研发人员：钱良芳
受保护的技术使用者：华为技术有限公司
技术研发日：2020.11.18
技术公布日：2022/5/20