一种用于边缘ai推理框架的内存调度方法与流程

技术特征：
1.一种用于边缘ai推理框架的内存调度方法，其特征在于，所述方法包括：根据深度学习模型，基于嵌入式硬件平台运行时权重载入行为，采用权重流水线加载方式；根据所述深度学习模型运行时的张量，对所述张量进行重新内存的重新分配。2.根据权利要求1所述的方法，其特征在于，根据深度学习模型，基于嵌入式硬件平台运行时权重载入行为，确定权重流水线加载方式，之前，包括：通过预加载，获取所述深度学习模型的每一层网络的推理运算时间以及每一层网络占用的内存空间，以及每一层网络对应的权重。3.根据权利要求2所述的方法，其特征在于，根据深度学习模型，基于嵌入式硬件平台运行时权重载入行为，采用权重流水线加载方式，包括：根据获取的每一层网络的推理时间，预先在当前网络推理运算时间结束对应的节点之前，将下一层网络对应的权重提前读入内存中，掩盖下一层网络的权重读入内存的时间，实现权重流水线加载方式。4.根据权利要求1所述的方法，其特征在于，根据所述深度学习模型运行时的张量，对所述张量占用的内存进行重新内存的重新分配，包括：根据所述深度学习模型运行时的张量，使用贪心算法重新分配张量占用的内存。5.根据权利要求4所述的方法，其特征在于，根据所述深度学习模型运行时的张量，使用贪心算法重新分配张量占用的内存，包括：将所述张量按照其占据内存大小以非递增的顺序排序；将所述张量依次按照内存从大到小的顺序进行内存分配，并将已分配好内存的张量加入预设队列中；所述预设队列对应已分配好内存的张量的内存以及已分配好内存的张量的生命周期；分配内存的过程中，任何有生命周期重叠的张量不使用同一内存空间。6.根据权利要求1所述的方法，其特征在于，根据所述深度学习模型运行时的张量，使用贪心算法重新分配张量占用的内存，还包括：如果目标张量没有与其他张量有生命周期重叠，则遍历所述预设队列，找到能容纳所述目标张量的所有空隙，并选择所有空隙中的最小空隙，将所述最小空隙对应的内存分配给所述目标张量，并将所述目标张量加入所述预设队列中。

技术总结
本申请提供了一种用于边缘ai推理框架的内存调度方法，方法包括：根据深度学习模型，基于嵌入式硬件平台运行时权重载入行为，采用权重流水线加载方式；根据深度学习模型运行时的张量，对张量进行重新内存的重新分配。本申请提供的方法在系统层通过贪心算法对深度学习模型运行时张量内存占用进行内存绝对地址重排，优化内存占用；在框架层通过权重流水线式加载，实现模型权重内存时间维度上复用，压缩内存消耗。内存消耗。内存消耗。


技术研发人员：杨峰 吴凡 连子锐 张振华 吴昱
受保护的技术使用者：南京中科逆熵科技有限公司
技术研发日：2021.08.27
技术公布日：2021/12/16