智能体部署神经网络模型的方法、装置及存储介质与流程

技术特征：
1.一种智能体部署神经网络模型的方法，其特征在于，包括：将待部署至智能体上的神经网络模型进行搜索剪枝，确定剪枝网络模型；通过网络微调训练所述剪枝网络模型，确定所述剪枝网络模型的第一模型精度值；以及在所述第一模型精度值达到预先设定的精度指标的情况下，将所述剪枝网络模型进行混合量化以及编译器图优化，确定第一推理状态矩阵，并将所述第一推理状态矩阵进行编码反馈至所述智能体。2.根据权利要求1所述的方法，其特征在于，还包括：在所述第一模型精度值未达到所述精度指标的情况下，将所述第一模型精度值进行编码反馈至所述智能体；从所述智能体接收与所述模型精度对应的优化决策，其中所述优化决策是所述智能体按照预先设置的规则根据所述第一模型精度值确定的；根据所述优化决策，对所述剪枝网络模型进行搜索剪枝，确定优化剪枝网络模型；通过网络微调训练所述优化剪枝网络模型，确定所述优化剪枝网络模型的第二模型精度；以及在所述第二模型精度达到所述精度指标的情况下，将所述优化剪枝网络模型进行混合量化以及编译器图优化，确定第二推理状态矩阵，并将所述第二推理状态矩阵进行编码反馈至所述智能体。3.根据权利要求1所述的方法，其特征在于，将所述剪枝网络模型进行混合量化的操作，包括：将所述剪枝网络模型的每层候选操作进行0-1编码；以及将所述剪枝网络模型的通道进行0-1编码，确定混合量化编码图，其中所述0-1编码中0标识8字节以及1标识16字节。4.根据权利要求3所述的方法，其特征在于，将所述混合量化编码图进行编译器图优化的操作，包括：对所述混合量化编码图的连接点进行0-1图编码，确定所述第一推理状态矩阵，其中所述0-1图编码中0表示组合以及1表示拆分。5.根据权利要求1所述的方法，其特征在于，将待部署至智能体上的神经网络模型进行搜索剪枝，确定剪枝网络模型的操作，包括：在网络模型搜索空间中，利用网络模型生成器生成所述神经网络模型；训练所述神经网络模型，并对训练完成的网络模型进行剪枝，得到所述剪枝网络模型；以及利用所述剪枝网络模型的性能指标更新所述网络模型生成器，直至达到预设的停止条件。6.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至5中任意一项所述的方法。7.一种智能体部署神经网络模型的装置，其特征在于，包括：第一确定模块，用于将待部署至智能体上的神经网络模型进行搜索剪枝，确定剪枝网络模型；
第二确定模块，用于通过网络微调训练所述剪枝网络模型，确定所述剪枝网络模型的第一模型精度值；以及第三确定模块，用于在所述第一模型精度值达到预先设定的精度指标的情况下，将所述剪枝网络模型进行混合量化以及编译器图优化，确定第一推理状态矩阵，并将所述第一推理状态矩阵进行编码反馈至所述智能体。8.根据权利要求7所述的装置，其特征在于，还包括：反馈模块，用于在所述第一模型精度值未达到所述精度指标的情况下，将所述第一模型精度值进行编码反馈至所述智能体；接收模块，用于从所述智能体接收与所述模型精度对应的优化决策，其中所述优化决策是所述智能体按照预先设置的规则根据所述第一模型精度值确定的；第四确定模块，用于根据所述优化决策，对所述剪枝网络模型进行搜索剪枝，确定优化剪枝网络模型；第五确定模块，用于通过网络微调训练所述优化剪枝网络模型，确定所述优化剪枝网络模型的第二模型精度；以及第六确定模块，用于在所述第二模型精度达到所述精度指标的情况下，将所述优化剪枝网络模型进行混合量化以及编译器图优化，确定第二推理状态矩阵，并将所述第二推理状态矩阵进行编码反馈至所述智能体。9.根据权利要求7所述的方法，其特征在于，第二确定模块，包括：第一编码子模块，用于将所述剪枝网络模型的每层候选操作进行0-1编码；以及第二编码子模块，用于将所述剪枝网络模型的通道进行0-1编码，确定混合量化编码图，其中所述0-1编码中0标识8字节以及1标识16字节。10.一种智能体部署神经网络模型的装置，其特征在于，包括：处理器；以及存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：将待部署至智能体上的神经网络模型进行搜索剪枝，确定剪枝网络模型；通过网络微调训练所述剪枝网络模型，确定所述剪枝网络模型的第一模型精度值；以及在所述第一模型精度值达到预先设定的精度指标的情况下，将所述剪枝网络模型进行混合量化以及编译器图优化，确定第一推理状态矩阵，并将所述第一推理状态矩阵进行编码反馈至所述智能体。

技术总结
本发明公开了一种智能体部署神经网络模型的方法、装置及存储介质。其中，智能体部署神经网络模型的方法，包括：将待部署至智能体上的神经网络模型进行搜索剪枝，确定剪枝网络模型；通过网络微调训练剪枝网络模型，确定剪枝网络模型的第一模型精度值；在第一模型精度值达到预先设定的精度指标的情况下，将剪枝网络模型进行混合量化以及编译器图优化，确定第一推理状态矩阵，并将第一推理状态矩阵进行编码反馈至智能体。反馈至智能体。反馈至智能体。


技术研发人员：韩振华 欧阳鹏
受保护的技术使用者：江苏清微智能科技有限公司
技术研发日：2021.12.10
技术公布日：2022/3/15