一种基于标准化算子接口的神经网络模型部署方法及系统与流程

技术特征：
1.一种基于标准化算子接口的神经网络模型部署方法，其特征在于，包括步骤：接收待部署的神经网络模型和神经网络模型输入数据的数据样本；对所述待部署的神经网络模型中的待加速算子进行标记，并使用标准化算子接口描述所述待加速算子；使用标准化算子接口的神经网络模型将已描述的待加速算子进行解析，并使用转换参数将解析后的待加速算子转换为目标部署设备支持的算子；根据转换后的神经网络模型中算子的性能，基于所述数据样本对所述转换参数进行调整；将所述待部署的神经网络模型中的未转换算子和已转换算子分别进行封装，生成可部署的神经网络模型。2.根据权利要求1所述的一种基于标准化算子接口的神经网络模型部署方法，其特征在于，所述根据转换后的神经网络模型中算子的性能，基于所述数据样本对所述转换参数进行调整包括：根据所述神经网络模型内各算子的依赖关系建立有向无环图；以所述数据样本为所述神经网络模型的输入数据，按照所述有向无环图的拓扑顺序依次执行神经网络模型的算子；若所述算子为待加速算子，则比对原始的待加速算子与已转换的待加速算子的执行结果，若所述执行结果的相似度超过预设阈值，则调整所述转换参数，并判断原始的待加速算子和调整预设次数的转换参数的已转换的待加速算子的执行结果相似度是否超过预设阈值，若是，则将已转换的待加速算子还原为原始的待加速算子。3.根据权利要求2所述的一种基于标准化算子接口的神经网络模型部署方法，其特征在于，若所述算子为待加速算子，则比对原始的待加速算子与已转换的待加速算子的执行结果，若所述执行结果的相似度超过预设阈值，则调整所述转换参数包括：若所述算子为待加速算子，则以所述数据样本为输入数据，计算在待部署神经网络模型中原始的待加速算子的第一执行结果，并计算在所述标准化算子接口的神经网络模型中已转换的待加速算子的第二执行结果；计算所述第一执行结果和所述第二执行结果的相似度，判断所述相似度是否超过预设阈值，若是，则使用启发式算法调整所述转换参数。4.根据权利要求1所述的一种基于标准化算子接口的神经网络模型部署方法，其特征在于，将所述待部署的神经网络模型中的未转换算子和已转换算子分别进行封装，生成可部署的神经网络模型包括：使用预设格式对所述待部署的神经网络模型以及所述未转换算子进行组织、压缩和加密；使用所述标准化算子接口的神经网络模型的格式对所述已转换算子进行组织、压缩和加密。5.根据权利要求1所述的一种基于标准化算子接口的神经网络模型部署方法，其特征在于，所述生成可部署的神经网络模型包括：将封装后的所述未转换算子和所述已转换算子按照预设模型组织标准进行数据排放，得到可部署的神经网络模型。
6.一种基于标准化算子接口的神经网络模型部署系统，其特征在于，包括标准化算子接口适配模块、算子执行引擎、算法部署优化模块和模型封装模块：接收待部署的神经网络模型和神经网络模型输入数据的数据样本；所述标准化算子接口适配模块，用于对所述待部署的神经网络模型中的待加速算子进行标记，并使用标准化算子接口描述所述待加速算子；所述算子执行引擎，用于使用标准化算子接口的神经网络模型将已描述的待加速算子进行解析，并使用转换参数将解析后的待加速算子转换为目标部署设备支持的算子；所述算法部署优化模块，用于根据转换后的神经网络模型中算子的性能，基于所述数据样本对所述转换参数进行调整；所述模型封装模块，用于将所述待部署的神经网络模型中的未转换算子和已转换算子分别进行封装，生成可部署的神经网络模型。7.根据权利要求6所述的一种基于标准化算子接口的神经网络模型部署系统，其特征在于，所述根据转换后的神经网络模型中算子的性能，基于所述数据样本对所述转换参数进行调整包括：根据所述神经网络模型内各算子的依赖关系建立有向无环图；以所述数据样本为所述神经网络模型的输入数据，按照所述有向无环图的拓扑顺序依次执行神经网络模型的算子；若所述算子为待加速算子，则比对原始的待加速算子与已转换的待加速算子的执行结果，若所述执行结果的相似度超过预设阈值，则调整所述转换参数，并判断原始的待加速算子和调整预设次数的转换参数的已转换的待加速算子的执行结果相似度是否超过预设阈值，若是，则将已转换的待加速算子还原为原始的待加速算子。8.根据权利要求7所述的一种基于标准化算子接口的神经网络模型部署系统，其特征在于，若所述算子为待加速算子，则比对原始的待加速算子与已转换的待加速算子的执行结果，若所述执行结果的相似度超过预设阈值，则调整所述转换参数包括：若所述算子为待加速算子，则以所述数据样本为输入数据，计算在待部署神经网络模型中原始的待加速算子的第一执行结果，并计算在所述标准化算子接口的神经网络模型中已转换的待加速算子的第二执行结果；计算所述第一执行结果和所述第二执行结果的相似度，判断所述相似度是否超过预设阈值，若是，则使用启发式算法调整所述转换参数。9.根据权利要求6所述的一种基于标准化算子接口的神经网络模型部署系统，其特征在于，将所述待部署的神经网络模型中的未转换算子和已转换算子分别进行封装，生成可部署的神经网络模型包括：使用预设格式对所述待部署的神经网络模型以及所述未转换算子进行组织、压缩和加密；使用所述标准化算子接口的神经网络模型的格式对所述已转换算子进行组织、压缩和加密。10.根据权利要求6所述的一种基于标准化算子接口的神经网络模型部署系统，其特征在于，所述生成可部署的神经网络模型包括：将封装后的所述未转换算子和所述已转换算子按照预设模型组织标准进行数据排放，
得到可部署的神经网络模型。

技术总结
本发明公开了一种基于标准化算子接口的神经网络模型部署方法及系统，通过将待部署神经网络模型中的待加速算子进行标记和标准化算子接口描述，能够对待部署神经网络模型进行原始算子和标准化算子的划分，能够在支持标准化算子接口的同时，也支持基于通用算力设备的通用接口，更为灵活地支持通用的执行逻辑。基于标准化算子接口将待加速算子转换为目标部署设备支持的算子，并且根据算子的执行性能对转换参数进行调整，能够保障转换后的算法准确度；通过对待部署的神经网络进行划分、转换、优化和封装，保证算法的安全性。保证算法的安全性。保证算法的安全性。


技术研发人员：高文娟 林家桢 易泽坤 刘晨悦
受保护的技术使用者：上海达网科技有限公司
技术研发日：2022.06.15
技术公布日：2022/9/2