DL模型精度测试方法、装置、设备、服务器及存储介质与流程

技术特征：
1.一种dl模型精度测试方法，其特征在于，包括：将经深度学习dl编译器编译后的目标dl模型，在指定类型的标准硬件中的执行结果作为预期结果；利用待测开发代码将所述dl编译器原始的中间表示ir转换为人工智能ai芯片可识别的ir，并得到可执行文件；将所述可执行文件在所述ai芯片中的执行结果作为观测结果；根据所述预期结果以及所述观测结果评估所述待测开发代码的可靠性。2.根据权利要求1所述的dl模型精度测试方法，其特征在于，该dl模型精度测试方法还包括：预先通过所述dl编译器将目标dl模型转换为目标格式的所述原始的ir；所述将经深度学习dl编译器编译后的目标dl模型，在指定类型的标准硬件中的执行结果作为预期结果具体为：控制所述dl编译器根据所述目标格式的原始ir对所述目标dl模型进行编译；将指定类型的标准硬件对编译后的所述目标dl模型的执行结果作为预期结果；所述利用待测开发代码将所述dl编译器原始的中间表示ir转换为人工智能ai芯片可识别的ir，并得到可执行文件具体为：利用待测开发代码将所述dl编译器的所述目标格式的原始ir转换为人工智能ai芯片可识别的ir，并得到可执行文件。3.根据权利要求2所述的dl模型精度测试方法，其特征在于，所述预先通过所述dl编译器将目标dl模型转换为目标格式的所述原始的ir具体为：预先从dl模型库中挑选指定类型框架的dl模型作为目标dl模型；通过所述dl编译器将所述目标dl模型转换为目标格式的所述原始的ir。4.根据权利要求3所述的dl模型精度测试方法，其特征在于，所述dl模型库中包括dl模型以及预先构建的dl模型原始ir；所述预先从dl模型库中挑选指定类型框架的dl模型作为目标dl模型具体为：预先从dl模型库中挑选指定类型框架的dl模型；判断所述指定类型框架的dl模型在所述dl模型库中是否已存在所述预先构建的dl模型原始ir；若存在，则执行所述利用待测开发代码将所述dl编译器的所述目标格式的原始ir转换为人工智能ai芯片可识别的ir，并得到可执行文件的步骤；若不存在，通过所述dl编译器将所述目标dl模型转换为目标格式的所述原始的ir。5.根据权利要求4所述的dl模型精度测试方法，其特征在于，所述利用待测开发代码将所述dl编译器原始的中间表示ir转换为人工智能ai芯片可识别的ir，并得到可执行文件具体为：从开发代码库中与所述目标dl模型的框架类型对应的多个备选开发代码中，选择一个作为待测开发代码；利用所述待测开发代码将所述dl编译器原始的中间表示ir转换为人工智能ai芯片可识别的ir，并得到可执行文件；所述根据所述预期结果以及所述观测结果评估所述待测开发代码的可靠性之后，该dl
模型精度测试方法还包括：判断所述开发代码库中是否存在与所述目标dl模型的框架类型对应的未经测试的开发代码；若存在，则执行所述从开发代码库中与所述目标dl模型的框架类型对应的多个备选开发代码中，选择一个作为待测开发代码的步骤。6.根据权利要求5所述的dl模型精度测试方法，其特征在于，所述根据所述预期结果以及所述观测结果评估所述待测开发代码的可靠性之后，该dl模型精度测试方法还包括：控制提示器提示所述待测开发代码的可靠性评估结果。7.根据权利要求6所述的dl模型精度测试方法，其特征在于，所述判断所述开发代码库中是否存在与所述目标dl模型的框架类型对应的未经测试的开发代码之后，该dl模型精度测试方法还包括：若不存在，生成与所述目标dl模型的框架类型对应且经过测试的所有所述开发代码的所述可靠性评估结果的横向对比信息；控制所述提示器提示所述dl编译器对应的各个所述开发代码的所述横向对比信息。8.根据权利要求7所述的dl模型精度测试方法，其特征在于，所述判断所述开发代码库中是否存在与所述目标dl模型的框架类型对应的未经测试的开发代码之后，该dl模型精度测试方法还包括：若不存在，则判断所述dl模型库中所有的dl模型是否均已完成测试；若未均完成，则执行所述预先从dl模型库中挑选指定类型框架的dl模型的步骤。9.根据权利要求5所述的dl模型精度测试方法，其特征在于，该dl模型精度测试方法还包括：响应于开发代码修改指令，对所述开发代码库中指定的所述开发代码进行修改；响应于开发代码添加指令，将指定的所述开发代码添加至所述开发代码库。10.根据权利要求2所述的dl模型精度测试方法，其特征在于，所述dl编译器为端到端的深度学习编译器tvm，所述目标格式为js对象简谱json。11.根据权利要求1至10任一项所述的dl模型精度测试方法，其特征在于，所述根据所述预期结果以及所述观测结果评估所述待测开发代码的可靠性具体为：基于卡方测试法，根据所述预期结果以及所述观测结果评估所述待测开发代码的可靠性。12.一种dl模型精度测试装置，其特征在于，包括：第一获取模块，用于将经深度学习dl编译器编译后的目标dl模型，在指定类型的标准硬件中的执行结果作为预期结果；控制模块，用于利用待测开发代码将所述dl编译器原始的中间表示ir转换为人工智能ai芯片可识别的ir，并得到可执行文件；第二获取模块，用于将所述可执行文件在所述ai芯片中的执行结果作为观测结果；评估模块，用于根据所述预期结果以及所述观测结果评估所述待测开发代码的可靠性。13.一种dl模型精度测试设备，其特征在于，包括：存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至11任一项所述dl模型精度测试方法的步骤。14.一种服务器，其特征在于，包括服务器本体以及与所述服务器本体连接的如权利要求13所述的dl模型精度测试设备。15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述dl模型精度测试方法的步骤。

技术总结
本发明公开了一种DL模型精度测试方法、装置、设备、服务器及存储介质，属于深度学习领域，用于对深度学习模型的精度进行测试。考虑到目前存在的标准硬件对于DL模型的精确执行结果可作为标准进行参考，而且进行IR转换的开发代码的可靠性可以由DL模型的执行结果体现，本申请可以首先得到目标DL模型在指定类型标准硬件中的执行结果并将其作为预期结果，然后利用待测开发代码将DL编译器的原始IR转换为人工智能AI芯片可识别的IR得到可执行文件，接着将可执行文件在AI芯片中的执行结果作为观测结果，通过预期结果与观测结果便可对待测开发代码的可靠性进行评估，从而指导开发代码的设计，有利于提升DL模型也即DL算法的精度。有利于提升DL模型也即DL算法的精度。有利于提升DL模型也即DL算法的精度。


技术研发人员：段艳云
受保护的技术使用者：苏州浪潮智能科技有限公司
技术研发日：2023.04.20
技术公布日：2023/7/22