混合精度模型量化部署一致性控制方法、装置以及设备与流程
本发明涉及人工智能,特别涉及一种混合精度模型量化部署一致性控制方法、装置以及设备。
背景技术:
1、随着人工智能的快速发展,深度学习模型受到广泛应用,因此深度学习模型在边缘计算设备上的部署以及量化技术尤为重要。
2、在现有技术中,传统的量化部署流程通常依赖固定校准集和统一精度,比如,通过统计激活值分布计算量化参数,将深度学习模型的各层统一转换为指定精度。
3、然而上述方法较为单一,无法实现量化误差的可控与可回滚,模型量化部署的跨环境一致性差、精度不可控。
技术实现思路
1、本发明提供了一种混合精度模型量化部署一致性控制方法、装置以及设备,技术方案如下。
2、根据本发明的一方面,提供了一种混合精度模型量化部署一致性控制方法,方法包括:
3、根据板端运行样本数据构建自适应校准集,并基于自适应校准集对初始视觉感知模型执行int8量化,得到int8量化模型,初始视觉感知模型是fp32/fp16基线模型;
4、将int8量化模型中的关键敏感层的精度设置为fp16,得到目标视觉感知模型;
5、获取初始视觉感知模型对应的第一评估数据,以及目标视觉感知模型对应的第二评估数据,评估数据是输出分布、平均精度均值以及输出均值中的至少一种;
6、当第一评估数据与第二评估数据之间的差值超过预设阈值时,执行重新校准、切换精度或回滚至上一版本中的至少一种操作。
7、根据本发明的一方面,提供了一种混合精度模型量化部署一致性控制装置,装置包括:
8、int8量化执行模块,用于根据板端运行样本数据构建自适应校准集,并基于自适应校准集对初始视觉感知模型执行int8量化,得到int8量化模型,初始视觉感知模型是fp32/fp16基线模型;
9、精度设置模块,用于将int8量化模型中的关键敏感层的精度设置为fp16,得到目标视觉感知模型;
10、评估数据获取模块,用于获取初始视觉感知模型对应的第一评估数据,以及目标视觉感知模型对应的第二评估数据,评估数据是输出分布、平均精度均值以及输出均值中的至少一种;
11、差异超限自愈模块,用于当第一评估数据与第二评估数据之间的差值超过预设阈值时,执行重新校准、切换精度或回滚至上一版本中的至少一种操作。
12、根据本发明的另一方面,提供了一种计算机设备,该计算机设备包括:处理器和存储器,存储器中存储有至少一条计算机程序,至少一条计算机程序由处理器加载并执行以实现上方面的混合精度模型量化部署一致性控制方法。
13、根据本发明的另一方面,提供了一种计算机可读存储介质,计算机可读存储介质中存储有至少一条计算机程序,至少一条计算机程序由处理器加载并执行以实现如上方面的混合精度模型量化部署一致性控制方法。
14、根据本发明的另一方面,提供了一种计算机程序产品,上述计算机程序产品包括计算机程序,计算机程序存储在计算机可读存储介质中;计算机程序由计算机设备的处理器从计算机可读存储介质读取并执行,使得计算机设备执行如上方面的混合精度模型量化部署一致性控制方法。
15、本发明实施例提供的技术方案带来的有益效果至少包括:
16、由于自适应校准集中的数据可以根据系统所属环境实时动态变化,替代了传统静态校准集,使int8量化能动态适配实际部署环境的数据分布,从源头减少校准偏差,进而将关键敏感层精度设置为fp16,在保持模型整体低比特量化的同时,保护易失精度层,将量化误差控制在可接受范围,通过获得多维评估数据,实现了量化前后模型行为的可观测性,使跨版本、跨固件/驱动的精度差异可量化、可比较,当差值超过阈值时自动触发重新校准、切换精度或回滚操作,形成闭环自愈机制,避免了人工反复调参与回归测试。综上,上述方法显著提升了模型量化部署的跨环境一致性,实现了模型在跨环境下量化部署的精度。
1.一种混合精度模型量化部署一致性控制方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述关键敏感层是模型输入附近的首层卷积层、检测头输出层、深度估计输出层、特征融合层或上采样层、激活值分布范围存在离群值的层、板端npu算子支持不完全或存在精度差异的层。
3.根据权利要求1所述的方法,其特征在于,所述将所述int8量化模型中的关键敏感层的精度设置为fp16,得到目标视觉感知模型,包括:
4.根据权利要求1所述的方法,其特征在于,所述预设阈值包括:输出分布的kl散度大于0.05,或者平均精度均值下降超过2%,或者深度均值差异大于0.10米。
5.根据权利要求1所述的方法,其特征在于,所述自适应校准集包含模型输入图像数据、深度相关数据、场景覆盖数据、输出参考数据,以及统计元信息中的至少一种。
6.根据权利要求1所述的方法,其特征在于,所述根据板端运行样本数据构建自适应校准集,包括:
7.根据权利要求6所述的方法,其特征在于,所述获取板端运行样本数据,包括:
8.一种混合精度模型量化部署一致性控制装置,其特征在于,所述装置包括:
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器;所述存储器存储有至少一条指令,所述至少一条指令用于被所述处理器执行以实现如权利要求1至7任一所述的混合精度模型量化部署一致性控制方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有至少一条指令,所述至少一条指令用于被处理器执行以实现如权利要求1至7任一所述的混合精度模型量化部署一致性控制方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com