数据处理模型的部署方法、装置、计算机设备、存储介质和程序产品与流程

本技术涉及人工智能，特别是涉及一种数据处理模型的部署方法、装置、计算机设备、存储介质和程序产品。

背景技术：

1、知识蒸馏技术作为一种模型压缩技术，旨在将大型、复杂的“教师”模型中蕴含的知识迁移至小型、轻量的“学生”模型中，从而在保证模型性能的同时，显著降低计算资源消耗与推理延迟，以满足在资源受限设备上的部署需求。但是，申请人研究发现，相关技术中提供的知识蒸馏技术和轻量化网络部署方案，至少存在蒸馏计算开销高、学生模型与新型加速卡硬件适配不足的技术问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提升蒸馏效率和模型与新型加速卡适配度的数据处理模型的部署方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种数据处理模型的部署方法，所述方法包括：

3、获取数据处理模型的部署目标的硬件约束数据，并基于所述硬件约束数据构建学生模型；

4、获取适配于所述数据处理模型预训练完成的教师模型，并基于所述教师模型的输出置信度确定有效样本对集合；

5、基于所述有效样本对集合，分别确定所述学生模型和所述教师模型的中间层特征的样本关系；

6、基于所述学生模型和所述教师模型分别对应的所述样本关系，对所述学生模型进行训练，得到训练完成的目标数据处理模型；

7、将所述目标数据处理模型下发至所述部署目标进行模型部署。

8、本实施例中，通过数据处理模型的部署目标相关的硬件约束数据对学生模型进行构建，使得初始构建的学生模型就具有更适合相关部署目标的特性，能在一定程度上提升后续基于该学生模型训练得到的目标数据处理模型与部署目标的适配性；进而，根据教师模型输出概率计算样本置信度，以构造有效样本对集合，使得后续仅通过有效样本对集合进行学生模型和教师模型的关系蒸馏，有利于降低样本关系计算的计算量，提升相应的蒸馏效率；针对筛选后的有效样本对集合确定学生模型和教师模型的中间层特征的样本关系，以用于对学生模型进行训练，使得学生模型能够学习教师模型中更稳定的样本结构信息，这使得训练完成的目标数据处理模型更加适配于部署目标。

9、在其中一个实施例中，所述基于所述学生模型和所述教师模型分别对应的所述样本关系，对所述学生模型进行训练，得到训练完成的目标数据处理模型，包括：

10、基于所述学生模型和所述教师模型分别对应的所述样本关系，确定对应的关系蒸馏损失；

11、基于所述学生模型对应的监督分类损失和所述关系蒸馏损失，对所述学生模型进行联合训练，得到训练完成的目标数据处理模型。

12、本实施例中，在确定到教师模型和学生模型中间层特征之间的样本关系之后，基于得到的样本关系确定对应的关系蒸馏损失，使学生模型学习教师模型中更稳定的样本结构信息，进而通过学生模型对应的监督分类损失和关系蒸馏损失，对学生模型进行联合训练，有利于使得训练完成后得到的目标数据处理模型，具有更稳定的样本结构信息，且为更加适合部署目标执行的模型形式，从而有利于提升目标数据处理模型在应用时的高效执行。

13、在其中一个实施例中，所述基于所述学生模型对应的监督分类损失和所述关系蒸馏损失，对所述学生模型进行联合训练，得到训练完成的目标数据处理模型，包括：

14、获取所述学生模型对应的监督分类损失包括的自身交叉熵损失和kl散度蒸馏损失；

15、基于所述自身交叉熵损失、所述kl散度蒸馏损失和所述关系蒸馏损失，确定适配于所述学生模型的总训练损失；

16、基于所述总训练损失对所述学生模型进行训练，得到训练完成的目标数据处理模型。

17、本实施例中，通过学生模型对应的自身交叉熵损失、kl散度蒸馏损失和已确定的关系蒸馏损失，得到适配于学生模型的总训练损失，而后通过该总训练损失对学生模型进行训练，以此使学生模型不仅能学习如何分类，还能学习教师模型的决策边界和推理路径，这种全面的知识吸收使得训练完成的目标数据处理模型能够具备更高的数据处理精度；同时，还有利于降低目标数据处理模型处理数据的延迟。

18、在其中一个实施例中，所述基于所述自身交叉熵损失、所述kl散度蒸馏损失和所述关系蒸馏损失，确定适配于所述学生模型的总训练损失，包括：

19、获取适配于所述kl散度蒸馏损失的第一权重系数、以及适配于所述关系蒸馏损失的第二权重系数；

20、基于所述自身交叉熵损失、所述kl散度蒸馏损失、所述关系蒸馏损失、所述第一权重系数和所述第二权重系数，确定适配于所述学生模型的总训练损失。

21、本实施例中，在对学生模型的总训练损失确定的过程中，可针对kl散度蒸馏损失和关系蒸馏损失确定其分别适配的权重系数，该权重系数的加入，有利于提升基于相应总训练损失训练学生模型得到的目标数据处理模型的数据处理精度。

22、在其中一个实施例中，所述基于所述教师模型的输出置信度确定有效样本对集合，包括：

23、将获取到的当前批次样本输入至所述教师模型，得到所述教师模型针对所述当前批次样本的输出概率；

24、基于所述输出概率确定所述当前批次样本在所述教师模型的输出置信度；

25、基于所述输出置信度中置信度值大于或等于预设置信度阈值的目标样本数据，构成有效样本对集合；所述目标样本数据属于所述当前批次样本。

26、本实施例中，通过教师模型处理当前批次样本，得到针对当前批次样本的输出概率，以根据该输出概率确定当前批次样本在教师模型的输出置信度和预设置信度阈值的比较，根据比较结果筛选出输出置信度中置信度值较大者对应的目标样本数据，以通过这些目标样本数据构成有效样本对集合，有利于减少低置信样本或错误预测样本对学生模型训练的干扰，既能够提升学生模型的训练效率，也有利于保障最终训练得到的目标数据处理模型的数据处理准确度。

27、在其中一个实施例中，所述获取数据处理模型的部署目标的硬件约束数据，包括：

28、获取数据处理模型的部署目标的卷积算子类型、卷积核尺寸、通道并行粒度、分组卷积支持范围、数据布局和缓存容量，以组成对应的硬件约束数据。

29、本实施例中，通过对数据处理模型的部署目标的特性参数进行获取，以通过获取到的卷积算子类型、卷积核尺寸、通道并行粒度、分组卷积支持范围、数据布局和缓存容量等特性参数，构成硬件约束数据，为后面学生模型的构建提供模型构建基础参数，有利于保障后续构建得到的学生模型与部署目标之间的关联适配度。

30、在其中一个实施例中，所述基于所述硬件约束数据构建学生模型，包括：

31、基于所述硬件约束数据包括的卷积算子类型、卷积核尺寸、通道并行粒度、分组卷积支持范围、数据布局和缓存容量，确定适配于构建学生模型的目标卷积核尺寸、目标通道数、目标分支数量和目标分组方式；

32、基于所述目标卷积核尺寸、所述目标通道数、所述目标分支数量和所述目标分组方式构建所述学生模型。

33、本实施例中，通过数据处理模型的部署目标的特性参数，对适配于构建学生模型的特征数据进行确定，以根据确定出的特征数据所包括的目标卷积核尺寸、目标通道数、目标分支数量和目标分组方式实现对于学生模型的构建，有利于保障构建得到的学生模型与部署目标之间的关联适配度。

34、在其中一个实施例中，所述基于所述有效样本对集合，分别确定所述学生模型和所述教师模型的中间层特征的样本关系，包括：

35、基于所述有效样本对集合，获取所述学生模型的中间层特征的第一皮尔逊相关系数，得到对应的样本关系；

36、基于所述有效样本对集合，确定所述教师模型的中间层特征的第二皮尔逊相关系数，得到对应的样本关系。

37、本实施例中，提供一种确定学生模型的中间层特征的样本关系的方式为，通过有效样本对集合获取学生模型的中间层特征的第一皮尔逊相关系数；同时，教师模型的中间层特征的样本关系的方式为，通过有效样本对集合获取教师模型的中间层特征的第二皮尔逊相关系数；该方式能够简化对于模型的中间层特征的样本关系的确定；且确定样本关系能够使学生模型学习教师模型中更稳定的样本结构信息，有利于提升学生模型的泛化能力。

38、第二方面，本技术还提供了一种数据处理模型的部署装置，所述装置包括：

39、模型构建模块，用于获取数据处理模型的部署目标的硬件约束数据，并基于所述硬件约束数据构建学生模型；

40、样本确定模块，用于获取适配于所述数据处理模型预训练完成的教师模型，并基于所述教师模型的输出置信度确定有效样本对集合；

41、关系确定模块，用于基于所述有效样本对集合，分别确定所述学生模型和所述教师模型的中间层特征的样本关系；

42、模型训练模块，用于基于所述学生模型和所述教师模型分别对应的所述样本关系，对所述学生模型进行训练，得到训练完成的目标数据处理模型；

43、模型部署模块，用于将所述目标数据处理模型下发至所述部署目标进行模型部署。

44、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面中的步骤。

45、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中的步骤。

46、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面中的步骤。

47、关于上述第二方面至第五方面中任一技术方案的有益效果，可参照第一方面中的对应技术方案的有益效果，重复之处此处不再列举。