模型性能的分析方法、装置、电子设备及存储介质与流程

本公开涉及人工智能，尤其涉及一种模型性能的分析方法、装置、电子设备及存储介质。

背景技术：

1、随着人工智能技术的不断发展，基于人工智能技术的模型的应用越来越广泛，在模型应用过程中，需要对模型性能进行分析，以便于基于模型的性能分析结果，对模型进行优化。

技术实现思路

1、本公开提供一种模型性能的分析方法、装置、电子设备及存储介质，以解决相关技术中的问题。

2、本公开的第一方面实施例提出一种模型性能的分析方法，该方法包括：

3、获取第一数据集及第二数据集；第一数据集为目标模型在训练阶段的训练数据集，第二数据集为目标模型在推理阶段的推理数据集；

4、对第一数据集与第二数据集进行模型偏移分析和协变量偏移分析，得到模型偏移分析结果和协变量偏移分析结果；模型偏移分析结果用于表征第一数据集的条件分布与第二数据集的条件分布之间的差异，条件分布为模型输入数据与模型输入数据对应的参考数据之间的映射关系；协变量偏移分析结果用于表征第一数据集的模型输入数据与第二数据集的模型输入数据之间的差异；

5、根据模型偏移分析结果及协变量偏移分析结果，确定目标模型的性能分析结果。

6、在一些实施例中，对第一数据集与第二数据集进行模型偏移分析，包括以下任一项：

7、以模型输入数据为基准，分析第一数据集与第二数据集在参考数据上的第一相似度，并根据第一相似度确定模型偏移分析结果；

8、利用第一数据集及第二数据集分别训练初始模型，得到训练结果，并根据训练结果，确定模型偏移分析结果；

9、以参考数据为基准，分析第一数据集与第二数据集在模型输入数据上的第一差异度，并根据第一差异度确定模型偏移分析结果。

10、在一些实施例中，以模型输入数据为基准，分析第一数据集与第二数据集在参考数据上的第一相似度包括：

11、根据第一数据集中的模型输入数据与第一目标模型输入数据之间的第二相似度，确定第一数据集中的预设数量个第一模型输入数据；第一目标模型输入数据为第二数据集中的至少一个模型输入数据；

12、对预设数量个第一模型输入数据对应的参考数据与第一目标模型输入数据对应的参考数据进行相似度分析，得到第一相似度。

13、在一些实施例中，根据第一数据集中的模型输入数据与第一目标模型输入数据之间的第二相似度，确定第一数据集中的预设数量个第一模型输入数据包括：

14、按照第二相似度的降序顺序，从第一数据集中的模型输入数据中选取预设数量个第一模型输入数据。

15、在一些实施例中，对预设数量个第一模型输入数据对应的参考数据与第一目标模型输入数据对应的参考数据进行相似度分析，得到第一相似度包括：

16、响应于预设数量为一个，对第一模型输入数据对应的参考数据与第一目标模型输入数据对应的参考数据进行相似度分析，得到第一相似度；或，

17、响应于预设数量为多个，对预设数量个第一模型输入数据对应的参考数据进行统计值计算，得到统计参考数据；

18、对统计参考数据与第一目标模型输入数据对应的参考数据进行相似度分析，得到第一相似度。

19、在一些实施例中，根据第一相似度确定模型偏移分析结果包括：

20、响应于第一相似度大于预设相似度阈值，确定第一数据集与第二数据集之间存在模型偏移；或，

21、响应于第一相似度小于或等于预设相似度阈值，确定第一数据集与第二数据集之间不存在模型偏移。

22、在一些实施例中，根据第一相似度确定模型偏移分析结果包括：

23、确定第一数据集中的第二目标模型输入数据；第二目标模型输入数据为第二相似度中最大值对应的模型输入数据；

24、根据第一数据集中的剩余模型输入数据与第二目标模型输入数据之间的第三相似度，确定第一数据集中的预设数量个第二模型输入数据；

25、对预设数量个第二模型输入数据对应的参考数据与第一目标模型输入数据对应的参考数据进行相似度分析，得到第四相似度；

26、响应于第一相似度小于第四相似度，确定第一数据集与第二数据集之间存在模型偏移。

27、在一些实施例中，利用第一数据集及第二数据集分别训练初始模型，得到训练结果，并根据训练结果，确定模型偏移分析结果包括：

28、利用第一数据集中的第一数据子集，对初始模型进行训练，得到第一目标模型；和，利用第二数据集中的第二数据子集，对初始模型进行训练，得到第二目标模型；

29、利用第一数据集中的第三数据子集，对第一目标模型进行测试，得到第一测试结果；和，利用第二数据集中的第四数据子集，对第二目标模型进行测试，得到第二测试结果；训练结果包括第一测试结果及第二测试结果；

30、根据第一测试结果与第二测试结果的一致性情况，确定模型偏移分析结果。

31、在一些实施例中，根据第一测试结果与第二测试结果的一致性情况，确定模型偏移分析结果包括：

32、响应于第一测试结果与第二测试结果存在一致性，确定第一数据集与第二数据集之间不存在模型偏移；或，

33、响应于第一测试结果与第二测试结果不存在一致性，确定第一数据集与第二数据集之间存在模型偏移。

34、在一些实施例中，以参考数据为基准，分析第一数据集与第二数据集在模型输入数据上的第一差异度包括：

35、确定第一数据集中的第一参考数据及第二数据集中的第二参考数据；第一参考数据与第二参考数据之间的相似度大于预设相似度阈值；

36、根据第一参考数据的模型输入数据的分布情况及第二参考数据的模型输入数据的分布情况，确定第一差异度。

37、在一些实施例中，根据第一差异度确定模型偏移分析结果包括：

38、响应于第一差异度大于预设第一差异度阈值，确定第一数据集与第二数据集之间存在模型偏移；或，

39、响应于第一差异度小于或等于预设第一差异度阈值，确定第一数据集与第二数据集之间不存在模型偏移。

40、在一些实施例中，对第一数据集与第二数据集进行协变量偏移分析，包括以下任一项：

41、利用第一数据集及第二数据集，训练分类模型，并根据分类模型的训练结果，确定协变量偏移分析结果；

42、根据目标模型处理第一数据集的第一性能评价指标、目标模型处理第二数据集的第二性能评价指标、第一数据集与第二数据集之间的模型输入数据的分布密度比，确定协变量偏移分析结果；

43、根据第一数据集中的模型输入数据的分布情况及第二数据集中的模型输入数据的分布情况，确定协变量偏移分析结果。

44、在一些实施例中，利用第一数据集及第二数据集，训练分类模型，并根据分类模型的训练结果，确定协变量偏移分析结果包括：

45、利用第一数据集中的第五数据子集及第二数据集中的第六数据子集，对初始分类模型进行训练，得到分类模型；

46、利用第一数据集中的第七数据子集及第二数据集中的第八数据子集，对分类模型进行测试，得到第三测试结果；分类模型用于确定输入到分类模型中的数据属于第一数据集，或，分类模型用于确定输入到分类模型中的数据属于第二数据集；

47、根据第三测试结果的第三性能评价指标，确定协变量偏移分析结果。

48、在一些实施例中，根据第三测试结果的第三性能评价指标，确定协变量偏移分析结果包括：

49、响应于第三性能评价指标满足预设条件，确定第一数据集与第二数据集之间存在协变量偏移；或，

50、响应于第三性能评价指标不满足预设条件，确定第一数据集与第二数据集之间不存在协变量偏移。

51、在一些实施例中，根据目标模型处理第一数据集的第一性能评价指标、目标模型处理第二数据集的第二性能评价指标、第一数据集与第二数据集之间的模型输入数据的分布密度比，确定协变量偏移分析结果包括：

52、对第一性能评价指标与分布密度比进行积计算，得到积计算的第一性能评价指标；

53、根据积计算的第一性能评价指标与第二性能评价指标之间的一致性情况，确定协变量偏移分析结果。

54、在一些实施例中，根据积计算的第一性能评价指标与第二性能评价指标之间的一致性情况，确定协变量偏移分析结果包括：

55、响应于积计算的第一性能评价指标与第二性能评价指标存在一致性，确定第一数据集与第二数据集之间存在协变量偏移；或，

56、响应于积计算的第一性能评价指标与第二性能评价指标不存在一致性，确定第一数据集与第二数据集之间不存在协变量偏移。

57、在一些实施例中，根据第一数据集中的模型输入数据的分布情况及第二数据集中的模型输入数据的分布情况，确定协变量偏移分析结果包括：

58、将第一数据集中的模型输入数据映射到预设特征空间中，得到第一映射向量；和，

59、将第二数据集中的模型输入数据映射到预设特征空间中，得到第二映射向量；

60、根据第一映射向量的分布情况及第二映射向量的分布情况，确定协变量偏移分析结果。

61、在一些实施例中，根据第一映射向量的分布情况及第二映射向量的分布情况，确定协变量偏移分析结果包括：

62、根据第一映射向量的分布情况及第二映射向量的分布情况，确定第一映射向量与第二映射向量的第二差异度；

63、根据第二差异度，确定协变量偏移分析结果。

64、在一些实施例中，根据第二差异度，确定协变量偏移分析结果包括：

65、响应于第二差异度大于预设第二差异度阈值，确定第一数据集与第二数据集之间存在协变量偏移；或，

66、响应于第二差异度小于或等于预设第二差异度阈值，确定第一数据集与第二数据集之间不存在协变量偏移。

67、在一些实施例中，性能分析结果包括目标模型的性能下降原因，根据模型偏移分析结果及协变量偏移分析结果，确定目标模型的性能分析结果包括：

68、响应于模型偏移分析结果为第一数据集与第二数据集之间存在模型偏移，且协变量偏移分析结果为第一数据集与第二数据集之间不存在协变量偏移，确定性能下降原因为模型偏移；或，

69、响应于模型偏移分析结果为第一数据集与第二数据集之间不存在模型偏移，且协变量偏移分析结果为第一数据集与第二数据集之间存在协变量偏移，确定性能下降原因为协变量偏移；或，

70、响应于模型偏移分析结果为第一数据集与第二数据集之间存在模型偏移，且协变量偏移分析结果为第一数据集与第二数据集之间存在协变量偏移，确定性能下降原因为模型偏移及协变量偏移。

71、本公开的第二方面实施例提出了一种模型性能的分析装置，包括：

72、获取单元，用于获取第一数据集及第二数据集；第一数据集为目标模型在训练阶段的训练数据集，第二数据集为目标模型在推理阶段的推理数据集；

73、分析单元，用于对第一数据集与第二数据集进行模型偏移分析和协变量偏移分析，得到模型偏移分析结果和协变量偏移分析结果；模型偏移分析结果用于表征第一数据集的条件分布与第二数据集的条件分布之间的差异，条件分布为模型输入数据与模型输入数据对应的参考数据之间的映射关系；协变量偏移分析结果用于表征第一数据集的模型输入数据与第二数据集的模型输入数据之间的差异；

74、确定单元，用于根据模型偏移分析结果及协变量偏移分析结果，确定目标模型的性能分析结果。

75、在一些实施例中，分析单元还用于：

76、以模型输入数据为基准，分析第一数据集与第二数据集在参考数据上的第一相似度，并根据第一相似度确定模型偏移分析结果；

77、利用第一数据集及第二数据集分别训练初始模型，得到训练结果，并根据训练结果，确定模型偏移分析结果；

78、以参考数据为基准，分析第一数据集与第二数据集在模型输入数据上的第一差异度，并根据第一差异度确定模型偏移分析结果。

79、在一些实施例中，分析单元还用于：

80、根据第一数据集中的模型输入数据与第一目标模型输入数据之间的第二相似度，确定第一数据集中的预设数量个第一模型输入数据；第一目标模型输入数据为第二数据集中的至少一个模型输入数据；

81、对预设数量个第一模型输入数据对应的参考数据与第一目标模型输入数据对应的参考数据进行相似度分析，得到第一相似度。

82、在一些实施例中，分析单元还用于：

83、按照第二相似度的降序顺序，从第一数据集中的模型输入数据中选取预设数量个第一模型输入数据。

84、在一些实施例中，分析单元还用于：

85、响应于预设数量为一个，对第一模型输入数据对应的参考数据与第一目标模型输入数据对应的参考数据进行相似度分析，得到第一相似度；或，

86、响应于预设数量为多个，对预设数量个第一模型输入数据对应的参考数据进行统计值计算，得到统计参考数据；

87、对统计参考数据与第一目标模型输入数据对应的参考数据进行相似度分析，得到第一相似度。

88、在一些实施例中，分析单元还用于：

89、响应于第一相似度大于预设相似度阈值，确定第一数据集与第二数据集之间存在模型偏移；或，

90、响应于第一相似度小于或等于预设相似度阈值，确定第一数据集与第二数据集之间不存在模型偏移。

91、在一些实施例中，分析单元还用于：

92、确定第一数据集中的第二目标模型输入数据；第二目标模型输入数据为第二相似度中最大值对应的模型输入数据；

93、根据第一数据集中的剩余模型输入数据与第二目标模型输入数据之间的第三相似度，确定第一数据集中的预设数量个第二模型输入数据；

94、对预设数量个第二模型输入数据对应的参考数据与第一目标模型输入数据对应的参考数据进行相似度分析，得到第四相似度；

95、响应于第一相似度小于第四相似度，确定第一数据集与第二数据集之间存在模型偏移。

96、在一些实施例中，分析单元还用于：

97、利用第一数据集中的第一数据子集，对初始模型进行训练，得到第一目标模型；和，利用第二数据集中的第二数据子集，对初始模型进行训练，得到第二目标模型；

98、利用第一数据集中的第三数据子集，对第一目标模型进行测试，得到第一测试结果；和，利用第二数据集中的第四数据子集，对第二目标模型进行测试，得到第二测试结果；训练结果包括第一测试结果及第二测试结果；

99、根据第一测试结果与第二测试结果的一致性情况，确定模型偏移分析结果。

100、在一些实施例中，分析单元还用于：

101、响应于第一测试结果与第二测试结果存在一致性，确定第一数据集与第二数据集之间不存在模型偏移；或，

102、响应于第一测试结果与第二测试结果不存在一致性，确定第一数据集与第二数据集之间存在模型偏移。

103、在一些实施例中，分析单元还用于：

104、确定第一数据集中的第一参考数据及第二数据集中的第二参考数据；第一参考数据与第二参考数据之间的相似度大于预设相似度阈值；

105、根据第一参考数据的模型输入数据的分布情况及第二参考数据的模型输入数据的分布情况，确定第一差异度。

106、在一些实施例中，分析单元还用于：

107、响应于第一差异度大于预设第一差异度阈值，确定第一数据集与第二数据集之间存在模型偏移；或，

108、响应于第一差异度小于或等于预设第一差异度阈值，确定第一数据集与第二数据集之间不存在模型偏移。

109、在一些实施例中，分析单元还用于：

110、利用第一数据集及第二数据集，训练分类模型，并根据分类模型的训练结果，确定协变量偏移分析结果；

111、根据目标模型处理第一数据集的第一性能评价指标、目标模型处理第二数据集的第二性能评价指标、第一数据集与第二数据集之间的模型输入数据的分布密度比，确定协变量偏移分析结果；

112、根据第一数据集中的模型输入数据的分布情况及第二数据集中的模型输入数据的分布情况，确定协变量偏移分析结果。

113、在一些实施例中，分析单元还用于：

114、利用第一数据集中的第五数据子集及第二数据集中的第六数据子集，对初始分类模型进行训练，得到分类模型；

115、利用第一数据集中的第七数据子集及第二数据集中的第八数据子集，对分类模型进行测试，得到第三测试结果；分类模型用于确定输入到分类模型中的数据属于第一数据集，或，分类模型用于确定输入到分类模型中的数据属于第二数据集；

116、根据第三测试结果的第三性能评价指标，确定协变量偏移分析结果。

117、在一些实施例中，分析单元还用于：

118、响应于第三性能评价指标满足预设条件，确定第一数据集与第二数据集之间存在协变量偏移；或，

119、响应于第三性能评价指标不满足预设条件，确定第一数据集与第二数据集之间不存在协变量偏移。

120、在一些实施例中，分析单元还用于：

121、对第一性能评价指标与分布密度比进行积计算，得到积计算的第一性能评价指标；

122、根据积计算的第一性能评价指标与第二性能评价指标之间的一致性情况，确定协变量偏移分析结果。

123、在一些实施例中，分析单元还用于：

124、响应于积计算的第一性能评价指标与第二性能评价指标存在一致性，确定第一数据集与第二数据集之间存在协变量偏移；或，

125、响应于积计算的第一性能评价指标与第二性能评价指标不存在一致性，确定第一数据集与第二数据集之间不存在协变量偏移。

126、在一些实施例中，分析单元还用于：

127、将第一数据集中的模型输入数据映射到预设特征空间中，得到第一映射向量；和，

128、将第二数据集中的模型输入数据映射到预设特征空间中，得到第二映射向量；

129、根据第一映射向量的分布情况及第二映射向量的分布情况，确定协变量偏移分析结果。

130、在一些实施例中，分析单元还用于：

131、根据第一映射向量的分布情况及第二映射向量的分布情况，确定第一映射向量与第二映射向量的第二差异度；

132、根据第二差异度，确定协变量偏移分析结果。

133、在一些实施例中，分析单元还用于：

134、响应于第二差异度大于预设第二差异度阈值，确定第一数据集与第二数据集之间存在协变量偏移；或，

135、响应于第二差异度小于或等于预设第二差异度阈值，确定第一数据集与第二数据集之间不存在协变量偏移。

136、在一些实施例中，性能分析结果包括目标模型的性能下降原因，确定单元还用于：

137、响应于模型偏移分析结果为第一数据集与第二数据集之间存在模型偏移，且协变量偏移分析结果为第一数据集与第二数据集之间不存在协变量偏移，确定性能下降原因为模型偏移；或，

138、响应于模型偏移分析结果为第一数据集与第二数据集之间不存在模型偏移，且协变量偏移分析结果为第一数据集与第二数据集之间存在协变量偏移，确定性能下降原因为协变量偏移；或，

139、响应于模型偏移分析结果为第一数据集与第二数据集之间存在模型偏移，且协变量偏移分析结果为第一数据集与第二数据集之间存在协变量偏移，确定性能下降原因为模型偏移及协变量偏移。

140、本公开的第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例中描述的方法。

141、本公开的第四方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行本公开第一方面实施例中描述的方法。

142、根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一方面实施例中描述的方法。

143、本公开的第六方面实施例提出了一种芯片，该芯片包括一个或多个接口和一个或多个处理器；接口用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令，当处理器执行计算机指令时，使得电子设备执行本公开第一方面实施例中描述的方法。

144、综上，根据本公开提出的模型性能的分析方法，该方法包括获取第一数据集及第二数据集；第一数据集为目标模型在训练阶段的训练数据集，第二数据集为目标模型在推理阶段的推理数据集；对第一数据集与第二数据集进行模型偏移分析和协变量偏移分析，得到模型偏移分析结果和协变量偏移分析结果；模型偏移分析结果用于表征第一数据集的条件分布与第二数据集的条件分布之间的差异，条件分布为模型输入数据与模型输入数据对应的参考数据之间的映射关系；协变量偏移分析结果用于表征第一数据集的模型输入数据与第二数据集的模型输入数据之间的差异；根据模型偏移分析结果及协变量偏移分析结果，确定目标模型的性能分析结果。模型偏移分析可以确定模型输入数据与参考数据之间的条件分布的变化，协变量偏移分析可以确定模型输入数据分布的偏移变化；基于模型偏移分析结果与协变量偏移分析结果确定性能分析结果，可以从模型输入数据分布的变化情况、模型输入数据与参考数据之间的映射关系的双重维度，定位模型性能下降的原因，从而提高模型优化的效率与准确性。

145、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。