数据处理方法、装置、计算机设备、存储介质和计算机程序产品与流程

本技术涉及人工智能，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、在资源展示平台的资源推荐场景中，常常需要基于人工智能模型预测目标资源的多维度的交互信息，而有些维度的交互信息存在样本数据稀疏的现象，一种有效的方法是采用多任务模型训练。在多任务模型训练过程中可能出现某些任务预测较为准确，其他任务预测不够准确的现象，或者同一任务，某些展示场景预测较为准确，其他展示场景预测不够准确的现象。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够平衡多任务学习中各个任务之间的学习效率和准确率的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种数据处理方法。所述方法包括：

3、获取第一样本集合和第二样本集合；所述第一样本集合包括原始特征域对应的样本第一特征数据，所述第二样本集合包括更新特征域对应的样本第二特征数据，所述更新特征域包括所述原始特征域以及目标特征域，所述目标特征域包括从所述原始特征域中基于所述原始特征域的样本特征确定得到；

4、基于初始多任务模型的第一网络，对所述样本第一特征数据进行特征提取，得到第一特征；

5、基于所述初始多任务模型的第二网络，对所述样本第二特征数据进行特征编码，得到第二初始特征，对所述第一特征和所述第二初始特征进行特征融合，得到第二特征；

6、基于所述第一特征和所述第二特征，分别确定所述初始多任务模型各个任务对应的预测结果；

7、基于各个任务对应的预测结果与样本标注结果之间的差异，对所述初始多任务模型的网络参数进行迭代调整，得到对应的目标多任务模型。

8、第二方面，本技术还提供了一种数据处理方法，所述方法包括：

9、获取目标资源针对目标原始特征域对应的第一特征数据，以及所述目标资源针对目标针对更新特征域对应的第二特征数据；所述目标更新特征域包括所述目标原始特征域以及目标特征域；

10、将所述第一特征数据输入至目标多任务模型中的第一网络，基于所述第一网络对所述第一特征数据进行特征提取，得到第一特征；

11、将所述第二特征数据输入至所述目标多任务模型中的第二网络，基于所述第二网络，对所述第二特征数据进行特征编码，得到第二初始特征，对所述第一特征和所述第二特征进行特征融合，得到第二特征；

12、基于所述第一特征和所述第二特征，分别确定所述目标多任务模型各个任务对应的预测结果；其中，所述目标多任务模型包括基于原始特征域对应的样本第一特征数据、所述更新特征域对应的样本第二特征数据进行训练获得，所述目标特征域包括从所述原始特征域中基于所述原始特征域的样本特征确定得到。

13、第三方面，本技术还提供了一种数据处理装置。所述装置包括：

14、第一获取模块，用于获取第一样本集合和第二样本集合；所述第一样本集合包括原始特征域对应的样本第一特征数据，所述第二样本集合包括更新特征域对应的样本第二特征数据，所述更新特征域包括所述原始特征域以及目标特征域，所述目标特征域包括从所述原始特征域中基于所述原始特征域的样本特征确定得到；

15、特征提取模块，用于基于初始多任务模型的第一网络，对所述样本第一特征数据进行特征提取，得到第一特征；

16、特征融合模块，用于基于所述初始多任务模型的第二网络，对所述样本第二特征数据进行特征编码，得到第二初始特征，对所述第一特征和所述第二初始特征进行特征融合，得到第二特征；

17、确定模块，用于基于所述第一特征和所述第二特征，分别确定所述初始多任务模型各个任务对应的预测结果；

18、处理模块，用于基于各个任务对应的预测结果与样本标注结果之间的差异，对所述初始多任务模型的网络参数进行迭代调整，得到对应的目标多任务模型。

19、在其中一个实施例中，所述第一获取模块还用于：

20、获取多个原始资源展示场景分别对应的特性样本特征数据以及不同的原始资源展示场景之间对应的共性样本特征数据；

21、基于所述特性样本特征数据的样本特征，从所述多个原始资源展示场景中确定目标资源展示场景；

22、基于所述多个原始资源展示场景、所述特性样本特征数据以及所述共性样本特征数据，确定所述第一样本集合；

23、获取所述目标资源展示场景的新增特性样本特征数据以及所述目标展示场景与其他原始资源展示场景之间的新增共性样本特征数据；

24、基于所述目标资源展示场景、所述样本第一特征数据、所述新增特性样本特征数据以及所述新增共性样本特征数据，确定所述第二样本集合。

25、在其中一个实施例中，所述第一获取模块还用于：

26、获取所述特性样本特征数据的样本特征的数量以及样本数量；

27、基于所述样本特征数量与对应的样本数量的比例，确定各个原始资源展示场景分别对应的特征占比；

28、基于各个所述原始资源展示场景分别对应的特征占比，确定目标资源展示场景。

29、在其中一个实施例中，所述目标资源展示场景包括应用程序的子程序场景，所述第一获取模块还用于：

30、获取针对所述应用程序的子程序进行的目标滑动操作数据；其中，所述目标滑动操作数据中相邻两次滑动操作的间隔时长低于预设阈值；

31、基于所述目标滑动操作数据，确定所述目标资源展示场景的新增个性特征数据；

32、获取针对所述应用程序的子程序进行的目标资源落地页的交互数据；

33、基于所述目标资源落地页的交互数据，确定所述更新展示场景与其他原始资源展示场景之间的新增共性样本特征数据。

34、在其中一个实施例中，所述第一获取模块还用于：

35、获取原始特征域对应的各样本特征分别对预测结果的重要程度指标，以及更新特征域对应的各样本特征分别对预测结果的重要程度指标；

36、基于所述原始特征域对应的各样本特征的重要程度指标，对所述原始特征域对应的各样本特征进行排序，得到第一特征数据；

37、基于所述更新特征域对应的各样本特征的重要程度指标，对所述更新特征域对应的各样本特征进行排序，得到第二特征数据；

38、基于所述第一特征数据，得到第一样本集合，基于所述第二特征数据，得到第二样本集合。

39、在其中一个实施例中，所述第一获取模块还用于：

40、基于原始特征域对应的各样本特征，训练得到第一多任务模型，确定所述第一多任务模型的准确度指标，将所述第一多任务模型的准确度指标作为基准准确度指标；

41、从所述各样本特征中分别获取目标样本特征，基于所述各样本特征中除目标样本特征以外的其他样本特征，训练得到第二任务模型，确定所述第二任务模型的准确度指标；

42、基于所述第二任务模型的准确度指标与所述基准准确度指标的差量，确定所述目标样本特征的重要程度指标。

43、在其中一个实施例中，所述重要程度指标包括响应度指标，所述第一获取模块还用于：

44、获取原始特征域对应的各个样本特征中每个样本特征对应的正样本的数量与样本总数；

45、基于所述正样本的数量与所述样本总数进行比例运算，得到所述各个样本特征的分组响应率；

46、对所述各样本特征中正样本的数量与所述各个样本特征对应的样本总量进行比例运算，得到基准响应率；

47、基于所述分组响应率与所述基准响应率，确定所述各个样本特征对应的响应度指标。

48、在其中一个实施例中，所述第一获取模块还用于：

49、获取各任务在发生时对应的资源交互量，基于所述资源交互量，对各任务分别对应的样本进行排序，得到第一样本序列；

50、获取各任务中每个任务对应的初始样本数量与各任务对应的初始样本总量的占比，基于所述占比，对各任务分别对应的样本进行排序，得到第二样本序列；

51、在目标任务对应的目标样本在第一样本序列中的第一排序位置与在第二样本序列中的第二排序位置不匹配的情况下，更新所述目标样本，使得更新后的目标样本的第二排序位置与所述第一排序位置一致；

52、基于更新后的目标样本的样本第一特征数据和所述目标样本所在的原始特征域，确定第一样本集合。

53、在其中一个实施例中，所述特征提取模块还用于：

54、基于所述第一编码网络，对所述样本第一特征数据进行特征编码，得到第一初始特征；

55、基于所述第一特征融合网络，以及各所述第一初始特征所归属的原始特征域之间的交互权重，对各所述第一初始特征进行融合处理，得到第一特征。

56、在其中一个实施例中，所述特征融合模块还用于：

57、拼接所述第一特征和所述第二初始特征，得到第二中间特征；

58、基于各所述第二中间特征之间的交叉权重，对各所述第二中间特征进行融合处理，得到第二特征。

59、在其中一个实施例中，所述特征融合模块还用于：

60、基于各所述第二中间特征之间的交叉权重，对各所述第二中间特征中的特征进行融合处理，得到第一融合特征；

61、基于非线性权重，对各所述第二中间特征进行融合处理，得到第二融合特征；

62、基于所述第一融合特征和所述第二融合特征，得到第二特征。

63、在其中一个实施例中，所述特征融合模块还用于：

64、基于各所述第二中间特征中的交叉权重，对各所述第二中间特征进行融合处理，得到第一融合特征；

65、基于非线性权重，对各所述第一融合特征进行融合处理，得到第三融合特征；

66、基于所述第一融合特征和所述第三融合特征，得到第二特征。

67、在其中一个实施例中，所述确定模块还用于：

68、基于当前任务对应的门控网络，对所述第一特征和所述第一特征进行特征筛选，得到筛选后的特征；

69、基于所述筛选后的特征，预测所述当前任务对应的预测结果；

70、分别获取所述各个任务中除所述当前任务之外的其他任务对应的筛选后的特征，并基于所述其他任务对应的筛选后的特征，分别预测所述其他任务对应的预测结果。

71、在其中一个实施例中，所述处理模块还用于：

72、基于每个任务对应的预测结果与标注结果，确定所述每个任务对应的第一损失；

73、获取各个任务分别对应的噪声权重，基于所述噪声权重对各个任务对应的第一损失进行融合处理，得到各个任务对应的预测结果与标注结果之间的差异。

74、第四方面，本技术还提供了一种数据处理装置。所述装置包括：

75、第二获取模块，用于获取原始特征域对应的第一特征数据以及更新特征域对应的第二特征数据；所述更新特征域包括所述原始特征域以及目标特征域；

76、特征提取模块，用于将所述第一特征数据输入至目标多任务模型中的第一网络，基于所述第一网络对所述第一特征数据进行特征提取，得到第一特征；

77、特征融合模块，用于将所述第二特征数据输入至所述目标多任务模型中的第二网络，基于所述第二网络，对所述第二特征数据进行特征编码，得到第二初始特征，对所述第一特征和所述第二特征进行特征融合，得到第二特征；

78、确定模块，用于基于所述第一特征和所述第二特征，分别确定所述目标多任务模型各个任务对应的预测结果；其中，所述目标多任务模型包括基于原始特征域对应的样本第一特征数据、所述更新特征域对应的样本第二特征数据进行训练获得，所述目标特征域包括从所述原始特征域中基于所述原始特征域的样本特征确定得到。

79、在其中一个实施例中，所述确定模块还用于：将所述第一特征和所述第二特征分别输入至各个任务分别对应的塔单元，经各个所述塔单元，输出对应的预测结果。

80、第五方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本公开任一实施例所述的方法的实施例。

81、第六方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本公开任一实施例所述的方法的实施例。

82、第七方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例所述的方法的实施例。

83、上述数据处理方法、装置、计算机设备、存储介质和计算机程序产品，基于原始特征域的样本特征确定目标特征域，例如，原始特征域对应的样本数量较大而样本特征数量较少的特征域，或者，原始特征域中现有的特征对于任务的学校效率或准确度影响较小的特征域。基于原始特征域和目标特征域确定更新特征域，并获取更新特征域的第二特征数据样本。第二特征数据样本相较于第一特征数据样本，在目标特征域上具有较丰富的样本特征。从而，有利于平衡多任务学习中各个任务之间的学习效率和准确率。进一步地，通过第一网络提取样本第一特征数据的第一特征，通过第二网络样本对第二特征数据进行编码，并对编码得到的第二初始特征域第一特征进行融合，得到第二特征。有利于原始特征域更新特征域之间的特征交互，提高了特征的表达能力，使得目标多任务模型具有较高的泛化能力。