用于处理多模态数据的模型的训练方法及任务平台与流程

本技术涉及计算机领域，具体而言，涉及一种用于处理多模态数据的模型的训练方法及任务平台。

背景技术：

1、医学诊断的进展导致了临床数据的多样化，包含了多种来源的模态，如医学图像(例如，计算机断层扫描(ct，computed tomography)和磁共振成像)和表格数据(例如，电子健康记录(ehr，electronic health records)和放射学报告)。这种多样性推动了多模态学习的研究，以增强健康护理中的预测建模。在训练多模态数据的深度学习模型中，已经看到了在疾病检测和预测方面的改进，包括对肺部疾病的分析。然而，有效地利用多模态信息仍然具有挑战性，这主要是因为现实中存在一些困难，如某一种信息类型的数据量远超其他类型(模态不平衡)，或者某些信息源提供的数据不完整、存在空缺(数据缺失)，这些问题将会导致对多模态数据的深度学习模型的训练效果降低。

技术实现思路

1、本技术实施例提供了一种用于处理多模态数据的模型的训练方法，同时涉及一种任务平台，一种计算设备，一种电子设备，一种计算机可读存储介质以及一种计算机程序产品，以至少解决多模态数据的深度学习模型的训练效果低的技术问题。

2、根据本技术实施例的一个方面，提供了一种用于处理多模态数据的模型的训练方法，包括：

3、获取多模态数据，所述多模态数据包括图像数据、文本数据、时间序列数据、视频数据和音频数据中的至少两种不同类型的模态数据和/或一种类型的模态数据中的至少两类性质不同的模态数据；

4、有选择地轮替禁用所述多模态数据中除了至少一类模态数据之外的其他的模态数据得到单模态数据，并基于多个所述单模态数据确定多个单模态特征；

5、基于多个所述单模态特征，对待训练的所述用于处理多模态数据的模型进行训练，得到完成训练后的模型。

6、可选地，在本实施例中，有选择地轮替禁用所述多模态数据中除了至少一类模态数据之外的其他的模态数据得到单模态数据，并基于多个所述单模态数据确定多个单模态特征，包括：

7、在每一次对所述用于处理多模态数据的模型进行训练迭代时，基于所述多模态数据中的每一类模态数据确定所述每一类模态数据对应的一个所述单模态特征，并基于全部所述多模态数据确定一个融合模态特征。

8、可选地，在本实施例中，所述用于处理多模态数据的模型包括编码器，所述基于所述多模态数据中的每一类模态数据确定所述每一类模态数据对应的一个所述单模态特征，包括：

9、基于所述每一类模态数据的种类确定所述每一类模态数据对应的编码器；

10、基于所述编码器确定所述每一类模态数据对应的一个所述单模态特征。

11、可选地，在本实施例中，所述方法还包括：

12、对所述编码器进行预训练。

13、可选地，在本实施例中，所述方法还包括：

14、生成所述单模态特征对应的模态标记；

15、基于所述单模态特征和所述模态标记确定标记模态特征，

16、其中，所述标记模态特征是意识到除了一种模态数据之外的其他的多模态数据被禁用的单模态特征，且所述模态标记与被禁用的多模态数据的特征的维度大小相同。

17、可选地，在本实施例中，所述用于处理多模态数据的模型还包括神经融合器，所述神经融合器用于生成融合模态特征和所述标记模态特征，所述基于多个所述单模态特征，对待训练的所述用于处理多模态数据的模型进行训练，包括：

18、基于所述标记模态特征和所述融合模态特征，调整所述神经融合器和所述模态标记的参数。

19、可选地，在本实施例中，所述基于所述标记模态特征和所述融合模态特征，调整所述神经融合器和所述模态标记的参数，包括：

20、基于所述标记模态特征和所述融合模态特征确定处理结果；

21、获取所述多模态数据对应的标签信息，并基于所述标签信息和所述处理结果计算多模态损失；

22、基于所述多模态损失来调整所述神经融合器和所述模态标记的参数。

23、可选地，在本实施例中，所述用于处理多模态数据的模型还包括解码器，所述解码器用于基于所述神经融合器输出的所述融合模态特征来生成关于所述多模态数据的处理结果，所述基于多个所述单模态特征，对待训练的所述用于处理多模态数据的模型进行训练，包括：

24、基于所述标记模态特征和所述融合模态特征，调整所述神经融合器、所述模态标记、以及所述解码器的参数。

25、可选地，在本实施例中，所述解码器为分类器、生成器、回归器、重建器和分割器中的一种或两种及以上的组合。

26、可选地，在本实施例中，所述方法还包括：

27、基于第一多模态数据和第二多模态数据对所述用于处理多模态数据的模型进行预训练，得到经过预训练的所述用于处理多模态数据的模型，

28、其中，所述第一多模态数据和所述第二多模态数据是用于进行对比学习的两个样本的多模态数据。

29、可选地，在本实施例中，所述用于处理多模态数据的模型包括神经融合器，所述神经融合器用于生成所述融合模态特征，所述基于第一多模态数据和第二多模态数据对所述用于处理多模态数据的模型进行预训练，包括：

30、由所述神经融合器生成所述第一多模态数据对应的第一单模态特征和第一融合模态特征，以及所述第二多模态数据对应的第二单模态特征和第二融合模态特征；

31、基于所述第一单模态特征、所述第一融合模态特征、所述第二单模态特征和所述第二融合模态特征使所述神经融合器进行对比学习，以得到经过预训练的所述用于处理多模态数据的模型。

32、可选地，在本实施例中，所述基于所述第一单模态特征、所述第一融合模态特征、所述第二单模态特征和所述第二融合模态特征使所述神经融合器进行对比学习，包括：

33、基于所述第一单模态特征和所述第一融合模态特征确定第一关联信息，基于所述第一单模态特征、所述第一融合模态特征、所述第二单模态特征和所述第二融合模态特征确定第二关联信息，并基于所述第二单模态特征和所述第二融合模态特征确定第三关联信息；

34、基于所述第一关联信息、所述第二关联信息和/或所述第三关联信息确定对比损失；

35、基于所述对比损失调整所述神经融合器的参数。

36、可选地，在本实施例中，所述方法还包括：

37、生成所述第一单模态特征对应的第一模态标记，并生成所述第二单模态特征对应的第二模态标记；

38、基于所述第一单模态特征和所述第一模态标记确定第一标记模态特征，并基于所述第二单模态特征和所述第二模态标记确定第二标记模态特征，

39、其中，所述第一标记模态特征是意识到在所述第一多模态数据中除了一类模态数据之外的其他的多模态数据被禁用的单模态特征，所述第二标记模态特征是意识到在所述第二多模态数据中除了一类模态数据之外的其他的多模态数据被禁用的单模态特征，所述第一模态标记和所述第二模态标记分别与被禁用的多模态数据的特征的维度大小相同。

40、可选地，在本实施例中，所述基于所述第一单模态特征、所述第一融合模态特征、所述第二单模态特征和所述第二融合模态特征使所述神经融合器进行对比学习，包括：

41、基于所述第一标记模态特征、所述第一融合模态特征、所述第二标记模态特征和所述第二融合模态特征使所述神经融合器进行对比学习，调整所述第一模态标记和所述第二模态标记的参数。

42、可选地，在本实施例中，所述多模态数据包括至少3种模态的数据，所述多个单模态特征至少为3个。

43、根据本技术实施例的另一方面，还提供了一种多模态数据的处理方法，应用于任务平台，包括：

44、接收终端设备发送的模型请求，所述模型请求包括待测目标的多模态数据；

45、将所述模型请求输入至完成训练后的用于处理多模态数据的模型中，输出处理结果，其中，所述完成训练后的用于处理多模态数据的模型基于上述用于处理多模态数据的模型的训练方法训练得到。

46、根据本技术实施例的另一方面，还提供了一种任务平台，包括：

47、接收模块，所述接收模块用于接收终端设备发送的模型请求，所述模型请求包括待测目标的多模态数据；以及

48、输出模块，所述输出模块用于将所述模型请求输入至完成训练后的用于处理多模态数据的模型中，输出处理结果，其中，所述完成训练后的用于处理多模态数据的模型基于上述用于处理多模态数据的模型的训练方法训练得到。

49、根据本技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述用于处理多模态数据的模型的训练方法和上述多模态数据的处理方法。

50、根据本技术实施例的又一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如上述用于处理多模态数据的模型的训练方法和上述多模态数据的处理方法。

51、根据本技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述用于处理多模态数据的模型的训练方法和上述多模态数据的处理方法。

52、在本技术实施例中，通过获取多模态数据，然后有选择地禁用所述多模态数据中除了至少一类模态数据之外的其他的模态数据得到单模态数据，并基于多个所述单模态数据确定多个单模态特征，最后基于多个单模态特征，对待训练的用于处理多模态数据的模型进行训练，得到完成训练后的模型，不需要随机性，从而可以避免受到概率约束或扰动的影响，进而能够提高多模态数据的深度学习模型的训练效果。