基于多模态数据的信息生成方法、系统、存储介质及产品

本申请属于数据处理，尤其涉及一种基于多模态数据的信息生成方法、系统、存储介质及产品。

背景技术：

1、在医学领域，通常利用多模态的医学数据来预测患者发生某一医学事件的风险概率，并将该风险概率作为辅助参考信息，以辅助医疗人员对该患者进行状态监测，例如，辅助医疗人员制定随访计划，或者辅助医疗人员对多个患者进行分类分层，生成风险分层报告，以支持临床研究和管理决策。

2、然而，在实际应用中，多模态的医学数据通常是不完整的。当存在模态缺失时，直接使用不完整的多模态数据所生成的风险概率，通常与患者的实际风险状态存在偏差，使得辅助参考信息的准确性下降，进而降低了对患者进行辅助管理的精准度。

技术实现思路

1、本申请实施例提供一种基于多模态数据的信息生成方法、系统、存储介质及产品，能够在模态缺失的条件下，生成准确、可靠的辅助参考信息，进而提升对患者进行辅助管理的精准度。

2、第一方面，本申请实施例提供一种基于多模态数据的信息生成系统，该系统包括处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如下步骤：获取目标对象的第一模态集合以及第二模态集合，其中，第一模态集合包括目标对象已获取的可用模态，第二模态集合包括目标对象待补偿的缺失模态；根据可用模态的可用模态数据确定目标对象发生目标医学事件的第一风险概率；根据可用模态数据以及第一风险概率从预设的多模态样本库中确定与目标对象对应的相似样本；根据相似样本在缺失模态下的模态特征对目标对象进行模态补偿，得到模态补偿信息，其中，模态补偿信息至少包括目标对象在第二模态下的补偿模态特征、目标对象发生目标医学事件的参考风险概率以及对目标对象进行模态补偿的补偿置信度；对模态补偿信息、可用模态数据以及第一风险概率进行决策融合，生成辅助参考信息，其中，辅助参考信息用于辅助医疗人员对目标对象进行状态监测。

3、第二方面，本申请实施例提供了一种基于多模态数据的信息生成方法，应用于如第一方面所述的基于多模态数据的信息生成系统的处理器中，该方法包括：获取目标对象的第一模态集合以及第二模态集合，其中，第一模态集合包括目标对象已获取的可用模态，第二模态集合包括目标对象待补偿的缺失模态；根据可用模态的可用模态数据确定目标对象发生目标医学事件的第一风险概率；根据可用模态数据以及第一风险概率从预设的多模态样本库中确定与目标对象对应的相似样本；根据相似样本在缺失模态下的模态特征对目标对象进行模态补偿，得到模态补偿信息，其中，模态补偿信息至少包括目标对象在缺失模态下的补偿模态特征、目标对象发生目标医学事件的参考风险概率以及对目标对象进行模态补偿的补偿置信度；对模态补偿信息、可用模态数据以及第一风险概率进行决策融合，生成辅助参考信息，其中，辅助参考信息用于辅助医疗人员对目标对象进行状态监测。

4、第三方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如第二方面所述的基于多模态数据的信息生成方法。

5、第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第二方面所述的基于多模态数据的信息生成方法。

6、第五方面，本申请实施例还提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如第二方面所述的基于多模态数据的信息生成方法。

7、由上述内容可知，在本申请实施例中，在目标对象的医疗数据存在模态缺失的情况下，使用相似样本的模态特征对缺失模态进行模态补偿，其中，相似模态特征的相似样本并不是简单相似度的计算所确定的，而是基于目标对象的已获取的可用模态的可用模态数据以及可用模态数据所对应的风险概率，在多模态样本库中搜索得到的，该方式使得检索到的相似样本不仅在模态特征上与目标对象相似，在风险语义层面与目标对象对齐，提升了风险概率预测的精准度，进而提升了辅助参考信息的生成准确度。另外，利用相似样本在缺失模态下的模态特征生成包含补偿模态特征、参考风险概率和补偿置信度的模态补偿信息，使模态补偿信息不仅包含模态特征的补偿，还包含风险参考水平和可靠性度量。最后，将模态补偿信息与第一风险概率共同进行决策融合，利用已可信的第一风险概率约束补偿信息的贡献，避免不可靠的补偿信息误导预测结果，从而在模态缺失条件下生成准确、可靠的辅助参考信息。

8、由此可见，本申请实施例所提供的方案能够在模态缺失的条件下，生成准确、可靠的辅助参考信息，进而提升对患者进行辅助管理的精准度。

1.一种基于多模态数据的信息生成系统，其特征在于，包括处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如下步骤：

2.根据权利要求1所述的系统，其特征在于，所述处理器还用于：

3.根据权利要求2所述的系统，其特征在于，所述处理器还用于：

4.根据权利要求3所述的系统，其特征在于，所述处理器还用于：

5.根据权利要求4所述的系统，其特征在于，所述处理器还用于：

6.根据权利要求5所述的系统，其特征在于，所述处理器还用于：

7.根据权利要求6所述的系统，其特征在于，所述处理器还用于：

8.根据权利要求1至7中任意一项所述的系统，其特征在于，所述处理器还用于：

9.根据权利要求8所述的系统，其特征在于，所述处理器还用于：

10.根据权利要求1至7中任意一项所述的系统，其特征在于，所述处理器还用于：

11.一种基于多模态数据的信息生成方法，其特征在于，应用于权利要求1至10中任意一项所述的基于多模态数据的信息生成系统的处理器中，所述方法包括：

12.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求11所述的基于多模态数据的信息生成方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求11所述的基于多模态数据的信息生成方法。

14.一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求11所述的基于多模态数据的信息生成方法。