一种跨模态信息融合的智能处理方法、优化训练框架及其应用系统与流程

本发明涉及人工智能，尤其涉及一种跨模态信息融合的智能处理方法、优化训练框架及其应用系统。

背景技术：

1、随着深度学习技术的持续演进与多源异构数据规模的快速增长，多模态大模型已成为人工智能领域的重要研究方向。这类模型利用深度神经网络，能够从文本、图像、音频、视频等不同模态的数据中提取特征，并实现不同模态之间的信息交互与融合，进而在图像描述生成、视觉问答、跨模态检索、多模态情感分析等任务上展现出显著的性能优势与泛化能力。随着多模态数据的日益增长和多模态信息处理需求的不断深化，针对多模态大模型的系统化评测愈发关键。然而，随着模型规模的增大和任务复杂性的提高，如何对多模态大模型在不同任务上的性能与推理效率进行准确、全面的评估，成为制约其工程落地与规模化应用的关键问题。

2、现有多模态大模型评测手段普遍存在维度单一、体系分散的不足。针对识别类任务，通常仅采用总体准确率进行粗粒度评价，未能从精确率、召回率、f1分数及top-k准确率等多维视角全面刻画模型的跨模态识别能力；针对感知类任务，在目标检测与图像分割的交并比计算过程中，缺乏对多类别像素级划分精度的综合考量；针对推理与生成类任务，bleu、rouge、cider、spice、meteor等指标的适用场景界定模糊，各类指标缺乏系统整合，难以形成统一的多任务评测体系；在推理效率方面，首token延迟、p95延迟、p99延迟、吞吐量及批处理效率等关键指标的系统化度量方法尚不完善，无法有效支撑实时推理、低延迟推理与高吞吐量推理等不同应用场景的差异化评估需求。此外，面向文本生成图像、图像生成文本及视觉问答等核心跨模态任务的专用功能测试工具仍较为欠缺，针对图像质量、文本生成相似度及视觉问答准确率等关键指标的自动化评测流程尚不完善，制约了多模态大模型评测的标准化水平与工程化落地效率。

技术实现思路

1、本发明的目的在于提供一种跨模态信息融合的智能处理方法、优化训练框架及其应用系统，以解决现有技术中多模态大模型评测维度单一、各类评测指标体系分散，以及面向文本生成图像、图像生成文本、视觉问答等跨模态任务的专用功能测试工具欠缺的问题。

2、为实现上述目的，一方面，本发明提供了一种跨模态信息融合的智能处理方法包括：

3、步骤s1，获取多模态输入数据，所述多模态输入数据包含文本、图像、音频、视频及三维数据中的至少两种模态。

4、步骤s2，对所述多模态输入数据进行多模态识别任务评测，通过对准确率、精确率、召回率、f1分数及top-k准确率的计算，得到识别性能评测结果。

5、步骤s3，对所述多模态输入数据进行多模态感知任务评测，通过对交并比、平均交并比、dice系数及平均精度的计算，得到感知性能评测结果。

6、步骤s4，对所述多模态输入数据进行多模态推理任务评测，通过对问答准确率、精确匹配率、片段级f1分数、bleu分数及rouge分数的计算，得到推理性能评测结果。

7、步骤s5，针对图像描述生成任务，通过对bleu指标、meteor指标、cider指标及spice指标的计算，对描述生成质量进行评测，得到描述生成质量评测结果。

8、步骤s6，对跨模态信息融合处理过程进行效率评测，通过对推理延迟、吞吐量及批处理效率的计算，得到效率评测结果。

9、步骤s7，将所述识别性能评测结果、感知性能评测结果、推理性能评测结果、描述生成质量评测结果及效率评测结果进行汇总整合，得到跨模态信息融合智能处理的综合评测报告。

10、进一步的，步骤s2中，所述准确率的计算公式为：

11、；

12、其中，为样本总数，为模型预测类别，为真实类别；所述分数的计算公式为：

13、；

14、其中，为精确率，为召回率；所述top-k准确率的计算公式为：

15、；

16、其中，为模型对样本输出的类别概率排序中前个类别的集合。

17、进一步的，步骤s3中，所述交并比通过将预测区域与真实区域的交集面积除以二者并集面积得到；所述平均交并比的计算公式为：

18、；

19、其中，为类别总数，为第类的交并比；所述系数的计算公式为：

20、；

21、其中，为真阳性数量，为假阳性数量，为假阴性数量；所述平均精度的计算公式为：

22、；

23、其中，为第类检测结果的精确率-召回率曲线下面积。

24、进一步的，步骤s4中，所述bleu分数的计算公式为：

25、；

26、其中，为简短惩罚因子，；为元组权重，为元组精确率；所述rouge-l分数通过计算预测文本与参考文本之间最长公共子序列长度l，分别得到精确率和召回率，再通过如下公式得到：。

27、进一步的，步骤s6中，所述吞吐量的计算公式为：

28、；

29、其中，为处理的总请求数，为处理总时间；所述批处理效率的计算公式为：

30、；

31、所述推理延迟包括首token延迟、p95延迟及p99延迟，其中首token延迟为从客户端发起请求到接收模型生成首个token的时间，p95延迟为所有请求延迟中第95百分位数的值，p99延迟为所有请求延迟中第99百分位数的值。

32、基于同一发明构思，本发明还提供一种跨模态信息融合的优化训练框架，包括文本生成图像测试模块、图像生成文本测试模块及视觉问答测试模块。

33、所述文本生成图像测试模块用于读取测试数据集，加载待测试的多模态大模型，生成评测文本描述测试用例，对多模态大模型进行推理以生成图像，并通过对inceptionscore指标和r-precision指标的计算，对生成图像的质量与文本相关性进行评测，得到文本生成图像评测结果。

34、所述图像生成文本测试模块用于读取测试数据集，加载待测试的多模态大模型，生成评测图像测试用例及其对应的参考文本，对多模态大模型进行推理以生成候选文本，并通过对bleu score指标和meteor score指标的计算，对生成文本与参考文本之间的相似性进行评测，得到图像生成文本评测结果。

35、所述视觉问答测试模块用于读取测试数据集，加载待测试的多模态大模型，生成视觉问答测试用例，对多模态大模型进行推理以生成回答，并通过对top-1准确率、top-5准确率、问题类型准确率及bleuscore指标的计算，对视觉问答任务的性能和生成回答质量进行评测，得到视觉问答评测结果。

36、进一步的，所述文本生成图像测试模块计算inceptionscore的公式为：

37、；

38、其中，为生成图像x在预训练分类模型下的条件类别概率分布，为生成图像集合的边缘类别概率分布，为散度，表示对所有生成图像取期望。

39、所述inceptionscore通过以下步骤得到：将生成图像输入预训练图像分类模型，得到各图像的类别概率分布；对每个图像计算其条件概率分布与边缘概率分布之间的kl散度；对所有图像的kl散度取期望后取指数，得到inceptionscore。

40、所述r-precision通过以下步骤得到：将文本描述作为查询；使用多模态大模型生成一组图像；对各生成图像与查询文本描述进行相似性匹配；通过计算匹配到的相关图像数量，得到r-precision。

41、进一步的，所述图像生成文本测试模块计算bleuscore的公式为：

42、；

43、其中，为简短惩罚因子，为n-gram精确率，为n-gram权重。

44、所述图像生成文本测试模块通过词对齐和匹配方式计算meteorscore，所述词对齐和匹配包括精确匹配、同义词匹配、词干变换及词序变化；对词对齐和匹配结果进行加权组合，得到meteorscore。

45、基于同一发明构思，本发明还提供一种跨模态信息融合的应用系统，其特征在于，所述系统包括数据读取模块、模型加载模块、测试用例生成模块、指标计算模块及结果输出模块。

46、所述数据读取模块用于读取待测试的数据集。

47、所述模型加载模块用于加载待测试的多模态大模型。

48、所述测试用例生成模块用于生成覆盖文本生成图像、图像生成文本及视觉问答任务的评测测试用例。

49、所述指标计算模块用于依据所述测试用例对多模态大模型进行推理预测，并对inceptionscore、r-precision、bleuscore、meteorscore、top-k准确率及问题类型准确率指标进行计算，得到各任务的评测指标数据。

50、所述结果输出模块用于将各任务的评测指标数据进行汇总整合，得到多模态大模型的综合功能测试评测结果并输出。

51、进一步的，所述指标计算模块包括识别评测单元、感知评测单元、推理评测单元及效率评测单元。

52、所述识别评测单元用于通过对准确率、f1分数及top-k准确率的计算，对分类任务进行评测，得到识别评测数据。

53、所述感知评测单元用于通过对交并比、平均交并比及平均精度的计算，对空间理解类任务进行评测，得到感知评测数据。

54、所述推理评测单元用于通过对精确匹配率及rouge分数的计算，对推理类任务进行评测，得到推理评测数据。

55、所述效率评测单元用于通过对吞吐量、推理延迟及批处理效率的计算，对处理效率进行评测，得到效率评测数据。

56、（3）有益效果

57、与现有技术相比，本发明的有益效果在于构建了涵盖多模态识别、感知、推理及推理效率等多维度的完整评测基准体系，通过准确率、f1分数、top-k准确率、交并比、平均精度、bleu、rouge、cider及spice等指标的系统化组合实现了对多模态大模型综合能力的精细化量化评估；同时提供了文本生成图像、图像生成文本及视觉问答三类功能测试工具，采用inception score、r-precision、bleu score及meteor score等多种评测指标对各类跨模态任务进行全面测试，有效解决了评测维度单一和测试工具欠缺的问题，为研究人员和开发者提供了系统化、标准化的多模态大模型功能评测手段，有助于推动多模态大模型的规范化评测与工程化发展。