多模态大模型推理效能优化方法及相关装置

摘要: 本公开涉及人工智能,尤其涉及一种多模态大模型推理效能优化方法及相关装置。背景技术:1、本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述...
多模态大模型推理效能优化方法及相关装置

本公开涉及人工智能,尤其涉及一种多模态大模型推理效能优化方法及相关装置。

背景技术:

1、本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、随着人工智能技术的飞速发展,多模态大模型因具备处理文本、图像、音频等多类型输入输出的能力,已广泛应用于智能交互、内容生成、自动驾驶等多个领域,多模态大模型在推理过程中的安全可信性与效能表现直接决定其部署价值。

3、然而,相关技术中,在进行多模态大模型推理时,存在评估维度单一、量化体系缺失且优化机制不足,进而导致无法准确识别效能瓶颈并实施针对性优化的问题。

技术实现思路

1、有鉴于此,本公开的目的在于提出一种多模态大模型推理效能优化方法及相关装置,至少在一定程度上解决相关技术中的技术问题之一。

2、基于上述目的,本公开示例性实施例第一方面提供了多模态大模型推理效能优化方法,所述方法包括:

3、确定多模态大模型安全可信推理效能的第一多维量化指标,对所述多维量化指标进行评估,得到第一效能评估结果;

4、对所述第一效能评估结果进行拓扑空间建模,得到效能空间拓扑结构和韧性度量结果;

5、基于所述效能空间拓扑结构和所述韧性度量结果对所述多模态大模型的效能瓶颈进行定位,得到瓶颈定位结果;

6、基于所述瓶颈定位结果对所述多模态大模型进行优化修复,并基于修复后的多模态大模型进行推理效能复测,得到优化后的多维量化指标。

7、基于同一发明构思,本公开示例性实施例第二方面提供了一种多模态大模型推理效能优化装置,包括:

8、评估结果确定模块,被配置为确定多模态大模型安全可信推理效能的第一多维量化指标,对所述多维量化指标进行评估,得到第一效能评估结果;

9、韧性度量确定模块,被配置为对所述第一效能评估结果进行拓扑空间建模,得到效能空间拓扑结构和韧性度量结果;

10、定位结果确定模块,被配置为基于所述效能空间拓扑结构和所述韧性度量结果对所述多模态大模型的效能瓶颈进行定位,得到瓶颈定位结果;

11、量化指标优化模块,被配置为基于所述瓶颈定位结果对所述多模态大模型进行优化修复,并基于修复后的多模态大模型进行推理效能复测,得到优化后的多维量化指标。

12、基于同一发明构思,本公开示例性实施例第三方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的方法。

13、基于同一发明构思,本公开示例性实施例第四方面提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行如第一方面所述的方法。

14、基于同一发明构思,本公开示例性实施例第五方面提供了一种计算机程序产品,包括计算机程序指令,当所述计算机程序指令在计算机上运行时,使得计算机执行如第一方面所述的方法。

15、从上面所述可以看出,本公开实施例提供的一种多模态大模型推理效能优化方法及相关装置,该方法包括:

16、确定多模态大模型安全可信推理效能的第一多维量化指标,对所述多维量化指标进行评估,得到第一效能评估结果;对所述第一效能评估结果进行拓扑空间建模,得到效能空间拓扑结构和韧性度量结果;基于所述效能空间拓扑结构和所述韧性度量结果对所述多模态大模型的效能瓶颈进行定位,得到瓶颈定位结果;基于所述瓶颈定位结果对所述多模态大模型进行优化修复,并基于修复后的多模态大模型进行推理效能复测,得到优化后的多维量化指标。本公开能够实现多模态大模型安全可信推理效能的全链路闭环管控与持续动态优化。

1.一种多模态大模型推理效能优化方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述,对所述多维量化指标进行评估,得到第一效能评估结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述第一效能评估结果进行拓扑空间建模,得到效能空间拓扑结构和韧性度量结果,包括:

4.根据权利要求2所述的方法,其特征在于,所述基于所述效能空间拓扑结构和所述韧性度量结果对所述多模态大模型的效能瓶颈进行定位,得到瓶颈定位结果,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于所述瓶颈定位结果对所述多模态大模型进行优化修复,包括:

6.根据权利要求1所述的方法,其特征在于,所述基于修复后的多模态大模型进行推理效能复测,得到优化后的多维量化指标,包括:

7.一种多模态大模型推理效能优化装置,其特征在于,包括:

8.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至6任意一项所述的方法。

9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行权利要求1至6任一所述方法。

10.一种计算机程序产品,其特征在于,包括计算机程序指令,当所述计算机程序指令在计算机上运行时,使得计算机执行如权利要求1至6任意一项所述的方法。