候选词元优化生成方法、装置、设备及存储介质与流程

摘要: 本技术涉及大语言模型,尤其涉及候选词元优化生成方法、装置、设备及存储介质。背景技术:1、多模态大语言模型(multimodallargelanguagemode...
候选词元优化生成方法、装置、设备及存储介质与流程

本技术涉及大语言模型,尤其涉及候选词元优化生成方法、装置、设备及存储介质。

背景技术:

1、多模态大语言模型(multimodal large language models,mllms)能够同时理解、处理并生成文本、图像、音频、视频等多种模态的信息,其在前向推理过程中,中间层自动输出低层、中层、高层多模态特征,草稿模型可以根据这些多模态特征提前预测生成多个候选词元(token),并将这些候选词元输入多模态大语言模型,多模态大语言模型可以利用候选词元加快推理进程,提高处理效率,但多模态大语言模型对于草稿模型生成的候选词元的接受率较低,推理的加速效果不佳,处理效率的提升效果不佳。

2、上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种候选词元优化生成方法、装置、设备及存储介质,旨在解决现有技术中多模态大语言模型对于草稿模型生成的候选词元的接受率较低,推理加速效果有限的技术问题。

2、为实现上述目的,本技术提供了一种候选词元优化生成方法,方法包括:

3、在多模态大语言模型对草稿模型生成的历史候选词元的接受率小于预设数值时,在多模态大语言模型的特征层中确定草稿模型的原始接入特征层;

4、确定所述原始接入特征层中的冗余特征层与非冗余特征层;

5、基于所述冗余特征层,从所述特征层中筛选出候选特征层;

6、基于所述候选特征层的特征分散程度,从所述候选特征层中筛选出优化特征层;

7、基于所述优化特征层与所述非冗余特征层,确定目标接入特征层;

8、将所述多模态大语言模型前向推理过程中所述目标接入特征层提取的多模态特征输入所述草稿模型,得到目标候选词元。

9、在一实施例中,所述确定所述原始接入特征层中的冗余特征层与非冗余特征层的步骤包括:

10、基于所述历史候选词元的接受率,确定所述原始接入特征层的冗余程度;

11、基于所述原始接入特征层的冗余程度,在所述原始接入特征层中筛选出冗余程度大于预设冗余阈值的冗余特征层,并将除所述冗余特征层外的原始接入特征层作为非冗余特征层。

12、在一实施例中,所述基于所述历史候选词元的接受率,确定所述原始接入特征层的冗余程度的步骤包括:

13、获取所述历史候选词元的接受率以及所述原始接入特征层的历史特征数据,所述历史候选词元基于所述原始接入特征层的历史特征数据生成;

14、基于预设特征值,对所述原始接入特征层的历史特征数据进行调整;

15、基于调整后的所述原始接入特征层的历史特征数据,确定所述原始接入特征层的参考接受率;

16、基于所述历史候选词元的接受率以及所述原始接入特征层的参考接受率,确定所述原始接入特征层的接受率损失;

17、基于所述原始接入特征层的接受率损失,确定所述原始接入特征层的冗余程度。

18、在一实施例中,所述基于所述冗余特征层,从所述特征层中筛选出候选特征层的步骤包括:

19、获取所述冗余特征层的特征层级,将所述冗余特征层的特征层级作为目标接入特征层级;

20、在所述特征层中筛选出符合目标接入特征层级的初始候选特征层;

21、将所述冗余特征层从所述初始候选特征层中剔除,得到候选特征层。

22、在一实施例中,所述基于所述候选特征层的特征分散程度,从所述候选特征层中筛选出优化特征层的步骤包括:

23、确定所述候选特征层的特征分散程度;

24、从所述候选特征层中筛选出特征分散程度小于预设分散阈值的初始优化特征层;

25、基于所述多模态大语言模型中自注意力层的注意力得分矩阵,计算所述初始优化特征层的注意力得分;

26、基于所述初始优化特征层的注意力得分,从所述初始优化特征层中筛选出注意力得分符合跨模态条件的优化特征层。

27、在一实施例中,所述确定所述候选特征层的特征分散程度的步骤包括:

28、获取所述候选特征层的历史特征数据;

29、基于所述候选特征层的历史特征数据的均值,对所述候选特征层的历史特征数据进行归一化处理,得到所述候选特征层的标准特征数据;

30、基于所述候选特征层的标准特征数据,计算所述候选特征层的方差分布信息熵;

31、基于所述候选特征层的方差分布信息熵,确定所述候选特征层的特征分散程度。

32、在一实施例中,所述基于所述候选特征层的标准特征数据,计算所述候选特征层的方差分布信息熵的步骤包括:

33、对所述候选特征层的标准特征数据进行奇异值分解,得到所述候选特征层的主成分奇异值;

34、基于所述候选特征层的主成分奇异值,计算所述候选特征层的主成分方差;

35、基于所述候选特征层的主成分方差,计算所述候选特征层的方差分布信息熵。

36、此外,为实现上述目的,本技术还提出一种候选词元优化生成装置,候选词元优化生成装置包括:

37、冗余筛选模块,用于在多模态大语言模型对草稿模型生成的历史候选词元的接受率小于预设数值时,在多模态大语言模型的特征层中确定草稿模型的原始接入特征层;

38、所述冗余筛选模块,还用于确定所述原始接入特征层中的冗余特征层与非冗余特征层;

39、特征层优化模块,用于基于所述冗余特征层,从所述特征层中筛选出候选特征层;

40、所述特征层优化模块,还用于基于所述候选特征层的特征分散程度,从所述候选特征层中筛选出优化特征层;

41、所述特征层优化模块,还用于基于所述优化特征层与所述非冗余特征层,确定目标接入特征层;

42、词元生成模块,用于将所述多模态大语言模型前向推理过程中所述目标接入特征层提取的多模态特征输入所述草稿模型,得到目标候选词元。

43、此外,为实现上述目的,本技术还提出一种候选词元优化生成设备,候选词元优化生成设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序配置为实现如上文的候选词元优化生成方法的步骤。

44、此外,为实现上述目的,本发明还提出一种存储介质,存储介质为计算机可读存储介质,存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上文的候选词元优化生成方法的步骤。

45、此外,为实现上述目的,本技术还提供一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序被处理器执行时实现如上文的候选词元优化生成方法的步骤。

46、本技术提供了一种候选词元优化生成方法,在多模态大语言模型对草稿模型生成的历史候选词元的接受率小于预设数值时,在多模态大语言模型的特征层中确定草稿模型的原始接入特征层;确定原始接入特征层中的冗余特征层与非冗余特征层;基于冗余特征层,从特征层中筛选出候选特征层;基于候选特征层的特征分散程度,从候选特征层中筛选出优化特征层;基于优化特征层与所述非冗余特征层,确定目标接入特征层;将多模态大语言模型前向推理过程中目标接入特征层输出的多模态特征输入草稿模型,得到目标候选词元。本技术量化评估多模态大语言模型各特征层的信息冗余程度及跨模态交互显著性,选择信息冗余度低且跨模态交互符合条件的特征层作为输入,优化特征层的选择,可以在保持模型架构不变的基础上,提升多模态大语言模型对于草稿模型生成的候选词元的接受率,加速多模态大语言模型的推理,提高多模态大语言模型的处理效率,解决了多模态大语言模型对于草稿模型生成的候选词元的接受率较低,推理加速效果有限的技术问题。