面向边缘设备的轻量化多模态大模型压缩与推理方法及装置与流程

本发明涉及人工智能，具体涉及一种面向边缘设备的轻量化多模态大模型压缩与推理方法及装置。

背景技术：

1、近年来，能够同时处理多种类型数据的巨型神经网络在各类实际场景中得到广泛应用。然而，这类初始网络的参数规模庞大且计算密集，当其在算力、存储和功耗均严重受限的边缘计算设备上进行本地部署与前向推理时，面临着极高的内存占用与严重的延迟瓶颈。

2、目前，为了将上述巨型网络迁移至边缘侧，现有的网络轻量化方案通常对网络整体框架采用统一的缩减标准。由于第一编码网络、第二编码网络以及交叉特征融合网络在参数分布特性、特征表达维度上存在显著差异，这种无差别的统一压缩方式忽略了网络各个独立部件的局部特性，不仅难以达到理想的压缩比例，往往还会引发极其严重的预测精度衰减。

3、此外，在当前的边缘计算推理流程中，无论输入数据的特征复杂程度如何，网络始终执行固定深度的全量前向计算。对于特征显著、易于分辨的简单输入而言，这种僵化的全链路计算路径产生了大量非必要的冗余算力消耗，进一步加剧了边缘硬件的响应延迟，无法在有限的边缘硬件条件下有效兼顾推理速度与预测准确率。

4、因此，本领域亟需一种全新的方法来克服上述在网络压缩精度以及边缘前向推理效率方面存在的缺陷。

技术实现思路

1、鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种面向边缘设备的轻量化多模态大模型压缩与推理方法及装置，包括：

2、本申请的上述发明目的一是通过以下技术方案得以实现的：

3、一种面向边缘设备的轻量化多模态大模型压缩与推理方法，应用于预构建的初始神经网络，所述初始神经网络包括第一编码网络、第二编码网络以及交叉特征融合网络，包括步骤：

4、对初始神经网络执行轻量化压缩，生成轻量化第一编码网络、轻量化第二编码网络以及轻量化融合网络；

5、获取待处理的第一类型数据以及第二类型数据，并在边缘计算节点将第一类型数据与第二类型数据分别输入轻量化第一编码网络与轻量化第二编码网络，得到第一特征与第二特征；

6、将第一特征与第二特征输入轻量化融合网络中进行逐层前向计算，并获取目标中间层的特征置信指标；

7、响应于特征置信指标满足预设收敛条件，将目标中间层的输出特征映射为预测结果；

8、响应于特征置信指标未满足预设收敛条件，将目标中间层的输出特征发送至后续网络层继续逐层前向计算，直至输出预测结果。

9、本申请的上述发明目的二是通过以下技术方案得以实现的：

10、一种面向边缘设备的轻量化多模态大模型压缩与推理装置，包括：

11、压缩执行模块，用于对初始神经网络执行轻量化压缩，生成轻量化第一编码网络、轻量化第二编码网络以及轻量化融合网络；

12、特征提取模块，用于获取待处理的第一类型数据以及第二类型数据，并在边缘计算节点将第一类型数据与第二类型数据分别输入轻量化第一编码网络与轻量化第二编码网络，得到第一特征与第二特征；

13、前向计算模块，用于将第一特征与第二特征输入轻量化融合网络中进行逐层前向计算，并获取目标中间层的特征置信指标；

14、第一响应模块，用于响应于特征置信指标满足预设收敛条件，将目标中间层的输出特征映射为预测结果；

15、第二响应模块，用于响应于特征置信指标未满足预设收敛条件，将目标中间层的输出特征发送至后续网络层继续逐层前向计算，直至输出预测结果。

16、本申请还涉及一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种面向边缘设备的轻量化多模态大模型压缩与推理方法的步骤。

17、本申请还涉及一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种面向边缘设备的轻量化多模态大模型压缩与推理方法的步骤。

18、本申请具有以下优点：

19、在本申请的实施例中，提供了一种面向边缘设备的轻量化多模态大模型压缩与推理方法及装置，通过在推理过程中动态监测特征置信指标并据此决定是否提前终止计算，可以避免对简单输入执行冗余的完整前向传播过程，实现根据输入数据特征复杂度动态调整推理深度，避免对简单输入样本执行冗余计算，具有有效降低边缘设备的计算资源消耗和能耗，提高推理响应速度，同时保障预测准确率的效果。

1.一种面向边缘设备的轻量化多模态大模型压缩与推理方法，应用于预构建的初始神经网络，所述初始神经网络包括第一编码网络、第二编码网络以及交叉特征融合网络，其特征在于，包括步骤：

2.根据权利要求1所述的面向边缘设备的轻量化多模态大模型压缩与推理方法，其特征在于，所述对初始神经网络执行轻量化压缩，生成轻量化第一编码网络、轻量化第二编码网络以及轻量化融合网络的步骤，具体包括：

3.根据权利要求1所述的面向边缘设备的轻量化多模态大模型压缩与推理方法，其特征在于，所述对初始神经网络执行轻量化压缩，生成轻量化第一编码网络、轻量化第二编码网络以及轻量化融合网络的步骤，具体包括：

4.根据权利要求1所述的面向边缘设备的轻量化多模态大模型压缩与推理方法，其特征在于，所述对初始神经网络执行轻量化压缩，生成轻量化第一编码网络、轻量化第二编码网络以及轻量化融合网络的步骤，具体包括：

5.根据权利要求1所述的面向边缘设备的轻量化多模态大模型压缩与推理方法，其特征在于，所述获取待处理的第一类型数据以及第二类型数据，并在边缘计算节点将第一类型数据与第二类型数据分别输入轻量化第一编码网络与轻量化第二编码网络，得到第一特征与第二特征的步骤，具体包括：

6.根据权利要求1所述的面向边缘设备的轻量化多模态大模型压缩与推理方法，其特征在于，所述将第一特征与第二特征输入轻量化融合网络中进行逐层前向计算，并获取目标中间层的特征置信指标的步骤，具体包括：

7.根据权利要求6所述的面向边缘设备的轻量化多模态大模型压缩与推理方法，其特征在于，所述将第一评估因子与第二评估因子输入预设的置信度评估函数进行归一化与加权计算，生成目标中间层的特征置信指标的步骤，具体包括：

8.一种面向边缘设备的轻量化多模态大模型压缩与推理装置，其特征在于，包括：

9.一种计算机电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的一种面向边缘设备的轻量化多模态大模型压缩与推理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的一种面向边缘设备的轻量化多模态大模型压缩与推理方法的步骤。