多模态数据压缩方法、基于多模态数据的信息处理方法、电子设备及存储介质与流程

本申请实施例涉及数据处理，特别是涉及一种多模态数据压缩方法、基于多模态数据的信息处理方法、电子设备及存储介质。

背景技术：

1、随着人工智能技术的发展，例如大语言模型的多模态模型在图文问答、视频理解、场景描述等信息处理场景中得到了广泛应用。多模态模型能够同时处理文本、图像、音频、视频等多种类型的数据，通过融合不同模态的信息，实现对复杂场景的深度理解与推理。然而，多模态数据的数据量庞大，会导致存储成本高、传输效率低等问题。因此，在将多模态数据输入模型前或输入模型时，采取有效的数据压缩策略成为提升整体系统性能与资源利用效率的关键环节。

2、目前，对多模态数据的压缩方式通常采用固定比例或固定参数的压缩策略。这种方式难以控制多模态数据压缩后的特征单元数量，容易超出模型上下文长度上限或压缩过度，造成信息损失，降低模型对多模态数据的理解精度与处理效果。

技术实现思路

1、有鉴于此，本申请实施例提供了一种多模态数据压缩方法、基于多模态数据的信息处理方法、电子设备及存储介质，能够提高数据压缩的可靠性。

2、第一方面，本申请实施例提供一种多模态数据压缩方法，包括：获取多模态数据，确定原始特征单元；根据压缩比例和所述原始特征单元的数量，确定压缩后的目标特征单元的预测数量；根据所述预测数量和预设数量调整所述压缩比例得到更新后的压缩比例;根据所述更新后的压缩比例确定更新后的预测数量，以及根据更新后的预测数量确定压缩参数；根据所述压缩参数，对所述原始特征单元进行压缩处理，得到目标特征单元。

3、在一些实施例中，所述根据所述预测数量和预设数量调整所述压缩比例得到更新后的压缩比例的步骤，进一步包括：在所述预测数量大于所述预设数量时，则调整所述压缩比例，并返回所述根据压缩比例和所述原始特征单元的数量，确定压缩后的目标特征单元的预测数量的步骤，得到更新后的压缩比例。

4、在一些实施例中，所述根据所述预测数量和预设数量调整所述压缩比例得到更新后的压缩比例的步骤，进一步包括：在所述预测数量小于或等于所述预设数量时，则停止调整压缩比例，并将当前的预测数量确定为所述更新后的预测数量。

5、在一些实施例中，所述多模态数据的类型包括图像数据、视频数据、文本数据和音频数据；所述根据压缩比例和所述原始特征单元的数量，确定目标特征单元的预测数量的步骤，包括：根据所述多模态数据的类型，确定所述多模态数据的类型对应的压缩比例；对于每一所述多模态数据的类型，根据所述多模态数据的类型对应的原始特征单元的数量和所述压缩比例，确定对应目标特征单元的类型预测数量；根据所述类型预测数量，确定所述预测数量。

6、在一些实施例中，所述原始特征单元包括图像原始特征单元或视频原始特征单元；所述确定原始特征单元的步骤，包括：对所述图像数据或所述视频数据按第一网格参数进行网格划分，得到图像块，所述第一网格参数包括沿长度方向的图像块数量和沿宽度方向的图像块数量；对所述第一图像块进行特征转换处理，得到图像原始特征单元或视频原始特征单元。

7、在一些实施例中，所述压缩参数包括池化核尺寸和池化步长；所述根据更新后的预测数量确定压缩参数的步骤，进一步包括：对于所述图像数据或所述视频数据，根据所述图像数据或所述视频数据对应的目标特征单元的类型预测数量，确定所述目标特征单元对应的第二网格参数；根据所述第一网格参数和所述第二网格参数，确定池化核尺寸和池化步长。

8、在一些实施例中，所述第一网格参数的长宽比例和所述第二网格参数的长宽比例相同。

9、在一些实施例中，所述根据所述压缩参数，对所述原始特征单元进行压缩处理，得到目标特征单元的步骤，进一步包括：根据所述池化核尺寸和所述池化步长，对所述图像数据或所述视频数据进行二维均值池化处理，得到目标特征单元。

10、在一些实施例中，所述调整所述压缩比例的步骤，包括：根据同一预设调节系数，调整各类型的所述多模态数据的压缩比例；或者，根据各类型的所述多模态数据对应的预设调节系数，分别调整所述各类型的所述多模态数据的压缩比例。

11、在一些实施例中，所述方法还包括：将各类型对应的目标特征单元按预设顺序拼接融合，得到多模态目标特征序列。

12、第二方面，本申请实施例提供一种基于多模态数据的信息处理方法，包括：获取基于多模态数据的目标特征单元或者多模态目标特征序列；将所述目标特征单元或者所述多模态目标特征序列输入多模态模型进行结果生成，得到结果信息。

13、第三方面，本申请实施例提供一种电子设备，包括至少一个处理器和至少一个存储器，所述至少一个存储器与所述至少一个处理器通信连接，所述至少一个存储器用于存储至少一个程序，当至少一个所述程序被至少一个所述处理器执行，使得至少一个所述处理器实现上述方法。

14、第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序或指令，当所述计算机程序或指令被执行时，实现上述方法。

15、本申请实施方式的有益效果是：区别于现有技术的情况，本申请实施方式提供一种多模态数据压缩方法、基于多模态数据的信息处理方法、电子设备及存储介质。本申请通过动态调整压缩比例和优化压缩参数，精准控制压缩后的特征单元数量，有利于减少信息损失和提高数据压缩的可靠性，从而有利于提高多模态模型的理解精度与处理效果。

1.一种多模态数据压缩方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求2所述的方法，其特征在于，

4.根据权利要求1所述的方法，其特征在于，

5.根据权利要求4所述的方法，其特征在于,

6.根据权利要求5所述的方法，其特征在于，

7.根据权利要求6所述的方法，其特征在于，

8.根据权利要求6所述的方法，其特征在于，

9.根据权利要求4-8中任意一项所述的方法，其特征在于，

10.根据权利要求4-8中任意一项所述的方法，其特征在于，

11.一种基于多模态数据的信息处理方法，其特征在于，包括：

12.一种电子设备，其特征在于，包括：

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序或指令，当所述计算机程序或指令被执行时，实现如权利要求1-11任意一项所述的方法。