多模态数据处理方法、装置、电子设备及存储介质与流程

本申请涉及人工智能，尤其涉及多模态数据处理方法、装置、电子设备及存储介质。

背景技术：

1、当前互联网业务运营、数据分析及内容挖掘过程中，会从多个内容平台采集大量包含文本、图片、视频、音频的多模态非结构化数据，这类数据是业务决策、内容生产、精准营销的核心资产。但多模态数据格式异构、内容碎片化，无法直接对接下游业务系统（如商品推荐、知识图谱构建、aigc（artificial intelligence generated content，人工智能生成内容）内容生产），需经过理解转化为标准化、结构化数据后才能实现价值利用。同时，各业务部门对多模态数据的处理需求存在差异化，如内容审核、信息抽取、趋势分析等，需通用化、可配置的智能数据处理能力支撑。

2、相关技术中，通常采用固定化的ai（artificial intelligence，人工智能）处理流程，无法根据不同业务场景（如商品数据增强、aigc内容生产、知识图谱构建）进行自定义配置，无法满足差异化的业务数据处理需求。

技术实现思路

1、为解决或部分解决相关技术中存在的问题，本申请提供一种多模态数据处理方法、装置、电子设备及存储介质，能够实现多平台多模态数据的一体化采集、解析、理解与结构化处理，同时支持自定义ai处理流程，适配差异化业务场景，提升数据处理效率与复用性，降低研发与人力成本。

2、本申请第一方面提供一种多模态数据处理方法，包括：

3、采集多平台的多模态数据；所述多模态数据具有数据标识；

4、对所述多模态数据分别进行解析，得到格式化的解析数据，基于所述解析数据和所述数据标识生成标准化数据；

5、基于业务场景自定义大模型的再处理流程；

6、在获取到用户任务时，根据所述用户任务对所述标准化数据进行多模态理解，得到多模态理解结果；

7、采用所述再处理流程对所述多模态理解结果进行处理。

8、在本申请一优选实施方式中，所述多模态数据的数据类型至少包括文档数据、图片数据、视频数据、音频数据；所述对所述多模态数据分别进行解析，包括：

9、按数据类型对所述多模态数据分别进行解析，得到文档数据、图片数据、视频数据、音频数据；

10、根据文档数据、图片数据、视频数据、音频数据得到格式化的解析数据。

11、在本申请一优选实施方式中，所述基于业务场景自定义大模型的再处理流程，包括：

12、将大模型的功能封装为功能节点；

13、基于业务场景将所述功能节点按顺序配置所述再处理流程，并将所述再处理流程保存为任务模板。

14、在本申请一优选实施方式中，所述根据所述用户任务对所述标准化数据进行多模态理解，得到多模态理解结果，包括：

15、将所述用户任务写入分布式消息队列，从所述分布式消息队列中消费所述用户任务；

16、调用预设理解模型，所述预设理解模型根据所述用户任务对所述标准化数据进行多模态理解，得到多模态理解结果，并将所述多模态理解结果写入所述分布式消息队列中。

17、在本申请一优选实施方式中，所述采用所述再处理流程对所述多模态理解结果进行处理，包括：

18、依次调用所述再处理流程的功能节点；

19、所述功能节点从所述分布式消息队列中消费所述多模态理解结果，对所述多模态处理结果进行处理。

20、在本申请一优选实施方式中，所述方法还包括：

21、在所述再处理流程完成后，根据所述业务场景定义结构化字段，根据所述结构化字段对所述再处理流程的处理结果进行结构化处理，得到结构化处理结果；

22、将所述结构化处理结果与所述数据标识进行关联，将关联结果保存至预设知识库中。

23、在本申请一优选实施方式中，所述方法还包括：

24、将所述多模态数据的原始链接设置为键值；

25、基于所述键值与所述多模态数据对应的关联结果生成标准的结构化数据，基于所述结构化数据生成结构化数据集；所述结构化数据集用于对接下游业务系统。

26、本申请第二方面提供一种多模态数据处理装置，包括：

27、采集模块，用于采集多平台的多模态数据；所述多模态数据具有数据标识；

28、解析模块，用于对所述多模态数据分别进行解析，得到格式化的解析数据，基于所述解析数据和所述数据标识生成标准化数据；

29、自定义模块，用于基于业务场景自定义大模型的再处理流程；

30、多模态理解模块，用于在获取到用户任务时，根据所述用户任务对所述标准化数据进行多模态理解，得到多模态理解结果；

31、再处理模块，用于采用所述再处理流程对所述多模态理解结果进行处理。

32、本申请第三方面提供一种电子设备，包括：

33、处理器；以及

34、存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

35、本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

36、本申请提供的技术方案可以包括以下有益效果：

37、本申请实施例提供一种多模态数据处理方法，包括：采集多平台的多模态数据；多模态数据具有数据标识；对多模态数据分别进行解析，得到格式化的解析数据，基于解析数据和数据标识生成标准化数据；基于业务场景自定义大模型的再处理流程；在获取到用户任务时，根据用户任务对标准化数据进行多模态理解，得到多模态理解结果；采用再处理流程对多模态理解结果进行处理，能够实现多平台多模态数据的一体化采集、解析、理解与结构化处理，同时支持自定义ai处理流程，适配差异化业务场景，提升数据处理效率与复用性，降低研发与人力成本。

38、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

1.一种多模态数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述多模态数据的数据类型至少包括文档数据、图片数据、视频数据、音频数据；所述对所述多模态数据分别进行解析，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于业务场景自定义大模型的再处理流程，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述用户任务对所述标准化数据进行多模态理解，得到多模态理解结果，包括：

5.根据权利要求4所述的方法，其特征在于，所述采用所述再处理流程对所述多模态理解结果进行处理，包括：

6.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.一种多模态数据处理装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-7中任一项所述的方法。