多模态内容生成的协同处理方法、系统、交互处理终端以及介质与流程

本技术涉及人工智能，提供了一种多模态内容生成的协同处理方法、系统、交互处理终端以及介质。

背景技术：

1、在现有的多模态内容生成与在线编辑过程中，用户通常需要对视频、音频、图像等不同模态的内容进行实时的交互修改与预览展示。目前常规的协同或在线处理方式往往依赖于交互处理终端自身进行重度的图形渲染，或者在每次接收到终端的局部更新指令后，由云端服务器对全量视频画面进行重新渲染并向终端进行全量数据的下发同步。这种传统的处理方式在应对复杂的多模态创作项目数据时，不仅对交互处理终端的计算能力与硬件配置要求极高，而且在频繁的交互修改与参数调整过程中会导致巨大的网络传输带宽开销，造成画面渲染更新的延迟大、实时协同编辑响应缓慢，难以满足用户在各种交互处理终端上进行轻量化、低延迟多模态内容编辑与处理的需求。

技术实现思路

1、本技术提供了一种多模态内容生成的协同处理方法、系统、交互处理终端以及介质，用于解决传统方案中造成画面渲染更新的延迟大的技术问题。

2、为解决上述问题，提供如下技术方案：

3、一种多模态内容生成的协同处理方法，方法包括：

4、获取待处理的多模态创作项目数据，针对项目数据中的每种模态内容，分别构建对应的结构化原子节点以形成多模态原子化内容模型，并确定各结构化原子节点之间的数据联动规则；

5、在交互处理终端与云端生成引擎之间建立双向实时数据通道，用于同步参数信息；

6、建立交互处理终端与云端服务器之间的任务传输链路，将项目数据中的全量渲染任务通过任务传输链路调度至云端服务器执行，以通过云端服务器生成全量视频流数据传输至交互处理终端，并利用交互处理终端进行解码显示，以形成当前显示基准；

7、获取针对目标结构化原子节点的更新指令信号，将更新指令信号转换为指令流发送至云端服务器，以通过云端服务器根据指令流对项目数据进行渲染处理，得到待更新视频帧；

8、由云端服务器计算待更新视频帧与当前显示基准之间的视频帧差异区域，并根据视频帧差异区域生成增量帧返回至交互处理终端；

9、利用交互处理终端将增量帧叠加至当前显示基准进行增量渲染更新，并根据更新后的渲染结果同步更新当前显示基准；

10、从更新指令信号中采集针对目标结构化原子节点的交互参数，通过双向实时数据通道将交互参数同步至云端生成引擎，以通过云端生成引擎基于交互参数生成新模态内容，并利用新模态内容更新多模态原子化内容模型。

11、在一种实现中，构建对应的结构化原子节点以形成多模态原子化内容模型，包括：

12、针对每种模态内容，分别定义包含全局唯一标识字段、模态类型字段、内容数据字段以及元数据字段的数据结构作为结构化原子节点；

13、元数据字段用于存储生成对应节点内容时的模型标识信息、生成参数信息以及更新指令信号对应的历史序列信息，以通过元数据字段构建多模态原子化内容模型的数据属性。

14、在一种实现中，确定各结构化原子节点之间的数据联动规则之后，还包括：

15、监测各结构化原子节点的内容字段状态；

16、若目标结构化原子节点的内容数据发生变更，基于数据联动规则在多模态原子化内容模型中匹配与目标结构化原子节点存在数据依赖关系的关联结构化原子节点；

17、调用云端生成引擎重新生成关联结构化原子节点的内容数据，并利用重新生成的内容数据更新关联结构化原子节点中的内容数据字段。

18、在一种实现中，建立双向实时数据通道，包括：

19、识别交互处理终端接收到的节点选中指令对应的结构化原子节点的节点类型；

20、基于节点类型匹配对应的参数配置策略，以获取交互输入的生成引导参数，并将生成引导参数通过双向实时数据通道同步至云端生成引擎；

21、采集针对当前结构化原子节点的交互操作值，基于交互操作值构建表征风格特征的上下文特征向量，并将上下文特征向量输入至云端生成引擎。

22、在一种实现中，根据视频帧差异区域生成增量帧，包括：

23、云端服务器通过对比待更新视频帧与当前显示基准对应的历史视频帧，识别发生像素值变化的像素区域；

24、提取像素区域的坐标信息及像素数据并进行增量编码处理，构建包含坐标信息及编码后的像素数据的增量更新包作为增量帧。

25、在一种实现中，在利用新模态内容更新多模态原子化内容模型之后，方法还包括：

26、构建merkle树结构，将各结构化原子节点的内容哈希值作为merkle树结构的叶子节点，并基于所有叶子节点计算得到项目版本的根哈希值；

27、响应于存证触发事件，将根哈希值及对应的merkle证明路径异步上传至分布式账本；其中，存证触发事件包括内容生成完成、更新指令保存、项目版本发布及项目导出中的至少一种。

28、在一种实现中，在获取针对目标结构化原子节点的更新指令信号时，方法还包括：

29、监测交互处理终端与云端服务器的连接状态，若处于断连状态，则将获取到的更新指令信号以加密日志的形式存储至本地数据库；

30、在连接状态恢复后，读取加密日志并向云端服务器发送增量同步请求，以实现交互处理终端的本地操作状态与云端服务器的云端状态的合并。

31、一种多模态内容生成的协同处理系统，系统包括：

32、交互处理终端，配置为：获取待处理的多模态创作项目数据，针对项目数据中的每种模态内容，分别构建对应的结构化原子节点以形成多模态原子化内容模型，并确定各结构化原子节点之间的数据联动规则；

33、云端服务器，配置为：通过与交互处理终端之间的任务传输链路，接收交互处理终端调度的全量渲染任务并执行，以生成全量视频流数据传输至交互处理终端，供交互处理终端解码显示以形成当前显示基准；

34、交互处理终端，还配置为：获取针对目标结构化原子节点的更新指令信号，并将其转换为指令流发送至云端服务器；

35、云端服务器，还配置为：根据指令流对项目数据进行渲染处理以得到待更新视频帧，计算待更新视频帧与当前显示基准之间的视频帧差异区域，并根据视频帧差异区域生成增量帧返回至交互处理终端；

36、交互处理终端，还配置为：将增量帧叠加至当前显示基准进行增量渲染更新，并根据更新后的渲染结果同步更新当前显示基准；

37、云端生成引擎，配置为：通过与交互处理终端之间的双向实时数据通道，同步接收从更新指令信号中采集的交互参数，并基于交互参数生成新模态内容，以供交互处理终端利用新模态内容更新多模态原子化内容模型。

38、一种交互处理终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如所述方法的步骤。

39、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如方法的步骤。

40、本技术提供的方案中，通过将多模态创作项目数据拆解为结构化原子节点进行建模，将全量渲染任务卸载至云端服务器形成显示基准，并在发生交互修改时由云端服务器提取视频帧差异区域生成增量帧返回，最后由交互处理终端进行局部叠加更新，利用云端强算力进行重度图形渲染并结合帧差分提取技术进行稀疏数据流传输，有效降低了本地交互处理终端在处理复杂多模态项目时的cpu与内存计算压力，显著减少了频繁交互编辑过程中的网络传输带宽消耗，大幅降低了用户的视觉操作延迟，提升了多模态内容在线协同编辑的流畅度与系统响应效率。