一种基于多云AI服务编排的短视频智能生产方法及系统与流程

摘要: 本发明涉及智能生成,尤其涉及一种基于多云ai服务编排的短视频智能生产方法及系统。背景技术:1、现有视频分析工具多基于单一模态,例如仅依赖视觉画面或仅依赖语音识别...
一种基于多云AI服务编排的短视频智能生产方法及系统与流程

本发明涉及智能生成,尤其涉及一种基于多云ai服务编排的短视频智能生产方法及系统。

背景技术:

1、现有视频分析工具多基于单一模态,例如仅依赖视觉画面或仅依赖语音识别,或者仅融合两模态如音视频,缺乏视觉、语音、文本三模态的深度融合与时序对齐。此类工具严重依赖外部剧情文档或预设类别标签,无法仅从视频本身生成深层次的语义图谱。例如,在影视剧缩编场景中,必须借助剧情介绍文档才能完成视频片段与情节的匹配,脱离文档后系统无法理解视频内容。现有技术仅将多模态分析结果用于检索或片段匹配,缺少基于文本生成的剪辑方案生成能力。即无法将视频语义表示直接驱动大语言模型生成完整的剪辑方案,包括转场、音乐、字幕时间点,缺少从理解到决策的端到端闭环。目前市场上的智能剪辑工具多为半自动化,仍需人工干预确定剪辑策略。

2、通用分布式任务调度未针对aigc视频生产场景进行优化,该场景包含文本生成、图像生成等异构任务。现有调度系统未设计子任务依赖的有向无环图、检查点持久化及幂等性重试机制,导致多模态分析、大语言模型推理、视频合成所构成的异构任务链在并发场景下易失败且无法自动恢复。

技术实现思路

1、本发明要解决的技术问题是:现有技术中存在缺乏多模态深度语义理解,依赖人工决策,大规模并发处理可靠性差的缺点,为此我们提出一种基于多云ai服务编排的短视频智能生产方法及系统。

2、为了实现上述目的,本技术采用了如下技术方案:一种基于多云ai服务编排的短视频智能生产方法,包括以下步骤:接收视频生产请求,所述视频生产请求包含视频主题、目标平台、风格要求和目标时长;基于所述视频生产请求调用大语言模型,生成结构化的多镜头脚本,所述多镜头脚本的每个镜头包含画面描述文本、旁白文本和建议时长;获取原始视频素材,对所述原始视频素材进行至少两个模态的特征提取,并为每个模态的特征附上时间戳;将不同模态的所述时间戳映射到统一时间轴,实现时序对齐;通过注意力机制融合对齐后的多模态特征,生成视频语义表示;根据所述视频语义表示生成剪辑方案,并执行剪辑操作输出成品视频。

3、进一步地,所述至少两个模态包括视觉模态、音频模态和文本模态;其中,视觉模态提取关键帧及视觉帧时间戳,所述视觉帧时间戳来自关键帧抽取时刻对应的视频播放时间位置;音频模态通过语音识别服务生成带音频时间戳的音频文本序列,所述音频时间戳来自语音识别服务输出的词语或句子的起始和结束时间边界;文本模态从视频字幕或所述音频文本序列中提取核心关键词及文本时间戳,所述文本时间戳来自光学字符识别到的字幕出现时间或语音识别服务输出的时间轴。

4、进一步地,所述根据视频语义表示生成剪辑方案之前还包括:根据所述多镜头脚本中的画面描述文本,在素材库中进行多维度相似度计算;所述多维度相似度计算采用基于信息熵的自适应加权融合,视觉相似度、音频相似度和文本相似度的权重根据各自特征向量的信息熵动态调整,综合相似度评分s由下式计算:,其中,为第模态特征向量的信息熵,为第模态的余弦相似度,e为自然常数;将候选视频片段的所述综合相似度评分从高到低排序,选取评分高于预设阈值的片段,累加片段时长至达到当前镜头的建议时长,超出部分自动裁剪,并记录已使用片段的来源素材标识以排除重复。

5、进一步地,所述根据视频语义表示生成剪辑方案包括:将所述视频语义表示格式化为自然语言描述,输入大语言模型并附加剪辑规则提示词,输出结构化的剪辑方案;所述剪辑方案为json格式,包含每个保留片段的入点出点、转场类型和背景音乐标识;解析所述剪辑方案后自动调整多轨道时间线的片段顺序、修剪边界、插入转场特效并关联推荐音乐。

6、进一步地,还包括增强内容生成步骤:当素材库中无法匹配到足够时长的视频片段时,触发数字人视频生成或图像生成;所述数字人视频生成将所述多镜头脚本中的旁白文本通过语音合成服务转换为合成音频,并与选择的数字人形象组合生成数字人口播视频片段;所述图像生成调用文生图模型服务,根据提示词生成ai生成图像存入素材库。

7、进一步地,所述剪辑操作通过分布式异步流水线执行:将视频处理流程分解为多个子任务,构建有向无环图描述子任务依赖关系;将子任务以json格式序列化后放入消息队列;调度器实时监控各工作节点的负载,根据资源需求和节点状态动态分配子任务;消息消费支持单次消费模式和守护进程模式。

8、进一步地,所述分布式异步流水线内置容错机制:每个子任务在创建时分配全局唯一标识,执行前先查询状态表,若该标识的状态为已完成则跳过执行,否则执行并将结果写入状态表;按预设时间间隔保存检查点,检查点内容为当前已完成子任务的输出结果,存储至内存数据库和云端对象存储;子任务失败后自动重试,若重试仍失败则根据所述有向无环图进行状态回滚,将该子任务及其所有下游子任务的状态重置为待执行。

9、进一步地,所述成品视频输出前还经过内容合规审核,识别违规元素并生成审核报告;对成品视频中使用的原始素材进行溯源管理,记录每个视频片段的来源素材标识和授权信息;对ai生成内容自动添加深度合成标识,所述深度合成标识采用双重机制:元数据标签方式和视频画面文字水印方式。

10、进一步地,将审核通过且完成标识的成品视频存储至云端对象存储,并通过集成平台开放接口实现多平台自动发布,追踪发布状态和互动数据。还提出另一种技术方案,一种基于多云ai服务编排的短视频智能生产系统,包括:接入层,用于提供web管理界面和restful api接口服务,接收视频生产请求;业务编排层,包含视频智能剪辑模块、脚本驱动生产模块、数字人视频生成模块、ai图像生成模块和视频翻译模块,所述业务编排层用于执行基于多云ai服务编排的短视频智能生产方法;任务调度层,基于消息队列实现异步任务处理,按消息类型分发至不同的处理器,并内置基于有向无环图任务依赖的容错机制;存储与发布层,基于云端对象存储管理素材,集成多平台分发能力,并在分发前集成内容合规性审核流程。

11、本发明的技术效果和优点:本发明中,现有技术必须依赖剧情介绍文档才能完成视频片段与脚本的匹配,其本质是将理解任务部分外包给外部文本。本发明首次提出仅凭视频本身的视觉帧、音频流、字幕或语音识别文本三模态,通过毫秒级时序对齐和跨模态注意力融合,自主构建语义图谱。更关键的是,引入信息熵驱动的动态权重机制:当视觉特征因光照恶化而信息熵下降时,权重自动向音频和文本转移;当背景噪声淹没语音时,系统转而依赖视觉和文本。这种质量自感知的鲁棒融合策略,使本方案在无任何外部文档且环境剧烈变化的极端场景下,仍能保持高精度语义提取。对比仅固定权重或两模态方案,本发明本质上解决了何时相信哪个模态的决策难题,实现了从被动依赖标注到主动多模协同的范式跨越。本发明中,现有ai剪辑工具仅将多模态分析结果用于检索或片段推荐,仍需人工确定剪辑节奏、转场和音乐。本发明将语义图谱中的事件时序关系和情感标签作为结构化提示词,直接输入大语言模型,强制其输出包含精确入点出点、转场类型、音乐风格的json方案。这是第一次将符号化的时序逻辑即图神经网络输出的有向边权重与生成式语义推理即大语言模型的文本生成能力深度耦合,形成理解、决策与执行的全自动链条。语义图谱中情感激昂到快速切换转场、舒缓段到淡入淡出的映射规则,使机器剪辑开始具备人类的审美直觉,而非简单拼接。该机制使得本发明的剪辑方案不仅自动化程度远高于现有检索式工具,更具备内容适应性。本发明中,通用视频分析分布式框架仅处理同质的分割、分析、汇总任务,各步骤独立无因果约束。而本发明的任务链包含解码、三模态特征提取、注意力融合、大语言模型推理、视频合成等异构子任务,且存在严格的因果依赖,例如大语言模型推理必须在语义图谱生成之后。本发明为此专门设计有向无环图动态生成规则:根据视频长度、镜头数量自适应拆分子任务,并强制依赖关系。同时,引入全局唯一标识加状态表实现幂等性,redis加云端对象存储双重检查点实现秒级恢复,失败子任务连带下游状态回滚保证因果一致性。此外,信息熵值被提前传递至调度器,实现内容感知资源预分配,视觉熵低时减少gpu分配,优先保障后续大语言模型推理。这一整套机制不仅解决了异构任务链在并发下的可靠性问题,更将调度粒度从任务级细化到因果片段级,使系统在大规模生产环境中的任务完成率和资源利用率远超常规分布式框架,体现了多特征协同的预料不到效果。