一种短视频分镜生成方法及系统与流程
本发明属于视频分镜,具体的说是一种短视频分镜生成方法及系统。
背景技术:
1、现有ai短视频生成平台通常先接收用户输入的脚本文本或创意描述,再通过自然语言处理模型对文本内容进行解析,并将解析结果转换为若干镜头描述、画面提示信息或分镜脚本,之后分别调用图像生成模型、视频生成模型或多模态生成模型生成对应的视频片段,最终按照预设顺序完成视频拼接。
2、现有ai短视频生成流程通常在分镜生成完成后直接调用视频生成模型执行正式视频生成,当生成结果出现人物漂移、视觉状态冲突或镜头承接异常时,再通过人工修改提示信息或重新生成整个视频片段进行处理。该方式缺少在正式视频生成前对候选分镜进行视觉验证以及对冲突来源进行定位的处理过程,导致同一分镜可能经历多次无针对性的重新生成;同时,在生成多个连续视频片段时,各视频片段之间往往按照独立生成任务处理,前一视频片段的末端视觉状态难以被有效传递至后一视频片段,使得分镜规划阶段确定的叙事关系难以持续映射到最终视频生成过程。
技术实现思路
1、针对现有技术的不足,本发明提出了一种短视频分镜生成方法及系统,在脚本文本解析、分镜生成、分镜验证以及视频片段生成之间构建具有前后状态的承接关系,并针对跨镜头对象的状态变化进行持续控制,自动进行分镜生成ai短视频。
2、为实现上述目的,本发明提供如下技术方案:
3、一种短视频分镜生成方法,包括:
4、获取待生成短视频的脚本文本,对脚本文本进行语义事件解析与排序,获得按照视频时序排列的多个叙事事件单元,并根据各叙事事件单元之间的时序关系构建时序语义图;
5、根据所述时序语义图确定跨叙事事件单元连续出现的目标对象,提取目标对象在相邻叙事事件单元中的视觉状态特征,构建对应的连续性状态指纹,并基于连续性状态指纹生成多个候选分镜;
6、对所述候选分镜进行预渲染,获得对应的预览视觉状态,根据相邻候选分镜的预览视觉状态与连续性状态指纹之间的差异确定连续性冲突,在检测到所述连续性冲突时,根据产生冲突的目标特征对对应候选分镜的生成条件进行修正;
7、基于修正后的候选分镜生成目标分镜序列,并将所述目标分镜序列对应的分镜控制数据输入视频生成平台,生成目标短视频。
8、具体的,所述对脚本文本进行语义事件解析与排序,获得多个叙事事件单元,并构建时序语义图,包括:
9、按照脚本文本的叙述顺序识别对象状态发生变化的位置,并将所述位置确定为候选事件边界;
10、根据所述候选事件边界对脚本文本进行划分,并根据相邻划分内容之间的行为延续关系进行合并,获得多个初始叙事事件单元;
11、确定各初始叙事事件单元的进入状态和退出状态,并依次判断相邻初始叙事事件单元之间的状态交接关系;
12、在相邻初始叙事事件单元涉及同一对象且对应的退出状态与进入状态之间存在未记载的状态变化时,根据所述退出状态、进入状态及对象的后续行为生成过渡叙事事件单元,并将过渡叙事事件单元插入对应的初始叙事事件单元之间;
13、按照各叙事事件单元的先后顺序建立事件节点,并根据状态交接关系建立事件节点之间的关联,得到时序语义图。
14、具体的,所述按照各叙事事件单元的先后顺序建立事件节点,并根据状态交接关系建立事件节点之间的关联,得到时序语义图,包括:
15、按照各叙事事件单元的先后顺序建立对应的事件节点,并获取各事件节点的进入状态和退出状态;
16、将当前事件节点的退出状态与后一事件节点的进入状态进行比较,在未形成状态承接且对应对象存在后续行为时,将退出状态确定为待承接状态;
17、沿后续事件节点传递待承接状态,在检测到与待承接状态形成状态承接的目标事件节点时,建立当前事件节点与目标事件节点之间的跨事件关联;
18、根据事件节点的先后顺序整合相邻事件关联和跨事件关联,得到时序语义图。
19、具体的,根据所述时序语义图确定跨叙事事件单元连续出现的目标对象,构建对应的连续性状态指纹,并基于连续性状态指纹生成多个候选分镜,包括:
20、沿时序语义图追踪同一对象在多个叙事事件单元中的出现位置,并将连续出现的对象确定为目标对象;
21、获取所述目标对象在相邻叙事事件单元中的视觉状态,并根据前后视觉状态的变化形成状态迁移记录;
22、根据所述状态迁移记录,将保持不变的视觉状态确定为持续状态项,将随叙事事件发生变化的视觉状态确定为迁移状态项,并构建连续性状态指纹;
23、在后一叙事事件单元中继承前一叙事事件单元对应的持续状态项,并根据当前叙事事件内容更新所述迁移状态项,形成对应的分镜状态约束;
24、基于所述分镜状态约束,对所述迁移状态项设置不同的变化路径,并生成多个候选分镜。
25、具体的,所述构建连续性状态指纹,包括:
26、按照所述目标对象经过的叙事事件单元顺序,对各视觉状态对应的前后变化进行连续比对;
27、将跨预设数量叙事事件单元保持对应关系的视觉状态标记为持续候选项,并将发生变化的视觉状态标记为迁移候选项;
28、根据后续叙事事件中对应视觉状态的再次出现情况,对所述持续候选项和迁移候选项进行回溯校正,确定持续状态项和迁移状态项;
29、按照所述持续状态项与迁移状态项在叙事事件单元中的对应关系进行组合,形成所述连续性状态指纹。
30、具体的,基于所述分镜状态约束,对所述迁移状态项设置不同的变化路径,并生成多个候选分镜,包括:
31、根据当前叙事事件单元与后一叙事事件单元之间的状态交接关系,确定各迁移状态项对应的可变范围;
32、针对处于所述可变范围内的迁移状态项生成多个状态变化分支,并保留所述持续状态项作为各状态变化分支的共同约束;
33、将各状态变化分支依次映射至对应叙事事件单元,并根据相邻叙事事件单元之间的状态承接关系删除发生冲突的变化分支;
34、根据剩余状态变化分支分别生成对应的分镜描述,得到多个候选分镜。
35、具体的,对所述候选分镜进行预渲染,获得对应的预览视觉状态,根据相邻候选分镜的预览视觉状态与连续性状态指纹之间的差异确定连续性冲突,在检测到所述连续性冲突时,根据产生冲突的目标特征对对应候选分镜的生成条件进行修正,包括:
36、按照候选分镜的先后顺序进行预渲染,并提取与连续性状态指纹对应的预览视觉状态;
37、对相邻候选分镜的预览视觉状态进行比对,并根据所述连续性状态指纹判断对应视觉状态的变化类型;
38、在视觉状态的变化与对应状态类型不一致时,将对应视觉状态确定为冲突状态,并确定所述冲突状态所在的候选分镜;
39、从所述候选分镜向前追踪所述冲突状态对应的视觉状态,确定最近一次正常承接的视觉状态,并据此确定待修正的目标特征;
40、根据所述目标特征对应的正常承接状态修正对应候选分镜的生成条件。
41、具体的,根据所述目标特征对应的正常承接状态修正对应候选分镜的生成条件,包括:
42、从发生冲突的候选分镜开始,沿前序候选分镜依次提取与冲突状态对应的历史视觉状态;
43、根据各历史视觉状态之间的承接情况,确定冲突状态发生前最近一次保持连续的参考视觉状态;
44、将冲突状态与参考视觉状态进行对应比较,并将发生偏离且不属于迁移状态项的视觉内容确定为目标特征;
45、根据参考视觉状态中与目标特征对应的视觉内容生成修正约束,并利用所述修正约束替换对应候选分镜中与目标特征相关的生成条件。
46、具体的,所述基于修正后的候选分镜生成目标分镜序列,并将所述目标分镜序列对应的分镜控制数据输入视频生成平台,生成目标短视频,包括:
47、按照各叙事事件单元的时序关系,从修正后的候选分镜中分别确定与各叙事事件单元对应的目标分镜,并依次组成目标分镜序列;
48、针对相邻目标分镜,提取前一目标分镜结束位置对应的视觉状态以及后一目标分镜开始位置对应的视觉状态,并将二者之间需要保持承接的视觉内容确定为分镜交接状态;
49、根据各目标分镜的生成条件、对应的连续性状态指纹及所述分镜交接状态,形成与各目标分镜对应的分镜控制数据,并按照目标分镜序列的先后顺序进行排列;
50、依次将分镜控制数据输入视频生成平台,并在生成后一目标分镜对应的视频片段时,将前一目标分镜对应视频片段的末端视觉状态作为分镜交接状态的参考,得到由各视频片段依次组成的目标短视频。
51、一种短视频分镜生成系统,包括:语义图构建模块、候选分镜生成模块、修正模块和视频生成模块;
52、所述语义图构建模块,用于获取待生成短视频的脚本文本,对脚本文本进行语义事件解析与排序,获得多个叙事事件单元,并构建时序语义图;
53、所述候选分镜生成模块,用于根据所述时序语义图确定跨叙事事件单元连续出现的目标对象,构建对应的连续性状态指纹,并基于连续性状态指纹生成多个候选分镜;
54、所述修正模块,用于对所述候选分镜进行预渲染,获得对应的预览视觉状态,根据相邻候选分镜的预览视觉状态与连续性状态指纹之间的差异确定连续性冲突,在检测到所述连续性冲突时,根据产生冲突的目标特征对对应候选分镜的生成条件进行修正;
55、所述视频生成模块,用于基于修正后的候选分镜生成目标分镜序列,并将所述目标分镜序列对应的分镜控制数据输入视频生成平台,生成目标短视频。
56、与现有技术相比,本发明的有益效果是:
57、本发明通过对脚本文本中的叙事事件进行时序化组织,利用状态交接关系建立跨事件关联,并针对连续出现的目标对象构建包含持续状态项和迁移状态项的连续性状态指纹;在候选分镜生成后,通过预渲染获取预览视觉状态,对连续性冲突进行识别,并沿前序分镜回溯确定目标特征,仅对对应生成条件进行修正;在视频生成阶段进一步提取相邻分镜的交接状态,并将前一视频片段的末端视觉状态用于后一视频片段的生成参考;由此,减少人物外观漂移、道具变化、场景跳变及镜头衔接异常,降低重复生成次数,使脚本解析、分镜规划、分镜校正与视频生成形成连续的数据承接过程,并提升ai短视频生成过程的稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com