一种基于多视角角色锚点与镜头链反馈的短剧生成方法及系统与流程
本发明涉及人工智能生成内容及计算机视觉,具体涉及一种基于多视角角色锚点与镜头链反馈的短剧生成方法及系统。
背景技术:
1、随着深度学习、扩散模型以及多模态生成模型的发展,基于文本、图像等条件自动生成视频的技术逐渐应用于短剧、动画、广告及数字内容制作等场景。在短剧生成过程中,通常先对短剧脚本进行解析,获得多个分镜或镜头的描述文本,再分别生成各镜头对应的视频片段,最后按照镜头顺序对视频片段进行拼接。由于短剧中同一角色通常会连续出现在多个镜头中,且不同镜头在拍摄方向、角色姿态、表情、景别、遮挡程度及光照条件等方面存在差异,因此,如何在多个镜头之间保持同一角色的身份特征和运动状态连续,是影响自动生成短剧质量的重要因素。
2、现有中国专利cn120279470a申请公开了一种从文本获取帧序列的方法及相关装置。该方案基于输入文本获得各图像帧的帧描述文本和布局信息,根据各角色的参考图像获取图像嵌入,并分别将图像嵌入、文本嵌入与布局信息进行融合,再基于时空自注意力机制生成包括多个图像帧的帧序列。该方案通过布局信息限定角色在图像帧中的空间位置,并通过参考图像的图像嵌入增强同一角色在不同图像帧之间的一致性,能够在一定程度上减少多角色之间的特征干扰。然而,该专利主要以角色参考图像的整体图像嵌入作为角色条件。当目标镜头中的角色相对于参考图像发生较大的视角变化,或者角色的面部、发型、服装及身体区域出现不同程度的遮挡时,单一参考图像所包含的可见特征可能不足以约束目标镜头中的全部角色区域。例如,正面参考图像难以完整反映角色侧面轮廓或背面服装纹理,容易造成不同镜头中的脸型、发型、服装图案或身体比例发生漂移。同时,将参考图像整体编码后与布局信息融合,通常不能明确记录目标镜头中各角色分区实际采用的条件来源,因而在生成结果出现角色异常时,难以确定异常是由参考图像不适配、角色空间约束失效还是相邻镜头状态不连续所引起。
3、另外中国专利 cn119583907a申请公开了一种场景变化可控的文生视频方法、系统和设备。该方案利用基于空间布局融合器的视频生成器生成视频片段,并通过跨片段调度机制,将前一个视频片段末尾的多个视频帧输入频率混合的控制分支网络,利用所述多个视频帧的高频信息和低频信息,以自回归方式生成后续视频片段,从而提高相邻视频片段之间的连续性。该专利通过继承前一视频片段末尾的图像信息改善长视频的场景和运动连续性,但其连续性控制主要面向整个视频帧或整个视频片段,没有针对短剧镜头中的具体角色建立可追溯的状态依赖关系。当短剧中存在镜头切换、景别变化、多个角色交替出现或者同一角色发生大幅姿态变化时,直接继承前一视频片段末尾的整体图像信息,可能将前一视频片段中已经存在的角色偏差、背景干扰或者遮挡信息继续传递至后续镜头。此外,不同短剧镜头的构图和场景可能具有明显差异,整体帧级信息混合还可能对当前镜头本应重新生成的区域形成不必要的约束。
4、在现有的短剧生成流程中,各镜头还通常按照各自的描述文本独立生成。当生成结果中的某一角色区域出现身份特征不一致,或者相邻镜头的角色位置、姿态及运动方向不连续时,通常需要重新生成整个镜头。该处理方式难以区分异常来源,也不能仅针对首次出现异常的帧及对应角色区域实施修复,容易造成未发生异常的背景区域、其他角色区域及已经满足要求的画面内容一并发生变化,不仅增加模型推理次数和计算资源消耗,还可能在重新生成过程中引入新的画面偏差。
5、因此,现有技术仍有必要解决以下技术问题:针对角色在不同视角、姿态及遮挡条件下的特征可见性差异,为目标镜头中的不同角色区域提供相适配且来源明确的角色约束;在相邻镜头之间传递与角色相关的姿态和运动状态,并保持所传递状态与具体前驱镜头之间的对应关系;对生成结果中的角色身份异常和镜头边界异常进行区分和定位;以及在避免改变正常画面区域的情况下,对异常帧和异常角色区域实施针对性修复,从而提高短剧中角色身份及跨镜头运动状态的一致性,并降低因整镜头重复生成造成的计算资源消耗。
技术实现思路
1、本发明旨在提供一种基于多视角角色锚点与镜头链反馈的短剧生成方法及系统,以解决现有短剧生成过程中角色在不同视角、姿态和遮挡条件下身份特征容易漂移、相邻镜头角色状态衔接不连续、异常来源难以识别以及整镜头重复生成造成计算资源浪费的技术问题。
2、为了实现本发明的目的,本发明采用了以下的技术方案:
3、一种基于多视角角色锚点与镜头链反馈的短剧生成方法,包括以下步骤:
4、s1,解析短剧脚本获得镜头节点,按共享角色和镜头衔接关系建立带状态依赖边的镜头链;
5、s2,对角色多视角基准图进行分区、视角标定及规范坐标对齐,形成含分区特征和可见性置信度的角色锚点集;
6、s3,将目标角色姿态映射至所述规范坐标,为各目标可见分区唯一选定角色锚点,生成角色分区—条件来源图,各分区记录分区标识、锚点标识及空间门控掩膜;
7、s4,沿镜头链生成目标镜头,按所述空间门控掩膜通过身份注意力支路将对应角色锚点的身份特征注入视频生成网络,并通过时序控制支路将所述前驱镜头末端角色状态转换得到的姿态—运动特征注入所述视频生成网络,与目标镜头通过所述状态依赖边关联的前驱镜头的末端角色状态转换为姿态—运动特征后注入时序控制支路;
8、s5,将生成镜头的角色分区反映射至规范坐标,与同一分区记录的角色锚点比较得到身份残差,将目标镜头首部角色状态与前驱镜头末端角色状态比较得到边界残差,确定首次超限帧、异常分区及身份来源、边界来源或复合来源标签;
9、s6,依据所述标签形成时空修复图,身份来源调用异常分区记录的角色锚点,边界来源调用前驱镜头末端角色状态,复合来源同时调用二者;在各去噪阶段仅更新时空修复图内的隐变量,验收后将终端角色状态传给后继镜头并拼接已验收镜头。
10、作为进一步改进,在步骤s1中,所述镜头节点至少记录出场角色、目标姿态、拍摄视角、角色运动方向和镜头边界;所述状态依赖边记录前驱镜头标识、后继镜头标识、共享角色标识、待迁移状态项以及前驱镜头坐标向后继镜头坐标转换的坐标变换参数;为前驱镜头末端角色状态分配状态版本标识,使后继镜头生成和边界残差计算调用所述状态版本标识指向的同一末端角色状态。
11、作为进一步改进,在步骤s2和步骤s3中,建立包括面部、发型、服装和身体比例分区的角色规范模板,将各角色分区映射至所述角色规范模板,并为每个角色锚点记录视角向量、分区身份特征、分区可见掩膜和规范坐标映射关系;根据视角偏差、可见性置信度和分区覆盖程度生成锚点评分,在连续帧中对应的同一目标可见分区保持同一角色锚点,直至其锚点评分低于保留阈值且另一候选锚点的锚点评分高于切换阈值时进行切换,其中,切换阈值高于保留阈值。
12、作为进一步改进,在步骤s3和步骤s4中,每次建立或更新角色分区—条件来源图时生成来源图版本标识,并保存目标镜头生成时的条件来源快照,所述条件来源快照包括来源图版本标识以及各目标可见分区对应的分区标识、锚点标识、空间门控掩膜和规范坐标映射关系;将锚点标识指向的分区身份特征映射为身份注意力支路的键特征和值特征,并在注意力权重归一化之前在注意力得分归一化之前,根据空间门控掩膜将目标可见分区以外空间位置对应的注意力得分设置为无效值。
13、作为进一步改进,在步骤s5中,将生成镜头与其生成时保存的条件来源快照关联;对每一生成分区,仅将其身份特征与所述条件来源快照中同一分区标识对应的锚点标识所指向的分区身份特征进行比较,不重新选择其他角色锚点;将目标镜头首部角色状态与状态版本标识指向的前驱镜头末端角色状态进行时序对齐,分别得到位置残差、姿态残差和运动残差,并根据三者确定边界残差。
14、作为进一步改进,在步骤s5和步骤s6中,按照镜头播放顺序将最先超过对应残差阈值的帧确定为首次超限帧;仅身份残差超限时生成身份来源标签,仅边界残差超限时生成边界来源标签,身份残差和边界残差均超限时生成复合来源标签;将来源图版本标识、锚点标识和状态版本标识写入对应来源标签,并在局部重生成前将来源标签中的来源图版本标识与条件来源快照进行一致性校验。
15、作为进一步改进,在步骤s6中,以首次超限帧中的异常分区为初始修复区域,根据相邻帧光流和目标角色姿态将所述初始修复区域沿时间方向传播;一致性校验通过后,按照来源标签向身份注意力支路和时序控制支路提供对应修复条件,并复用目标镜头初次生成时的初始噪声和目标镜头初次生成过程中保存的各去噪阶段原始隐变量,在每一去噪阶段仅将修复后的隐变量写入时空修复图以内的区域;当修复后的身份残差和边界残差均不超限时确定验收通过,并仅在终端角色状态的状态指纹发生变化时更新后继镜头。
16、本发明的另一方面提供了一种基于多视角角色锚点与镜头链反馈的短剧生成系统,包括:
17、镜头链构建模块,用于解析短剧脚本获得镜头节点,并按照共享角色和镜头衔接关系建立带状态依赖边的镜头链;为已验收前驱镜头的末端角色状态生成状态版本标识,并将所述状态版本标识与对应状态依赖边关联;
18、角色锚点构建模块,用于对角色多视角基准图进行分区、视角标定和规范坐标对齐,建立角色锚点集;
19、条件来源绑定模块,用于将目标角色姿态映射至规范坐标,为每一目标可见分区唯一选定角色锚点,并生成记录分区标识、锚点标识和空间门控掩膜的角色分区—条件来源图;
20、双支路生成模块,用于按照空间门控掩膜将对应角色锚点的身份特征注入身份注意力支路,并将前驱镜头末端角色状态转换为姿态—运动特征后注入时序控制支路,以生成目标镜头;
21、残差归因模块,用于根据同一角色分区记录的角色锚点计算身份残差,根据状态依赖边指向的前驱镜头末端角色状态计算边界残差,并确定首次超限帧、异常分区及来源标签;
22、修复反馈模块,用于根据来源标签形成时空修复图,根据所述身份来源标签、边界来源标签或复合来源标签,分别调用角色锚点、前驱镜头末端角色状态或者二者的组合作为局部重生成条件实施局部重生成,并将验收后的终端角色状态反馈至后继镜头。
23、作为进一步改进,所述条件来源绑定模块包括锚点评分单元、锚点锁定单元和来源快照单元;所述锚点评分单元用于根据视角偏差、可见性置信度和分区覆盖程度生成锚点评分;所述锚点锁定单元用于根据保留阈值和切换阈值控制连续可见帧内的锚点保持或切换;所述来源快照单元用于保存目标镜头生成时采用的来源图版本标识、分区标识、锚点标识、空间门控掩膜和规范坐标映射关系。
24、作为进一步改进,所述残差归因模块用于将生成镜头与其生成时保存的条件来源快照关联,以所述条件来源快照中同一分区记录的角色锚点作为身份残差比较基准,以状态版本标识指向的前驱镜头末端角色状态作为边界残差比较基准;所述修复反馈模块包括来源一致性校验单元、条件路由单元、隐变量更新单元和状态传播单元,分别用于校验来源图版本标识、按照来源标签提供修复条件、仅更新时空修复图内的隐变量,以及根据终端角色状态的状态指纹变化控制后继镜头更新。
25、本发明通过对短剧脚本中的镜头节点建立带状态依赖边的镜头链,使前驱镜头的末端角色状态能够作为后继镜头的时序生成条件,提高相邻镜头之间角色位置、姿态和运动状态的连续性;通过对角色多视角基准图进行分区、视角标定和规范坐标对齐,建立包含面部、发型、服装及身体比例等分区特征和可见性置信度的角色锚点集,并根据目标角色的视角、姿态及可见区域为不同角色分区选定相适配的角色锚点,从而减少因固定采用单一参考图而产生的脸型、发型、服装纹理及身体比例漂移;通过角色分区—条件来源图和空间门控掩膜,将相应锚点的身份特征限定注入目标角色区域,降低多个角色及不同角色分区之间的特征串扰;通过分别计算身份残差和镜头边界残差,能够确定首次超限帧、异常分区及异常来源,并依据身份来源、边界来源或复合来源形成对应的时空修复图;在修复过程中仅更新时空修复图内的隐变量,保留正常角色区域、背景区域及其他已验收画面内容,避免因整镜头重新生成而引入新的画面偏差。经修复验收后的终端角色状态继续传递至后继镜头,由此形成“锚点选择—双支路生成—残差检测—来源判定—局部修复—状态反馈”的闭环,在提高短剧角色身份一致性和跨镜头连续性的同时,减少重复生成范围和模型推理次数,降低视频生成所需的计算资源及处理时间。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com