一种分镜头自动拆解与关键帧生成方法及系统与流程
本发明涉及智能座舱与人机交互领域,尤其涉及一种分镜头自动拆解与关键帧生成方法、一种分镜头自动拆解与关键帧生成系统。
背景技术:
1、随着生成式人工智能技术快速发展,基于 ai 的图像生成工具已广泛应用于影视、创意内容、车载视觉素材等制作场景,当前主流内容生产流程普遍采用先由人工智能生成分镜脚本,再依托分镜脚本逐一生成分镜画面的模式,该模式虽可产出单张高质量图像,但在解析、处理专业分镜脚本时存在诸多固有缺陷,难以满足车载交互动画、自动驾驶仿真可视化、座舱数字人动效等工业级、高连续性视觉素材的批量制作需求。
2、首先,现有常规图像生成系统仅支持单张图像独立提示词输入,语义理解能力局限于静态画面描述,无法识别、解析分镜脚本中推镜、拉镜、跟拍、环绕、摇镜等专业镜头运镜语言,不能自动识别镜头运动轨迹、机位变化逻辑,无法根据运镜特征适配动态画面生成逻辑,仅能输出孤立静态图像,缺失镜头运动带来的画面递进关系。
3、其次,现有技术无法依据镜头动态信息自适应判定单支镜头所需关键帧数量,关键帧帧数完全依赖人工经验手动设定:低动态静态镜头易出现冗余关键帧,造成素材存储、渲染算力浪费;高速运动、多阶段变化的高动态镜头则易因帧数不足,丢失运动转折、风险高潮等核心画面节点,动态叙事逻辑断裂,该缺陷在车机动态预警动画、自动驾驶危险工况可视化场景中,还会带来驾驶员信息接收不完整、行车提示展示失效等安全隐患。
4、再者,传统图像生成工具缺少多帧联动的一致性约束机制,在同一镜头连续生成多帧关键帧时,极易出现角色主体、车辆外观、场景环境、光影色调、镜头逻辑漂移失真问题,无法保障连续画面中主体形象、场景氛围、光影风格统一,大幅提升后期人工修图、对齐校准的工作量,难以适配车机数字人、车型动态展示动画对画面连续性的严苛要求。
5、最后,现有图像生成流程缺少成套的项目化自动管理体系,关键帧生成完成后无标准化自动命名、分类归档、元数据留存功能,全部素材整理、版本记录工作依靠人工完成。当面向多车型、多座舱模式、多仿真工况批量生产车载视觉素材时,极易出现素材文件混乱、版本追溯困难、跨项目素材复用性差等问题,无法支撑车企工业化、标准化的视觉素材管线作业。
6、综上,现有 ai 图像生成方案侧重单张图片生成质量,未针对分镜脚本的专业镜头语义、动态分层逻辑、连续画面一致性、工程化素材管理做系统性架构设计,在车载智能座舱、自动驾驶仿真可视化等高可靠、批量化、强连续性视觉内容生产场景中落地受限,行业内亟需一套可自动解析镜头语言、自适应拆分关键帧、保障多帧主体统一并实现素材自动化管理的分镜关键帧智能生成方案。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种分镜头自动拆解与关键帧生成方法、一种分镜头自动拆解与关键帧生成系统,旨在通过解析分镜脚本中的镜头语义信息,根据镜头类型,动态程度,主体运动变化和镜头时长自动确定关键帧数量,并将动态镜头拆解为多个镜头阶段,分别生成对应的关键帧提示词,调用图像生成关键帧图像。实现分镜关键帧的自动生成,命名,保存和管理。
2、本发明提供了下述方案:
3、根据本发明的一个方面,提供了一种分镜头自动拆解与关键帧生成方法,包括以下步骤:
4、s1、获取标准化分镜脚本,所述分镜脚本包含镜头的运镜方式、主体动作、场景信息、光影信息及风格要求信息;
5、s2、通过人工智能语义解析模型对所述分镜脚本进行特征提取,得到镜头的运镜特征与主体动态特征;
6、s3、根据运镜特征与主体动态特征对镜头动态程度进行分级,自适应确定对应镜头的关键帧总数量,并将连续动态镜头拆解为多个依次衔接的镜头阶段;
7、s4、针对每个镜头阶段分别生成差异化的关键帧图像生成提示词;
8、s5、为同一镜头的全部关键帧提示词叠加全局一致性约束,得到各关键帧对应的最终生成提示词;
9、s6、自动调用图像生成系统,根据各关键帧的最终生成提示词批量生成对应的关键帧图像。
10、进一步的,标准化分镜脚本的获取方式包括:
11、直接输入结构化的分镜脚本;
12、输入自然语言形式的剧情概要与风格描述,由大语言模型自动解析并生成符合预设字段规范的标准化分镜脚本。
13、进一步的,特征提取的输出还包括镜头基础属性与视觉风格特征;
14、镜头基础属性包含镜头编号、镜头时长、景别及初始机位;
15、视觉风格特征包含场景环境、光影方向、色彩调性、情绪氛围以及美术风格。
16、进一步的,根据运镜与主体运动的组合状态,将镜头动态程度从低到高划分为四级:
17、低动态:无运镜且无主体运动;
18、中动态:仅存在运镜,或仅存在主体运动;
19、高动态:同时存在运镜与主体运动,运动幅度为中等;
20、极高动态:同时存在高速运镜与大幅度主体运动。
21、进一步的,关键帧数量与镜头阶段的映射规则为:
22、低动态镜头对应 1 个关键帧,划分为起始阶段;
23、中动态镜头对应 2 个关键帧,划分为起始、结束两个阶段;
24、高动态镜头对应 3 个关键帧,划分为起始、发展、结束三个阶段;
25、极高动态镜头对应 4 个关键帧,划分为起始、发展、高潮、结束四个阶段。
26、进一步的,预设有典型镜头与动态等级的匹配规则:
27、固定镜头匹配低动态等级;
28、慢速推拉镜头、固定镜头搭配主体运动匹配中动态等级;
29、跟拍镜头匹配高动态等级;
30、高速动作镜头、环绕镜头、长镜头匹配极高动态等级。
31、进一步的,每个关键帧的图像生成提示词包含正向画面描述、镜头语言、景别构图、光线设置、主体动作状态、美术风格、色彩调性、动态效果以及一致性约束标识;
32、相邻阶段的关键帧提示词保留主体与场景的基础约束,同时标注本阶段相对上一阶段的运镜轨迹变化与主体动作变化。
33、进一步的,全局一致性约束采用全局提示词约束与参考图锚定机制;
34、全局提示词约束包括:主体外观一致、角色服装一致、核心产品形态一致、场景环境一致、光线方向一致、色彩风格一致以及镜头逻辑一致。
35、进一步的,参考图锚定机制为:选取同一镜头中语义最完整、画面最具代表性的阶段帧作为基准参考帧,生成后续关键帧时将所述基准参考帧作为图像参考输入,以锚定主体形象与场景风格特征。
36、根据本发明的二个方明,提供了一种分镜头自动拆解与关键帧生成系统,包括:
37、分镜脚本获取模块、特征提取模块、镜头拆解模块、提示词生成模块、最终提示词生成模块及关键帧图像生成模块;
38、分镜脚本获取模块,用于获取标准化分镜脚本,所述分镜脚本包含镜头的运镜方式、主体动作、场景信息、光影信息及风格要求信息;
39、特征提取模块,用于通过人工智能语义解析模型对所述分镜脚本进行特征提取,得到镜头的运镜特征与主体动态特征;
40、镜头拆解模块,用于根据运镜特征与主体动态特征对镜头动态程度进行分级,自适应确定对应镜头的关键帧总数量,并将连续动态镜头拆解为多个依次衔接的镜头阶段;
41、提示词生成模块,用于针对每个镜头阶段分别生成差异化的关键帧图像生成提示词;
42、最终提示词生成模块,用于为同一镜头的全部关键帧提示词叠加全局一致性约束,得到各关键帧对应的最终生成提示词;
43、关键帧图像生成模块,用于自动调用图像生成系统,根据各关键帧的最终生成提示词批量生成对应的关键帧图像。
44、本发明与现有技术相比具有以下的优点:
45、本发明通过通过 ai 镜头语义解析模块,可自主识别分镜脚本中推镜、拉镜、跟拍、环绕等各类专业镜头语言,无需人工拆解运镜逻辑;针对车载座舱动画、adas 风险可视化、车型宣传短片等场景,仅输入自然语言脚本即可完成结构化解析,省去设计师人工梳理机位、运镜变化的工序,大幅缩短车机视觉素材前期制作周期。
46、本发明基于镜头类型、动态程度、主体运动幅度分级判定关键帧数量:低动态镜头仅生成少量关键帧,减少车机渲染负载、节省车载存储与流量;高动态、高风险预警镜头自动拆分为多阶段关键帧,完整还原运动全过程。一方面避免固定帧数造成的算力冗余或画面断层,保障车机仪表、中控、hud 动态提示动画流畅不卡顿;另一方面完整展示车辆工况、危险场景演变逻辑,保证驾驶员完整接收行车提示信息,提升行车安全性。
47、本发明采用全局一致性约束结合参考图锚定的双重控制机制,对同一镜头下所有关键帧统一约束主体外观、车辆形态、角色服饰、场景环境、光线色彩、镜头逻辑等核心视觉要素,从生成根源上解决传统方案连续多帧画面主体漂移、画风割裂、车辆造型失真的问题。应用于车机数字人交互动画、座舱迎宾动效、自动驾驶仿真序列素材时,无需人工逐帧校准修正画面,大幅减少后期修图人力投入,降低车企车载视觉素材的制作成本。
48、本发明实现关键帧图像自动化批量生成与标准化项目化管理,可自动对接各类云端、本地图像生成系统批量产出画面,并按照项目、镜头、帧序号规则自动命名、分级归档,同步留存镜头信息、提示词、生成参数等全套元数据。相较于现有技术无自动素材管理能力、依靠人工整理文件的模式,本发明可搭建标准化车载视觉素材库,实现素材可追溯、跨车型跨项目复用,适配车企多配置、多版本座舱视觉素材同步迭代的工业化生产需求,规范汽车行业数字内容生产管线,同时可同步支撑智能座舱交互、自动驾驶仿真数据集制作、车型营销短片分镜创作多类业务场景,拓宽生成式 ai 在汽车领域的落地应用范围。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com