基于多粒度聚合与上下文记忆的视频剧本生成方法与流程
本发明涉及人工智能与多模态信息处理领域,特别涉及一种基于多粒度聚合与上下文记忆的视频剧本生成方法。
背景技术:
1、在影视创作领域,最终视频成品与原始剧本之间存在显著差异。导演二次创作、演员即兴发挥及后期剪辑等因素深刻影响叙事效果,使得基于视频成品逆向生成高保真剧本成为行业迫切需求。传统人工“拉片”分析方法效率低下、主观性强,无法满足规模化内容理解的需求。
2、现有自动化技术在处理长篇连续剧集时面临严峻挑战。基于信息压缩的记忆方法(如滚动摘要)通过递归概括传递上下文,但多次有损压缩会丢失关键细节(如伏笔道具、人物微表情),导致后续剧情逻辑断裂。基于固定窗口的切分方法因缺乏上下文感知,易切断完整叙事单元,且无差别处理造成计算资源浪费。简单的llm拼接方法则孤立描述各片段,无法维系长程依赖,生成内容逻辑混乱。
3、综上,现有技术均未能建立可供精确查询与推理的全局叙事模型,无法解决超长视频的剧本生成难题。
技术实现思路
1、本发明提供了一种基于多粒度聚合与上下文记忆的视频剧本生成方法,用以克服现有技术中存在的上述至少一个技术问题。
2、为达到上述目的,本发明的实施例采用如下技术方案:
3、第一方面,本发明提供了一种基于多粒度聚合与上下文记忆的视频剧本生成方法,包括:
4、获取原始视频数据,利用重叠切片算法对所述原始视频数据进行切分,生成若干视频切片;其中,所述重叠切片算法的重叠时长为利用预设的寻优算法预先计算确定的最小有效上下文时长;
5、构建全局叙事坐标系,根据所述全局叙事坐标系对所述视频切片进行从片段级到全剧级的逐层信息聚合,生成结构化的全局上下文记忆数据,所述全局上下文记忆数据包括全局实体关系库和叙事连续性图谱;
6、根据所述全局上下文记忆数据,利用预训练好的语言模型生成剧本初稿,对所述剧本初稿进行多维度校验与修正,获得剧本定稿。
7、在第一方面的一种可能的实现方式中,所述利用预设的寻优算法预先计算确定最小有效上下文时长,包括:
8、获取携带参考叙事起止时间标签的视频样本;
9、设定多个候选最小有效上下文时长值,根据每个所述候选最小有效上下文时长值,对所述视频样本进行切分,获得若干视频样本切片;
10、根据所述视频样本切片,分别计算每个所述候选最小有效上下文时长值对应的综合连贯性评分,所述综合连贯性评分至少包括语义连续性、实体一致性、逻辑因果性和叙事单元完整性中的一项或多项;
11、根据所述综合连贯性评分确定最优的所述最小有效上下文时长值。
12、在第一方面的一种可能的实现方式中,所述计算每个所述候选最小有效上下文时长值对应的综合连贯性评分,包括:
13、提取相邻两个所述视频样本切片的重叠部分的文本内容,计算两个所述文本内容之间的语义相似度,获得语义连续性评分;
14、统计前一个所述视频样本切片的片尾部分出现的第一实体以及相邻的后一个所述视频样本切片的片头部分出现的第二实体,计算所述第一实体和第二实体的重合率,获得实体一致性评分;
15、利用预设的规则模型检测相邻两个所述视频样本切片的边界处是否存在完整交互对,统计所述完整交互对占所有可能交互对的比例,获得逻辑因果性评分;
16、利用预设的场景边界检测模型,检测相邻两个所述视频样本切片的边界处是否存在未闭合叙事结构,统计所述未闭合叙事结构,获得叙事单元完整性评分;
17、对所述语义连续性评分、所述实体一致性评分、所述逻辑因果性评分和所述叙事单元完整性评分进行加权求和,获得所述综合连贯性评分。
18、在第一方面的一种可能的实现方式中,所述构建全局叙事坐标系,包括:
19、获取所述原始视频的文本梗概,提取所述文本梗概中的叙事要素,构建全局叙事坐标系;或,
20、通过分层采样策略对所述原始视频数据进行采样分析,生成初始全局叙事坐标系,所述初始全局叙事坐标系在所述对所述视频切片进行从片段级到全剧级的逐层信息聚合的过程中迭代优化。
21、在第一方面的一种可能的实现方式中,所述通过分层采样策略对所述原始视频数据进行采样分析,生成初始全局叙事坐标系,包括:
22、对所述原始视频数据进行扫描,提取元数据特征,所述元数据特征至少包括场景时长、对话密度、镜头切换频率、音频能量和角色共现频率中的一种或几种;
23、根据所述元数据特征,从所述原始视频数据中提取超过预设信息密度阈值的视频片段,获得候选采样视频片段集;
24、在所述候选采样视频片段集中进行均衡采样,生成代表性采样视频片段集;
25、提取所述代表性采样视频片段集中的叙事要素,构建初始全局叙事坐标系。
26、在第一方面的一种可能的实现方式中,所述根据所述全局叙事坐标系对所述视频切片进行从片段级到全剧级的逐层信息聚合,生成结构化的全局上下文记忆数据,包括:
27、对每个视频切片进行并行多模态分析处理,生成时间对齐的结构化速记日志初稿;
28、根据所述全局叙事坐标系,利用相关性评分算法对所述结构化速记日志初稿中的事件进行评分,根据评分结果对所述事件进行标记增强或剪枝降权,获得结构化速记日志定稿;
29、聚合所有的所述结构化速记日志定稿,生成结构化的全局上下文记忆数据。
30、在第一方面的一种可能的实现方式中,所述聚合所有的所述结构化速记日志定稿,生成结构化的全局上下文记忆数据,包括:
31、利用增量式共指消解和关系提取算法,构建全局实体关系库;
32、通过追踪关键实体的状态变迁并采用召回-排序-验证模型挖掘跨集因果关系链,构建图结构化的叙事连续性图谱。
33、在第一方面的一种可能的实现方式中,所述根据所述全局上下文记忆数据,利用预训练好的语言模型生成剧本初稿,包括:
34、根据所述全局上下文记忆数据,构建包含全局约束、关键事件序列及用户创作意图的提示数据包;
35、预定义所述语言模型的结构化输出格式;
36、将所述提示数据包输入所述语言模型,生成符合所述结构化输出格式并包含验证锚点字段的剧本初稿。
37、在第一方面的一种可能的实现方式中,所述对所述剧本初稿进行多维度校验与修正,获得剧本定稿,包括:
38、对所述剧本初稿进行多模态事实一致性校验和叙事逻辑连续性校验,获得校验结果;
39、分析所述校验结果,确定是否存在偏差锚点,若是,针对所述偏差锚点生成上下文感知的偏差修正指令;
40、根据所述偏差修正指令,控制所述语言模型对所述偏差锚点进行修正,获得剧本定稿。
41、在第一方面的一种可能的实现方式中,根据所述偏差修正指令,控制所述语言模型对所述偏差锚点进行修正,包括:
42、为所述偏差锚点设置迭代次数阈值以及为所述偏差修正指令赋予修正置信度评分;
43、若所述偏差锚点的迭代次数超过所述迭代次数阈值或所述修正置信度评分低于预设修正置信度评分阈值,则停止对所述偏差锚点的修正,生成修正日志并推送。
44、相较于现有技术,本发明至少具有如下有益效果:
45、本发明通过构建结构化的全局上下文记忆数据,将原始视频数据的核心叙事要素以近无损的结构化形式永久保存,使得在生成后期剧本时,能够精确回溯前序剧情,确保长程因果链完整,逻辑零漏洞,同时,全局上下文记忆数据作为可复用的数字资产,为未来的内容创作、分析与决策提供了全新的技术底座,极大地提升了其商业价值。
46、进一步的,本发明通过先构建全局叙事坐标系,后引导分析的策略,将发散搜索转化为收敛验证,避免了盲目分析,把指数级计算复杂度降维至线性级,大幅节约了计算资源和计算成本。
47、第二方面,本发明提供了一种基于多粒度聚合与上下文记忆的视频剧本生成系统,包括:
48、视频切片模块,用于获取原始视频数据,利用上下文感知的重叠切片算法对所述原始视频数据进行切分,生成若干视频切片;其中,所述重叠切片算法的重叠时长为利用预设的寻优算法预先计算确定的最小有效上下文时长;
49、上下文记忆构建与数据聚合模块,用于构建全局叙事坐标系,根据所述全局叙事坐标系对所述视频切片进行从片段级到全剧级的逐层信息聚合,生成结构化的全局上下文记忆数据,所述全局上下文记忆数据包括全局实体关系库和叙事连续性图谱;
50、剧本生成与校验模块,用于根据所述全局上下文记忆数据,利用预训练好的语言模型生成剧本初稿,对所述剧本初稿进行多维度校验与修正,获得剧本定稿。
51、第三方面,本发明提供了一种电子设备,包括:至少一个处理器以及至少一个存储器,其中,所述存储器上存储有计算机可读指令;所述计算机可读指令被一个或多个所述处理器执行,使得所述电子设备实现如第一方面任一实现方式中的基于多粒度聚合与上下文记忆的视频剧本生成方法。
52、第四方面,本发明提供了一种存储介质,其上存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行如第一方面任一实现方式中的基于多粒度聚合与上下文记忆的视频剧本生成方法。
53、可以理解地,上述提供的第二方面的系统,第三方面的电子设备,第四方面的存储介质所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com