一种基于角色关系的跨场景连贯性评测方法及系统
本发明涉及视频文件处理,具体涉及一种基于角色关系的跨场景连贯性评测方法及系统。
背景技术:
1、在视频叙事理解领域,连贯性评估是衡量视频叙事质量与逻辑严密性的重要手段,广泛应用于影视剧质量审核、智能剪辑、自动化视频摘要以及ai(artificialintelligence,人工智能)生成视频质量评价等场景。现有自动评估方法通常基于角色关系分析、情节图谱构建或场景一致性检测等技术路线开展研究。
2、然而,现有方案大多将角色关系简化为友好、敌对、中性等离散标签,或仅统计角色共现频率,难以刻画角色关系随剧情推进而发生的连续演化过程。同时,多数方法依赖复杂的场景边界检测算法进行片段划分,受镜头切换方式、光照变化以及剪辑风格影响较大,导致关系建模结果稳定性不足。此外,现有方案通常未有效区分主要角色与群演角色,将大量仅出现少数几次的低频角色纳入分析过程,容易引入无关噪声。对于不同角色对的重要程度差异,现有方法也缺乏有效建模机制,导致偶然同框的低频角色对可能对最终评估结果产生不合理影响。
3、因此,现有技术仍难以准确反映视频中角色关系的真实演化规律,难以实现稳定、客观且符合叙事逻辑的连贯性评估。
技术实现思路
1、为了解决现有技术中存在的上述问题,本发明提供了一种基于角色关系的跨场景连贯性评测方法及系统。本发明要解决的技术问题通过以下技术方案实现:
2、第一方面,本发明提供一种基于角色关系的跨场景连贯性评测方法,包括:
3、识别视频文件中每个片段的角色,根据每个角色的出现数据从识别出的角色中确定待分析角色;
4、对所述待分析角色中任意两个角色组成的角色对,确定各角色对在全部片段中的共同出现次数,并检测所述角色对在各片段中的交互事件,根据所述交互事件确定所述角色对在各片段中的关系状态,其中,所述关系状态用于表征所述角色对在所述片段中的交互关系;
5、根据所述角色对的索引、所述片段的索引和所述关系状态构建各所述角色对的输入特征张量;
6、通过预训练的对比演化原型网络对各所述角色对的输入特征张量进行连贯性评估,输出每个角色对的连贯性评分;
7、根据各所述角色对的共同出现次数,对所述各角色对的连贯性评分进行聚合,得到所述视频文件的连贯性评分。
8、第二方面,本发明提供一种基于角色关系的跨场景连贯性评测系统,包括:
9、待分析角色确定模块,用于识别视频文件中每个片段的角色,根据每个角色的出现数据从识别出的角色中确定待分析角色;
10、关系状态生成模块,用于对所述待分析角色中任意两个角色组成的角色对,确定各角色对在全部片段中的共同出现次数,并检测所述角色对在各片段中的交互事件,根据所述交互事件确定所述角色对在各片段中的关系状态,其中,所述关系状态用于表征所述角色对在所述片段中的交互关系;
11、特征张量生成模块,用于根据所述角色对的索引、所述片段的索引和所述关系状态构建各所述角色对的输入特征张量;
12、角色对的连贯性评估模块,用于通过预训练的对比演化原型网络对各所述角色对的输入特征张量进行连贯性评估,输出每个角色对的连贯性评分;
13、视频文件的连贯性评估模块,用于根据各所述角色对的共同出现次数,对所述各角色对的连贯性评分进行聚合,得到所述视频文件的连贯性评分。
14、与现有技术相比,本发明的有益效果在于:
15、本发明提供了一种基于角色关系的跨场景连贯性评测方法,该评测方法通过识别视频片段中的角色并根据出现数据筛选待分析角色,实现了对视频中核心角色的自动聚焦,排除了无关群演的干扰;通过检测角色对在各片段中的交互事件并确定其关系状态,构建了以角色对为基本单元、以时间为轴的精细化关系表征,解决了现有技术难以准确反映角色关系真实演化规律的问题;通过构建输入特征张量并经预训练的对比演化原型网络进行连贯性评估,实现了从角色关系演化数据到连贯性评分的端到端映射,无需人工定义评估规则,提升了评估的客观性和稳定性;最后,根据各角色对的共同出现次数对个体评分进行聚合,使高频互动的核心角色关系对全局评分产生主导性影响,从而更准确、客观地反映视频整体的叙事连贯质量。
16、以下将结合附图及实施例对本发明做进一步详细说明。
1.一种基于角色关系的跨场景连贯性评测方法,其特征在于,包括:
2.根据权利要求1所述的跨场景连贯性评测方法,其特征在于,识别视频文件中每个片段的角色,根据每个角色的出现数据从识别出的角色中确定待分析角色,包括:
3.根据权利要求2所述的跨场景连贯性评测方法,其特征在于,在对每个所述片段进行角色识别,得到每个所述片段出现的所有角色之后,还包括:
4.根据权利要求1所述的跨场景连贯性评测方法,其特征在于,对所述待分析角色中任意两个角色组成的角色对,确定各角色对在全部片段中的共同出现次数,并检测所述角色对在各片段中的交互事件,根据所述交互事件确定所述角色对在各片段中的关系状态,包括:
5.根据权利要求4所述的跨场景连贯性评测方法,其特征在于,检测所述当前角色对在当前片段中的交互事件,根据所述交互事件确定所述当前角色对在所述当前片段中的关系状态,包括:
6.根据权利要求1所述的跨场景连贯性评测方法,其特征在于,所述对比演化原型网络包括时序特征编码器和演化原型模块;
7.根据权利要求6所述的跨场景连贯性评测方法,其特征在于,通过所述时序特征编码器对各角色对的输入特征张量进行编码,提取各所述角色对的演化特征向量,包括:
8.根据权利要求6所述的跨场景连贯性评测方法,其特征在于, 所述transformer编码器由l个相同的编码层堆叠而成,每个所述编码层依次包括:
9.根据权利要求1所述的跨场景连贯性评测方法,其特征在于,根据各所述角色对的共同出现次数,对所述各角色对的连贯性评分进行聚合,得到所述视频文件的连贯性评分,包括:
10.一种基于角色关系的跨场景连贯性评测系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com