一种基于知识图谱的新闻视频剪辑素材编排方法及系统与流程
本发明属于新闻素材管理及新闻自动剪辑,具体涉及一种基于知识图谱的新闻视频剪辑素材编排方法及系统。
背景技术:
1、在新闻视频制作过程中,编辑人员通常需要根据新闻正文内容,从素材库中查找并选择现场画面、发布会画面、采访同期声、历史资料、空镜、图片、图表等素材,再按照新闻表达逻辑将这些素材组织成可以剪辑的视频时间线。该过程不仅要求素材与正文在语义上相关,还要求素材能够支持正文所描述的新闻事实,并且不能在时间、地点、主体、事件类型或来源上产生误导。
2、现有新闻视频自动剪辑方法通常通过关键词、标签、向量相似度、画面识别结果、字幕文本或大模型生成结果来完成素材召回和排序。这类方法能够提高素材检索效率,但更多关注文本与素材是否相似,较少关注素材是否能够证明正文事实、是否适合放在当前正文片段的位置,以及是否存在资料画面、历史事件画面或相似事件画面误用于当前新闻事实的风险。
3、因此,现有剪辑方案通常仍存在以下问题:一是仅依赖相似度或标签匹配,难以判断素材是否能够直接证明正文中的新闻事实;二是对新闻正文事实和素材事实缺少统一的图谱化数据结构,难以稳定识别时间冲突、地点冲突、主体冲突或事件类型冲突;三是缺少面向新闻剪辑场景的证据支持关系分层和冲突门控处理;四是输出结果往往停留在素材列表或排序结果,不能稳定生成可解释的剪辑推荐时间线。
技术实现思路
1、为了解决上述现有的新闻视频自动剪辑方法中存在的问题,本发明提供了一种基于知识图谱的新闻视频剪辑素材编排方法及系统。
2、为了解决上述技术问题,本发明所采用的技术方案为:
3、第一方面,本发明提供了一种基于知识图谱的新闻视频剪辑素材编排方法,包括:
4、对素材库中的素材片段中进行多模态素材分析,获得素材事实要素;所述素材事实要素包括但不限于素材事件、素材来源、拍摄时间、拍摄地点、拍摄主体和运镜镜头;
5、对新闻正文进行正文片段划分和对应的正文事实要素抽取;所述正文事实要素包括但不限于事件、时间、地点和主体;
6、基于规范化的所述素材事实要素和规范化的所述正文事实要素构建知识图谱;
7、每个所述正文片段从所述素材库中召回候选素材片段;
8、基于所述知识图谱,比较所述正文片段与所述候选素材片段在事件类型、发生时间、发生地点、涉及主体和素材来源上的一致程度,分别生成证据支持关系和冲突关系并写入所述知识图谱;
9、根据所述知识图谱中的冲突关系和冲突等级,对所述候选素材片段进行核心事实素材、背景说明素材、转场素材、备用素材或禁止素材的标记;针对相同标记的候选素材片段,分别计算所述候选素材片段相对于所述正文片段的综合优先级;
10、根据标记结果和/或所述综合优先级,生成素材编排结果。
11、进一步的方案:所述知识图谱包括正文事实层和素材事实层;
12、对于所述正文事实层,包括:正文片段节点、事件节点、时间节点、地点节点和主体节点;其中,各节点之间的边为事实关系,包括:所述正文片段节点描述所述事件节点、所述事件节点发生于所述时间节点、所述事件节点发生于所述地点节点,以及所述事件节点涉及所述主体节点;
13、对于所述素材事实层,包括:素材片段节点、事件节点、时间节点、地点节点、主体节点、来源节点和镜头节点;其中,各节点之间的边为事实关系,包括:所述素材片段节点记录于所述事件节点、所述素材片段节点拍摄于所述时间节点、所述素材片段节点拍摄于所述地点节点、所述素材片段节点包含所述主体节点、所述素材片段节点来源于所述来源节点,以及所述素材片段节点包含所述镜头节点;
14、在召回所述候选素材片段后,所述正文事实层和所述素材事实层之间的边为所述证据支持关系或冲突关系。
15、进一步的方案:所述证据支持关系的类型包括:直接呈现、间接支持、弱相关或无支持;
16、所述冲突关系的类型包括:时间冲突、地点冲突、主体冲突、事件类型冲突或来源冲突。
17、进一步的方案:根据所述冲突关系,确定所述候选素材片段的冲突等级,并根据所述冲突等级对所述候选素材片段进行标记;
18、其中,当所述候选素材片段在时间、地点、主体、事件类型和来源方面均不存在所述冲突关系时,确定所述证据支持关系为直接呈现且所述冲突等级为无冲突,并将该候选素材片段标记为核心事实素材、背景说明素材、转场素材或备用素材;
19、当存在所述冲突关系中的所述候选片段部分信息不完整、识别置信度较低或尚存未确认的轻微差异,但未与的所述正文片段明确矛盾时,确定所述证据支持关系为间接支持且所述冲突等级为低风险冲突,并将该候选素材片段标记为转场素材或备用素材;
20、当所述候选素材片段与所述正文片段存在明确差异但属于与所述正文片段相关的历史资料、背景资料或同类事件资料时,确定所述证据支持关系为弱相关且所述冲突等级为限制性冲突,并将该候选素材片段标记为背景说明素材;
21、当所述候选素材片段与所述正文片段明显不符;或存在将其他时间、地点、主体或事件误认为当前新闻的冲突;或所述候选素材片段来源虚假、未经授权时,确定所述证据支持关系为无支持且所述冲突等级为禁止性冲突,并将该候选素材片段标记为禁止素材。
22、进一步的方案:所述候选素材片段相对于所述正文片段的综合优先级的计算公式为:
23、;
24、其中,所述p( )表示综合分值;所述s表示正文片段;所述v表示所述候选素材片段;所述e表示证据支持强度;所述i表示正文事实重要度;所述t表示正文事件时效性评分;所述l表示时间、地点和主体一致性评分;所述b表示素材来源属性评分;所述r表示素材画面表达质量评分;所述q表示素材镜头质量评分;所述c表示冲突等级;所述d表示所述候选素材片段相对于已选素材集合的相似度;所述至所述分别表示对应可配置的权重。
25、进一步的方案:对新闻正文进行正文片段划分并抽取对应的正文事实要素的步骤包括:
26、按照语义完整性、新闻段落功能和剪辑表达需要,将所述新闻正文划分为多个所述正文片段;针对每个所述正文片段,抽取正文事实要素包括事件、时间、地点、主体、重要度和事件时效性,并记录抽取置信度。
27、进一步的方案:所述素材库包括视频素材和对应的元数据;其中,所述元数据包括素材标题、人工标签、拍摄时间、拍摄地点、素材来源、授权状态、素材类型,以及是否为历史资料;
28、获得所述素材事实要素的步骤包括:
29、对所述视频素材进行镜头切分和关键帧抽取,获得可独立使用的素材片段;在所述素材片段中,对音频轨道进行语音识别,获得同期声文本;对画面文字进行ocr识别,获得画面文本;对画面进行镜头识别、主体识别、时间识别、地点识别和事件识别,并记录对应的识别置信度;将所述素材片段识别出的同期声文本、画面文本,以及镜头、主体、时间、地点和事件,结合所述元数据生成所述素材事实要素。
30、进一步的方案:所述素材编排结果包括正文片段与候选素材片段之间的对应关系、对应关系解释说明,以及剪辑推荐时间线;
31、所述剪辑推荐时间线包括对个按推荐剪辑顺序排列的时间线条目,每个时间线条目至少包括正文片段标识、素材片段标识、素材来源、素材的综合优先级、知识图谱说明、证据支持关系的类型、冲突关系的类型,以及素材使用限制说明。
32、进一步的方案:每个所述正文片段在召回候选素材片段的步骤包括:
33、基于所述正文片段的关键词、标签、全文检索结果、向量表示或知识图谱中的一种或组合,从所述素材库中召回所述候选素材片段。
34、第二方面,本发明提供了一种基于知识图谱的新闻视频剪辑素材编排系统,包括:
35、多模态素材分析模块,用于对素材库中的素材片段中进行多模态素材分析,获得素材事实要素;所述素材事实要素包括但不限于素材事件、素材来源、拍摄时间、拍摄地点、拍摄主体和运镜镜头;
36、新闻正文分析模块,用于对新闻正文进行正文片段划分和对应的正文事实要素抽取;所述正文事实要素包括但不限于事件、时间、地点和主体;
37、知识图谱构建模块,用于基于规范化的所述素材事实要素和规范化的所述正文事实要素构建知识图谱;
38、召回模块,用于每个所述正文片段从所述素材库中召回候选素材片段;
39、证据关系生成模块,用于基于所述知识图谱,比较所述正文片段与所述候选素材片段在事件类型、发生时间、发生地点、涉及主体和素材来源上的一致程度,生成证据支持关系并写入所述知识图谱;
40、冲突关系生成模块,用于基于所述知识图谱,比较所述正文片段与所述候选素材片段在事件类型、发生时间、发生地点、涉及主体和素材来源上的一致程度,生成冲突关系并写入所述知识图谱;
41、冲突门控模块,用于根据所述知识图谱中的冲突关系和冲突等级,对所述候选素材片段进行核心事实素材、背景说明素材、转场素材、备用素材或禁止素材的标记;
42、素材优先级计算模块,用于针对相同标记的候选素材片段,分别计算所述候选素材片段相对于所述正文片段的综合优先级;
43、以及,编排结果生成模块,用于根据标记结果和/或所述综合优先级,生成素材编排结果。
44、本发明的有益效果为:
45、本发明的提供一种基于知识图谱的新闻视频剪辑素材编排方法及系统,用于在规范化的正文事实要素与规范化的素材事实要素的基础上,构建正文事实与素材事实的知识图谱,并基于所述知识图谱生成证据支持关系和冲突关系;进一步通过对候选素材片段的标记和综合优先级计算,对候选素材片段进行分层选用、风险限制和排序编排,从而提高新闻视频自动剪辑中素材选择的事实一致性和使用合理性;同时也降低历史资料、相似事件画面或弱相关画面被误用为当前新闻事实画面的风险。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com