一种视频知识库构建方法及系统与流程
本发明涉及视频处理,尤其涉及一种基于自适应语义切分及多模态对齐的视频知识库构建方法及系统。
背景技术:
1、视频检索与知识问答是视频数据智能化应用的重要方向,在教学授课、设备维修实操、会议录播、工业现场操作等领域有广泛需求。基于此,如何从海量视频素材中快速定位目标事件、提取操作知识并回答业务相关问题,成为视频知识管理的核心挑战。
2、然而,在现有视频检索与问答系统中,通常采用固定时间窗口对原始视频进行切片拆分,再提取切片内的语音转录文本或少量抽样关键帧构建索引库。该处理方式未能充分考虑视频内部事件的自然语义边界,一个完整操作事件往往会被固定时间窗口强行截断,导致检索片段不完整、问答回答缺少完整证据链,将影响检索召回准确率和问答生成结果的可靠性。
技术实现思路
1、为克服相关技术中存在的问题,本技术提供一种基于自适应语义切分及多模态对齐的视频知识库构建方法及系统,能够在不依赖人工逐段标注的情况下保障视频知识单元的语义完整性,提升视频检索与问答系统的召回能力和回答一致性。
2、根据本技术实施例的第一方面,提供一种视频知识库构建方法,该方法包括以下步骤:
3、以预设时间窗口对原始视频均匀预切片以形成基础片段序列,对基础片段内的视频帧提取视觉特征向量并聚类,筛选代表性关键帧;
4、对相邻代表性关键帧计算语义相似度和颜色相似度,加权融合得到综合相似度序列;
5、基于所述综合相似度序列的统计特征生成自适应阈值,将综合相似度低于所述自适应阈值处标记为候选切分点,经后处理得到语义片段;
6、对所述语义片段进行多模态内容理解,生成视觉语义描述和语音转录文本并写入同一知识记录,基于所述知识记录构建多模态索引以执行检索问答。
7、在一些实施例中,所述对基础片段内的视频帧提取视觉特征向量并聚类,筛选代表性关键帧,包括:
8、对每个基础片段内的视频帧提取视觉特征向量;
9、将视觉特征向量相近的视频帧归入同一聚类簇,从每个聚类簇中选择距离聚类中心最近的视频帧作为所述代表性关键帧。
10、在一些实施例中,所述对相邻代表性关键帧计算语义相似度与颜色相似度,加权融合得到综合相似度序列,包括:
11、对相邻的代表性关键帧计算所述视觉特征向量的余弦相似度,得到所述语义相似度;
12、对相邻的代表性关键帧计算hsv颜色直方图相似度,得到所述颜色相似度;
13、按照综合相似度公式计算综合相似度,其中,ci为所述语义相似度,hi为所述颜色相似度,β为融合系数。
14、在一些实施例中,所述融合系数β通过以下方式确定:
15、构建包含多种类型视频且标注有语义边界的标注数据集;
16、以语义切分任务的f1分数为优化指标,对所述融合系数β的候选取值空间进行遍历;
17、针对每一个候选取值,完整运行帧间相似度计算和候选切分点检测,将算法输出的切分节点与所述标注数据集中的语义边界进行对比,统计切分精确率、召回率、过切分率和欠切分率;
18、在片段不过度碎片化且不产生超长片段的约束条件下,筛选得到所述融合系数β的最优取值区间。
19、在一些实施例中,所述基于所述综合相似度序列的统计特征生成自适应阈值,将综合相似度低于所述自适应阈值处标记为候选切分点,经后处理得到语义片段,包括:
20、计算所述综合相似度序列的均值μ和标准差σ;
21、按照阈值公式t=μ-α*σ生成所述自适应阈值,其中,α为阈值敏感系数;
22、响应于相邻关键帧的综合相似度低于所述自适应阈值t,标记为所述候选切分点;
23、对所述候选切分点执行后处理,其中,所述后处理包括相邻候选点合并、最短片段约束和首尾边界校正。
24、在一些实施例中,所述阈值敏感系数α通过以下方式确定:
25、固定融合系数β,其中,所述融合系数β为所述加权融合中语义相似度与颜色相似度的权重参数,对所述阈值敏感系数α的候选取值空间进行遍历;
26、针对每一组候选取值,完整执行自适应阈值计算、候选切分点筛选和所述后处理,将算法输出的片段边界与标注数据集中的语义边界进行对比,计算切分f1分数、片段平均时长、过切分率和欠切分率;
27、综合多维度评价指标筛选得到所述阈值敏感系数α的最优取值区间。
28、在一些实施例中,还包括:
29、获取输入视频的业务类型元数据;
30、根据所述业务类型元数据,从融合系数β的最优取值区间中选取适配该业务类型的β取值,以及从所述阈值敏感系数α的最优取值区间中选取适配该业务类型的α取值。
31、在一些实施例中,还包括:在所述后处理得到语义片段之后且在进行所述多模态内容理解之前,对所述语义片段执行二次编码以修复切分边界处的编码异常;
32、其中,所述二次编码包括规整编码格式和关键帧位置,以及修复切分边界处的首帧或尾帧损坏、音视频轨道不同步和时间戳不连续。
33、在一些实施例中,还包括:对检索问答得到的问答结果进行视频一致性验证;
34、其中,所述视频一致性验证包括:
35、将查询内容、所述问答结果以及检索得到的语义片段证据共同输入视觉语言模型评价器;
36、通过所述视觉语言模型评价器判断所述问答结果是否与所述语义片段中的视频内容一致;
37、响应于所述问答结果与所述视频内容不一致,对所述问答结果执行降级处理、重新检索处理或重新生成处理。
38、根据本技术实施例的第二方面,提供一种视频知识库构建系统,该系统包括:
39、预处理与关键帧筛选模块,配置为以预设时间窗口对原始视频均匀预切片以形成基础片段序列,并对基础片段内的视频帧提取视觉特征向量并聚类,筛选代表性关键帧;
40、相似度计算模块,配置为对相邻代表性关键帧计算语义相似度与颜色相似度并加权融合,得到综合相似度序列;
41、动态切分模块,配置为基于所述综合相似度序列的统计特征生成自适应阈值并标记候选切分点,经后处理得到语义片段;
42、内容理解与索引模块,配置为对所述语义片段进行多模态内容理解,生成视觉语义描述和语音转录文本并写入同一知识记录,并基于所述知识记录构建多模态索引以执行检索问答。
43、本技术的实施例提供的技术方案可以包括以下有益效果:
44、通过固定预切片与语义精分的分层架构,先以预设时间窗口预切片实现大批量视频可并行批处理,降低整体算力开销,再执行语义层面二次切分,保障每个知识单元内部事件语义完整。
45、通过视觉特征向量结合聚类完成关键帧筛选,剔除重复帧与无效过渡帧,减少后续编码、向量化与存储资源开销。通过语义相似度与颜色相似度的加权融合,避免单一视觉特征受光照、镜头切换干扰产生误判,提升切分节点检测稳定性。
46、通过数据驱动方式确定融合系数和阈值敏感系数,使阈值策略能够适配不同视频本身的相似度波动特性。通过视觉语义描述与语音转录文本在时间维度上对齐并写入同一知识记录,实现多模态信息互补覆盖。通过视觉语言模型评价器完成问答答案与视频证据的一致性自动核验,降低生成模型的幻觉问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com