一种视频场景特征智能分析与理解方法及系统与流程
本发明涉及视频数据分析,具体是涉及一种视频场景特征智能分析与理解方法及系统。
背景技术:
1、随着视频数据量的爆发式增长,对视频内容进行自动化场景理解的需求日益迫切。现有技术通常采用基于全局颜色或纹理统计的镜头边界检测算法将视频切分为片段,再提取帧级特征与预定义的场景模板进行匹配以实现分类。
2、然而,这类方法在场景切分阶段仅依赖相邻帧间的像素级差异阈值,难以区分内容渐变转场与闪光灯等瞬时干扰,导致切分结果碎片化或遗漏;在特征表达阶段,往往将物体布局、空间关系与画面运动作为独立向量拼接处理,忽略了静态语义与动态信息之间的内在关联,且运动特征易受相机自身运动污染,使得后续比对时特征冗余、权重失当,最终造成场景类别判定准确率低且缺乏可解释性。
技术实现思路
1、本发明旨在提供一种视频场景特征智能分析与理解方法及系统,有效解决了现有技术在场景切分准确性、动静特征融合及判定可解释性方面的不足,实现了细粒度、高鲁棒且全程可追溯的视频场景智能理解。
2、为达到以上目的,本发明采用的技术方案为:一种视频场景特征智能分析与理解方法,包括:对输入视频解码为图像帧序列,以颜色直方表征与纹理直方表征计算相邻帧差异度,按差异度切分为场景片段并挑选主代表帧与副代表帧;对主代表帧与副代表帧进行物体检出得到物体清单,推导关系四元组清单,对相邻帧作全局运动补偿后差分统计运动方向直方与运动强度值,合并为多维特征集合;将物体清单与关系四元组清单转为场景知识图谱的节点与边,将运动信息转为运动活跃度与共同运动标注,片段时间信息写入图头;从图头抽取特征维度计算关联强度,依据关联强度合并剪枝并重算图头统计,比对场景概念库得到候选标注,建立概念节点与隶属边生成带权关联图;初始化节点置信度,沿边权多轮传播直至收敛,按候选概念聚合得到类别得分排序与支撑均值;依据类别得分排序与支撑均值确定场景类别,沿传播路径记录回溯依据链条,转写语义描述,连同片段时间信息打包输出。
3、与现有技术相比,本发明的有益效果在于:
4、本发明通过颜色与纹理双通道差异度自适应切分场景并筛选代表帧,结合全局运动补偿后的差分统计获取真实画面运动信息,将物体清单、关系四元组及运动活跃度统一构建为场景知识图谱,进而基于图头特征维度计算关联强度进行剪枝与概念库比对,生成带权关联图后经置信度传播聚合得到类别得分与支撑均值,最终确定场景类别并记录回溯依据链条以转写语义描述。有效解决了现有技术在场景切分准确性、动静特征融合及判定可解释性方面的不足,实现了细粒度、高鲁棒且全程可追溯的视频场景智能理解。
1.一种视频场景特征智能分析与理解方法,其特征在于,包括:
2.根据权利要求1所述的一种视频场景特征智能分析与理解方法,其特征在于,所述对输入视频解码为图像帧序列,以颜色直方表征与纹理直方表征计算相邻帧差异度,包括:
3.根据权利要求2所述的一种视频场景特征智能分析与理解方法,其特征在于,所述按差异度切分为场景片段,包括:
4.根据权利要求3所述的一种视频场景特征智能分析与理解方法,其特征在于,所述挑选主代表帧与副代表帧,包括:
5.根据权利要求1所述的一种视频场景特征智能分析与理解方法,其特征在于,所述对主代表帧与副代表帧进行物体检出得到物体清单,推导关系四元组清单,包括:
6.根据权利要求5所述的一种视频场景特征智能分析与理解方法,其特征在于,所述对相邻帧作全局运动补偿后差分统计运动方向直方与运动强度值,包括:
7.根据权利要求6所述的一种视频场景特征智能分析与理解方法,其特征在于,所述将运动信息转为运动活跃度与共同运动标注,片段时间信息写入图头,包括:
8.根据权利要求7所述的一种视频场景特征智能分析与理解方法,其特征在于,从图头抽取特征维度计算关联强度,依据关联强度合并剪枝并重算图头统计,比对场景概念库得到候选标注,建立概念节点与隶属边生成带权关联图,包括:
9.根据权利要求8所述的一种视频场景特征智能分析与理解方法,其特征在于,所述依据类别得分排序与支撑均值确定场景类别,沿传播路径记录回溯依据链条,转写语义描述,连同片段时间信息打包输出,包括:
10.一种视频场景特征智能分析与理解系统,其特征在于,用于实现如权利要求1-9任意一项所述的视频场景特征智能分析与理解方法,包括依次连接的帧检测与场景分割单元、多维特征提取单元、图谱构建单元、关联分析单元、图推理单元与结果输出单元;
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com