一种基于关键帧抽取记录的视频标注校核方法与流程

摘要: 本申请实施例涉及计算机视觉和视频数据处理,特别涉及一种基于关键帧抽取记录的视频标注校核方法。背景技术:1、伴随着计算机视觉模型在安防监控、交通巡检、工业生产和设...
一种基于关键帧抽取记录的视频标注校核方法与流程

本申请实施例涉及计算机视觉和视频数据处理,特别涉及一种基于关键帧抽取记录的视频标注校核方法。

背景技术:

1、伴随着计算机视觉模型在安防监控、交通巡检、工业生产和设备运维等场景当中的运用,视频标注数据通常需要对视频里的目标类别、目标状态、目标动作或属性信息去进行逐帧或分段的标注;为了能够降低标注的工作量,现有的视频标注流程通常会先从原始视频当中抽取出关键帧,然后再由人工或自动标注系统,基于这些关键帧去生成标注结果,并且会把关键帧上的标注标签延续到相邻的非关键帧区间里去。

2、在关键帧抽取的过程当中,系统通常会依据全局画面相似度、帧间差异、去冗余规则、抽取数量限制或抽取优先级等条件,去确定是不是要保留候选帧;当候选帧没有被输出为最终关键帧的时候,关键帧抽取记录里仍然有可能会保留这个候选帧与代表关键帧之间的归属关系;然而,关键帧抽取所关注的,通常是整帧画面的代表性或差异程度,而视频标注所关注的,却可能是目标局部属性的变化;对于像人员安全帽、车辆车门、设备指示灯这类场景,即便目标的位置、尺寸和轮廓基本保持了稳定,目标区域内部的局部属性区域,也有可能已经发生了足以改变标签的变化。

3、现有的视频标注校核方法,大多关注的是标注格式、目标框连续性、标签前后一致性,或者关键帧与非关键帧之间的普通插值关系,它们很难去借助关键帧抽取记录里的被抑制候选帧,以及这些候选帧的代表关键帧归属关系,来识别出“目标几何稳定但属性区域已发生变化”的标签继承异常;这样一来,就会导致局部属性状态变化、细粒度违规状态或早期异常状态,被错误地标注为连续不变的状态,从而影响到后续模型训练数据的准确性以及模型的识别效果。

技术实现思路

1、本申请实施例提供了一种基于关键帧抽取记录的视频标注校核方法,它能够去针对那些因为整帧相似因而没有进入最终关键帧集合,但却依然保留了代表关键帧归属关系的被抑制候选帧,来对视频标注结果里的继承标签去进行校核,从而去识别出目标整体几何稳定,但属性区域已经发生了与继承标签相反切换的标注继承异常;技术方案如下文所述:

2、一方面,提供了一种基于关键帧抽取记录的视频标注校核方法,所述方法包括:

3、去获取待校核视频的关键帧抽取记录以及视频标注结果,其中,所述关键帧抽取记录里面包含有代表关键帧和被抑制候选帧,这里所说的被抑制候选帧,指的是由于与代表关键帧之间的整帧相似度满足了抑制条件,因而没有进入最终关键帧集合,并且还保留了代表关键帧归属关系的候选视频帧,而所述视频标注结果则包含有标注区间、标注对象区域和标注标签;

4、依据所述关键帧抽取记录以及所述视频标注结果,去确定出目标代表关键帧、归属于这个目标代表关键帧的目标候选帧,还有目标代表关键帧所对应的标注对象区域和继承标签;在目标候选帧当中,去确定出与标注对象区域相对应的目标区域;

5、在目标区域与标注对象区域满足了几何稳定条件的情况下,去确定目标区域内依据继承标签所确定的属性区域,并且去判断这个属性区域是否发生了与继承标签所对应属性状态不一致的标签切换;

6、当属性区域发生了所述标签切换,并且继承标签仍然覆盖着目标候选帧所在的标注区间时,就去生成属性标签继承异常的标注校核结果。

7、在一种可能实现的方式当中,所述关键帧抽取记录还包括被抑制候选帧的帧标识、代表关键帧的帧标识、整帧相似度、抑制原因或归属关系当中的至少一种;

8、所述抑制条件,指的是被抑制候选帧与代表关键帧之间的整帧相似度大于或等于预设相似度阈值,或者被抑制候选帧与代表关键帧之间的整帧差异值小于或等于预设差异阈值。

9、在一种可能实现的方式当中,去判断属性区域是否发生了与继承标签对应属性状态不一致的标签切换,它的过程包括:依据标签状态字典去确定出继承标签所对应的属性状态和相反属性状态;

10、当属性区域的当前属性类别对应于相反属性状态,并且置信度满足了预设置信度条件的时候,就去确定属性区域发生了标签切换;

11、或者,当属性区域相对于参考属性区域的特征差异满足了预设属性变化条件,并且变化方向对应于相反属性状态的时候,就去确定属性区域发生了标签切换。

12、在一种可能实现的方式当中,在生成属性标签继承异常的标注校核结果之前,依据背景同步变化、清晰度、遮挡比例和对象匹配稳定性当中的至少一种,来去执行误判排除工作;

13、当属性区域的变化属于由光照变化、压缩噪声、运动模糊、遮挡或目标匹配不稳定所导致的非标签相关变化的时候,就停止生成属性标签继承异常的标注校核结果,或者去输出人工复核提示。

14、本申请实施例所提供的技术方案,并不是去对普通非关键帧进行无差别校核,也不是去对普通的框偏移或自动标注失败进行重复检测,而是借助整帧相似抑制记录和代表关键帧归属关系,把校核对象限定在那些可能被继承标签所覆盖的被抑制候选帧上;在目标整体几何稳定的前提之下,进一步去校核属性区域是不是发生了相反标签切换,并且结合继承标签覆盖关系来输出异常结果;因此,本申请能够去提升视频标注校核的准确性,降低属性标签误继承和局部变化漏检的风险。

1.一种基于关键帧抽取记录的视频标注校核方法,其特征在于,所述方法包括:获取待校核视频的关键帧抽取记录和视频标注结果,所述关键帧抽取记录包括代表关键帧和被抑制候选帧,所述被抑制候选帧为因与所述代表关键帧之间的整帧相似度满足抑制条件而未进入最终关键帧集合、且保留代表关键帧归属关系的候选视频帧,所述视频标注结果包括标注区间、标注对象区域和标注标签;

2.根据权利要求1所述的方法,其特征在于,所述关键帧抽取记录还包括:所述代表关键帧的帧标识、所述被抑制候选帧的帧标识、最终关键帧集合标识、整帧相似度、整帧差异值、相似度阈值、抑制原因、抽取版本、抽取参数、归属关系或时间轴位置中的至少一种;

3.根据权利要求1所述的方法,其特征在于,所述获取待校核视频的关键帧抽取记录和视频标注结果之后,所述方法还包括:对所述关键帧抽取记录和所述视频标注结果执行时间轴统一处理;其中,所述时间轴统一处理包括帧号转换、时间戳转换、帧率换算、视频版本对齐或起始帧偏移校正中的至少一种。

4.根据权利要求1所述的方法,其特征在于,所述根据所述关键帧抽取记录和所述视频标注结果,确定目标代表关键帧、归属于所述目标代表关键帧的目标候选帧,包括:从所述视频标注结果中确定目标标注区间;

5.根据权利要求1所述的方法,其特征在于,所述确定所述目标代表关键帧对应的标注对象区域和继承标签,包括:从所述视频标注结果中读取与所述目标代表关键帧对应的对象标识、对象框坐标和标签类别;

6.根据权利要求1所述的方法,其特征在于,所述在所述目标候选帧中确定与所述标注对象区域对应的目标区域,包括:根据对象标识、目标跟踪结果、区域匹配结果或区域重合度中的至少一种,在所述目标候选帧中确定候选对象区域;

7.根据权利要求1所述的方法,其特征在于,所述几何稳定条件包括:中心点偏移条件、面积变化条件和区域重合条件中的至少一种;

8.根据权利要求1所述的方法,其特征在于,所述确定所述目标区域内根据所述继承标签确定的属性区域,包括:根据标签状态字典,确定所述继承标签对应的继承属性状态和相反属性状态;根据标签、属性区域、继承属性状态和相反属性状态之间的映射关系,确定所述继承标签对应的属性区域定位规则;根据所述属性区域定位规则,并基于属性检测模型、部件检测结果、关键点检测结果或相对位置规则中的至少一种,在所述目标区域内确定属性区域候选结果;

9.根据权利要求8所述的方法,其特征在于,所述判断所述属性区域是否发生与所述继承标签对应属性状态相反的标签切换,包括:获取所述目标代表关键帧中与所述属性区域对应的参考属性区域;通过属性分类模型确定所述属性区域的当前属性类别和当前置信度;

10.根据权利要求1所述的方法,其特征在于,所述误判排除规则包括:背景同步变化排除、清晰度排除、遮挡排除和对象匹配不稳定排除中的至少一种;其中,所述背景同步变化排除用于在所述属性区域的变化与背景对照区域或全局对照区域的变化同步时,确定所述属性区域的变化为非标签相关变化;