视频序列中目标物体标注结果的质检方法及系统与流程
本技术涉及机器学习,具体而言,本技术涉及一种视频序列中目标物体标注结果的质检方法及系统。
背景技术:
1、随着计算机视觉模型训练需求持续增长,全人工视频标注效率低、成本高的弊端日益凸显,基于标注传播的自动化视频标注技术逐步成为主流方案。
2、现有技术中,在视频序列的首帧上对目标物体进行标注;再基于帧间位置预测输出后续帧的目标边界区域,接收用户对预测结果的人工修正;通过识别预测结果与人工修正的差异,动态调整后续帧的目标预测逻辑,依托迭代修正优化帧间标注传播精度,完成视频序列标注生成与优化。
3、然而,现有技术存在以下缺陷:其一,质检校验机制存在短板,仅以初始标注或静态预存图像为单一基准,依托单追踪链匹配度生成置信度信号,无法检出首帧语义错标、模型同类干扰物漂移等失效问题,假阴性缺陷突出;其二,降本增效效果受限,仅能定位可疑标注帧并引导人工审核,无法免除正常帧审核流程,人工工作量与视频总帧数呈线性相关,无法实现标注审核工作量的有效降低。
技术实现思路
1、本技术实施例提供了一种视频序列中目标物体标注结果的质检方法及系统,以解决现有技术中无法检出首帧语义错标、同类干扰物漂移以及假阴性高的技术问题。
2、根据本技术实施例的第一方面,提供了一种视频序列中目标物体标注结果的质检方法,所述视频序列为机器人操作目标物体的视频序列;所述方法包括:
3、对视频序列的首帧进行语义锚定,得到首帧锚点;以及,对尾帧执行语义锚定,得到尾帧锚点;其中,首帧的语义锚定输入与尾帧的语义锚定输入不包括对方的锚点,且不将对方的锚点作为自身语义锚定的候选框、初始框、注意力提示或限定搜索区域;
4、获取所述机器人的关节状态,对所述关节状态进行正运动学解算得到机械手位姿;基于所述机械手位姿以及相机标定参数,将所述机械手位姿投影至所述尾帧的图像平面,得到所述目标物体在最后一帧中的应然区域;基于所述应然区域,对所述尾帧锚点施加位置约束;
5、以所述首帧锚点为提示,沿时间递增方向传播,得到前向轨迹;以及,以所述尾帧锚点为提示,沿时间递减方向传播,得到反向轨迹;所述前向轨迹和所述反向轨迹包括每个视频帧内所述目标物体的标注结果,所述标注结果为所述目标物体的边界框;
6、对于每个中间帧,基于所述前向轨迹的目标物体的边界框以及所述反向轨迹的目标物体的边界框,确定一致性度量,所述一致性度量用于指示所述前向轨迹的标注结果与反向轨迹的标注结果之间的匹配程度;根据各个中间帧的一致性度量,确定综合一致性评分;
7、基于所述综合一致性评分与门禁阈值,对所述目标物体的标注结果进行质检。
8、作为一种可选的实施方式,所述视频序列的首帧和尾帧的语义锚定采用两个不同的视觉语言模型或两个不同的传播器。
9、作为一种可选的实施方式,所述基于所述应然区域,对所述尾帧锚点施加位置约束包括:
10、当所述尾帧的语义锚定输出多个属于同一类别的候选标注时,保留中心点落入所述应然区域的候选标注,并选取中心点到所述应然区域的几何中心距离最小的候选标注作为所述尾帧锚点。
11、作为一种可选的实施方式,所述基于所述应然区域,对所述尾帧锚点施加位置约束还包括:
12、若所述中心点未落入所述应然区域,且所述尾帧锚点与所述应然区域的交叠面积占所述尾帧锚点面积的比例小于交叠比例阈值,判定所述尾帧的语义锚定存在错误,并对所述尾帧重新进行语义锚定。
13、作为一种可选的实施方式,所述基于所述应然区域,对所述尾帧锚点施加位置约束还包括:
14、确定所述应然区域中所述机器人的手部区域,所述手部区域由所述机械手的几何模型投影至所述图像平面得到;
15、根据所述手部区域与所述尾帧锚点的交叠面积占所述尾帧锚点面积的比值,得到遮挡比例;
16、基于所述遮挡比例,对所述尾帧锚点的基准置信度进行折减,得到所述尾帧锚点的置信度;其中,所述首帧锚点的置信度小于所述尾帧锚点的基准置信度。
17、作为一种可选的实施方式,所述基于所述前向轨迹的目标物体的边界框以及所述反向轨迹的目标物体的边界框,确定一致性度量包括:
18、基于所述前向轨迹的目标物体的边界框,确定所述前向轨迹的目标物体的边界框的第一中心点和第一面积;
19、基于所述反向轨迹的目标物体的边界框,确定所述反向轨迹的目标物体的边界框的第二中心点和第二面积;
20、基于所述第一面积与所述第二面积,确定交并比以及面积比;以及,基于所述第一中心点以及所述第二中心点,确定归一化中心距离;
21、其中,所述交并比为两个边界框交集面积与并集面积之比;所述面积比为两个边界框的面积比值;所述归一化中心距离为所述第一中心点与所述第二中心点距离的归一化数值。
22、作为一种可选的实施方式,所述根据各个中间帧的一致性度量,确定综合一致性评分包括:
23、基于各个中间帧的一致性度量,确定加权聚合分量;所述加权聚合分量包括第一分量、第二分量、第三分量、第四分量和第五分量中的至少一者;
24、基于各个加权聚合分量以及对应的权重,得到综合一致性评分;
25、其中,所述第一分量为各个中间帧上所述第一面积与所述第二面积的交并比的平均值;所述第二分量为各个中间帧对应的交并比的最小值,或预设百分位数对应的交并比;所述第三分量为所述交并比时序曲线的形态判别量,所述形态判别量由交并比低于低位阈值的中间帧构成的集合中最长连续帧段的长度确定,且所述形态判别量随所述最长连续帧段的长度增大单调非增;所述第四分量是基于各个中间帧的第一中心点与第二中心点的距离经特征长度归一化得到的;所述第五分量是基于各个中间帧的所述第一面积与所述第二面积的比值得到的。
26、作为一种可选的实施方式,在确定所述最长连续帧段的长度之前,所述方法还包括:
27、基于各个中间帧的交并比与低位阈值进行比较,得到二值指示序列;
28、将所述二值指示序列作形态学闭运算,合并间隔不超过设定帧数的相邻低位帧段;其中,所述低位帧段内的中间帧的交并比小于所述低位阈值。
29、作为一种可选的实施方式,若时间递增方向传播和时间递减方向传播的输出为掩膜时;所述加权聚合分量还包括第六分量,所述第六分量为所述前向轨迹与所述反向轨迹的掩膜在各个中间帧上交并比的平均值。
30、作为一种可选的实施方式,所述门禁阈值包括第一门禁阈值和第二门禁阈值,且所述第二门禁阈值小于所述第一门禁阈值;
31、所述基于所述综合一致性评分与门禁阈值,对所述目标物体的标注结果进行质检包括:
32、当所述综合一致性评分大于所述第一门禁阈值时,自动采纳所述目标物体的标注结果;
33、当所述综合一致性评分不大于所述第一门禁阈值且不小于第二门禁阈值时,确定发散帧区间集合;对所述发散帧区间集合内的目标物体的标注结果进行人工审核,并自动采纳所述发散帧区间集合外的目标物体的标注结果;
34、当所述综合一致性评分小于所述第二门禁阈值时,判定首帧语义锚定与尾帧语义锚定指向不同物体,将所述视频序列退回重新锚定。
35、作为一种可选的实施方式,所述确定发散帧区间集合包括:
36、对各个中间帧的一致性度量作阈值化处理,得到二值指示序列;
37、对所述二值指示序列作形态学闭运算,合并间隔不超过设定帧数的相邻发散帧段;
38、剔除长度小于最短区间长度的发散帧段,得到剩余发散帧段;
39、基于所述剩余发散帧段以及各剩余发散帧段两侧预设数量的上下文帧,确定发散帧区间集合。
40、作为一种可选的实施方式,所述对所述发散帧区间集合内的目标物体的标注结果进行人工审核包括:
41、将所述发散帧区间集合的各发散帧区间按区间内一致性度量的均值进行升序排列;
42、对于发散帧区间中的每个中间帧,由人工在所述中间帧的前向轨迹的目标物体的标注结果和反向轨迹的目标物体的标注结果中择一选择正确的标注结果,或者判定两者均不是正确的标注结果。
43、作为一种可选的实施方式,所述第一门禁阈值通过以下方式确定:
44、确定坏标注漏检率上界;在标注过的校准集中,提取被判定为坏标注的样本子集的综合一致性评分,将所述综合一致性评分的经验分位数作为第一门禁阈值;
45、其中,所述经验分位数的分位数级别基于所述坏标注漏检率上界与所述样本子集的样本量确定,以使得坏标注被归入自动采纳的概率不超过所述坏标注漏检率上界。
46、作为一种可选的实施方式,所述综合一致性评分大于第一门禁阈值,所述对所述目标物体的标注结果进行质检之后还包括:
47、对于每个中间帧,将所述中间帧的前向轨迹的目标物体的标注结果与反向轨迹的目标物体的标注结果进行加权融合,得到最终的标注结果;
48、其中,每个中间帧的融合权重按下述方式确定:所述前向轨迹的权重随所述中间帧到首帧的时间距离增大而单调减小,所述反向轨迹的权重随所述中间帧到尾帧的时间距离增大而单调减小;并且,所述前向轨迹与所述反向轨迹的权重分别与对应锚点的置信度正相关。
49、根据本技术实施例的第二方面,提供了一种视频序列中目标物体标注结果的质检系统,所述视频序列为机器人操作目标物体的视频序列;所述系统包括:
50、双端语义锚定模块,用于对视频序列的首帧进行语义锚定,得到首帧锚点;以及,对尾帧执行语义锚定,得到尾帧锚点;其中,首帧的语义锚定输入与尾帧的语义锚定输入不包括对方的锚点,且不将对方的锚点作为自身语义锚定的候选框、初始框、注意力提示或限定搜索区域;
51、本体几何先验模块,用于获取所述机器人的关节状态,对所述关节状态进行正运动学解算得到机械手位姿;基于所述机械手位姿以及相机标定参数,将所述机械手位姿投影至所述尾帧的图像平面,得到所述目标物体在最后一帧中的应然区域;基于所述应然区域,对所述尾帧锚点施加位置约束;
52、双向传播模块,用于以所述首帧锚点为提示,沿时间递增方向传播,得到前向轨迹;以及,以所述尾帧锚点为提示,沿时间递减方向传播,得到反向轨迹;所述前向轨迹和所述反向轨迹包括每个视频帧内所述目标物体的标注结果,所述标注结果为所述目标物体的边界框;
53、一致性评分模块,用于对于每个中间帧,基于所述前向轨迹的目标物体的边界框以及所述反向轨迹的目标物体的边界框,确定一致性度量,所述一致性度量用于指示所述前向轨迹的标注结果与反向轨迹的标注结果之间的匹配程度;根据各个中间帧的一致性度量,确定综合一致性评分;
54、分流质检模块,用于基于所述综合一致性评分与门禁阈值,对所述目标物体的标注结果进行质检。根据本技术实施例的第三方面,提供了一种电子设备,包括:存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现第一方面中任一项所述的方法。
55、根据本技术实施例的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一项所述的方法。
56、根据本技术实施例的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如第一方面中任一项所述的方法。
57、本技术实施例提供的技术方案带来的有益效果是:
58、本技术实施例提供了一种视频序列中目标物体标注结果的质检方法及系统。本技术实施例中,在视频序列的首帧和尾帧上分别执行语义锚定,得到首帧锚点和尾帧锚点;两次锚定在决策上互不参照;随后以首帧锚点为提示沿时间正序传播得到前向轨迹,以尾帧锚点为提示沿时间逆序传播得到反向轨迹;对于每个中间帧,基于前向轨迹的目标物体的标注结果以及反向轨迹的目标物体的标注结果,确定一致性度量,并根据一致性度量对整段标注结果,确定综合一致性评分;根据综合一致性评分对目标物体的标注结果进行质检。本技术实施例通过在首帧和尾帧的执行相互独立的语义锚定,并将两次相互独立的语义锚定所引出的轨迹在中间帧上进行印证,能够有效检出首帧语义锚定错误以及受同类干扰物漂移导致的失效,降低假阴性率,提升了标注结果的质检准确性与可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com