基于标签统计和结果后处理的目标检测系统运行时监测方法与流程

1.本发明涉及智能软件分析与测试领域，特别是涉及一种基于标签统计和结果后处理的目标检测系统运行时监测方法。


背景技术：

2.目标检测系统是人工智能技术的重要应用之一，在解决复杂问题的大规模系统中是目标物体识别，环境认知与理解等重要任务的核心部分，在机器人、自动驾驶、工业制造等领域都被广泛采用。
3.近些年来，随着社会所产生数据量的增加，芯片计算能力的提升，以及相关算法的不断演进，以深度神经网络为基础的数据驱动的一类人工智能技术得到了迅速发展。随着深度学习技术在诸多领域的表现远超传统算法，它在目标检测系统中被广泛用于传感器的数据处理以及定位、检测等任务，并逐渐成为主流的算法。然而，由于数据的不完备性和深度学习技术本身的“黑箱性质”，与传统算法相比，使用深度学习技术的系统在实际运行时更有可能产生与预期不一致的结果，进而造成安全性问题。如kevin eykholt等人曾使用胶带对“停止”的交通标志进行物理层面的扰动，使得交通标志分类系统在多个角度都将“停止”标志误分类为“80公里限速”标志，这样的分类结果对后续系统的决策非常危险。除此以外，在实际的应用场景中，深度神经网络在连续的数据中对目标的检测结果还可能存在时序的不一致性问题：如2018年发生的uber无人驾驶汽车撞击路人事故，在事故前5秒内，该车辆的智能视觉感知系统对于该路人的预测在“车辆”、“自行车”、“未知”三个类别中不断变换，使得后续的决策系统无法做出合理的抉择，最终导致该路人在事故后不治身亡。
4.对于增强目标检测系统的可靠性，运行时监测是一种可行的技术手段。本发明提出一种基于标签统计和结果后处理的运行时监测方法对运行中的目标检测系统进行实时监测，一旦系统的行为违反某些规则，就立即给予警告。使用运行时监测器对目标检测系统进行监控，可以对深度神经网路的决策行为进行分析，对可能的异常决策提出预警，提升了目标检测系统的安全性和可靠性。与目前已有的仅基于跟踪算法的监测方法相比，本发明提出方法的不同之处在于合理利用了已标注的数据，对相同传感器设置下的目标检测系统构建起了先验知识，从而实现更多异常类型的监测。


技术实现要素：

5.本发明针对的是目标检测系统准确率不高的问题，提出了一种基于标签统计和结果后处理方法，能够在目标检测系统运行时刻发现其异常，并及时给出预警。
6.为了实现本发明的目的，采用的技术方案概述如下：
7.一种基于标签统计和结果后处理的目标检测系统运行时监测方法，其步骤包括：
8.1)基于已标注的样本目标，生成检测目标的先验知识；
9.2)基于第i帧图像中新检测目标的目标检测框，构建该新检测目标的监测序列，其中i≥1；
10.3)针对第j帧图像中各检测目标，利用先验知识监测当前检测框的合法性，基于监测序列监测检测目标异变，其中j≥2，j>i。
11.进一步地，先验知识包括：每一类检测目标的检测框平均尺寸和类型可达区域。
12.进一步地，通过以下步骤监测检测框的合法性：
13.1)记录当前检测框尺寸与位置，并利用检测器获取当前检测框的类别；
14.2)利用该类别检测框平均尺寸，判断当前检测框尺寸是否异常，并利用类型可达区域，判断当前检测框位置是否异常，以监测检测框的合法性。
15.进一步地，通过以下步骤构建该新检测目标的监测序列：
16.1)获取第i帧图像中新检测目标的目标检测框m
i
，记录目标检测框m
i
的尺寸，并利用检测器，得到目标检测框m
i
的类别；
17.2)提取目标检测框m
i
的梯度直方图特征；
18.3)对设置的丢失时间信息进行初始化；
19.4)基于目标检测框m
i
的尺寸、类别、梯度直方图特征及丢失时间信息，构建新检测目标的监测序列。
20.进一步地，通过以下步骤监测检测目标异变：
21.1)通过对目标检测框m
i
的梯度直方图使用核相关滤波方法，生成目标跟踪框，以对当前检测框进行跟踪；
22.2)基于目标检测框m
i
与当前检测框的尺寸，使用iou优先的匹配算法，将目标跟踪框与当前检测框进行匹配；
23.3)若存在未匹配的目标跟踪框，或匹配的当前检测框与目标跟踪框中检测框类别不一致，则监测到检测目标发生异变。
24.进一步地，基于丢失时间信息，删除超过设定阈值的目标跟踪框。
25.进一步地，若当前检测框不合法，则发出类型一告警。
26.进一步地，若监测到检测目标异变，则发出类型二告警。
27.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上所述方法。
28.一种电子装置，包括存储器和处理器，其中存储器存储执行以上所述方法的程序。
29.与现有技术相比，本发明具有以下优点：
30.本发明所提出方法的优势之处在于，使用目标跟踪算法建立监测信息的同时，合理利用了已标注的数据，对相同传感器设置下的目标检测系统构建起了先验知识，从而实现更多异常类型的监测。
附图说明
31.图1是本发明方法实现的总体流程图。
32.图2是本发明方法在实施例中的起始图像。
33.图3是本发明方法在实施例中的异常检测结果一。
34.图4是本发明方法在实施例中的异常检测结果二。
具体实施方式
35.本发明提出的涉及一种基于标签统计和结果后处理的目标检测系统运行时监测方法，可以监测到检测框位置异常、检测框大小异常、目标预测类别改变、目标丢失的异常现象，并发出警告。
36.本发明的目标检测系统运行时监测方法，如图1所示，包括以下步骤：
37.1)目标检测系统运行前，提取在相同传感器设置下已标注的检测数据，通过统计的方法，建立被检测目标的先验知识；
38.2)目标检测系统运行后，保存第一帧图像的检测结果，其中包含物体检测框坐标、所属类别，并对检测框内的像素进行特征提取，为每一个目标构建包含历史信息的监测序列，该序列的历史信息包含整体信息和详细信息，其中整体信息包含物体出现的时刻(具体图像帧编号)、到目前时刻的丢失时间长度，详细信息包含从出现时刻开始，物体不丢失情况下，每一时刻(图像帧)的物体检测框坐标、所属类别以及置信度信息；
39.3)对第二帧开始的每一帧图像首先根据步骤1)中的先验知识，对每一个检测框的合法性进行监测，对检测框位置、尺寸异常发出类型一警告；
40.4)在步骤3)的基础上使用步骤2)构建的监测序列，将当前合法的检测目标与记录的序列进行匹配，对目标预测类别改变、目标丢失发出类型二警告；
41.5)在步骤3)和4)的基础上对监测序列进行数据更新，删除长时间未能匹配的序列，并为新目标添加新的监测序列；
42.6)最终得到从第二帧图像开始，每一帧图像目标检测结果是否异常的类型一警告：包含检测框位置异常、检测框大小异常，和类型二警告，包含：目标预测类别改变、目标丢失。
43.进一步地，所述步骤1)具体包括以下步骤：
[0044]1‑
1)将传感器所获取的图像划分为若干子区域；
[0045]1‑
2)将已标注的检测数据的检测框按中心点的位置，划分至相应的子区域；
[0046]1‑
3)对于每个类别的已标注目标，记录该目标所在子区域，以及该目标检测框的平均尺寸；
[0047]1‑
4)基于每一类别的目标所在子区域，获取该类型目标的类型可达区域；
[0048]1‑
5)将每一类的类型可达区域与目标检测框平均尺寸，视为被检测目标的先验知识。
[0049]
进一步地，所述步骤2)具体包括以下步骤：
[0050]2‑
1)目标检测系统开始运行后，获取系统对第一帧图像的检测框；
[0051]2‑
2)对第一帧图像的检测框内的像素，提取其梯度直方图特征；
[0052]2‑
3)对第一帧图像的检测框，记录其检测框尺寸、类别(包含在检测器输出结果内)、丢失时间信息(若无丢失情况则为0)，并与步骤2
‑
2)中的特征一起，为每一个目标构建监测序列；
[0053]
进一步地，所述步骤3)具体包括以下步骤：
[0054]3‑
1)对从第二帧开始的图像，首先获取系统对该图像的检测框，
[0055]3‑
2)对提取的检测框，按其类别，使用步骤1
‑
4)记录的类型可达区域，判断当前检测框位置是否异常，使用记录的平均检测框尺寸判断当前检测框尺寸是否异常，合并发出
类型一警告，其中包含异常位置、异常尺寸两项(若有则为发生异常的具体位置，若无则为空)；
[0056]
进一步地，所述步骤4)具体包括以下步骤：
[0057]4‑
1)对每一个监测序列中步骤2
‑
2)生成的特征，使用核相关滤波方法进行跟踪，产生目标跟踪框；
[0058]4‑
2)使用iou(intersection over union，检测框的交并比)优先的匹配算法，结合记录的检测框尺寸比例，计算相似度，匹配检测框和跟踪框，得到匹配的检测框和跟踪框(监测序列)、未匹配的检测框、未匹配的跟踪框(监测序列)三类；
[0059]4‑
3)对于匹配的检测框和跟踪框，监测当前检测框目标类别与步骤2
‑
3)记录的监测序列中上一时刻记录的类别是否相同，若不同则发出警告；
[0060]
进一步地，所述步骤5)具体包括以下步骤：
[0061]5‑
1)对于每个未匹配的检测框，按步骤2
‑
3)构建监测序列；
[0062]5‑
2)对于每个未匹配的跟踪框(监测序列)，发出警告，且与步骤4
‑
3)合并为类型二警告，其中包含物体类别改变、物体丢失两项(若有则为发生异常的具体位置，若无则为空)如果其丢失时间超出阈值，则删除该监测序列。
[0063]
进一步地，本方法的实施环境windows10或ubuntu18.04操作系统，装有python3.6解释器。
[0064]
下面以faster
‑
rcnn目标检测算法在kitti数据集上的工作场景为例，说明本发明的工作流程。
[0065]
a)我们使用kitti数据集已标注的视频片段建立先验知识；
[0066]
b)对一个三帧的测试片段中第一帧图像检测到的目标，依次建立监测序列；
[0067]
c)对第二帧所有被检测物体的多种类型异常做监测，并做可视化展示；
[0068]
d)对第三帧所有被检测物体的多种类型异常做监测，并做可视化展示。
[0069]
其中步骤b)的具体步骤为：如图2所示，该帧包含两个被检测到的目标，首先提取两个目标的检测框坐标，其次分别对两个检测框内的像素提取梯度直方图特征，最后记录下当前帧目标的类别(分别为汽车以及自行车)。
[0070]
其中步骤c)的具体步骤为：如图3所示，首先使用先验知识进行判断，未发现检测框位置和尺寸异常，而后经过跟踪器的预测结果和匹配，左侧物体在第二帧中的预测类别为厢型车，与第一帧中的预测类别不一致，因此发出类别变换警告(标签左侧圆点)。
[0071]
其中步骤d)的具体步骤为：如图4所示，首先使用先验知识进行判断，发现最左侧的检测框被分类为厢型车，其位置存在异常，因此发出位置异常警告(图片左侧与标签不同色的深色实线框)；而后经过跟踪器的预测结果和匹配，左侧物体在第三帧中的预测类别为汽车、1.0，与第二帧中的预测类别不一致，因此提出类别变换警告(标签左侧圆点)。
[0072]
综上，本发明使用目标跟踪算法建立监测信息的同时，合理利用了已标注的数据，对相同传感器设置下的目标检测系统构建起了先验知识，从而实现了目标检测系统多种类型异常的监测。
[0073]
上述仅以优选实施例对本发明进行说明，非因此即局限本发明的权利范围，因此，在不脱离本发明思想的情况下，凡运用本发明说明书及附图内容所为的等效变化，均理同包含于本发明的权利要求范围内。