交通异常检测装置、方法以及电子设备与流程

1.本技术实施例涉及视频处理技术领域。


背景技术：

2.交通监控系统现在被广泛使用，它可以检测多种交通事件，例如交通畅通、行驶缓慢、交通堵塞、发生交通事故，等等。大多数交通事件分析器需要使用目标检测器和目标跟踪器。
3.在这种类型的系统中，目标检测器非常重要。如果目标检测器无法连续检测到相同目标，则目标跟踪器将受到影响。例如，目标跟踪器丢失目标，或将已检测出的目标视为首次出现在检测区域中的新目标。再例如，有时大型车辆的遮挡也会影响目标跟踪的结果。
4.但是大多数时候，改进目标检测器将花费大量时间和精力。如何在尽量不改变目标检测器的基础上，使用简单结构和低成本工具来提高目标跟踪的准确性，是一个值得研究的课题。
5.应该注意，上面对技术背景的介绍只是为了方便对本技术的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本技术的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。


技术实现要素：

6.针对上述技术问题的至少之一，本技术实施例提供一种交通异常检测装置、方法以及电子设备，使用简单结构和低成本工具来提高目标跟踪的准确性。
7.根据本技术实施例的一个方面，提供一种交通异常检测装置，包括：
8.目标检测单元，其基于视频帧进行目标检测以获得目标信息，所述目标信息包括目标类型、边界框信息和置信度信息；
9.跟踪检测单元，其根据所述目标信息进行跟踪检测；其中，在主跟踪器检测到跟踪过程中出现新目标的情况下，使用辅跟踪器判断所述新目标是否为在检测区域中曾经出现过的目标；以及
10.异常确定单元，其根据检测出的目标的面积和所述检测区域的面积确定是否出现交通异常。
11.根据本技术实施例的另一个方面，提供一种交通异常检测方法，包括：
12.基于视频帧进行目标检测以获得目标信息，所述目标信息包括目标类型、边界框信息和置信度信息；
13.根据所述目标信息进行跟踪检测；其中，在主跟踪器检测到跟踪过程中出现新目标的情况下，使用辅跟踪器判断所述新目标是否为在检测区域中曾经出现过的目标；以及
14.根据检测出的目标的面积和所述检测区域的面积确定是否出现交通异常。
15.根据本技术实施例的另一个方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置为执行所述计算机程序而实现如下操作：
16.基于视频帧进行目标检测以获得目标信息，所述目标信息包括目标类型、边界框信息和置信度信息；
17.根据所述目标信息进行跟踪检测；其中，在主跟踪器检测到跟踪过程中出现新目标的情况下，使用辅跟踪器判断所述新目标是否为在检测区域中曾经出现过的目标；以及
18.根据检测出的目标的面积和所述检测区域的面积确定是否出现交通异常。
19.本技术实施例的有益效果之一在于：目标跟踪增加使用了辅跟踪器；在主跟踪器检测到跟踪过程中出现新目标的情况下，使用辅跟踪器判断所述新目标是否为在检测区域中曾经出现过的目标。由此，能够在尽量不改变目标检测器的基础上，使用简单结构和低成本工具来提高目标跟踪的准确性。
20.参照后文的说明和附图，详细公开了本技术实施例的特定实施方式，指明了本技术实施例的原理可以被采用的方式。应该理解，本技术的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本技术的实施方式包括许多改变、修改和等同。
21.针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
22.应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
23.所包括的附图用来提供对本技术实施例的进一步的理解，其构成了说明书的一部分，用于例示本技术的实施方式，并与文字描述一起来阐释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
24.图1是本技术实施例的交通异常检测方法的示意图；
25.图2是本技术实施例的交通异常检测的框架示意图；
26.图3是本技术实施例的目标跟踪单元的示意图；
27.图4是本技术实施例的目标跟踪检测的示意图；
28.图5是本技术实施例的交通异常检测装置的一示意图；
29.图6是本技术实施例的电子设备的示意图。
具体实施方式
30.参照附图，通过下面的说明书，本技术实施例的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本技术的特定实施方式，其表明了其中可以采用本技术实施例的原则的部分实施方式，应了解的是，本技术不限于所描述的实施方式，相反，本技术实施例包括落入所附权利要求的范围内的全部修改、变型以及等同物。
31.在本技术实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个
其他特征、元素、元件或组件。
32.在本技术实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据
……”
，术语“基于”应理解为“至少部分基于
……”
，除非上下文另外明确指出。
33.第一方面的实施例
34.本技术实施例提供一种交通异常检测方法。图1是本技术实施例的交通异常检测方法的示意图，如图1所示，该方法包括：
35.101，基于视频帧进行目标检测以获得目标信息，所述目标信息包括目标类型、边界框信息和置信度信息；
36.102，根据所述目标信息进行跟踪检测；其中，在主跟踪器检测到跟踪过程中出现新目标的情况下，使用辅跟踪器判断所述新目标是否为在检测区域中曾经出现过的目标；以及
37.103，根据检测出的目标的面积和所述检测区域的面积确定是否出现交通异常。
38.值得注意的是，以上附图1仅示意性地对本技术实施例进行了说明，但本技术不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图1的记载。
39.在一些实施例中，步骤101可以由目标检测器(object detector)实现；步骤102可以由目标跟踪器(object tracker)实现，本技术实施例的目标跟踪器包括主跟踪器和辅跟踪器；步骤103可以由事件分析器(event analyzer)实现。
40.图2是本技术实施例的交通异常检测的框架示意图。通过安装在道路附近的摄像头等，可以获得交通视频帧。如图2所示，视频帧经过预处理器201的预处理后，可以获得视频的检测区域，并将裁剪后的图像传输到目标检测器202。例如，这可以通过深度学习来实现，或者也可以通过前景检测和分类器的组合来实现。
41.例如，可以使用深度学习算法来检测经过训练的物体，包括汽车、卡车、公共汽车、自行车、人等；大多数目标与交通事件有关。但是，深度学习算法会消耗大量的计算资源。在大多数情况下，也可以检测道路的感兴趣的区域(roi，region of interest)，道路信息在预处理过程中使用语义分割模块自动生成。
42.通过目标检测器202可以获得目标信息。例如，目标检测器202可以获得标记为车辆的目标生成信息(包括边界框信息，例如位置和/或大小)，目标类型信息(汽车、卡车、公共汽车等)，置信度得分信息，等等，并将这些目标信息提供给目标跟踪器203。目标跟踪器203将跟踪同一目标(例如车辆)并记录历史信息。最后，事件分析器204将使用跟踪信息来检测交通堵塞和/或交通事故。
43.目标检测器产生视频中每个帧的目标信息。因此，需要使用跟踪算法来跟踪目标的运动。目前，目标跟踪器有很多实现方式；但是有时会出现一些问题，例如由于大型车辆的遮挡而丢失目标。
44.在本技术实施例中，可以在原有跟踪器(主跟踪器)的基础上，再添加一个附加的跟踪器(辅跟踪器)。
45.图3是本技术实施例的目标跟踪单元的示意图。如图3所示，目标跟踪单元(也可称为目标跟踪器、目标跟踪模块)可以包括主跟踪器301和辅跟踪器302；本技术实施例的主跟踪器301可以与现有的目标跟踪器相同或类似。此外，如图3所示，还可以使用第一资源池(h1)303和第二资源池(p1)304来记录信息。
46.第一资源池(h1)303和第二资源池(p1)304可以独立于目标跟踪单元，也可以是目标跟踪单元的一部分。此外，第一资源池(h1)303和第二资源池(p1)304例如可以由两个hashmap实现，也可以由一个hashmap或者三个或以上的hashmap实现，或者由一个或多个其他的数据结构实现，本技术不限于此。
47.在一些实施例中，在第一资源池(h1)303中记录在当前帧中被检测到的目标信息；以及在第二资源池(p1)304中记录在前序帧(即当前帧之前的一个或多个帧)中被检测到但在当前帧中没有被检测到的目标信息。
48.在主跟踪器301检测到跟踪过程中出现新目标、且所述辅跟踪器302将所述新目标判断为曾经出现过的目标的情况下，更新所述新目标在所述第一资源池(h1)303中的记录，并从所述第二资源池(p1)304中移除(remove)或删除(delete)所述新目标的记录；在所述第二资源池(p1)304中的某一记录持续一段时间(例如预定时间t)没有被检测到的情况下，从所述第一资源池(h1)303和所述第二资源池(p1)304中移除所述记录。
49.在一些实施例中，在第一资源池(h1)303中记录在前序帧中被检测到并且在当前帧中也被检测到的目标信息；以及在第二资源池(p1)304中记录在前序帧中被检测到但在当前帧中没有被检测到的目标信息。
50.在主跟踪器301检测到跟踪过程中出现新目标、且所述辅跟踪器302将所述新目标判断为曾经出现过的目标的情况下，从所述第二资源池(p1)304移除所述新目标的记录；在所述第二资源池(p1)304中的某一记录持续一段时间没有被检测到的情况下，从所述第二资源池(p1)304中移除所述记录。
51.例如，可以构建一个hashmap(h1)，记录目标id和历史信息。在跟踪某一车辆时，具有相同id的相应历史记录也将被更新。如果无法某一跟踪车辆，则其id和最近的历史记录信息将被放入第二资源池(p1)304，但是相应的记录将保留在第一资源池(h1)303中。
52.由此，能够在尽量不改变目标检测器的基础上，使用简单结构和低成本工具来提高目标跟踪的准确性。以下再对目标跟踪的操作或过程进行示例性说明。
53.在一些实施例中，在所述主跟踪器301检测到跟踪过程中出现新目标的情况下，所述辅跟踪器302判断所述新目标是否具有与第二资源池(p1)304中的某一目标相同的目标类型；在所述新目标具有与所述某一目标相同的目标类型的情况下，计算所述新目标的边界框与所述某一目标的边界框的重合度(iou)；以及判断所述重合度(iou)是否大于第一阈值。
54.在所述第二资源池(p1)304中存在与所述新目标的重合度(iou)大于所述第一阈值的至少一个第一目标的情况下，按照重合度(iou)对所述至少一个第一目标进行排序；以及确定所述新目标和所述重合度(iou)最高的第一目标为同一个目标。
55.在一些实施例中，计算所述新目标和所述第二资源池(p1)304中所述重合度(iou)小于所述第一阈值的第二目标之间的边界框距离；以及判断所述边界框距离是否小于第二阈值。
56.在所述第二资源池(p1)304中存在与所述新目标的边界框距离小于所述第二阈值的至少一个第二目标的情况下，按照边界框距离对所述至少一个第二目标进行排序；确定所述新目标和所述边界框距离最小的第二目标为同一个目标。
57.由此，通过主跟踪器301和辅跟踪器302，可以提高目标跟踪的准确性。
58.图4是本技术实施例的目标跟踪检测的示意图，示例性示出了目标跟踪的一些情况。如图4所示，目标跟踪检测可以包括：
59.401，在主跟踪器301检测到跟踪过程中出现新目标的情况下，辅跟踪器302判断所述新目标是否具有与第二资源池(p1)304中的某一目标相同的目标类型。如果不是则执行402，可以认为该新目标是第一次出现；如果是则执行403；
60.402，对该新目标进行记录并继续跟踪；
61.403，计算所述新目标的边界框与所述某一目标的边界框的重合度(iou)；以及
62.404，确定是否存在所述重合度(iou)大于第一阈值的第一目标；如果是则执行405，如果不是则执行407；
63.405，在所述第二资源池(p1)304中存在与所述新目标的重合度(iou)大于所述第一阈值的至少一个第一目标的情况下，按照重合度(iou)对所述至少一个第一目标进行排序；以及
64.406，确定所述新目标和所述重合度(iou)最高的第一目标为同一个目标。
65.如图4所示，该方法还可以包括：
66.407，计算所述新目标和所述第二资源池(p1)304中所述重合度(iou)小于所述第一阈值的第二目标之间的边界框距离；以及
67.408，确定是否存在所述边界框距离小于第二阈值的第二目标。如果是则执行409，如果不是则执行402，可以认为该新目标是第一次出现；
68.409，在所述第二资源池(p1)304中存在与所述新目标的边界框距离小于所述第二阈值的至少一个第二目标的情况下，按照边界框距离对所述至少一个第二目标进行排序；以及
69.410，确定所述新目标和所述边界框距离最小的第二目标为同一个目标。
70.如图4所示，该方法还可以包括：
71.411，根据该新目标对跟踪结果进行更新；
72.例如，可以将该目标的记录从第二资源池(p1)304中移除并且更新第一资源池(h1)303中相应的记录。
73.值得注意的是，以上附图4仅示意性地对本技术实施例进行了说明，但本技术不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图4的记载。
74.以上对于本技术实施例的目标跟踪进行了示意性说明，以下再对本技术实施例的事件分析进行说明。
75.在一些实施例中，可以计算检测区域(例如roi区域)中检测到的目标的边界框面积之和sum(s
box
)；计算所述边界框面积之和与所述检测区域的面积s
roi
的第一比值p
box
；以及根据所述第一比值计算堵塞率，以确定所述检测区域是否发生交通堵塞；
[0076][0077]
例如，假设根据目标检测和目标跟踪的结果，可以计算出roi区域中的所有目标的边界框面积之和为a，该roi区域的面积为b，则可以计算出第一比值p
box
。可以直接将该第一比值作为堵塞率，也可以使用权值对该第一比值进行加权后作为堵塞率。例如，如果堵塞率超过阈值(例如为80％)，则确定该检测区域发生交通堵塞。
[0078]
由此，根据检测出的目标的面积和所述检测区域的面积确定是否出现交通异常，能够以简单的结构和方法对交通事件进行分析。
[0079]
在一些实施例中，还可以计算所述检测区域中检测到的目标中每两个目标之间的距离和/或边界框的重合度(iou)；根据所述距离和/或所述边界框的重合度(iou)进行目标标注；计算被标注的目标的个数相对于所述检测区域中检测到的目标的个数的第二比值p
close
；以及根据所述第一比值p
box
和所述第二比值p
close
计算堵塞率r
jam
，以确定所述检测区域是否发生交通堵塞；
[0080][0081]
例如，如果两个目标之间的距离小于某一阈值，则可以对这两个目标进行标注，再例如，如果两个目标之间的边界框的重合度(iou)大于某一阈值，则可以对这两个目标进行标注。
[0082]
再例如，如果roi区域中检测到的目标个数为c，根据距离和/或边界框的重合度(iou)被标注的目标的个数为d，则可以计算出第二比值p
close
；进而根据第一比值和第二比值可以计算出堵塞率。例如，如果堵塞率超过阈值(例如为80％)，则确定该检测区域发生交通堵塞。
[0083]
由此，能够进一步提高交通事件分析的准确性。
[0084]
在一些实施例中，可以根据所述跟踪检测的结果计算目标的边界框的移动速度；确定移动速度低于预设阈值的目标为低速目标；根据所述低速目标的个数和所述检测到的目标的个数计算低速率；以及根据所述堵塞率和所述低速率确定所述检测区域是否发生交通堵塞。
[0085]
例如，通过使用目标跟踪的跟踪结果，可以计算目标边界框的移动速度。根据足够的预配置信息，甚至可以估算车辆的真实速度。例如，可以设置一个速度阈值；该阈值可以是平均速度、中等速度或其他静态或动态值。
[0086]
再例如，可以使用聚类算法来获得低速组并计算该低速组的平均速度。阈值(vs)与平均值有关，可以假设速度小于vs的车辆是低速车辆。由此，可以计算出低速率rlow。如果堵塞率大于某一阈值(例如80％)，并且低速率也大于某一阈值(例如95％)，则可以确定发生了交通堵塞。
[0087]
由此，能够进一步提高交通事件分析的准确性。
[0088]
在一些实施例中，可以使用基于深度学习的语义分割网络对所述检测区域进行标注，以获得目标区域和道路区域；以及根据所述目标区域的面积和所述道路区域的面积，确定所述检测区域是否发生交通堵塞。
[0089]
例如，由于边界框的重叠，前述的p
box
可能大于1。假定计算资源是足够的，可以训练基于深度学习的语义分割网络，以像素级别分割道路区域和车辆区域。然后可以用
p
vehicle
替换p
box
：
[0090][0091]
由此，能够进一步提高交通事件分析的准确性。
[0092]
在一些实施例中，还可以根据所述跟踪检测的结果计算目标的边界框的移动速度以及在所述检测区域中持续出现的时间；根据所述移动速度和所述持续出现的时间确定是否发生交通事故。
[0093]
例如，可以记录车辆的速度(v
vehicle
)及该车辆在检测区域中持续出现的时间(tc)。在未检测到交通拥堵的情况下，如果v
vehicle
远远小于阈值(vs)，并且tc大于阈值(t
thre
)，则可以认为该车辆已发生交通事故。此外，还可以添加其他检测功能，例如人员检测或火灾检测，以帮助系统检测事故是否确实发生(例如，车辆可能会非法停车)。
[0094]
以上仅对与本技术相关的各步骤或过程进行了说明，但本技术不限于此。交通异常检测方法还可以包括其他步骤或者过程，关于这些步骤或者过程的具体内容，可以参考现有技术。此外，以上仅以目标跟踪的一些结构为例对本技术实施例进行了示例性说明，但本技术不限于这些结构，还可以对这些结构进行适当的变型，这些变型的实施方式均应包含在本技术实施例的范围之内。
[0095]
以上各个实施例仅对本技术实施例进行了示例性说明，但本技术不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
[0096]
由上述实施例可知，目标跟踪增加使用了辅跟踪器；在主跟踪器检测到跟踪过程中出现新目标的情况下，使用辅跟踪器判断所述新目标是否为在检测区域中曾经出现过的目标。由此，能够在尽量不改变目标检测器的基础上，使用简单结构和低成本工具来提高目标跟踪的准确性。
[0097]
第二方面的实施例
[0098]
本技术实施例提供一种交通异常检测装置，与第一方面的实施例相同的内容不再赘述。
[0099]
图5是本技术实施例的交通异常检测装置的一示意图，如图5所示，交通异常检测装置500包括：
[0100]
目标检测单元501，其基于视频帧进行目标检测以获得目标信息，所述目标信息包括目标类型、边界框信息和置信度信息；
[0101]
跟踪检测单元502，其根据所述目标信息进行跟踪检测；其中，在主跟踪器检测到跟踪过程中出现新目标的情况下，使用辅跟踪器判断所述新目标是否为在检测区域中曾经出现过的目标；以及
[0102]
异常确定单元503，其根据检测出的目标的面积和所述检测区域的面积确定是否出现交通异常。
[0103]
在一些实施例中，在第一资源池中记录在当前帧中被检测到的目标信息；以及在第二资源池中记录在前序帧中被检测到但在当前帧中没有被检测到的目标信息。
[0104]
在一些实施例中，跟踪检测单元502还用于：在所述主跟踪器检测到跟踪过程中出现新目标、且所述辅跟踪器将所述新目标判断为曾经出现过的目标的情况下，更新所述新
目标在所述第一资源池中的记录，并从所述第二资源池中移除所述新目标的记录；在所述第二资源池中的某一记录持续一段时间没有被检测到的情况下，从所述第一资源池和所述第二资源池中移除所述记录。
[0105]
在一些实施例中，在第一资源池中记录在前序帧中被检测到并且在当前帧中也被检测到的目标信息；以及在第二资源池中记录在前序帧中被检测到但在当前帧中没有被检测到的目标信息。
[0106]
在一些实施例中，跟踪检测单元502还用于：在所述主跟踪器检测到跟踪过程中出现新目标、且所述辅跟踪器将所述新目标判断为曾经出现过的目标的情况下，从所述第二资源池移除所述新目标的记录；在所述第二资源池中的某一记录持续一段时间没有被检测到的情况下，从所述第二资源池中移除所述记录。
[0107]
在一些实施例中，在所述主跟踪器检测到跟踪过程中出现新目标的情况下，所述辅跟踪器判断所述新目标是否具有与第二资源池中的某一目标相同的目标类型。
[0108]
在一些实施例中，跟踪检测单元502还用于：在所述新目标具有与所述某一目标相同的目标类型的情况下，计算所述新目标的边界框与所述某一目标的边界框的重合度；以及判断所述重合度是否大于第一阈值。
[0109]
在一些实施例中，跟踪检测单元502还用于：在所述第二资源池中存在与所述新目标的重合度大于所述第一阈值的至少一个第一目标的情况下，按照重合度对所述至少一个第一目标进行排序；以及确定所述新目标和所述重合度最高的第一目标为同一个目标。
[0110]
在一些实施例中，跟踪检测单元502还用于：计算所述新目标和所述第二资源池中所述重合度小于所述第一阈值的第二目标之间的边界框距离；以及判断所述边界框距离是否小于第二阈值。
[0111]
在一些实施例中，跟踪检测单元502还用于：在所述第二资源池中存在与所述新目标的边界框距离小于所述第二阈值的至少一个第二目标的情况下，按照边界框距离对所述至少一个第二目标进行排序；以及确定所述新目标和所述边界框距离最小的第二目标为同一个目标。
[0112]
在一些实施例中，异常确定单元503用于：计算所述检测区域中检测到的目标的边界框面积之和；计算所述边界框面积之和与所述检测区域的面积的第一比值；以及根据所述第一比值计算堵塞率，以确定所述检测区域是否发生交通堵塞。
[0113]
在一些实施例中，异常确定单元503还用于：计算所述检测区域中检测到的目标中每两个目标之间的距离和/或边界框的重合度；根据所述距离和/或所述边界框的重合度进行目标标注；计算被标注的目标的个数相对于所述检测区域中检测到的目标的个数的第二比值；以及根据所述第一比值和所述第二比值计算所述堵塞率，以确定所述检测区域是否发生交通堵塞。
[0114]
在一些实施例中，异常确定单元503还用于：根据所述跟踪检测的结果计算目标的边界框的移动速度；确定移动速度低于预设阈值的目标为低速目标；根据所述低速目标的个数和所述检测到的目标的个数计算低速率；以及根据所述堵塞率和所述低速率确定所述检测区域是否发生交通堵塞。
[0115]
在一些实施例中，异常确定单元503还用于：使用基于深度学习的语义分割网络对所述检测区域进行标注，以获得目标区域和道路区域；以及根据所述目标区域的面积和所
述道路区域的面积，确定所述检测区域是否发生交通堵塞。
[0116]
在一些实施例中，异常确定单元503还用于：根据所述跟踪检测的结果计算目标的边界框的移动速度以及在所述检测区域中持续出现的时间；根据所述移动速度和所述持续出现的时间确定是否发生交通事故。
[0117]
为了简单起见，图5中仅示例性示出了各个部件或模块之间的连接关系或信号走向，但是本领域技术人员应该清楚的是，可以采用总线连接等各种相关技术。上述各个部件或模块可以通过例如处理器、存储器等硬件设施来实现；本技术实施例并不对此进行限制。
[0118]
以上各个实施例仅对本技术实施例进行了示例性说明，但本技术不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
[0119]
由上述实施例可知，目标跟踪增加使用了辅跟踪器；在主跟踪器检测到跟踪过程中出现新目标的情况下，使用辅跟踪器判断所述新目标是否为在检测区域中曾经出现过的目标。由此，能够在尽量不改变目标检测器的基础上，使用简单结构和低成本工具来提高目标跟踪的准确性。
[0120]
第三方面的实施例
[0121]
本技术实施例提供一种电子设备，包括有如第二方面的实施例所述的交通异常检测装置500，其内容被合并于此。该电子设备例如可以是计算机、服务器、工作站、膝上型计算机、智能手机，等等；但本技术实施例不限于此。
[0122]
图6是本技术实施例的电子设备的示意图。如图6所示，电子设备600可以包括：处理器(例如中央处理器cpu)610和存储器620；存储器620耦合到中央处理器610。其中该存储器620可存储各种数据；此外还存储信息处理的程序621，并且在处理器610的控制下执行该程序621。
[0123]
在一些实施例中，交通异常检测装置500的功能被集成到处理器610中实现。其中，处理器610被配置为实现如第一方面的实施例所述的交通异常检测方法。
[0124]
在一些实施例中，交通异常检测装置500与处理器610分开配置，例如可以将交通异常检测装置500配置为与处理器610连接的芯片，通过处理器610的控制来实现交通异常检测装置500的功能。
[0125]
例如，处理器610被配置为进行如下的控制：基于视频帧进行目标检测以获得目标信息，所述目标信息包括目标类型、边界框信息和置信度信息；根据所述目标信息进行跟踪检测；其中，在主跟踪器检测到跟踪过程中出现新目标的情况下，使用辅跟踪器判断所述新目标是否为在检测区域中曾经出现过的目标；以及根据检测出的目标的面积和所述检测区域的面积确定是否出现交通异常。
[0126]
此外，如图6所示，电子设备600还可以包括：输入输出(i/o)设备630和显示器640等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备600也并不是必须要包括图6中所示的所有部件；此外，电子设备600还可以包括图6中没有示出的部件，可以参考相关技术。
[0127]
本技术实施例还提供一种计算机可读程序，其中当在电子设备中执行所述程序时，所述程序使得计算机在所述电子设备中执行如第一方面的实施例所述的交通异常检测方法。
[0128]
本技术实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行如第一方面的实施例所述的交通异常检测方法。
[0129]
本技术以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本技术涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本技术还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、dvd、flash存储器等。
[0130]
结合本技术实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图中所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(fpga)将这些软件模块固化而实现。
[0131]
软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于asic中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的mega-sim卡或者大容量的闪存装置，则该软件模块可存储在该mega-sim卡或者大容量的闪存装置中。
[0132]
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，可以实现为用于执行本技术所描述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp通信结合的一个或多个微处理器或者任何其它这种配置。
[0133]
以上结合具体的实施方式对本技术进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本技术保护范围的限制。本领域技术人员可以根据本技术原理对本技术做出各种变型和修改，这些变型和修改也在本技术的范围内。
[0134]
关于包括以上实施例的实施方式，还公开下述的附记：
[0135]
附记1、一种交通异常检测方法，包括：
[0136]
基于视频帧进行目标检测以获得目标信息，所述目标信息包括目标类型、边界框信息和置信度信息；
[0137]
根据所述目标信息进行跟踪检测；其中，在主跟踪器检测到跟踪过程中出现新目标的情况下，使用辅跟踪器判断所述新目标是否为在检测区域中曾经出现过的目标；以及
[0138]
根据检测出的目标的面积和所述检测区域的面积确定是否出现交通异常。
[0139]
附记2.根据附记1所述的方法，其中，在第一资源池(h1)中记录在当前帧中被检测到的目标信息；以及在第二资源池(p1)中记录在前序帧中被检测到但在当前帧中没有被检测到的目标信息。
[0140]
附记3.根据附记2所述的方法，其中，所述方法还包括：
[0141]
在所述主跟踪器检测到跟踪过程中出现新目标、且所述辅跟踪器将所述新目标判
断为曾经出现过的目标的情况下，更新所述新目标在所述第一资源池(h1)中的记录，并从所述第二资源池(p1)中移除所述新目标的记录；
[0142]
在所述第二资源池(p1)中的某一记录持续一段时间没有被检测到的情况下，从所述第一资源池(h1)和所述第二资源池(p1)中移除所述记录。
[0143]
附记4.根据附记1所述的方法，其中，在第一资源池(h1)中记录在前序帧中被检测到并且在当前帧中也被检测到的目标信息；以及在第二资源池(p1)中记录在前序帧中被检测到但在当前帧中没有被检测到的目标信息。
[0144]
附记5.根据附记4所述的方法，其中，所述方法还包括：
[0145]
在所述主跟踪器检测到跟踪过程中出现新目标、且所述辅跟踪器将所述新目标判断为曾经出现过的目标的情况下，从所述第二资源池(p1)移除所述新目标的记录；
[0146]
在所述第二资源池(p1)中的某一记录持续一段时间没有被检测到的情况下，从所述第二资源池(p1)中移除所述记录。
[0147]
附记6.根据附记1至5任一项所述的方法，其中，所述方法还包括：
[0148]
在所述主跟踪器检测到跟踪过程中出现新目标的情况下，所述辅跟踪器判断所述新目标是否具有与第二资源池(p1)中的某一目标相同的目标类型；
[0149]
在所述新目标具有与所述某一目标相同的目标类型的情况下，计算所述新目标的边界框与所述某一目标的边界框的重合度(iou)；以及
[0150]
判断所述重合度(iou)是否大于第一阈值。
[0151]
附记7.根据附记6所述的方法，其中，所述方法还包括：
[0152]
在所述第二资源池(p1)中存在与所述新目标的重合度(iou)大于所述第一阈值的至少一个第一目标的情况下，按照重合度(iou)对所述至少一个第一目标进行排序；以及
[0153]
确定所述新目标和所述重合度(iou)最高的第一目标为同一个目标。
[0154]
附记8.根据附记6所述的方法，其中，所述方法还包括：
[0155]
计算所述新目标和所述第二资源池(p1)中所述重合度(iou)小于所述第一阈值的第二目标之间的边界框距离；以及
[0156]
判断所述边界框距离是否小于第二阈值。
[0157]
附记9.根据附记8所述的方法，其中，所述方法还包括：
[0158]
在所述第二资源池(p1)中存在与所述新目标的边界框距离小于所述第二阈值的至少一个第二目标的情况下，按照边界框距离对所述至少一个第二目标进行排序；
[0159]
确定所述新目标和所述边界框距离最小的第二目标为同一个目标。
[0160]
附记10.根据附记1至9任一项所述的方法，其中，所述方法还包括：
[0161]
计算所述检测区域中检测到的目标的边界框面积之和sum(s
box
)；
[0162]
计算所述边界框面积之和与所述检测区域的面积s
roi
的第一比值p
box
；以及
[0163]
根据所述第一比值计算堵塞率，以确定所述检测区域是否发生交通堵塞；
[0164][0165]
附记11.根据附记10所述的方法，其中，所述方法还包括：
[0166]
计算所述检测区域中检测到的目标中每两个目标之间的距离和/或边界框的重合度(iou)；
[0167]
根据所述距离和/或所述边界框的重合度(iou)进行目标标注；
[0168]
计算被标注的目标的个数相对于所述检测区域中检测到的目标的个数的第二比值p
close
；以及
[0169]
根据所述第一比值p
box
和所述第二比值p
close
计算堵塞率r
jam
，以确定所述检测区域是否发生交通堵塞；
[0170][0171]
附记12.根据附记10或11所述的方法，其中，所述方法还包括：
[0172]
根据所述跟踪检测的结果计算目标的边界框的移动速度；
[0173]
确定移动速度低于预设阈值的目标为低速目标；
[0174]
根据所述低速目标的个数和所述检测到的目标的个数计算低速率；以及
[0175]
根据所述堵塞率和所述低速率确定所述检测区域是否发生交通堵塞。
[0176]
附记13.根据附记1至9任一项所述的方法，其中，所述方法还包括：
[0177]
使用基于深度学习的语义分割网络对所述检测区域进行标注，以获得目标区域和道路区域；以及
[0178]
根据所述目标区域的面积和所述道路区域的面积，确定所述检测区域是否发生交通堵塞。
[0179]
附记14.根据附记1至13任一项所述的方法，其中，所述方法还包括：
[0180]
根据所述跟踪检测的结果计算目标的边界框的移动速度以及在所述检测区域中持续出现的时间；
[0181]
根据所述移动速度和所述持续出现的时间确定是否发生交通事故。
[0182]
附记15、一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置为执行所述计算机程序而实现如附记1至14任一项所述的交通异常检测方法。
[0183]
附记16、一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行如附记1至14任一项所述的交通异常检测方法。