一种多任务多目标关联追踪的方法及装置与流程

1.本发明涉及人工智能领域，尤其涉及一种多任务多目标关联追踪的方法及装置。


背景技术：

2.近几年随着人工智能技术的快速发展，计算机视觉作为人工智能领域一个重要的方向，在很多领域，如安防领域、智慧交通领域等已经达到了可实际使用的水平。
3.随着物流的快速发展，包裹的安全性越来越受到大家的关注，如何判断寄件人的包裹是否被检查和寄快递时是否出示身份证，已经成为寄件过程中必须要检测的事情。
4.目前市场上还没有针对此场景有效的检测方法，并且人工判断的成本太高，目前的方案大多是，只检测包裹或者身份证，这样并不能保证寄件人在寄件时间段内的包裹是否被检查和是否出示身份证，没有有效的解决人员和包裹以及身份证的匹配问题和预警时间段问题。


技术实现要素：

5.为了解决现有技术中存在的上述技术问题，本发明提出了一种多任务多目标关联追踪的方法及装置，其具体技术方案如下：一种多任务多目标关联追踪的方法，包括以下步骤：步骤一，通过系统后台加载视频流地址或采用摄像头实时采集场景的视频流数据，并对视频进行编解码、抽帧、预处理操作；步骤二，利用目标检测模型对视频的图像数据进行实时推理，获取场景中人员和目标物体的检测结果数据；步骤三，通过人员目标追踪方法，对人员检测结果进行跟踪，获取人员进入场景和离开场景的时间，确定检测单位时间段；步骤四，判断人员停留在场景的时间段内，是否检测到目标物体，如果未检测到目标物体，将返回报警信息给平台端。
6.进一步的，所述步骤一具体为：采用摄像头实时采集场景的视频流或通过deepstream架构进行视频流的加载，通过以gstreamer插件的形式构建视频流分析管道，并使用nvdec加速器进行解码，通过gst-nvdewarper插件和gst-nvvideoconvert插件进行图像预处理，使用gst-nvstreammux插件完成图像的批处理。
7.进一步的，所述步骤二具体为：采用两个基于yolov5的目标检测模型：人员检测模型和物体检测模型，对视频流的每一帧图像进行检测，获得当前帧场景中n个人员目标框和当前帧场景中m个物体目标框。
8.进一步的，所述步骤三具体为：采用nvdcf、deepsort或iou目标追踪方法，给场景中每人一个身份标识id，并获得每人的跟踪结果：，其中，分别为目
标框横坐标方向上的两个点，分别为目标框纵坐标方向上的两个点，n是≥1的整数；将目标人员的id第一次出现的时间作为该目标人员进入场景的时间，将目标人员id消失的时间作为该目标人员离开场景的时间，以此得到检测单位时间段。
9.进一步的，所述步骤四具体为：在检测单位时间段内，对目标人员进入场景后的每一帧图像进行检测，记录人员的身份标识id并将判断目标物体后的标签存入对应目标人员的标签队列，保存入场时间，当对应目标人员离开场景时，记录该离开时间，并根据对应目标人员的物体检测信息，返回相应的报警信息至平台端。
10.进一步的，所述根据对应目标人员的物体检测信息，是指在多目标物体和多人员的场景图像中，若检测没有出现目标物体，则返回相应的报警信息至平台端；若检测出现多目标物体，则利用关联匹配规则来判定目标物体对应所属的目标人员。
11.进一步的，所述关联匹配规则，具体为：首先计算场景图像中多个物体所对应的实际距离，即每个人员与该目标物体的实际距离，具体的：设摄像头的焦距为f，人的平均高度为，类型一物体的平均长度为，类型二物体的长度为，根据检测的坐标数据可以获取人和类型一物体以及类型二物体的中点坐标，和高度height，则深度计算公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)根据公式（1）分别计算出人、类型一物体以及类型二物体的深度，同时根据公式（2）和（3）计算出图中的中点坐标所对应的实际坐标：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)因此，获取到检测物体的三维坐标（，, distance）；然后，通过欧式距离计算出人与类型一物体和类型二物体的距离，再将物体与距离最近的人员的身份标识返回作为匹配结果。
12.进一步的，所述报警信息的判断具体为：当目标人员的标签队列中出现类型一物体的标签时，则将该标签所对应的帧数据取出，计算人与类型一物体的距离，当距离小于设定阈值threshold-card时，则判定该类型一物体是此目标人员的，否则依然向平台段返回报警信息，同理，在判断是否检测类型二物体时，首先判断该目标人员的标签队列是否出现类型二物体的标签，如果出现，则取出该标签所对应的帧数据，计算人与类型二物体的距离，如果类型二物体与人的距离小于设定的阈值threshold-box，则判定类型二物体属于此目标人员，否则，依然向平台段返回预警信息，同时将判断目标人员进入到离开的时间是否大于阈值threshold-time，大于该阈值时，才判定该目标人员的关联行为。
13.一种多任务多目标关联追踪的装置，包括一个或多个处理器，用于实现所述的一种多任务多目标关联追踪的方法。
14.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的一种多任务多目标关联追踪的方法。
15.有益效果：
1、本发明针对复杂场景下，将多个目标放入一个模型进行检测，造成检测效果不好的问题，同时对人员检测效果要求较高的情况下，提出将人员检测与包裹和身份证检测分为两个模型进行推理，单一目标检测具有较高的检测精度，解决了单模型多目标人员检测精度不高造成的人员追踪效果不好的问题。
16.2、本发明利用追踪技术来确定该场景的检测时间段的方法，去除外界复杂环境干扰造成的误报和漏报问题。
17.3、由于视频流具有时效性，并且只有当寄件人离开时才能判断该寄件人是否出示过身份证和包裹是否被检查，此时已无法获取检测到未出示身份证或者包裹未检查的当前帧的图像数据，因此，本发明将单位时间段内的每一帧图像进行判断，对图像数据进行缓存，每一类标签仅缓存一帧图像数据，节约计算机缓存空间。
18.4、本发明通过采用关联匹配规则，解决了多人多包裹场景下，人与包裹和身份证的关联问题，减少了误报和漏报的频率。
附图说明
19.图1为本发明的一种多任务多目标关联追踪的方法流程示意图；图2为本发明的一种多任务多目标关联追踪的方法流程示意图；图3为本发明的关联分析逻辑图；图4为本发明的一种多任务多目标关联追踪的装置结构示意图。
具体实施方式
20.为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
21.本发明实施例的一种多任务多目标关联追踪的方法及装置，基于深度学习的包裹检测和行人追踪技术，用于视频流分析某一时间段内，人员邮寄快递是否出示身份证和邮寄的包裹是否被检查的场景，做出对应的逻辑判断，其中在针对多目标时进行关联匹配，解决多目标复杂场景下误判和漏判的问题。
22.具体的，如图1和图2所示，该方法包括以下步骤：步骤一，通过系统后台加载视频流地址或采用摄像头实时采集场景的视频流数据，并对视频进行编解码、抽帧、预处理操作。
23.为了达到实施场景的推理速度和多路视频流的加载，采用deepstream架构进行视频流的加载，通过以gstreamer插件的形式构建高效的视频流分析管道，并使用nvdec加速器进行解码，通过gst-nvdewarper插件和gst-nvvideoconvert插件进行图像预处理，使用gst-nvstreammux插件实现批处理，以获取最佳的推断性能。
24.步骤二，利用目标检测模型对视频的图像数据进行实时推理，获取场景中人员和目标物体的检测结果数据。
25.获取图像推理元数据，为了达到较好的检测效果和人员追踪效果，在推理阶段，采用多模型的方式进行推理，将人和包裹以及身份证的检测分为两个目标检测模型：人员检测模型和物体检测模型，获取场景中人员和物体的检测结果数据。
26.其中本实施例中采用yolov5目标检测模型，因此人员检测使用现有的人员检测模
型进行迁移学习，针对单模型，提升了检测的效果。
27.所述物体检测模型通过目标检测算法对标注过的场景数据集进行训练得到。
28.所述两个目标检测模型对视频流每一帧进行推理，获得当前帧场景中n个人员目标框和当前帧场景中m个物体目标框。
29.本发明针对复杂场景下，将多个目标放入一个模型进行检测，造成检测效果不好的问题，同时对人员检测效果要求较高的情况下，提出将人员检测与包裹和身份证检测分为两个模型进行推理，单一目标检测具有较高的检测精度，解决了单模型多目标人员检测精度不高造成的人员追踪效果不好的问题。
30.步骤三，利用人员目标追踪方法，对人员检测结果进行跟踪，获取人员进入场景和离开场景的时间，确定检测单位时间段。
31.对比nvdcf、deepsort和iou三种追踪器对人员和物体的追踪效果，采取效果最佳的追踪器进行追踪。
32.针对多人多目标的复杂场景，如何精准的确定寄件人进入和离开检测区的时间，是解决该复杂场景的关键，因此根据对人员的追踪，获取寄件人出现和消失时间，以该时间段为该寄件人的检测时间段，为精确的确定检测时间段，采取对人员进行追踪的技术，给每个人员一个独特的身份标识，跟踪结果表示为： ，其中，分别为目标框横坐标方向上的两个点，分别为目标框纵坐标方向上的两个点，n是≥1的整数；将某一寄件人员的id第一次出现作为该寄件人的进入时间，将该寄件人id消失作为该寄件人离开的时间，将在此时间段内检测该寄件人是否出示过身份证和邮寄的包裹是否被检查。
33.本发明通过确定检测时间段，减少了误报和漏报的频率，去除外界复杂环境干扰造成的误报和漏报问题；如何去判断寄件人是否出示过身份证和包裹是否被检查需要一个单位时间，将寄件人进行追踪，当新的寄件人进入时，会获得新的寄件人id，同时记录寄件人进入时间，当该id消失时，则默认该寄件人离开，同时记录寄件人离开时间，将此时间段作为该寄件人的检测单位时间段。
34.步骤四，判断人员停留在场景的时间段内，是否检测到目标物体，如果未检测到目标物体，将返回报警信息给平台端。
35.当人员进入场景时，记录人员的身份标识，同时保存系统时间，并将物体检测信息进行保存；当该人员离开场景时，将系统时间进行保存，根据物体检测信息，返回相应的预警信息。
36.由于视频流具有时效性，并且只有当寄件人离开时才能判断该寄件人是否出示过身份证和包裹是否被检查，此时已无法获取检测到未出示身份证或者包裹未检查的当前帧的图像数据，为判断寄件人在进入到离开这个时间段内，寄件人是否出示过身份证和包裹是否被检测，因此将寄件人进入场景后的每一帧图像进行检测，判断是否出示过身份证和包裹是否被开箱检查，并将所对应的标签加入到该寄件人标签队列，每一类标签仅缓存一帧图像数据，节约计算机缓存空间。
37.其中，为适应复杂场景和根据业务场景的业务逻辑，在针对多包裹、多人员的情况
下，依据距离计算判定包裹和身份证所属的人员id，为判断包裹和身份证与哪一位寄件人关联，采用了一种关联匹配规则，解决了多人多包裹场景下，人与包裹和身份证的关联问题，减少了误报和漏报的频率，具体如下：首先是提出了一种实际距离计算方法，用于计算图像中两个物体所对应的实际距离，已知摄像头的焦距为f，人的平均高度为，包裹的平均长度为，身份证的长度为，根据检测的坐标数据可以获取人和包裹以及身份证的中点坐标，和高度height，则深度计算公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)因此可以根据公式（1）分别计算出人、包裹和身份证的深度，同时可以根据公式（2）和（3）计算出图中的中点坐标所对应的实际坐标：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)因此，可以获取检测物体的三维坐标（，, distance）。
38.然后，通过欧式距离计算出人与包裹以及人与身份证的距离。
39.如图3所示，在最后进行预警判断时，当寄件人的标签队列中出现“身份证出示”标签时，则将该标签所对应的帧数据取出，计算人与身份证的距离，当距离小于某一设定阈值threshold-card时，则判定该身份证是此寄件人出示的，否则依然向平台返回“未出示身份证”的预警信息，同理，在判断是否检测包裹时，首先判断该寄件人标签队列是否出现“包裹已检查”标签，如果出现，则取出该标签所对应的帧数据，计算寄件人与包裹的距离，如果包裹与人的距离小于设定的阈值threshold-box，则判定检查的包裹属于此寄件人，否则，依然向平台返回“未检查包裹”的预警信息，同时，为符合业务逻辑需求，减少外界因素干扰，减少误报频率，将判断寄件人进入到离开的时间是否大于阈值threshold-time，大于该阈值时，才判定该人员id是寄件行为。
40.采用本发明，通过deepstream对视频流的处理，结合yolov5目标检测方法和deepsort目标追踪方法获取的图像元数据，判断在某一单位时间内，人与物体的关联匹配问题，针对不同的场景，可以设置不同的逻辑判断，最后向平台端返回相对应的预警信息，并且此方法已经应用于邮政局寄件人在寄件过程中是否出示过身份证和邮寄的包裹是否被检查的场景，并达到比较满意的效果。此方法的发明，解决了如何确定检测的单位时间，并且如何在单位时间内针对需求场景，做出对应的逻辑判断，最后，在针对多目标时，提出了一种关联匹配方法，解决了多目标复杂场景下误判和漏判的问题，实现了智能检测寄件人寄快件过程中是否出示身份证和所寄包裹是否被检查的复杂场景，解决了市场中还没有较好的方案解决该场景的问题，并且使用人工智能的方式进行智能检测，减少了人为因素的干扰，并且节约了人工成本。
41.与前述一种多任务多目标关联追踪的方法的实施例相对应，本发明还提供了一种多任务多目标关联追踪的装置的实施例。
42.参见图4，本发明实施例提供的一种多任务多目标关联追踪的装置，包括一个或多
个处理器，用于实现上述实施例中的一种多任务多目标关联追踪的方法。
43.本发明一种多任务多目标关联追踪的装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明一种多任务多目标关联追踪的装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
44.上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
45.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
46.本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种多任务多目标关联追踪的方法。
47.所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（smart media card，smc）、sd卡、闪存卡（flash card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
48.以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。