一种边缘设备的目标捕获方法、系统及相关设备与流程

1.本发明属于人工智能应用领域，尤其涉及一种边缘设备的目标捕获方法、系统及相关设备。


背景技术：

2.随着智慧城市安防系统的实用化的迅速铺展，从边缘监控设备获取的海量监控图像数据中高速、有效地提取高价值信息成为安防系统的技术难点。对于边缘设备而言，计算能力较弱的缺点一直是其发展瓶颈，虽然近年来硬件设备性能大幅提升，但仍难以实时图像处理这类计算密集型应用的需求，尤其针对特定领域应用，对设备的响应速度，稳定性和可靠性均有较高的要求，这给相关的算法设计造成了更大的难题。
3.伴随人工智能技术的迅速发展，使得利用了人工智能技术的计算机视觉设备也具有了一定的计算能力。在智能安防领域将人作为重要的监控目标来进行算法设计是公认的趋势，因此，通过边缘设备承载和快速运行的人工智能算法以实现监控目标的快速捕获成为了智能安防领域的一道难题。


技术实现要素：

4.本发明实施例提供一种边缘设备的目标捕获方法、系统及相关设备，旨在解决在现有的人工智能算法部署于边缘设备的集成难度高、且计算性能受限于边缘设备算力和基础设备、导致处理速度慢的问题。
5.第一方面，本发明实施例提供一种边缘设备的目标捕获方法，所述方法包括：获取视频数据，并将所述视频数据按时序拆帧得到的帧图像依序放入检测队列中；利用训练好的深度学习算法对所述检测队列中每一所述帧图像做目标检测，并在每一所述帧图像中标记检测到的人脸框、人形框、车辆框、车牌框；对每一所述帧图像中的所述人脸框、所述人形框、所述车辆框进行目标追踪，将所有所述帧图像中目标追踪结果相同的所述人脸框、所述人形框、所述车辆框分别赋予同一个追踪id，并将所述目标追踪结果输出；对每一所述帧图像中的所述人脸框和所述人形框进行单向绑定关联，对同一所述帧图像中的所述车辆框和所述车牌框进行双向绑定关联；对拥有同一所述追踪id的所述人脸框、所述人形框、所述车辆框、所述车牌框分别按预设规则进行图像评判，并将所述图像评判的结果输出。
6.更进一步地，所述训练好的深度学习算法包括依次设置的由focus结构和csp结构组成的主干网络、spp结构和fpn pan结构组成的特征增强网络、损失函数和非极大值抑制组成的预测网络。
7.更进一步地，所述利用训练好的深度学习算法对所述检测队列中每一所述帧图像做目标检测，并在每一所述帧图像中标记检测到的人脸框、人形框、车辆框、车牌框的步骤，
包括以下子步骤：将所述检测队列中的每一所述帧图像通过所述主干网络进行特征提取，得到基础特征图；将所述基础特征图通过所述特征增强网络进行特征融合，得到特征向量；将所述特征向量通过所述预测网络进行目标检测，得到选框标记的具有置信度的目标图像，并根据所述目标图像的类型进行划分，得到所述人脸框、所述人形框、所述车辆框、所述车牌框。
8.更进一步地，所述利用训练好的深度学习算法对所述检测队列中每一所述帧图像做目标检测，并在每一所述帧图像中标记检测到的人脸框、人形框、车辆框、车牌框，其中，每一所述人脸框、所述人形框、所述车辆框、所述车牌框还包括一个置信度的步骤后还包括：根据所述置信度对所有所述人脸框、所述人形框、所述车辆框、所述车牌框按照预设排序规则进行快速排序。
9.更进一步地，所述对每一所述帧图像中的所述人脸框、所述人形框、所述车辆框进行目标追踪，并将所有所述帧图像中目标追踪结果相同的所述人脸框、所述人形框、所述车辆框分别赋予同一个追踪id，并将所述目标追踪结果输出的步骤，包括以下子步骤：将所述检测队列中第一张所述帧图像中所有的所述人脸框、所述人形框、所述车辆框放入预测队列中，并为其中每一个所述人脸框、所述人形框、所述车辆框分配一个所述追踪id；根据所述预测队列中的所述人脸框、所述人形框、所述车辆框通过计算得到人脸预测框、人形预测框、车辆预测框；分别获取所述检测队列中第一张所述帧图像之后的当前帧图像中的所有所述人脸框、所述人形框、所述车辆框，并分别与所述人脸预测框、所述人形预测框、所述车辆预测框计算交并比矩阵；通过匈牙利算法计算所述交并比矩阵，将存在匹配关系的所述当前帧图像中的所述人脸框、所述人形框、所述车辆框分配对应的所述追踪id，将不存在匹配关系的所述当前帧图像中的所述人脸框、所述人形框、所述车辆框分配新的追踪id；将当前的所有所述人脸框、所述人形框、所述车辆框以及对应的所述追踪id输出。
10.更进一步地，所述对每一所述帧图像中的所述人脸框和所述人形框进行单向绑定关联，对同一所述帧图像中的所述车辆框和所述车牌框进行双向绑定关联的步骤，包括以下子步骤：获取每一所述帧图像中的所述人脸框的坐标、所述人形框的坐标、所述车辆框的坐标、所述车牌框的坐标；以所述人脸框为队列，遍历同一所述帧图像中的所有所述人形框，将满足预设人脸人形关联条件的一个所述人形框与所述人脸框建立单向绑定关联，并将所述人脸框对应的所述追踪id作为所述人形框的人脸绑定关联id；以所述车牌框为队列，遍历同一所述帧图像中的所有所述车辆框，将满足所述车牌框与所述车辆框之间的坐标满足预设车牌位置条件的所述车牌框与所述车辆框建立双向绑定关联，并将所述车辆框对应的所述追踪id赋值给所述车牌框，使所述车牌框具备与
所述车辆框相同的所述追踪id。
11.更进一步地，所述对拥有同一所述追踪id的所述人脸框、所述人形框、所述车辆框、所述车牌框分别按预设规则进行图像评判，并将所述图像评判的结果输出的步骤，包括以下子步骤：获取同一所述追踪id中的每一个所述人脸框、所述人形框、所述车辆框、所述车牌框的绑定关联关系、图像高宽比、图像遮挡率、所述置信度；根据所述绑定关联关系、所述图像高宽比、所述图像遮挡率、所述置信度以及预设的图像面积权重和置信度预设权重分别计算每一个所述人脸框、所述人形框、所述车辆框、所述车牌框的图像得分；将拥有同一所述追踪id的所述人脸框、所述人形框、所述车辆框、所述车牌框按照所述图像得分以及预设得分阈值进行过滤，并将过滤后的结果输出。
12.第二方面，本发明实施例还提供一种边缘设备的目标捕获系统，包括：数据获取模块，用于获取视频数据，并将所述视频数据按时序拆帧得到的帧图像依序放入检测队列中；目标检测模块，用于利用训练好的深度学习算法对所述检测队列中每一所述帧图像做目标检测，并在每一所述帧图像中标记检测到的人脸框、人形框、车辆框、车牌框；目标追踪模块，用于对每一所述帧图像中的所述人脸框、所述人形框、所述车辆框进行目标追踪，将所有所述帧图像中目标追踪结果相同的所述人脸框、所述人形框、所述车辆框分别赋予同一个追踪id，并将所述目标追踪结果输出；关键目标关联模块，用于对每一所述帧图像中的所述人脸框和所述人形框进行单向绑定关联，对同一所述帧图像中的所述车辆框和所述车牌框进行双向绑定关联；图像评判模块，用于对拥有同一所述追踪id的所述人脸框、所述人形框、所述车辆框、所述车牌框分别按预设规则进行图像评判，并将所述图像评判的结果输出。
13.第三方面，本发明实施例还提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中任意一项所述的边缘设备的目标捕获方法中的步骤。
14.第四方面，本发明实施例还提供所述一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中任意一项所述的边缘设备的目标捕获方法中的步骤。
15.本发明所达到的有益效果，由于采用了新的深度学习算法进行图像检测，并结合只是用目标框信息判定的追踪算法，能够提升系统整体的运行速度，降低了边缘设备的资源占用率，弥补了边缘设备性能不足的问题。
附图说明
16.图1是本发明实施例提供的边缘设备的目标捕获方法的流程框图；图2是本发明实施例提供的深度学习算法的结构框图；图3是本发明实施例提供的边缘设备的目标捕获方法中步骤s102的子流程框图；图4是本发明实施例提供的边缘设备的目标捕获方法中步骤s103的子流程框图；图5是本发明实施例提供的边缘设备的目标捕获方法中步骤s104的子流程框图；
图6是本发明实施例提供的边缘设备的目标捕获方法中步骤s1042的子流程框图；图7是本发明实施例提供的边缘设备的目标捕获方法中步骤s1043的子流程框图；图8是本发明实施例提供的边缘设备的目标捕获方法中步骤s105的子流程框图；图9是本发明实施例提供的目标捕获系统的结构框图；图10是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
18.请参照图1，图1是本发明实施例提供的边缘设备的目标捕获方法的流程框图，具体包括以下步骤：s101、获取视频数据，并将所述视频数据按时序拆帧得到的帧图像依序放入检测队列中。
19.在本发明实施例中，获取所述视频数据的方式可以是通过vgs（video guarantee system，视频监控保障系统）获取到可用的数据，或者是其他具有影像拍摄和数据存储的装置将数据进行采集后通过数据传输方式获取，将获取到的所述视频数据放入缓存池中，并使用视频帧处理工具对所述视频数据进行拆帧处理，其中，拆帧处理后得到的所述帧图像按照时间先后顺序进行排序，将排完序之后的处于缓存池中的所述帧图像作为所述检测队列。
20.s102、利用训练好的深度学习算法对所述检测队列中每一所述帧图像做目标检测，并在每一所述帧图像中标记检测到的人脸框、人形框、车辆框、车牌框。
21.请参照图2，图2是本发明实施例提供的深度学习算法的结构框图，所述深度学习算法本质为一种图像处理算法，包括依次设置的主干网络、特征增强网络、预测网络，所述主干网络包括focus结构和csp结构，所述特征增强网络包括spp结构和fpn pan结构，所述预测网络包括损失函数和非极大值抑制，具体的，请参照图3，图3是本发明实施例提供的边缘设备的目标捕获方法中步骤s102的子流程框图，具体包括以下子步骤：s1021、将所述检测队列中的每一所述帧图像通过所述主干网络进行特征提取，得到基础特征图。
22.在本发明实施例中，所述深度学习算法以单一的静态图像为输入，以下实施例以进行一张所述帧图像的处理为例，所述帧图像在输入到所述主干网络中时，首先通过所述focus结构进行切片操作，并先后经过整合拼接、卷积、批归一化和激活函数的处理，将所述帧图像中的图像特征进行突出，得到第一特征图，之后，所述第一特征图经过若干个csp结构组成的处理层进一步进行图像特征突出，得到所述基础特征图。
23.s1022、将所述基础特征图通过所述特征增强网络进行特征融合，得到特征向量。
24.所述基础特征图输入到所述特征增强网络中时，首先通过所述spp结构进行池化和拼接，所述spp结构的池化包括13*13、9*9、5*5大小的三组池化，在经过池化操作以后，通过拼接得到第二特征图，之后，所述第二特征图经过所述pan fpn结构进行特征融合，其中，pan结构用于对不同尺度的特征进行上采样的缩放，fpn结构用于执行下采样的缩放，最终
得到一个一维向量，所述一维向量的内容包括采集到的特征在所述帧图像中的坐标、识别概率、数据类，以及包含以上数据的矩形选框，所述矩形选框标记了所述帧图像中的物体目标，将所述一维向量作为所述特征向量。
25.s1023、将所述特征向量通过所述预测网络进行目标检测，得到选框标记的具有置信度的目标图像，并根据所述目标图像的类型进行划分，得到所述人脸框、所述人形框、所述车辆框、所述车牌框。
26.所述特征向量输入所述预测网络中时，首先通过所述损失函数来缩小预测环节中预测目标结果与实际目标之间的差距，具体的，本发明实施例使用的所述损失函数为giou loss，用于从所述矩形选框中计算并排除使误差较大的结果，之后，使用非极大值抑制从所述特征向量中筛选出所述矩形选框中所述识别概率最大的一个，作为目标检测得到的所述目标图像，在本发明实施例中，检测出来的所述目标图像包括人脸、人形、车辆、车牌，根据所述目标图像的类型，将其划分得到所述人脸框、所述人形框、所述车辆框、所述车牌框，其中，每一个选框对应的所述识别概率作为一个置信度，保存在选框的基本数据中。
27.在使用所述深度学习算法完成对所有所述帧图像的图像识别后，按照所述帧图像的先后顺序，对识别出来的所有所述人脸框、所述人形框、所述车辆框、所述车牌框按照时间先后顺序进行排序。
28.s103、对每一所述帧图像中的所述人脸框、所述人形框、所述车辆框进行目标追踪，将所有所述帧图像中目标追踪结果相同的所述人脸框、所述人形框、所述车辆框分别赋予同一个追踪id，并将所述目标追踪结果输出。
29.请参照图4，图4是本发明实施例提供的边缘设备的目标捕获方法中步骤s103的子流程框图，具体包括以下子步骤：s1031、将所述检测队列中第一张所述帧图像中所有的所述人脸框、所述人形框、所述车辆框放入预测队列中，并为其中每一个所述人脸框、所述人形框、所述车辆框分配一个所述追踪id。
30.具体的，在本发明实施例中，所述预测队列包括人脸预测队列、人形预测队列、车辆预测队列，在所述检测队列中的第一张所述帧图像中的所有所述人脸框、所述人形框、所述车辆框分别放入所述人脸预测队列、所述人形预测队列、所述车辆预测队列中，其中，所述预测队列中的每一个所述人脸框、所述人形框、所述车辆框都分配一个不重复的所述追踪id。
31.s1032、根据所述预测队列中的所述人脸框、所述人形框、所述车辆框、通过计算得到人脸预测框、人形预测框、车辆预测框。
32.对应所述人脸预测队列、所述人形预测队列、所述车辆预测队列，在每一个所述预测队列中计算其中的所述人脸框、所述人形框、所述车辆框在下一帧的出现位置，得到所述人脸预测框、所述人形预测框、所述车辆预测框，具体的，以计算所述人脸框对应的所述人脸预测框为例，所述人脸预测框的坐标为所述人脸框的坐标乘以一个预设的偏置系数，并且所述偏置系数还与所述人脸框对应的人脸出现频率相关。
33.s1033、分别获取所述检测队列中第一张所述帧图像之后的当前帧图像中的所有所述人脸框、所述人形框、所述车辆框，并分别与所述人脸预测框、所述人形预测框、所述车辆预测框计算交并比矩阵。
34.获取所述当前帧图像中的所述人脸框、所述人形框、所述车辆框，之后，从所述预测队列中对应类型的所有预测框进行交并比计算，以人脸类型为例，将所述当前帧图像中的其中一个所述人脸框与所述人脸预测队列中的所有人脸预测框进行交并比计算，得到一个iou值，并在计算完一个所述当前帧图像中的其中一个所述人脸框之后继续下一个所述人脸框的计算，直到得到所述当前帧图像中所有所述人脸框与所有所述人脸预测框之间的iou值，将1
‑
iou值存入矩阵中，最终得到一个1
‑
iou值的交并比矩阵，根据上述方式，通过计算得到所述当前帧图像中的所述人形框、所述车辆框的交并比矩阵。
35.s1034、通过匈牙利算法计算所述交并比矩阵，将存在匹配关系的所述当前帧图像中的所述人脸框、所述人形框、所述车辆框分配对应的所述追踪id，将不存在匹配关系的所述当前帧图像中的所述人脸框、所述人形框、所述车辆框分配新的追踪id。
36.以所述人脸框计算得到的所述交并比矩阵为例，按照行序使用匈牙利算法计算所述交并比矩阵，根据计算出来的结果，会得到所述当前帧图像中的一个所述人脸框是否存在一个所述人脸检测队列中的所述人脸预测框与之匹配，其中，若存在匹配关系，那么所述当前帧图像中的一个所述人脸框就视为已有的所述人脸框进行目标追踪的结果，将当前帧帧图像中的所述人脸框对应的所述追踪id赋值为目标追踪的原本的所述人脸框的所述追踪id；若不存在匹配关系，那么所述当前帧图像中的一个所述人脸框就视为从未出现过的目标，并为其分配新的追踪id，根据以上方法，计算出所有的所述交并比矩阵，并得到所述当前帧图像中所有所述人脸框、所述人形框、所述车辆框的目标追踪结果和对应的所述追踪id。
37.s1035、将当前的所有所述人脸框、所述人形框、所述车辆框以及对应的所述追踪id输出。
38.将完成了所述交并比矩阵计算得到的当前的所有所述人脸框、所述人形框、所述车辆框以及对应的所述追踪id进行输出，以供使用人员确认所述当前帧图像中所有所述目标图像的具体目标追踪情况。
39.s104、对每一所述帧图像中的所述人脸框和所述人形框进行单向绑定关联，对同一所述帧图像中的所述车辆框和所述车牌框进行双向绑定关联。
40.请参照图5，图5是本发明实施例提供的边缘设备的目标捕获方法中步骤s104的子流程框图，具体包括以下子步骤：s1041、获取每一所述帧图像中的所述人脸框的坐标、所述人形框的坐标、所述车辆框的坐标、所述车牌框的坐标。
41.在本发明实施例中，所述人脸框、所述人形框、所述车辆框、所述车牌框均是从所述帧图像中以选框标记出来的图像，因此以所述帧图像为平面，可以得到所述人脸框、所述人形框、所述车辆框、所述车牌框对应的坐标信息。
42.s1042、以所述人脸框为队列，遍历同一所述帧图像中的所有所述人形框，将满足预设人脸人形关联条件的一个所述人形框与所述人脸框建立单向绑定关联，并将所述人脸框对应的所述追踪id作为所述人形框的人脸绑定关联id。
43.具体的，请参照图6，图6是本发明实施例提供的边缘设备的目标捕获方法中步骤s1042的子流程框图，具体包括以下子步骤：s10421、从所述当前帧图像中选择其中一个所述人脸框去遍历同一帧图像中的所
述人形框，并判断所述人形框是否已与其他所述人脸框形成所述单向绑定关系。
44.10421a、若所述人脸框已与其他所述人形框形成所述单向绑定关系，则开始遍历下一个所述人形框。
45.10421b、若所述人脸框未与其他所述人形框形成所述单向绑定关系，则进入步骤s10422。
46.s10422、将所述人形框的左右上边界和横中轴线内设为所述人脸框的检索范围。
47.s10423、计算所述人脸框与所述人形框的所述检索范围的中心点之间的坐标距离。
48.s10424、将计算得到的所述坐标距离更新为所述人脸框与所述人形框之间的实际距离，并判断所述人脸框是否完成了全部所述人形框的遍历。
49.10424a、若遍历未完成，则回到步骤s10421继续进行遍历。
50.10424b、若遍历已完成，则进入步骤s10425。
51.s10425、将所述人脸框对应的所述追踪id赋值给其遍历的所有所述人形框中所述实际距离最小的一个所述人形框，并将所述追踪id作为所述人形框的所述人脸绑定关联id，建立单向绑定关系。其中，所述单向绑定关系为通过所述人脸框可以查询到所述人形框，而通过所述人形框不一定查询到唯一的所述人脸框。
52.s1043、以所述车牌框为队列，遍历同一所述帧图像中的所有所述车辆框，将满足所述车牌框与所述车辆框之间的坐标满足预设车牌位置条件的所述车牌框与所述车辆框建立双向绑定关联，并将所述车辆框对应的所述追踪id赋值给所述车牌框，使所述车牌框具备与所述车辆框相同的所述追踪id。
53.具体的，请参照图7，图7是本发明实施例提供的边缘设备的目标捕获方法中步骤s1043的子流程框图，具体包括以下子步骤：s10431、从所述当前帧图像中选择其中一个所述车牌框去遍历同一帧图像中的所述车辆框，并判断所述车辆框是否已与其他所述车牌框形成所述双向绑定关系。
54.10431a、若所述车牌框已与其他所述车辆框形成所述双向绑定关系，则开始遍历下一个所述人形框。
55.10421b、若所述车牌框未与其他所述车辆框形成所述双向绑定关系，则继续进入判断步骤s10432。
56.s10432、判断所述车辆框是否接近所述当前帧图像的上边界。
57.10432a、若所述车辆框接近所述当前帧图像的上边界，则继续进入判断步骤s10433a。
58.10432b、若所述车辆框不接近所述当前帧图像的上边界，则继续进入判断步骤s10433b。
59.s10433a、判断所述车牌框的中心点是否在所述车辆框的区域范围内。
60.10433a1、若所述车牌框的中心点不在所述车辆框的区域范围内，则回到步骤s10431进入下一个遍历过程。
61.10433a2、若所述车牌框的中心点在所述车辆框的区域范围内，则进入判断步骤s10434。
62.s10433b、判断所述车牌框的中心点是否在所述车辆框的下三分之二部分。
63.s10433b1、若所述车牌框的中心点不在所述车辆框的下三分之二部分，则回到步骤s10431进入下一个遍历过程。
64.s10433b2、若所述车牌框的中心点在所述车辆框的下三分之二部分，则进入判断步骤s10434。
65.s10434、判断所述车辆框的宽度是否小于高度的1.1倍。
66.10434a、若所述车辆框的宽度小于高度的1.1倍，则计算所述车辆框的中心点与所述车牌框的中心点的距离，记为第一距离。
67.10434b、若所述车辆框的宽度不小于高度的1.1倍，则计算所述车牌框的左下角与所述车辆框的左下角的距离，记为左距离，且计算所述车牌框的右下角与所述车辆框的右下角的距离，记为右距离，将所述左距离与所述右距离中最小的值记为第二距离。
68.s10435、将所述第一距离和所述第二距离中最小的值记为所述车辆框与所述车牌框之间的第二实际距离，并判断所述车牌框是否完成了全部所述车辆框的遍历。
69.10435a、若遍历未完成，则回到步骤s10431继续进行遍历。
70.10435b、若遍历已完成，则进入步骤s10436。
71.s10436、将所述车辆框对应的所述追踪id赋值给其遍历的所有所述车辆框中所述第二实际距离最小的一个所述车牌框，使所述车牌框具备与所述车辆框相同的所述追踪id，并建立双向绑定关系。其中，所述双向绑定关系为通过所述车牌框可以查询到唯一对应的所述车辆框，并且通过所述车辆框也可以查询到唯一对应的所述车牌框。
72.s105、对拥有同一所述追踪id的所述人脸框、所述人形框、所述车辆框、所述车牌框分别按预设规则进行图像评判，并将所述图像评判的结果输出。
73.请参照图8，图8是本发明实施例提供的边缘设备的目标捕获方法中步骤s105的子流程框图，具体包括以下子步骤：s1051、获取同一所述追踪id中的每一个所述人脸框、所述人形框、所述车辆框、所述车牌框的绑定关联关系、图像高宽比、图像遮挡率、所述置信度。
74.具体的，此时的每一所述人脸框、所述人形框、所述车辆框、所述车牌框都具有一个所述追踪id，并且，在连续的所述帧图像之间，会出现同一追踪目标移动后产生的选框，经过所述目标追踪，同一追踪目标所拥有的所述追踪id会被统一，因此针对拥有同一个所述追踪id的所述人脸框、所述人形框、所述车辆框、所述车牌框之间会作图像质量比较。其中，所述绑定关联关系为上述步骤中的所述人脸框与所述人形框之间的所述单向绑定关系，以及所述车辆框和所述车牌框之间的所述双向绑定关系，所述图像高宽比为所述人脸框、所述人形框、所述车辆框、所述车牌框的实际像素高度，所述图像遮挡率为所述人脸框、所述人形框、所述车辆框、所述车牌框之间对于某一选框来说的面积遮挡比率。
75.s1052、根据所述绑定关联关系、所述图像高宽比、所述图像遮挡率、所述置信度以及预设的图像面积权重和置信度预设权重分别计算每一个所述人脸框、所述人形框、所述车辆框、所述车牌框的图像得分。
76.具体的，以所述人形框为例，所述人形框的图像得分s的所述预设规则满足如下条件：s=a*a b*b c*c d*d e*e其中，a为所述人形框的面积，由所述人形框的实际长宽以及分辨率得到，b为所述
人形框的所述绑定关系值，当存在所述绑定关系时b取值1，否则b取值0，c为所述人形框的所述图像高宽比，d为所述人形框的所述图像遮挡率，e为所述人形框的所述置信度，a、b、c、d、e为预设的权重值。
77.同样的，与所述预设规则相似，对所述人脸框、所述车辆框、所述车牌框进行图像得分计算。
78.s1053、将拥有同一所述追踪id的所述人脸框、所述人形框、所述车辆框、所述车牌框按照所述图像得分以及预设得分阈值进行过滤，并将过滤后的结果输出。
79.根据上述步骤s1052中计算得出的所有所述人脸框、所述人形框、所述车辆框、所述车牌框的所述图像得分，以所述人脸框为例，从具有同一所述追踪id的所述人脸框中选出所述图像得分在所述预设得分阈值以下的结果，将其废弃，并将剩余的所述人脸框作为完成了图像评判的结果进行输出，同样的，将所述人形框、所述车辆框、所述车牌框选出的满足所述预设得分阈值的结果进行输出。
80.本发明所达到的有益效果，由于采用了新的深度学习算法进行图像检测，并结合只是用目标框信息判定的追踪算法，能够提升系统整体的运行速度，降低了边缘设备的资源占用率，弥补了边缘设备性能不足的问题。
81.本发明实施例还提供一种边缘设备的目标捕获系统，请参照图9，图9是本发明实施例提供的目标捕获系统的结构框图，所述目标捕获系统200包括数据获取模块201、目标检测模块202、目标追踪模块203、关键目标关联模块204、最优图像评判模块205，其中：所述数据获取模块201用于获取视频数据，并将所述视频数据按时序拆帧得到的帧图像依序放入检测队列中；所述目标检测模块202用于利用训练好的深度学习算法对所述检测队列中每一所述帧图像做目标检测，并在每一所述帧图像中标记检测到的人脸框、人形框、车辆框、车牌框；所述目标追踪模块203用于对每一所述帧图像中的所述人脸框、所述人形框、所述车辆框进行目标追踪，将所有所述帧图像中目标追踪结果相同的所述人脸框、所述人形框、所述车辆框分别赋予同一个追踪id，并将所述目标追踪结果输出；所述关键目标关联模块204用于对每一所述帧图像中的所述人脸框和所述人形框进行单向绑定关联，对同一所述帧图像中的所述车辆框和所述车牌框进行双向绑定关联；所述最优图像评判模块205用于对拥有同一所述追踪id的所述人脸框、所述人形框、所述车辆框、所述车牌框分别按预设规则进行图像评判，并将所述图像评判的结果输出。
82.本发明实施例提供的目标捕获系统200能够实现如上述实施例中的边缘设备的目标捕获方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
83.本发明实施例还提供一种计算机设备，请参照图10，图10是本发明实施例提供的一种计算机设备的结构示意图，所述计算机设备300包括：存储器302、处理器301及存储在所述存储器302上并可在所述处理器301上运行的计算机程序。
84.所述处理器301调用所述存储器302存储的计算机程序，执行本发明实施例提供的边缘设备的目标捕获方法中的步骤，请结合图1，具体包括：s101、获取视频数据，并将所述视频数据按时序拆帧得到的帧图像依序放入检测
队列中。
85.s102、利用训练好的深度学习算法对所述检测队列中每一所述帧图像做目标检测，并在每一所述帧图像中标记检测到的人脸框、人形框、车辆框、车牌框。
86.更进一步地，所述训练好的深度学习算法包括依次设置的由focus结构和csp结构组成的主干网络、spp结构和fpn pan结构组成的特征增强网络、损失函数和非极大值抑制组成的预测网络。
87.更进一步地，所述利用训练好的深度学习算法对所述检测队列中每一所述帧图像做目标检测，并在每一所述帧图像中标记检测到的人脸框、人形框、车辆框、车牌框的步骤，包括以下子步骤：将所述检测队列中的每一所述帧图像通过所述主干网络进行特征提取，得到基础特征图；将所述基础特征图通过所述特征增强网络进行特征融合，得到特征向量；将所述特征向量通过所述预测网络进行目标检测，得到选框标记的具有置信度的目标图像，并根据所述目标图像的类型进行划分，得到所述人脸框、所述人形框、所述车辆框、所述车牌框。
88.更进一步地，所述利用训练好的深度学习算法对所述检测队列中每一所述帧图像做目标检测，并在每一所述帧图像中标记检测到的人脸框、人形框、车辆框、车牌框，其中，每一所述人脸框、所述人形框、所述车辆框、所述车牌框还包括一个置信度的步骤后还包括：根据所述置信度对所有所述人脸框、所述人形框、所述车辆框、所述车牌框按照预设排序规则进行快速排序。
89.s103、对每一所述帧图像中的所述人脸框、所述人形框、所述车辆框进行目标追踪，将所有所述帧图像中目标追踪结果相同的所述人脸框、所述人形框、所述车辆框分别赋予同一个追踪id，并将所述目标追踪结果输出。
90.更进一步地，所述对每一所述帧图像中的所述人脸框、所述人形框、所述车辆框进行目标追踪，并将所有所述帧图像中目标追踪结果相同的所述人脸框、所述人形框、所述车辆框分别赋予同一个追踪id，并将所述目标追踪结果输出的步骤，包括以下子步骤：将所述检测队列中第一张所述帧图像中所有的所述人脸框、所述人形框、所述车辆框放入预测队列中，并为其中每一个所述人脸框、所述人形框、所述车辆框分配一个所述追踪id；根据所述预测队列中的所述人脸框、所述人形框、所述车辆框通过计算得到人脸预测框、人形预测框、车辆预测框；分别获取所述检测队列中第一张所述帧图像之后的当前帧图像中的所有所述人脸框、所述人形框、所述车辆框，并分别与所述人脸预测框、所述人形预测框、所述车辆预测框计算交并比矩阵；通过匈牙利算法计算所述交并比矩阵，将存在匹配关系的所述当前帧图像中的所述人脸框、所述人形框、所述车辆框分配对应的所述追踪id，将不存在匹配关系的所述当前帧图像中的所述人脸框、所述人形框、所述车辆框分配新的追踪id；将当前的所有所述人脸框、所述人形框、所述车辆框以及对应的所述追踪id输出。
91.s104、对每一所述帧图像中的所述人脸框和所述人形框进行单向绑定关联，对同一所述帧图像中的所述车辆框和所述车牌框进行双向绑定关联。
92.更进一步地，所述对每一所述帧图像中的所述人脸框和所述人形框进行单向绑定关联，对同一所述帧图像中的所述车辆框和所述车牌框进行双向绑定关联的步骤，包括以下子步骤：获取每一所述帧图像中的所述人脸框的坐标、所述人形框的坐标、所述车辆框的坐标、所述车牌框的坐标；以所述人脸框为队列，遍历同一所述帧图像中的所有所述人形框，将满足预设人脸人形关联条件的一个所述人形框与所述人脸框建立单向绑定关联，并将所述人脸框对应的所述追踪id作为所述人形框的人脸绑定关联id；以所述车牌框为队列，遍历同一所述帧图像中的所有所述车辆框，将满足所述车牌框与所述车辆框之间的坐标满足预设车牌位置条件的所述车牌框与所述车辆框建立双向绑定关联，并将所述车辆框对应的所述追踪id赋值给所述车牌框，使所述车牌框具备与所述车辆框相同的所述追踪id。
93.s105、对拥有同一所述追踪id的所述人脸框、所述人形框、所述车辆框、所述车牌框分别进行图像评判，并将所述图像评判的结果输出。
94.更进一步地，所述对拥有同一所述追踪id的所述人脸框、所述人形框、所述车辆框、所述车牌框分别进行图像评判，并将所述图像评判的结果输出的步骤，包括以下子步骤：获取同一所述追踪id中的每一个所述人脸框、所述人形框、所述车辆框、所述车牌框的绑定关联关系、图像高宽比、图像遮挡率、所述置信度；根据所述绑定关联关系、所述图像高宽比、所述图像遮挡率、所述置信度以及预设的图像面积权重和置信度预设权重分别计算每一个所述人脸框、所述人形框、所述车辆框、所述车牌框的图像得分；将拥有同一所述追踪id的所述人脸框、所述人形框、所述车辆框、所述车牌框按照所述图像得分以及预设得分阈值进行过滤，并将过滤后的结果输出。
95.本发明实施例提供的计算机设备300能够实现如上述实施例中的边缘设备的目标捕获方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
96.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的边缘设备的目标捕获方法中的各个过程及步骤，且能实现相同的技术效果，为避免重复，这里不再赘述。
97.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（read
‑
only memory，rom）或随机存取存储器（random access memory，简称ram）等。
98.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有
的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
99.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。
100.上面结合附图对本发明的实施例进行了描述，所揭露的仅为本发明较佳实施例而已，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式用等同变化，均属于本发明的保护之内。