一种行人追踪方法、设备和存储介质与流程

1.本发明涉及通信技术领域，尤其涉及一种行人追踪方法、设备和存储介质。


背景技术：

2.如今，视频监控已经遍布在我们生活的各个角落中，并且人脸识别技术已经非常成熟。然而，在实际的安防应用场景中，并非所有的摄像头都能够拍摄到清晰的人脸，由于头发、口罩和帽子等遮挡，很难通过人脸识别系统判定行人身份。不仅如此，在实际的应用场景中，一个摄像头往往无法覆盖所有的区域，而且多个摄像头之间一般也没有重叠，因此跨镜追踪检索系统对人员进行锁定和查找显得十分必要。
3.目前，跨镜追踪技术在产业界和学术界都受到广泛关注，并取得显著进展，从政策方面看，公安部推出平安城市的概念，并且发布了多项预研课题，相关的行业标准也在紧锣密鼓的制定当中。跨镜追踪检索系统使用最多的就是行人重识别。在该领域，大多研究者一般采用基于行人图片特征来定位和检索行人的方案，这样对行人特征的鲁棒性提出了很高的要求，但是真实的场景往往都是非常复杂，比如无正脸照、姿态变换、服装变换、遮挡、光线、摄像头分辨率较低和室内外环境变化等，这些因素通常会导致行人检索与追踪的失败。


技术实现要素：

4.本发明实施例的主要目的在于提出一种行人追踪方法、设备和存储介质，旨在通过多模态的方式，利用多种模态特征融合成一个综合属性特征，这样各种特征中优势和劣势会形成互补，对跨镜追踪系统会有更好的效果，具有较高的应用价值。
5.为实现上述目的，本发明实施例提供了一种行人追踪方法，所述方法包括以下步骤：
6.对预设监控摄像头采集的视频画面进行行人轨迹分析，生成行人轨迹图片集；
7.对所述行人轨迹图片集进行多模态特征提取，并形成行人多模态数据库；
8.将所述行人多模态数据库输入到训练好的多模态识别系统中，进行行人追踪，生成行人在预设监控摄像头中的移动轨迹。
9.为实现上述目的，本发明提供了一种行人追踪的设备，所述设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行，以实现前述方法的步骤。
10.为实现上述目的，本发明提供了一种计算机可读存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述方法的步骤。
11.本发明提出的一种行人追踪方法、设备和存储介质，其结合多目标跟踪、行人重识别、行人属性、人脸识别及摄像机拓扑时空约束等多模态智能分析方法的跨镜行人追踪检索系统。通过对各个模态权重参数的调整，最终得到一个针对特定监控区域行人的最优综合评价特征，可以极大的提升跨镜行人追踪的准确率，使得拥有更优的跨镜行人检索体验。
附图说明
12.图1是本发明实施例一提供的一种行人追踪方法的流程图。
13.图2是本发明实施例提供的一种行人追踪系统流程图。
14.图3是本发明实施例提供的一种行人追踪系统结构框图。
具体实施方式
15.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
16.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
17.本发明提出了一种基于多模态的跨镜追踪检索系统，以多目标行人追踪为基础，结合行人重识别网络、行人质量分析、行人属性分析、人脸识别和摄像头的时间和空间位置信息，来进一步提高跨镜追踪检索的准确率和速度。
18.实施例一
19.如图1所示，本实施例提供了一种行人追踪方法，该方法包括以下步骤：
20.步骤s110：对预设监控摄像头采集的视频画面进行行人轨迹分析，生成行人轨迹图片集；
21.步骤s120：对所述行人轨迹图片集进行多模态特征提取，并形成行人多模态数据库；
22.步骤s130：将所述行人多模态数据库输入到训练好的多模态识别系统中，进行行人追踪，生成行人在预设监控摄像头中的移动轨迹。
23.本发明实施例还包括：接收目标行人轨迹，提取所述目标行人的多模态特征，并在所述行人多模态数据库中查找与所述目标行人的多模态特征匹配的第一行人轨迹；将所述目标行人轨迹和所述第一行人轨迹合并生成第二行人轨迹，在所述行人多模态数据库中查询与所述第二行人轨迹匹配的行人轨迹；根据与所述第二行人轨迹匹配的行人轨迹，生成所述目标行人在预设监控摄像头中的移动轨迹。
24.本发明实施例还包括从所述行人轨迹图片集选取质量参数在预设范围内的图像，并对所述选取的质量参数在预设范围内的图像进行特征提取。
25.其中，根据训练集对所述多模态识别系统中各模态参数的影响因子进行调整，得到所述训练好的多模态识别系统。
26.具体地说，所述行人轨迹图片集中的图片名称包括：轨迹id、视频帧号、所述图片拍摄时间、地点信息。
27.其中，所述生成行人在预设监控摄像头中的移动轨迹包括：根据所述监控摄像机分布拓扑的图结构进行行人的移动规律分析。
28.具体的，将监控摄像头的时空拓扑关系与目标的外观表现模型匹配算法进行结合,使用监控摄像头拓扑的图结构分析行人移动和转移的规律，从而对行人的跨镜追踪进行时空约束。如果跟踪目标在某个节点(摄像头)处消失，则在其相邻几步可达的节点处进行目标检测，再进行匹配与关联。
29.更进一步地，空间关系定义了节点之间是否建立边，以及边的方向。图模型的建立
过程中，如果两个节点之间在物理空间位置上一步可达，即不经过其他任何节点，则为它们之间建立一条边。
30.在实际应用系统中，采用统计学习方法为目标的运动建立时间约束，从而定义节点之间合理的权值。想要获取一组摄像头节点数据的统计规律往往比较困难，这是由许多因素决定的：包括目标的运动规律、摄像机的地理位置、监控周边交通环境变化等。本实施例中，对所有观测时间进行聚类并计算每个类内的方差；根据摄像头相对坐标及路线情况初始化权重，根据行人重识别比对情况进行修正。
31.考虑到行人无法同时出现在多个摄像头以及从一个摄像头移动到另一个摄像头需要考虑其时间统计规律，可以利用该时空约束显著减少待查询的样本量，减少了查询时间并提高了检索性能。
32.结合摄像头的空间经纬坐标及可行走路线的空间约束，可以估计出摄像头节点间的连接关系及初始移动时间。后续结合行人重识别的间隔时间进行不断的修正，可以获得摄像头网络拓扑的边权值。
33.后续查询时，首先根据待查询轨迹确定以此节点为中心的摄像机网络拓扑中的临近节点，再结合边权值限定临近节点中查询数据的时间范围。在每个临近节点的对应时间范围内进行轨迹匹配。
34.在临近节点a中匹配到目标后，则以该节点为新的网络中心，在摄像机网络拓扑中的临近节点中继续查询，并更新行人行进轨迹和出现的时间节点。在查询结束后完成行人行进轨迹的绘制。
35.若在推荐的时间范围内没有匹配到目标，则在扩大的时间范围内进一步查询，若仍没有查询到，则在以该节点(query)为中心的下一层临近节点进行查询。
36.在一个实施例中，所述多模态特征包括以下一种或多种：行人特征、人脸特征和行人属性特征。具体地说，所述行人特征包括以下一种或多种：高矮胖瘦的体型特征和姿势特征；所述人脸特征信息包括以下一种或多种：脸型特征、脸部表情特征和肤色特征；所述行人属性信息包括以下一种或多种：发型长短、发型颜色、服装款式、服装颜色以及携带物品。
37.本发明实施例二提出一种行人追踪设备，所述设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行，以实现如图1所示的具体步骤。
38.本发明实施例三提出一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如图1所示的具体步骤。
39.本发明实施例公开了一种利用多模态信息融合来对不同摄像头下同一行人进行检索与追踪的系统，如图2所示，该方法包括以下步骤：
40.步骤s1，获取监控区域中不同摄像头的视频；
41.步骤s2，对获取到的离线视频进行行人检测，并完成行人轨迹提取，相应的行人轨迹图片集中的图片名以轨迹id、视频帧号和对应时间、地点复合命名(例0001_00025_202003210915_nj)，保存在以轨迹id命名的子文件夹下；
42.步骤s3，通过行人质量分析模块，提取行人轨迹图片集中质量参数在预设范围内的图像，本实施例中选取图片质量较好且时间较分散的5张图片，作为top5行人轨迹；
43.步骤s4，分别利用行人重识别网络、人脸识别网络和行人属性网络提取top5行人轨迹的行人特征、人脸特征(若未检测到人脸数据置为空)和行人属性特征，特征提取完成，把三种特征和(轨迹id、视频帧号、时间、地点)保存到数据库中；
44.具体的，行人重识别网络是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，通过行人重识别网络确定行人特征。
45.行人属性网络用于提取行人属性，行人属性是关于行人外貌的语义性描述，人体不同的部位具有不同的属性，例如，人体头部相关属性有“短发”及“长发”等；衣服款式相关属性有“长袖”“短袖”“连衣裙”和“短裤”等；携带物相关属性有“双肩包”“单肩包”“手提包”和“无携带”等。在不同环境和场合可以对行人属性进行选择和细分，使之有利于行人的再识别。行人属性信息与人的外观信息相关联的，是更为具体的语义信息，在进行行人比对或行人检索时，根据行人属性的相似情况可以过滤不相关数据。
46.步骤s5，采用一批人工标注好的测试集来优化多模态权重参数；
47.步骤s6，输出最终检测结果。
48.本发明相对其它只基于行人图片特征来定位和检索的方案，融合了人脸、行人属性、时间和空间等多模态信息，使得检索更具备鲁棒性，更能够适应复杂的真实场景。
49.图3是本发明实施例提供的一种基于多模态检索的跨镜行人追踪系统结构框图，如图3所示，主要包括五个模块，分别为：数据获取与轨迹提取模块，最佳轨迹提取模块，特征提取和多模态信息入库模块，多模态权重调整模块，检索交互和结果展示模块。
50.数据获取与轨迹提取模块，从监控的视频单元中获取离线视频图像，每个监控单元只负责自己区域的数据保存和提取，保存到指定文件夹下，对已保存的视频进行轨迹追踪提取，并对行人图片自动标注轨迹id、图片帧号、时间信息和位置信息。
51.最佳轨迹提取模块，从行人轨迹中筛选出行人质量较完整的，同时，具有较大时间间隔的5张行人轨迹图片。
52.特征提取和多模态信息入库模块是提取行人、人脸和行人属特征，并将这三种特征和轨迹id、行人轨迹图片时间和空间信息，保存到行人多模态数据库中。
53.多模态权重调整模块是使用一批标注的测试集来优化多模态参数值的权重，最终达到针对不同的数据集有自己最优的模态参数。
54.检索交互和结果展示模块是，能够提供界面化操作轨迹搜索轨迹和图片搜索轨迹，并能够显示最优轨迹和每个摄像头下的最优轨迹排名，并能够通过轨迹中的图片帧号，可以搜索到视频中该轨迹，并进行实时播放。
55.实施例四
56.本发明实施例提供的一种基于多模态的跨镜追踪检索系统，获取监控区域的离线视频，对视频中的行人进行行人检索，采用轨迹追踪算法进行行人轨迹提取，并对每张图片完成以轨迹id、视频帧号和对应时间、地点复合命名，使用行人质量分析模块提取轨迹中的最佳5张行人图片。对其所有轨迹图片进行人脸、行人和行人属性特征进行提取，特征提取完成后将所有的多模态信息入库。使用测试集对多模态系统参数进行自适应调整，最后完成跨镜头的行人轨迹搜索，并将结果显示在界面上。该方法相对人工检索方法，很大程度上减少了工作量，高效率的同时还有较高的准确率，该方案可实现跨镜头的行人检索，为智慧安防和平安城市提供了相当有力的支持。
57.请参见图2，下面对上述各步骤进行详细的描述。
58.在步骤s1中，确定检索区域，并获取该区域监控的离线视频，该区域可以是商场、写字楼、居民小区和社区等相对固定的场所，并且该离线视频应该是某一时间段的，至少是同一天的监控视频。将视频保存到本地，并标记摄像头id、位置和起始时间，在本实施例中，选取三个不同角度的镜头，摄像头id为c0、c1和c2。
59.在步骤s2中，对各个摄像头下的离线视频进行行人检测、轨迹追踪。相应的行人轨迹图片集中图片以轨迹id、视频帧号和对应时间、地点复合命名(例0001_00025_202003210915_nj)，保存在以轨迹id命名的子文件夹下。这里行人检测模型采用的是ssd(single shot multibox detector，深度学习目标检测算法)算法来获取当前帧行人的位置框和边界框，采用匈牙利追踪算法获取行人轨迹。
60.在步骤s3中，对上步获取的行人轨迹，使用行人质量分析模型，这里采用的是人体骨骼关键点检测算法，通过骨骼关键点的个数来判别行人的完整性，若图片中行人骨骼关键点的个数等于预设值，则判断获取的该行人的图片信息完整，本实施例中，选取的关键点包括：头部、肩部、手掌、脚掌。对于有较多行人图片的轨迹，提取该轨迹中质量较好且时间较分散的5张图片，作为top5行人轨迹。
61.在步骤s4中，分别利用行人重识别网络、人脸识别网络和行人属性网络提取top5行人轨迹的行人特征、人脸特征(若未检测到人脸数据置为空)和行人属性特征，特征提取完成，把三种特征和(轨迹id、视频帧号、时间、地点)保存到行人多模态数据库中。
62.在步骤s5中，因为跨镜追踪的数据集对场景要求非常严格，在网络上没有任何资源可供使用，所以采用了自己构建的训练集，通过提取三个不同镜头下的离线监控视频，三个摄像头分别命名为c0、c1和c2。然后对离线视频进行行人多目标检测跟踪、审核和人工标注。查询(query)数据归属于c0摄像头，被查询(gallery)轨迹数据分属于两个摄像头c1和c2。使用该标注好的训练集优化多模态识别系统，经过上述s4步骤，完成一系列的多模态信息入库(该数据库归属于多模态权重优化数据库，与之前s4步生成的信息检索数据库不存在冲突)，其中每条轨迹包含5张图片，在进行人脸、行人特征及行人属性比对时将采取批量特征比对的方式进行，然后采用c0-》c1，c0-》c2的检索方式，最终对c0-》c1，c0-》c2，统计检索命中率。然后动态的调整多模态权重参数，重新进行c0-》c1，c0-》c2，统计检索命中率。当检索命中率达到最高时认为，当前的多模态参数为最优多模态参数，既完成多模态参数特征的优化调整。
63.在步骤s6中，最终采用优化好的多模态权重参数，对s4步已经生成的信息检索数据库，进行跨镜下的行人检索，输出最终检测结果。本发明最终能够提供界面化操作轨迹搜索轨迹和图片搜索轨迹，并能够显示最优轨迹和每个摄像头下的最优轨迹排名，并能够通过轨迹中的图片帧号，可以搜索到视频中该轨迹，并进行实时播放。
64.实施例五
65.本发明实施例提供的这种基于多模态的跨镜追踪检索系统，应用于如下两种场景，分别是行人轨迹搜索轨迹和行人图片搜素行人图片，利用数据库中的轨迹id，行人特征、人脸特征，行人属性和摄像头位置信息，来进行轨迹和图片快速准确的检索，利用不同特征之间的约束，来达到精确匹配的效果。
66.该轨迹匹配的任务目的是：任意选中一个已抽取的轨迹，根据多模态特征进行检
索，在同一个视频内以及视频间匹配出与其相关的所有轨迹。
67.具体实施步骤如下：
68.在步骤s11中，确定检索区域，并获取该区域监控的离线视频，该区域可以是商场、写字楼、居民小区和社区等相对固定的场所，并且该离线视频应该是某一时间段的，至少是同一天的监控视频。将视频保存到本地，并标记摄像头id、位置和起始时间，在本实例中，选取三个不同角度的镜头，摄像头id为c0、c1和c2。
69.在步骤s12中，对各个摄像头下的离线视频进行行人检测、轨迹追踪。相应的行人轨迹图片以轨迹id、视频帧号和对应时间、地点复合命名(例0001_00025_202003210915_nj)，保存在以轨迹id命名的子文件夹下。这里行人检测模型采用的是ssd算法来获取当前帧行人的位置框和边界框，采用匈牙利追踪算法获取行人轨迹。
70.在步骤s13中，对上步获取的行人轨迹，使用行人质量分析模型，这里采用的是人体骨骼关键点检测算法，通过骨骼关键点的个数来判别行人的完整性，对于有较多行人图片的轨迹，提取该轨迹中质量较好且时间较分散的5张图片，作为top5行人轨迹。
71.在步骤s14中，分别利用行人重识别网络、人脸识别网络和行人属性网络提取top5行人轨迹的行人特征、人脸特征(若未检测到人脸数据置为空)和行人属性特征，特征提取完成，把三种特征和(轨迹id、视频帧号、时间、地点)保存到信息检索数据库中。
72.在步骤s15中，在该步完成轨迹匹配和图匹配。在选取视频内匹配和视频间匹配优先级时，考虑到视频内的图像是同源数据，在进行匹配时更能保证准确性，所以优先处理视频内的轨迹匹配。同时在选用特征的作用优先级时，考虑到人脸特征是行人最为鲁棒的特征，优先进行人脸特征的比对，根据s14步骤中存储的结构性特征，并根据不同特征作用的先后、视频内轨迹匹配及视频间轨迹匹配的优先级，匹配工作的流程如下：
73.1)首先进行视频内的轨迹匹配，首先使用目标轨迹的人脸特征，与其它含有人脸特征的轨迹进行批量化的特征比对，若能完成特征匹配，并在行人特征比对和行人属性的批量特征比对时有一定的相关性，则认为轨迹能够匹配成功。其次将匹配到的轨迹与目标轨迹结合作为第二行人轨迹，在剩余的轨迹内进行查询，查询算法为使用行人特征和行人属性特征的批量特征比对，在该过程中将使用重排序算法进行轨迹匹配。该过程充分结合初步查询的稳定轨迹，使第二行人轨迹中包含更多姿态和角度的样本，使该过程的查询更加的稳定。至此完成了视频内的轨迹匹配。
74.2)然后进行视频间的轨迹匹配，与视频内的轨迹匹配较类似，也要首先使用query中的人脸特征与时空约束中的临近节点中的行人轨迹进行批量特征匹配。然后利用结合了初次匹配到的样本作为query在临近节点中进行再次查询。不同的是，考虑到跨镜过程中数据源的变化，该过程中特征比对的阈值将适当降低。
75.3)以行人图片搜索行人图片，对传入的待查询图片要进行结构化的特征提取，通过进行行人检测、行人特征提取、行人属性识别及人脸检测、人脸特征提取完成其特征结构化。在进行以图搜图时，首先在可疑节点的视频轨迹内进行查询，查询到目标轨迹后，后续将使用轨迹匹配的算法进行进一步查询。
76.若在可疑节点没有查询到目标行人，则进一步扩大范围，在临近节点内进行全量查询，若能确定大致时间范围，则可疑进一步增加检索的效率和准确性。
77.至此，本实例已完成以行人轨迹匹配搜素轨迹和以行人图片搜索行人图片的过
程。
78.综上所述，本发明实施例采用以下技术方案：
79.步骤11)、在进行行人轨迹提取时，对行人图片自动标注轨迹id、时间信息和位置信息，在后续跨镜检索的时候可以利用轨迹id、图片帧号、时间和空间信息。同时，该系统还能够同时对多个镜头下的多个视频进行轨迹提取。
80.步骤12)、行人质量分析模块，采用的是人体骨骼关键点检测技术，通过该技术选取几个关键点，通过检测到的关键点个数来判断行人的完整性，会输出一个完整性得分，通过该得分提取一些质量较差的行人图片(这样会去除一些遮挡较为严重的行人图片)，然后在利用图片的时间信息选取轨迹中5张时间间隔较大的图片(因为相邻帧图片之间的行人姿态变化较小，多个不同姿态同一个行人的轨迹特征更具有判别性，同时五张图片可以减少轨迹匹配的计算量)。
81.步骤13)、本发明结合了行人多目标跟踪、关键点骨骼检测、行人重识别、行人属性结构化、人脸识别和摄像机的拓扑时空约束等多模态信息的融合来实现跨摄像头下的行人追踪检索方案。
82.步骤14)、利用多模态信息融合后的特征来更好的实现跨镜头下行人轨迹搜索行人轨迹，行人图片搜索行人轨迹的目标，最终实现跨镜追踪。
83.步骤15)、在进行目标行人的跨镜追踪时，可能面临巨大的数据量，进行全量搜索查询几乎是不可能的。本系统将摄像机的时空拓扑关系与目标的外观表现模型匹配算法进行结合，使用摄像机网络拓扑的图结构分析行人移动和转移的规律，从而对行人的跨镜追踪进行时空约束。
84.步骤16)、采用一批标注好的实际场景的数据集来优化各个模态之间的权重参数来达到跨镜追踪检索的最优效果。
85.本发明实施例提出的一种行人追踪方法、设备和存储介质，可以自动完成跨镜追踪检索，打破单一固定摄像头的视角局限，同时也避免了手动回放大量监控视频来搜寻检索目标，极大地提高了检索效率，并且提高了追踪范围。多模态信息的利用，该跨镜检索特征综合了多种模态信息，包括人脸、行人、属性和时空信息，形成了多模态特征的互补，综合后的特征更具有特征判别性，在进行跨镜追踪检索时具有更好的鲁棒性，同时提高了检索精度。该系统能够通过测试集能够自适应的调整多模态权重参数，这样在很大的程度上解决了摄像头的跨域问题，通过参数的调整能够更好的适应不同的监控场景。该系统具有较好的人机交互界面，能够界面化的配置摄像头位置信息，模态权重参数信息，能够通过按键操作，行人追踪，特征提取和特征入库，界面化操作轨迹检索轨迹，行人图片搜索轨迹，界面显示最优轨迹，不同摄像头下的轨迹搜索排名，并能够进行轨迹播放。数据库信息可视化，非常便于操作使用。
86.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
87.在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，
如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
88.以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。