一种基于步态识别的多模态追踪方法及装置与流程

1.本发明涉及生物特征识别技术领域，尤其涉及一种基于步态识别的多模态追踪方法及装置。


背景技术：

2.现如今，追查追踪人员需要耗费大量的人力、物力、财力和时间，这对公众安全和公共资源形成了非常大的威胁。如何利用现代科技实现高效地追踪人员是亟需解决的问题。人脸识别是一种最常见，且应用最广泛的生物识别技术，与证件识别和指纹识别不同，人脸识别属于非接触式识别，对验证者配合度的要求较低。在技术层面上，人脸识别可通过摄像头自动抓取人脸进行验证，并且可以同时捕获多个人脸进行多人脸的识别，这是接触式识别所不具备的优势。步态识别是一种新颖的生物识别技术，这种识别方式将行人行走的姿态作为一种生物特征，不需要人员的配合就可以实现远距离识别，因而在人员追踪和识别方面有着广泛的应用前景。多模态追踪是指联合两种或以上的识别技术，对目标人员进行识别与追踪。比起单独的使用一种识别技术，多模态识别技术能够降低误检率，从而正确的识别出待检测人员，尤其是在追踪人员方面，有广泛的应用前景。
3.人脸识别依靠人员面部特征进行识别，虽然在一般条件下可以达到很高的识别准确率，但其结果极易受到面部伪装或遮挡的影响，通过化妆、整容或戴面具等方式都容易导致识别失败。追踪人员也可能利用他人的人脸图像或视频通过重要关卡，从而逃避本人实际面部被识别。因此，单一的人脸识别技术在重要关卡中的应用还存在较大的安全隐患。步态识别依靠个人惯常的行走姿态进行识别，虽然不易伪装和遮挡，但是单一的步态识别在实际应用中无法实时地去录入与更新人员步态数据信息。
4.现有的多模态追踪方法过多的依赖硬件，对仪器和设备的要求较高，且大多通过传感器的方法采集人员的步态信息，需要大量的经费支持，条件要求苛刻，不适合大量推广与应用。此外，靠肉眼观察大量场景的视频寻找线索十分耗时耗力，而且极易错失追踪的最佳时期。


技术实现要素：

5.本发明提供一种基于步态识别的多模态追踪方法及装置，实现了在仅配备一台监控摄像机的条件下，对追踪人员的多模态生物识别。
6.本发明一实施例提供一种基于步态识别的多模态追踪方法，包括以下步骤：
7.获取由一监控摄像机实时采集的视频序列数据后，将所述视频序列数据输入至序列识别神经网络；
8.所述序列识别神经网络实时逐帧区分出所述视频序列数据的类型为步态序列数据、人脸序列数据中的一种或两种；
9.判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据输入至步态神经网络模型，得到第一高维向量，将所述第一高维向量与步态数据库中的若干第二高维向
量进行相似度比对，得到被识别人员的第一身份信息；
10.判断所述人脸序列数据采集到预设的帧数时，将所述人脸序列数据输入至人脸神经网络模型，得到第三高维向量，将所述第三高维向量与人脸数据库中的若干第四高维向量进行相似度比对，得到被识别人员的第二身份信息；
11.根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息；
12.根据所述被识别人员的身份信息查询追踪人员信息数据库，判断存在相应的追踪人员信息时，拉响警报并发送所述追踪人员信息和所述被识别人员的定位信息至相应部门。
13.进一步的，将所述第一高维向量与步态数据库中的若干第二高维向量进行相似度比对，得到被识别人员的第一身份信息，具体为：
14.计算所述第一高维向量与步态数据库中的若干第二高维向量之间的l2距离，得到l2距离最小的第一高维向量和第二高维向量；
15.选择所述l2距离最小的第二高维向量对应所述步态数据库中的身份信息为被识别人员的第一身份信息。
16.进一步的，将所述第三高维向量与人脸数据库中的若干第四高维向量进行相似度比对，得到被识别人员的第二身份信息，具体为：
17.计算所述第三高维向量与人脸数据库中的若干第四高维向量之间的l2距离，得到l2距离最小的第三高维向量和第四高维向量；
18.选择所述l2距离最小的第四高维向量对应所述人脸数据库中的身份信息为被识别人员的第二身份信息。
19.进一步的，根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息，具体包括：
20.获取所述第一高维向量和第二高维向量之间的最小l2距离为第一距离；获取所述第三高维向量和第四高维向量之间的最小l2距离为第二距离；所述第一距离越小，对应所述第一身份信息的可信度越高；所述第二距离越小，对应所述第二身份信息的可信度越高；
21.判断所述第一距离小于预设阈值，且所述第二距离大于等于所述第一距离时，根据所述第三高维向量和所述第一身份信息更新人脸数据库，并确定所述第一身份信息为被识别人员的身份信息；
22.判断所述第二距离小于预设阈值，且所述第一距离大于等于所述第二距离时，根据所述第一高维向量和所述第二身份信息更新步态数据库，并确定所述第二身份信息为被识别人员的身份信息；
23.判断所述第一距离和第二距离均小于预设阈值，且所述第一身份信息和第二身份信息为同一人的身份信息时，不更新人脸数据库或步态数据库，并确定所述第一身份信息或所述第二身份信息为被识别人员的身份信息。
24.进一步的，所述根据所述各个时频资源的干扰功率值，为不同等级的用户匹配不同的时频资源，具体为：
25.根据所述每组资源块的各个时频资源在当前干扰信号下的干扰功率值，将所述每组资源块的时频资源分成一级时频资源和二级时频资源，将所述一级时频资源分配给所述一级用户使用，将所述二级时频资源分配给所述二级用户使用。
26.进一步的，根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息，还包括：
27.判断所述第一距离和第二距离均大于等于预设阈值时，获取被识别人员的身份证件信息，并验证所述身份证件信息是否属于被识别人员本人；
28.验证通过后确定所述身份证件信息为被识别人员的身份信息，并根据所述第一高维向量和所述身份证件信息更新步态数据库，根据所述第三高维向量和所述身份证件信息更新人脸数据库。
29.进一步地，判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据输入至步态神经网络模型，具体为：
30.判断所述步态序列数据采集到预设的帧数时，对所述步态序列数据依次进行轮廓提取操作、形态学操作和归一化处理后输入至步态神经网络模型。
31.进一步地，所述视频序列数据的类型还包括无效序列数据。
32.在本发明上述方法项实施例的基础上，对应提供了装置项实施例；
33.本发明另一实施例提供了一种基于步态识别的多模态追踪装置，包括视频序列数据采集模块、视频序列数据分类模块、身份信息匹配模块和追踪人员信息匹配模块；
34.其中，所述视频序列数据采集模块用于获取由一监控摄像机实时采集的视频序列数据后，将所述视频序列数据输入至序列识别神经网络；
35.所述视频序列数据分类模块用于控制所述序列识别神经网络逐帧区分出所述视频序列数据的类型为步态序列数据、人脸序列数据中的一种或两种；
36.所述身份信息匹配模块用于判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据输入至步态神经网络模型，得到第一高维向量，将所述第一高维向量与步态数据库中的若干第二高维向量进行相似度比对，得到被识别人员的第一身份信息；
37.判断所述人脸序列数据采集到预设的帧数时，将所述人脸序列数据输入至人脸神经网络模型，得到第三高维向量，将所述第三高维向量与人脸数据库中的若干第四高维向量进行相似度比对，得到被识别人员的第二身份信息；并根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息；
38.所述追踪人员信息匹配模块用于根据所述被识别人员的身份信息查询追踪人员信息数据库，判断存在相应的追踪人员信息时，拉响警报并发送所述追踪人员信息和所述被识别人员定位信息至相应部门。
39.本发明的实施例，具有如下有益效果：
40.本发明提供了一种基于步态识别的多模态追踪方法及装置，该方法通过一台监控摄像机实时采集的视频序列数据，再通过序列识别神经网络将所述视频序列数据分成步态序列数据或人脸序列数据；然后将步态序列数据和人脸序列数据分别输入至步态神经网络模型和人脸神经网络模型得到对应的高维向量，再根据对应的高维向量分别匹配步态数据库和人脸数据库得到相应的被识别人员的身份信息；最后根据所述身份信息的可信度，选择可信度高的身份信息查询追踪人员信息数据库以确定是否为追踪人员；由此可知，本发明通过所述序列识别神经网络对所述视频序列数据进行分类，实现了仅需配备一台监控摄像机即可获得被识别人员的步态序列数据和人脸序列数据；进而可以根据步态序列数据和步态神经网络模型、人脸序列数据和人脸神经网络模型实现对追踪人员的多模态生物识
别。
附图说明
41.图1是本发明一实施例提供的基于步态识别的多模态追踪方法流程示意图；
42.图2是本发明一实施例提供的基于步态识别的多模态追踪装置结构示意图；
43.图3是本发明一实施例提供的基于步态识别的多模态追踪方法又一流程示意图；
具体实施方式
44.下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.如图1和图3所示，本发明一实施例提供的一种基于步态识别的多模态追踪方法，包括：
46.步骤s11：获取由一监控摄像机实时采集的视频序列数据后，将所述视频序列数据输入至序列识别神经网络。所述监控摄像机放置在特定的出入口，以采集经过人员的视频序列数据，所述特定的出入口包括但不限于超市、小区、机场和海关。
47.所述序列识别神经网络为深度卷积神经网络，所述序列识别神经网络由一系列的卷积层、池化层和激活函数等构成；同时，所述序列识别神经网络是一种统筹多个网络的上层网络模型，其主要功能为对摄像机所获得的视频序列数据进行分类和筛选。
48.优选地，所述步骤s11的其中一种实施方式为：
49.获取由一监控摄像机实时采集的视频序列数据后，将所述视频序列数据进行预处理后输入至序列识别神经网络；所述预处理包括对所述视频序列数据进行归一化处理。
50.步骤s12：所述序列识别神经网络实时逐帧区分出所述视频序列数据的类型为步态序列数据、人脸序列数据中的一种或两种。
51.优选地，所述步骤s12的其中一种实施方式为：
52.所述序列识别神经网络实时判断当前帧的所述视频序列数据的步态信息完整，同时判断所述视频序列数据的人脸信息不完整时，则区分出当前帧的所述视频序列数据类型为步态序列数据；
53.所述序列识别神经网络实时判断当前帧的所述视频序列数据的人脸信息完整，同时判断所述视频序列数据的步态信息不完整时，则区分出当前帧的所述视频序列数据类型为人脸序列数据；
54.所述序列识别神经网络实时判断当前帧的所述视频序列数据的人脸信息完整，同时判断所述视频序列数据的步态信息完整时，则区分出当前帧的所述视频序列数据类型同时属于步态序列数据和人脸序列数据；
55.所述序列识别神经网络实时判断当前帧的所述视频序列数据的人脸信息不完整，同时判断所述视频序列数据的步态信息不完整时，则区分出当前帧的所述视频序列数据类型为无效序列数据；所述无效序列数据表明没有人员经过，不参与后续步骤的计算。
56.步骤s13：判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据输入
至步态神经网络模型，得到第一高维向量，将所述第一高维向量与步态数据库中的若干第二高维向量进行相似度比对，得到被识别人员的第一身份信息。
57.优选地，所述步骤s13的其中一种实施方式为：
58.判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据进行预处理后输入至步态神经网络模型；所述预处理包括通过运动目标检测算法、gmm 前背景去除算法等提取所述步态序列数据的轮廓图，通过膨胀与腐蚀等形态学操作对所述轮廓图进行处理后，再将得到的图像进行归一化处理。
59.优选地，所述步骤s13的其中一种实施方式为：
60.判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据输入至步态神经网络模型，得到第一高维向量；
61.计算所述第一高维向量与步态数据库中的若干第二高维向量之间的l2距离，得到l2距离最小的第一高维向量和第二高维向量；
62.选择所述l2距离最小的第二高维向量对应所述步态数据库中的身份信息为被识别人员的第一身份信息。
63.步骤s14：判断所述人脸序列数据采集到预设的帧数时，将所述人脸序列数据输入至人脸神经网络模型，得到第三高维向量，将所述第三高维向量与人脸数据库中的若干第四高维向量进行相似度比对，得到被识别人员的第二身份信息。
64.所述步态神经网络模型和人脸神经网络模型均为已经采用在大规模数据集训练好的模型。所述步态数据库保存有第二高维向量及其对应人员的身份信息，所述第二高维向量经过所述步态神经网络模型转化得到；所述人脸数据库保存有第四高维向量及其对应人员的身份信息，所述第四高维向量经过所述人脸神经网络模型转化得到。
65.优选地，所述步骤s13和s14的其中一种实施方式为：
66.判断所述步态序列数据或所述人脸序列数据未采集到预设的帧数时，则提示被识别人员退回起点，重新采集被识别人员的视频序列数据。
67.优选地，所述步骤s14的其中一种实施方式为：
68.判断所述人脸序列数据采集到预设的帧数时，将所述人脸序列数据进行预处理后输入至人脸神经网络模型；所述预处理包括检测所述人脸序列数据中的人脸，使用人脸对齐方法进行对齐处理，将对齐后的所述人脸序列数据裁剪成指定尺寸的人脸序列，再进行归一化处理。
69.优选地，所述步骤s14的其中一种实施方式为：
70.判断所述人脸序列数据采集到预设的帧数时，将所述人脸序列数据输入至人脸神经网络模型，得到第三高维向量；
71.计算所述第三高维向量与人脸数据库中的若干第四高维向量之间的l2距离，得到l2距离最小的第三高维向量和第四高维向量；
72.选择所述l2距离最小的第四高维向量对应所述人脸数据库中的身份信息为被识别人员的第二身份信息。
73.本发明实施例通过结合步态识别和人脸识别的多模态追踪技术，在远、近距离都能对人员进行有效的身份识别，克服了单一使用步态识别或人脸识别的缺陷，追踪人员无法通过简单的伪装和遮蔽逃避追踪。通过综合两种识别技术的特点，可兼顾识别的准确率
和便捷性，适用于多数应用情景。
74.步骤s15：根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息。
75.其中，作为示例的，步骤s15可以包括以下子步骤：
76.子步骤s151：获取所述第一高维向量和第二高维向量之间的最小l2距离为第一距离；获取所述第三高维向量和第四高维向量之间的最小l2距离为第二距离；所述第一距离越小，对应所述第一身份信息的可信度越高；所述第二距离越小，对应所述第二身份信息的可信度越高；
77.子步骤s152：判断所述第一距离小于预设阈值，且所述第二距离大于等于所述第一距离时，根据所述第三高维向量和所述第一身份信息更新人脸数据库，并确定所述第一身份信息为被识别人员的身份信息；
78.判断所述第二距离小于预设阈值，且所述第一距离大于等于所述第二距离时，根据所述第一高维向量和所述第二身份信息更新步态数据库，并确定所述第二身份信息为被识别人员的身份信息；
79.判断所述第一距离和第二距离均小于预设阈值，且所述第一身份信息和第二身份信息为同一人的身份信息时，不更新人脸数据库或步态数据库，并确定所述第一身份信息或所述第二身份信息为被识别人员的身份信息；
80.判断所述第一距离和第二距离均大于等于预设阈值时，获取被识别人员的身份证件信息，并验证所述身份证件信息是否属于被识别人员；验证通过后确定所述身份证件信息为被识别人员的身份信息，并根据所述第一高维向量和所述身份证件信息更新步态数据库，根据所述第三高维向量和所述身份证件信息更新人脸数据库。
81.优选地，所述步骤s13-s15的其中一种实施方式为：
82.步骤s13：判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据输入至步态神经网络模型，得到第一高维向量，将所述第一高维向量与步态数据库中的若干第二高维向量进行相似度比对，计算所述第一高维向量和步态数据库中的若干第二高维向量之间的最小l2距离，得到第一距离；
83.判断所述第一距离小于预设阈值时，选择所述第一距离对应的第二高维向量在所述步态数据库中的身份信息为被识别人员的第一身份信息。
84.当所述第一距离小于预设阈值时，表明有步态信息匹配结果，反之，表明没有步态信息匹配结果；
85.步骤s14：判断所述人脸序列数据采集到预设的帧数时，将所述人脸序列数据输入至人脸神经网络模型，得到第三高维向量，将所述第三高维向量与人脸数据库中的若干第四高维向量进行相似度比对，计算所述第三高维向量和人脸数据库中的若干第四高维向量之间的最小l2距离，得到第二距离；
86.判断所述第二距离小于预设阈值时，选择所述第二距离对应的第四高维向量在所述人脸数据库中的身份信息为被识别人员的第二身份信息。
87.当第二距离小于预设阈值时，表明有人脸信息匹配结果，反之，表明没有人脸信息匹配结果；
88.步骤s15：判断存在第一身份信息和第二身份信息，且第一身份信息和第二身份信
息为同一人的身份信息时，不更新人脸数据库或步态数据库，并确定所述第一身份信息或所述第二身份信息为被识别人员的身份信息。
89.判断存在第一身份信息和第二身份信息，且第一身份信息和第二身份信息不为同一人的身份信息时，继续判断第一身份信息和第二身份信息对应的第一距离和第二距离的大小，即判断第一距离大于第二距离时，根据所述第一高维向量和所述第二身份信息更新步态数据库，判断第二距离大于第一距离时，根据所述第三高维向量和所述第一身份信息更新人脸数据库；
90.当第一距离大于第二距离时，表明第二身份信息的可信度高于第一身份信息，因此需要将第二身份信息与步态序列数据关联起来，以更新步态数据库，所述步态序列数据经过步态神经网络模型转化为第一高维向量，因此根据所述第一高维向量和所述第二身份信息更新步态数据库。同理，当第二距离大于第一距离时，表明第一身份信息的可信度高于第二身份信息，因此需要将第一身份信息与人脸序列数据关联起来，以更新人脸数据库，所述人脸序列数据经过人脸神经网络模型转化为第三高维向量，因此根据所述第三高维向量和所述第一身份信息更新步态数据库。
91.判断存在第一身份信息，且不存在第二身份信息时，根据所述第三高维向量和所述第一身份信息更新人脸数据库。当存在第一身份信息时，表明有步态信息匹配结果，没有人脸信息匹配结果，同时表明被识别人员未注册人脸信息或人脸信息有误，因此以所述第一身份信息为准，并将所述第一身份信息和所述第三高维向量(即所述人脸数据序列经过人脸神经网络模型处理后得到的数据)关联起来，以更新人脸数据库。
92.判断存在第二身份信息，且不存在第一身份信息时，根据所述第一高维向量和所述第二身份信息更新步态数据库。当存在第二身份信息时，表明有人脸信息匹配结果，没有步态信息匹配结果，同时表明被识别人员未注册步态信息或步态信息有误，因此以所述第二身份信息为准，并将所述第二身份信息和所述第一高维向量(即所述步态数据序列经过步态神经网络模型处理后得到的数据)关联起来，以更新步态数据库。
93.判断所述第一身份信息和第二身份信息均不存在时，获取被识别人员的身份证件信息，并通过现场近距离的人脸识别验证所述身份证件信息是否属于被识别人员本人；验证通过后确定所述身份证件信息为被识别人员的身份信息，并根据所述第一高维向量和所述身份证件信息更新步态数据库，根据所述第三高维向量和所述身份证件信息更新人脸数据库。
94.步骤s16：根据所述被识别人员的身份信息查询追踪人员信息数据库，判断存在相应的追踪人员信息时，拉响警报并发送所述追踪人员信息和所述被识别人员的定位信息至相应部门。
95.本发明实施例结合了步态识别技术与人脸识别技术的优点，在远、近距离都能对人员进行有效的身份识别。两种识别技术相互补足，克服了单一识别技术的缺陷和风险。
96.进一步地，本发明实施例通过步态识别技术和人脸识别技术实时地录入与更新步态和人脸数据信息。同时结合了证件识别技术，在步态识别与人脸识别均没有匹配结果的情况下，也能够自动且正确地录入人员信息，解决了数据库难以实时录入与更新的问题，大大节省了人力资源。
97.进一步地，本发明实施例提出的序列识别神经网络,是一种统筹多个网络的上层
网络，其主要功能为对摄像机所获得的数据进行序列的划分和筛选。在结构上，序列识别神经网络是一个深度卷积神经网络，由一系列的卷积层、池化层和激活函数等构成。因此，本发明使用序列识别神经网络，实现了在仅有一个监控摄像机的情况下，便可实时地逐帧区分出该摄像机所获得的视频序列属于步态序列还是人脸序列，解决了传统的多模态识别技术需要使用多个不同的摄像机采集步态和人脸序列的问题，有效节约时间与成本。相比传统的需要多种仪器或摄像机结合使用的多模态追踪方法，本发明在硬件上能够有效节约成本，在软件上能够在保持数据质量的前提下，极大地降低了数据量，进而也降低了对数据处理计算的要求，适合推广使用。
98.进一步地，本发明实施例通过摄像机采集数据，采用计算机算法完成对数据的预处理操作，并通过深度学习网络实现识别的过程。与传统的通过肉眼识别追踪人员的方式相比，本发明有效节约了人力和时间成本。
99.进一步地，本发明实施例提出的序列识别神经网络还能区分无效序列数据，据此可以判断是否有人员经过，相比于传统的通过传感器捕获人员步态信息来判断是否有人员经过的方式，本发明解决了硬件成本高和易受外界因素干扰的问题。同时，通过采集人员步态和人脸数据信息，再结合证件识别，建立了全自动实时更新的步态人脸信息数据库；使得整个系统可在没有人工服务的条件下，保证与数据库匹配的准确性，克服了单一的步态和人脸识别的局限性，能有效辅佐相应部门更高效地在全球范围内追踪目标追踪人员。
100.在上述发明实施例的基础上，本发明对应提供了装置项实施例。
101.如图2所示，本发明另一实施例提供了一种基于步态识别的多模态追踪装置，包括视频序列数据采集模块、视频序列数据分类模块、身份信息匹配模块和追踪人员信息匹配模块；
102.其中，所述视频序列数据采集模块用于获取由一监控摄像机实时采集的视频序列数据后，将所述视频序列数据输入至序列识别神经网络；
103.所述视频序列数据分类模块用于控制所述序列识别神经网络逐帧区分出所述视频序列数据的类型为步态序列数据、人脸序列数据中的一种或两种；
104.所述身份信息匹配模块用于判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据输入至步态神经网络模型，得到第一高维向量，将所述第一高维向量与步态数据库中的若干第二高维向量进行相似度比对，得到被识别人员的第一身份信息；
105.判断所述人脸序列数据采集到预设的帧数时，将所述人脸序列数据输入至人脸神经网络模型，得到第三高维向量，将所述第三高维向量与人脸数据库中的若干第四高维向量进行相似度比对，得到被识别人员的第二身份信息；并据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息；
106.所述追踪人员信息匹配模块用于根据所述被识别人员的身份信息查询追踪人员信息数据库，判断存在相应的追踪人员信息时，拉响警报并发送所述追踪人员信息和所述被识别人员定位信息至相应部门。
107.进一步的，将所述第一高维向量与步态数据库中的若干第二高维向量进行相似度比对，得到被识别人员的第一身份信息，具体为：
108.计算所述第一高维向量与步态数据库中的若干第二高维向量之间的l2距离，得到l2距离最小的第一高维向量和第二高维向量；
109.选择所述l2距离最小的第二高维向量对应所述步态数据库中的身份信息为被识别人员的第一身份信息。
110.进一步的，将所述第三高维向量与人脸数据库中的若干第四高维向量进行相似度比对，得到被识别人员的第二身份信息，具体为：
111.计算所述第三高维向量与人脸数据库中的若干第四高维向量之间的l2距离，得到l2距离最小的第三高维向量和第四高维向量；
112.选择所述l2距离最小的第四高维向量对应所述人脸数据库中的身份信息为被识别人员的第二身份信息。
113.进一步的，根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息，具体包括：
114.获取所述第一高维向量和第二高维向量之间的最小l2距离为第一距离；获取所述第三高维向量和第四高维向量之间的最小l2距离为第二距离；所述第一距离越小，对应所述第一身份信息的可信度越高；所述第二距离越小，对应所述第二身份信息的可信度越高；
115.判断所述第一距离小于预设阈值，且所述第二距离大于等于所述第一距离时，根据所述第三高维向量和所述第一身份信息更新人脸数据库，并确定所述第一身份信息为被识别人员的身份信息；
116.判断所述第二距离小于预设阈值，且所述第一距离大于等于所述第二距离时，根据所述第一高维向量和所述第二身份信息更新步态数据库，并确定所述第二身份信息为被识别人员的身份信息；
117.判断所述第一距离和第二距离均小于预设阈值，且所述第一身份信息和第二身份信息为同一人的身份信息时，不更新人脸数据库或步态数据库，并确定所述第一身份信息或所述第二身份信息为被识别人员的身份信息。
118.进一步的，所述根据所述各个时频资源的干扰功率值，为不同等级的用户匹配不同的时频资源，具体为：
119.根据所述每组资源块的各个时频资源在当前干扰信号下的干扰功率值，将所述每组资源块的时频资源分成一级时频资源和二级时频资源，将所述一级时频资源分配给所述一级用户使用，将所述二级时频资源分配给所述二级用户使用。
120.进一步的，根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息，还包括：
121.判断所述第一距离和第二距离均大于等于预设阈值时，获取被识别人员的身份证件信息，并验证所述身份证件信息是否属于被识别人员本人；
122.验证通过后确定所述身份证件信息为被识别人员的身份信息，并根据所述第一高维向量和所述身份证件信息更新步态数据库，根据所述第三高维向量和所述身份证件信息更新人脸数据库。
123.进一步地，判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据输入至步态神经网络模型，具体为：
124.判断所述步态序列数据采集到预设的帧数时，对所述步态序列数据依次进行轮廓提取操作、形态学操作和归一化处理后输入至步态神经网络模型。
125.进一步地，所述视频序列数据的类型还包括无效序列数据。
126.需要说明的是，本发明上述装置项实施例，是与本发明方法项实施例相对应的，其能够实现本发明任意一项发明项实施例所述的基于步态识别的多模态追踪方法。
127.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
128.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
129.本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-on ly memory，rom)或随机存储记忆体(random access memory，ram)等。