一种对象跟踪识别方法、系统、设备及介质与流程

1.本发明涉及图像处理技术领域，特别是涉及一种对象跟踪识别方法、系统、设备及介质。


背景技术：

2.为了节约时间，越来越多的人把乘坐飞机作为出行方式的首选。在人们享受飞机出行带 来的便利的同时，不断增长的客流量也对机场的安全管理工作提出了挑战。而目前，为了保 证机场的稳定运行，各个机场会设置多个摄像头来采集机场内所有人员的人脸图像，从而方 便需求方根据所采集的人脸图像来对目标人员进行跟踪识别。但是，部分人员可能会故意躲 避摄像头，导致摄像头无法拍到或拍清楚这部分人员的人脸，使得需求方因为缺乏这部分人 员的人脸图像而无法对这部分人员进行准确的跟踪识别。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种对象跟踪识别方法、系统、 设备及介质，用于解决现有技术中缺乏人脸图像时的跟踪识别问题。
4.为实现上述目的及其他相关目的，本发明提供一种对象跟踪识别方法，包括以下步骤：
5.获取至少两类图像；其中，每类图像至少包括：目标对象的人脸特征和/或人体特征；
6.利用其中一类图像对目标对象进行跟踪识别，并在跟踪识别中断时，利用另外的至少一 类图像继续对所述目标对象进行跟踪识别，或者在跟踪识别中断时，利用另外的至少一类图 像重新对所述目标对象进行跟踪识别，直至完成所述目标对象的跟踪识别。
7.可选地，所述方法还包括：
8.获取图像拍摄装置拍摄的包含有目标对象的图像；
9.从所获取的图像中提取出所述目标对象的人脸特征和人体特征；
10.根据所述目标对象的人脸特征和人体特征对所获取的图像进行分类，形成至少两类图像。
11.可选地，所述人体特征包括以下至少之一：穿戴、服饰、体型、发型、姿态；
12.人脸特征包括以下至少之一：眼睛的形状、鼻子的形状、嘴的形状、眼睛的间隔距离、 五官的位置、脸的轮廓。
13.可选地，根据所述目标对象的人脸特征和人体特征对所获取的图像进行分类后，形成的 分类图像包括以下至少之一：包含有人脸特征和穿戴特征的图像、包含人脸特征且不包含穿 戴特征的图像、包含穿戴特征且不包含人脸特征的图像。
14.可选地，所述穿戴特征包括以下至少一：目标对象外部穿戴特征、目标对象内部穿戴特 征。
15.可选地，从所获取的图像中提取出所述目标对象的人脸特征和人体特征的过程包
括：
16.按照不同的分割粒度对获取的每帧图像进行分割，并将分割后的图像输入至不同粒度的 神经网络中；其中，不同粒度的神经网络至少包括：具有不同的网络支路结构、参数和损失 函数的神经网络；
17.通过神经网络中的分类损失和三元损失对每帧图像进行特征抽取，获取全局人脸特征和 全局人体特征；和/或，通过神经网络中的分类损失对所述每帧图像进行特征抽取，获取局部 人脸特征和局部人体特征。
18.本发明还提供一种对象跟踪识别系统，包括有：
19.图像采集模块，用于获取至少两类图像；其中，每类图像至少包括：目标对象的人脸特 征和/或人体特征；
20.跟踪识别模块，用于利用其中一类图像对目标对象进行跟踪识别，并在跟踪识别中断时， 利用另外的至少一类图像继续对所述目标对象进行跟踪识别，或者在跟踪识别中断时，利用 另外的至少一类图像重新对所述目标对象进行跟踪识别，直至完成所述目标对象的跟踪识别。
21.可选地，所述图像采集模块获取所述至少两类图像的过程包括：
22.获取图像拍摄装置拍摄的包含有目标对象的图像；
23.从所获取的图像中提取出所述目标对象的人脸特征和人体特征；
24.根据所述目标对象的人脸特征和人体特征对所获取的图像进行分类，形成至少两类图像。
25.可选地，所述人体特征包括以下至少之一：穿戴、服饰、体型、发型、姿态；
26.人脸特征包括以下至少之一：眼睛的形状、鼻子的形状、嘴的形状、眼睛的间隔距离、 五官的位置、脸的轮廓。
27.可选地，所述图像分类模块根据所述目标对象的人脸特征和人体特征对所获取的图像进 行分类后，形成的分类图像包括以下至少之一：
28.包含有人脸特征和穿戴特征的图像、包含人脸特征且不包含穿戴特征的图像、包含穿戴 特征且不包含人脸特征的图像。
29.可选地，所述穿戴特征包括以下至少一：目标对象外部穿戴特征、目标对象内部穿戴特 征。
30.可选地，从所获取的图像中提取出所述目标对象的人脸特征和人体特征的过程包括：
31.按照不同的分割粒度对获取的每帧图像进行分割，并将分割后的图像输入至不同粒度的 神经网络中；其中，不同粒度的神经网络至少包括：具有不同的网络支路结构、参数和损失 函数的神经网络；
32.通过神经网络中的分类损失和三元损失对每帧图像进行特征抽取，获取全局人脸特征和 全局人体特征；和/或，通过神经网络中的分类损失对所述每帧图像进行特征抽取，获取局部 人脸特征和局部人体特征。
33.本发明还提供一种对象跟踪识别设备，包括：
34.一个或多个处理器；和
35.存储有指令的计算机可读介质，当所述一个或多个处理器执行所述指令时，使得
所述设 备执行如上述中任意一项所述的方法。
36.本发明还提供一种计算机可读介质，其上存储有指令，当由一个或多个处理器执行所述 指令时，使得设备执行如上述中任意一项所述的方法。
37.如上所述，本发明提供一种对象跟踪识别方法、系统、设备及介质，具有以下有益效果： 本发明首先获取至少两类图像，然后利用其中一类图像对目标对象进行跟踪识别，并在跟踪 识别中断时，利用另外的至少一类图像继续对目标对象进行跟踪识别，或者在跟踪识别中断 时，利用另外的至少一类图像重新对目标对象进行跟踪识别，直至完成目标对象的跟踪识别。 其中，每类图像至少包括：目标对象的人脸特征和/或人体特征。本发明利用包含有人脸特征 和/或人体特征的分类图像来对目标对象进行跟踪识别，可以避免因为图像拍摄装置未拍摄到 目标对象人脸或拍摄的人脸图像不清楚等原因，而导致的无法对目标对象进行追踪识别。同 时，本发明通过将获取的图像进行分类，在目标对象跟踪识别过程中，当目标对象的人体特 征(例如穿戴)发生改变，导致无法对目标对象进行跟踪识别时；本发明还可以结合其他类 别的图像来对目标对象继续进行跟踪识别，或者重新利用其他类别的图像来对目标对象进行 跟踪识别，直至形成目标对象的完整运动轨迹或路线。所以，本发明可以提供多种跟踪识别 方式来对目标对象进行跟踪识别。
附图说明
38.图1为一实施例提供的对象跟踪识别方法的流程示意图；
39.图2为另一实施例提供的对象跟踪识别方法的流程示意图；
40.图3为一实施例提供的对象跟踪识别系统的硬件结构示意图；
41.图4为一实施例提供的终端设备的硬件结构示意图；
42.图5为另一实施例提供的终端设备的硬件结构示意图。
43.元件标号说明
44.m10
ꢀꢀꢀꢀꢀꢀꢀ
图像采集模块
45.m20
ꢀꢀꢀꢀꢀꢀꢀ
跟踪识别模块
46.1100
ꢀꢀꢀꢀꢀꢀ
输入设备
47.1101
ꢀꢀꢀꢀꢀꢀ
第一处理器
48.1102
ꢀꢀꢀꢀꢀꢀ
输出设备
49.1103
ꢀꢀꢀꢀꢀꢀ
第一存储器
50.1104
ꢀꢀꢀꢀꢀꢀ
通信总线
51.1200
ꢀꢀꢀꢀꢀꢀ
处理组件
52.1201
ꢀꢀꢀꢀꢀꢀ
第二处理器
53.1202
ꢀꢀꢀꢀꢀꢀ
第二存储器
54.1203
ꢀꢀꢀꢀꢀꢀ
通信组件
55.1204
ꢀꢀꢀꢀꢀꢀ
电源组件
56.1205
ꢀꢀꢀꢀꢀꢀ
多媒体组件
57.1206
ꢀꢀꢀꢀꢀꢀ
音频组件
58.1207
ꢀꢀꢀꢀꢀꢀ
输入/输出接口
59.1208
ꢀꢀꢀꢀꢀꢀ
传感器组件
具体实施方式
60.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
61.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图 式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实 际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复 杂。
62.请参阅图1，本发明提供一种对象跟踪识别方法，包括以下步骤：
63.s10，获取图像拍摄装置拍摄的包含有目标对象的图像；作为示例，可以是获取单个图像 拍摄装置拍摄的包含有目标对象的单个图像，也可以是获取单个图像拍摄装置拍摄的包含有 目标对象的多个图像，还可以是获取多个图像拍摄装置中每个图像拍摄装置拍摄的包含有目 标对象的单个或多个图像。
64.s20，从所获取的图像中提取出所述目标对象的人脸特征和人体特征，并根据目标对象的 人脸特征和人体特征对所获取的图像进行分类，形成至少两类图像；其中，每类图像至少包 括：目标对象的人脸特征和/或人体特征。人体特征包括但不限于：穿戴、服饰、体型、发型、 姿态；人脸特征包括但不限于：眼睛的形状、鼻子的形状、嘴的形状、眼睛的间隔距离、五 官的位置、脸的轮廓。
65.s30，利用分类后的图像对所述目标对象进行跟踪识别。
66.本实施例首先获取至少两类图像，然后利用其中一类图像对目标对象进行跟踪识别，并 在跟踪识别中断时，利用另外的至少一类图像继续对目标对象进行跟踪识别，或者在跟踪识 别中断时，利用另外的至少一类图像重新对目标对象进行跟踪识别，直至完成目标对象的跟 踪识别。其中，每类图像至少包括：目标对象的人脸特征和/或人体特征。本实施例利用包含 有人脸特征和/或人体特征的分类图像来对目标对象进行跟踪识别，可以避免因为图像拍摄装 置未拍摄到目标对象人脸或拍摄的人脸图像不清楚等原因，而导致的无法对目标对象进行追 踪识别。
67.根据上述记载，在一示例性实施例中，如图2所示，利用分类后的图像对目标对象进行 跟踪识别的过程包括：
68.s300，利用其中一类图像对所述目标对象进行跟踪识别；
69.s400，判断是否出现跟踪中断；
70.s400
‑
1，若出现跟踪中断，则利用另外的至少一类图像继续对所述目标对象进行跟踪识 别，直至完成所述目标对象的跟踪识别；或者在出现跟踪中断后，利用另外的至少一类图像 重新对所述目标对象进行跟踪识别，直至完成所述目标对象的跟踪识别。
71.s400
‑
2，若未出现跟踪中断，则利用该类图像进行跟踪识别，直至完成目标对象的跟踪 识别。
72.本实施例首先利用分类后的其中一类图像对目标对象进行跟踪识别，并在识别过程中判 断其是否出现跟踪中断，如果出现跟踪中断，则采用另外的至少一类图像继续对目
标对象进 行跟踪识别；或者在出现跟踪中断后，利用另外的至少一类图像重新对目标对象进行跟踪识 别，直至完成目标对象的跟踪识别。根据本实施例记载的跟踪识别方式，可以保证在某类图 像无法对目标对象进行完整的跟踪识别后，通过结合其他类别的图像来继续对目标对象进行 跟踪识别，直至对目标对象进行完整的跟踪识别；或者利用其他类别的图像重新对目标对象 进行跟踪识别，直至对目标对象进行完整的跟踪识别。本实施例通过将获取的图像进行分类， 在目标对象跟踪识别过程中，当目标对象的人体特征(例如穿戴)发生改变，导致无法对目 标对象进行跟踪识别时；本实施例还可以结合其他类别的图像来对目标对象继续进行跟踪识 别，或者重新利用其他类别的图像来对目标对象进行跟踪识别，直至形成目标对象的完整运 动轨迹或路线。所以，本实施例可以提供多种跟踪识别方式来对目标对象进行跟踪识别。
73.作为示例，例如本实施例可以在某图像存在人脸特征的情况下，单独利用人脸特征进行 跟踪识别；或者在某图像存在人体特征的情况下，单独利用人体特征进行跟踪识别；或者在 某图像不存在人脸特征的情况下，利用该图像中存在的人体特征进行跟踪识别；或者在某图 像不存在人体特征的情况下，利用该图像中存在的人脸特征进行跟踪识别，从而可以解决现 有技术中因为图像拍摄装置无法拍摄到人脸图像或人脸图像拍摄不清楚时而无法对目标对象 进行跟踪识别的问题。
74.如果将本实施例应用在机场的安全管理工作中，则本实施例可以先确定要进行跟踪识别 的目标对象，然后再从数据库中获取所有区域下图像拍摄装置拍摄的包含有目标对象的图像； 以及从获取的图像中提取出目标对象的人脸特征和人体特征，并根据提取出的人脸特征和人 体特征来对获取的图像进行分类，形成至少两类图像，其中每类图像至少包括：目标对象的 人脸特征和/或人体特征；最后根据分类后的图像对确定出的目标对象进行跟踪识别。所以， 针对机场安全管理场景而言，本实施例可以在需求方(例如机场管理人员)需要对目标对象 (例如走丢的小孩、走丢的老人等)进行跟踪识别时，可以提供多种跟踪识别方式来对目标 对象进行跟踪识别，从而确定出目标对象在机场中的运动信息。例如根据图像拍摄装置的编 号找出对应的地理位置，从而将所有地理位置进行汇总，确定出目标对象的运动路线或轨迹 等；和/或，根据目标对象被图像拍摄装置拍摄的时间来确定目标对象在某区域出现的时间， 从而确定出目标对象离开机场的时间或者在机场滞留的时间等。
75.根据上述记载，在一示例性实施例中，根据目标对象的人脸特征和人体特征对所获取的 图像进行分类后，形成的分类图像包括以下至少之一：包含有人脸特征和穿戴特征的图像、 包含人脸特征且不包含穿戴特征的图像、包含穿戴特征且不包含人脸特征的图像。其中，穿 戴特征包括以下至少一：目标对象外部穿戴特征、目标对象内部穿戴特征。在本实施例中， 可以将包含有目标对象的图像分为两类，一类是包含人脸特征和穿戴特征的图像，另外一类 是包含人脸特征和无穿戴特征的图像；然后先用包含人脸特征和穿戴特征的这一类图像来对 目标对象进行跟踪识别，在出现识别中断后；使用另一类包含人脸特征和无穿戴特征的图像 来继续对目标对象进行跟踪识别，直至完成对目标对象的跟踪识别。由此可知，在目标对象 跟踪识别过程中，如果目标对象的人体特征(例如穿戴)发生改变，导致无法对目标对象进 行跟踪识别时；本实施例还可以结合其他类别的图像来对目标对象继续进行跟踪识别，或者 重新利用其他类别的图像来对目标对象进行跟踪识别，直至形
成目标对象的完整运动轨迹或 路线。所以，本实施例可以以多种识别方式来对目标对象进行跟踪识别，
76.作为一个示例，例如在机场安全管理场景下，安全检查员可能会要求被检查人员脱下外 套后进行安全检查，而脱下外套后每个人员的人体特征与脱下外套前每个人员的人体特征会 出现相应的变化。本示例以人员a为例，将某人员a穿外套的人体特征记为人员a包含穿 戴特征，将人员a不穿外套的人体特征记为人员a不包含穿戴特征。则本示例利用分类后的 图像对人员a进行跟踪识别的过程可以是：
77.利用同时包含有人员a人脸特征和穿戴特征的图像对人员a进行跟踪识别，识别这些图 像的拍摄时间和拍摄位置，并根据拍摄时间和拍摄位置形成人员a的初始运动轨迹或路线。
78.判断人员a的初始运动轨迹或路线是否缺少某一个或多个图像拍摄装置所拍摄的图像， 如果缺少，则判定为对人员a出现跟踪中断；如果不缺少，则根据这些图像形成人员a的完 整运动轨迹或路线，完成对人员a的跟踪识别。其中，拍摄位置的确定方式可以根据图像的 拍摄角度和图像的拍摄编号确定。
79.在对人员a出现跟踪中断后，结合包含人员a穿戴特征且不包含人员a人体特征的图 像来继续对人员a进行跟踪识别，和/或，结合包含人员a人脸特征且不包含人员a穿戴特 征的图像来继续对人员a进行跟踪识别，直至完成对人员a进行无中断的跟踪识别。此外， 在对人员a出现跟踪中断后，本示例还可以重新利用包含人员a穿戴特征且不包含人员a 人体特征的图像来对人员a进行跟踪识别，形成人员a的完整运动轨迹或路线；或者重新利 用包含人员a人脸特征且不包含人员a穿戴特征的图像来对人员a进行跟踪识别，形成人 员a的完整运动轨迹或路线；或者将包含人员a穿戴特征且不包含人员a人体特征的图像 和包含人员a人脸特征且不包含人员a穿戴特征的图像进行结合后来对人员a进行跟踪识 别，形成人员a的完整运动轨迹或路线，完成对人员a进行无中断的跟踪识别。
80.在一示例性实施例中，从所获取的图像中提取出所述目标对象的人脸特征和人体特征的 过程包括：按照不同的分割粒度对获取的每帧图像进行分割，并将分割后的图像输入至不同 粒度的神经网络中；其中，不同粒度的神经网络至少包括：具有不同的网络支路结构、参数 和损失函数的神经网络；通过神经网络中的分类损失和三元损失对每帧图像进行特征抽取， 获取全局人脸特征和全局人体特征；和/或，通过神经网络中的分类损失对所述每帧图像进行 特征抽取，获取局部人脸特征和局部人体特征。在本实施例中，按照不同的分割粒度对获取 的每帧图像进行分割，可以将每帧图像分割为三组，例如：第一组分割方式为：整帧图像； 第二组分割方式为：将每帧图像均分为上下两部分；第三组分割方式为：将每帧图像均分为 上、中、下三部分。本实施例在特征提取阶段，利用三元损失triplet loss和分类损失softmaxloss可以对图像完成粗粒度的特征抽取；而只用分类损失softmax loss时，可以对图像进行 细粒度特征抽取。本实施例中的这种神经网络结构设计巧妙，与现有技术相比，能够显著地 提高识别效率、跟踪效率。
81.综上所述，本发明提供一种对象跟踪识别方法，首先获取至少两类图像，然后利用其中 一类图像对目标对象进行跟踪识别，并在跟踪识别中断时，利用另外的至少一类图像继续对 目标对象进行跟踪识别，或者在跟踪识别中断时，利用另外的至少一类图像重新对目标对象 进行跟踪识别，直至完成目标对象的跟踪识别。其中，每类图像至少包括：目标对
象的人脸 特征和/或人体特征。本方法利用包含有人脸特征和/或人体特征的分类图像来对目标对象进行 跟踪识别，可以避免因为图像拍摄装置未拍摄到目标对象人脸或拍摄的人脸图像不清楚等原 因，而导致的无法对目标对象进行追踪识别。同时，本方法通过将获取的图像进行分类，当 在目标对象跟踪识别过程中，目标对象的人体特征(例如穿戴)发生改变，导致无法对目标 对象进行跟踪识别时；本方法还可以结合其他类别的图像来对目标对象继续进行跟踪识别， 或者重新利用其他类别的图像来对目标对象进行跟踪识别，直至形成目标对象的完整运动轨 迹或路线。所以，本方法可以提供多种跟踪识别方式来对目标对象进行跟踪识别。
82.如图3所示，本发明还提供一种对象跟踪识别系统，包括有：
83.图像采集模块m10，用于获取图像拍摄装置拍摄的包含有目标对象的图像，并从所获取 的图像中提取出所述目标对象的人脸特征和人体特征，根据目标对象的人脸特征和人体特征 对所获取的图像进行分类，形成至少两类图像；其中，每类图像至少包括：目标对象的人脸 特征和/或人体特征。人体特征包括但不限于：穿戴、服饰、体型、发型、姿态；人脸特征包 括但不限于：眼睛的形状、鼻子的形状、嘴的形状、眼睛的间隔距离、五官的位置、脸的轮 廓。作为示例，可以是获取单个图像拍摄装置拍摄的包含有目标对象的单个图像，也可以是 获取单个图像拍摄装置拍摄的包含有目标对象的多个图像，还可以是获取多个图像拍摄装置 中每个图像拍摄装置拍摄的包含有目标对象的单个或多个图像。
84.跟踪识别模块m20，用于利用其中一类图像对目标对象进行跟踪识别，并在跟踪识别中 断时，利用另外的至少一类图像继续对目标对象进行跟踪识别，或者在跟踪识别中断时，利 用另外的至少一类图像重新对目标对象进行跟踪识别，直至完成目标对象的跟踪识别。
85.本实施例首先获取至少两类图像，然后利用其中一类图像对目标对象进行跟踪识别，并 在跟踪识别中断时，利用另外的至少一类图像继续对目标对象进行跟踪识别，或者在跟踪识 别中断时，利用另外的至少一类图像重新对目标对象进行跟踪识别，直至完成目标对象的跟 踪识别。其中，每类图像至少包括：目标对象的人脸特征和/或人体特征。本实施例利用包含 有人脸特征和/或人体特征的分类图像来对目标对象进行跟踪识别，可以避免因为图像拍摄装 置未拍摄到目标对象人脸或拍摄的人脸图像不清楚等原因，而导致的无法对目标对象进行追 踪识别。
86.根据上述记载，在一示例性实施例中，如图2所示，利用分类后的图像对目标对象进行 跟踪识别的过程包括：利用其中一类图像对所述目标对象进行跟踪识别；判断是否出现跟踪 中断；若出现跟踪中断，则利用另外的至少一类图像继续对所述目标对象进行跟踪识别，直 至完成所述目标对象的跟踪识别；或者在出现跟踪中断后，利用另外的至少一类图像重新对 所述目标对象进行跟踪识别，直至完成所述目标对象的跟踪识别。若未出现跟踪中断，则利 用该类图像进行跟踪识别，直至完成目标对象的跟踪识别。
87.本实施例首先利用分类后的其中一类图像对目标对象进行跟踪识别，并在识别过程中判 断其是否出现跟踪中断，如果出现跟踪中断，则采用另外的至少一类图像继续对目标对象进 行跟踪识别；或者在出现跟踪中断后，利用另外的至少一类图像重新对目标对象进行跟踪识 别，直至完成目标对象的跟踪识别。根据本实施例记载的跟踪识别方式，可以保证在某类图 像无法对目标对象进行完整的跟踪识别后，通过结合其他类别的图像来继
续对目标对象进行 跟踪识别，直至对目标对象进行完整的跟踪识别；或者利用其他类别的图像重新对目标对象 进行跟踪识别，直至对目标对象进行完整的跟踪识别。本实施例通过将获取的图像进行分类， 在目标对象跟踪识别过程中，当目标对象的人体特征(例如穿戴)发生改变，导致无法对目 标对象进行跟踪识别时；本实施例还可以结合其他类别的图像来对目标对象继续进行跟踪识 别，或者重新利用其他类别的图像来对目标对象进行跟踪识别，直至形成目标对象的完整运 动轨迹或路线。所以，本实施例可以提供多种跟踪识别方式来对目标对象进行跟踪识别。
88.作为示例，例如本实施例可以在某图像存在人脸特征的情况下，单独利用人脸特征进行 跟踪识别；或者在某图像存在人体特征的情况下，单独利用人体特征进行跟踪识别；或者在 某图像不存在人脸特征的情况下，利用该图像中存在的人体特征进行跟踪识别；或者在某图 像不存在人体特征的情况下，利用该图像中存在的人脸特征进行跟踪识别，从而可以解决现 有技术中因为图像拍摄装置无法拍摄到人脸图像或人脸图像拍摄不清楚时而无法对目标对象 进行跟踪识别的问题。
89.如果将本实施例应用在机场的安全管理工作中，则本实施例可以先确定要进行跟踪识别 的目标对象，然后再从数据库中获取所有区域下图像拍摄装置拍摄的包含有目标对象的图像； 以及从获取的图像中提取出目标对象的人脸特征和人体特征，并根据提取出的人脸特征和人 体特征来对获取的图像进行分类，形成至少两类图像，其中每类图像至少包括：目标对象的 人脸特征和/或人体特征；最后根据分类后的图像对确定出的目标对象进行跟踪识别。所以， 针对机场安全管理场景而言，本实施例可以在需求方(例如机场管理人员)需要对目标对象 (例如走丢的小孩、走丢的老人等)进行跟踪识别时，可以提供多种跟踪识别方式来对目标 对象进行跟踪识别，从而确定出目标对象在机场中的运动信息。例如根据图像拍摄装置的编 号找出对应的地理位置，从而将所有地理位置进行汇总，确定出目标对象的运动路线或轨迹 等；和/或，根据目标对象被图像拍摄装置拍摄的时间来确定目标对象在某区域出现的时间， 从而确定出目标对象离开机场的时间或者在机场滞留的时间等。
90.根据上述记载，在一示例性实施例中，根据所述目标对象的人脸特征和人体特征对所获 取的图像进行分类后，形成的分类图像包括以下至少之一：包含有人脸特征和穿戴特征的图 像、包含人脸特征且不包含穿戴特征的图像、包含穿戴特征且不包含人脸特征的图像。其中， 穿戴特征包括以下至少一：目标对象外部穿戴特征、目标对象内部穿戴特征。在本实施例中， 可以将包含有目标对象的图像分为两类，一类是包含人脸特征和穿戴特征的图像，另外一类 是包含人脸特征和无穿戴特征的图像；然后先用包含人脸特征和穿戴特征的这一类图像来对 目标对象进行跟踪识别，在出现识别中断后；使用另一类包含人脸特征和无穿戴特征的图像 来继续对目标对象进行跟踪识别，直至完成对目标对象的跟踪识别。由此可知，在目标对象 跟踪识别过程中，如果目标对象的人体特征(例如穿戴)发生改变，导致无法对目标对象进 行跟踪识别时；本实施例还可以结合其他类别的图像来对目标对象继续进行跟踪识别，或者 重新利用其他类别的图像来对目标对象进行跟踪识别，直至形成目标对象的完整运动轨迹或 路线。所以，本实施例可以以多种识别方式来对目标对象进行跟踪识别，
91.作为一个示例，例如在机场安全管理场景下，安全检查员可能会要求被检查人员
脱下外 套后进行安全检查，而脱下外套后每个人员的人体特征与脱下外套前每个人员的人体特征会 出现相应的变化。本示例以人员b为例，将某人员b穿外套的人体特征记为人员b包含穿戴 特征，将人员b不穿外套的人体特征记为人员b不包含穿戴特征。则本示例利用分类后的图 像对人员b进行跟踪识别的过程可以是：
92.利用同时包含有人员b人脸特征和穿戴特征的图像对人员b进行跟踪识别，识别这些图 像的拍摄时间和拍摄位置，并根据拍摄时间和拍摄位置形成人员b的初始运动轨迹或路线。
93.判断人员b的初始运动轨迹或路线是否缺少某一个或多个图像拍摄装置所拍摄的图像， 如果缺少，则判定为对人员b出现跟踪中断；如果不缺少，则根据这些图像形成人员b的完 整运动轨迹或路线，完成对人员b的跟踪识别。其中，拍摄位置的确定方式可以根据图像的 拍摄角度和图像的拍摄编号确定。
94.在对人员b出现跟踪中断后，结合包含人员b穿戴特征且不包含人员b人体特征的图像 来继续对人员b进行跟踪识别，和/或，结合包含人员b人脸特征且不包含人员b穿戴特征 的图像来继续对人员b进行跟踪识别，直至完成对人员b进行无中断的跟踪识别。此外，在 对人员b出现跟踪中断后，本示例还可以重新利用包含人员b穿戴特征且不包含人员b人体 特征的图像来对人员b进行跟踪识别，形成人员b的完整运动轨迹或路线；或者重新利用包 含人员b人脸特征且不包含人员b穿戴特征的图像来对人员b进行跟踪识别，形成人员b 的完整运动轨迹或路线；或者将包含人员b穿戴特征且不包含人员b人体特征的图像和包含 人员b人脸特征且不包含人员b穿戴特征的图像进行结合后来对人员b进行跟踪识别，形成 人员b的完整运动轨迹或路线，完成对人员b进行无中断的跟踪识别。
95.在一示例性实施例中，从所获取的图像中提取出所述目标对象的人脸特征和人体特征的 过程包括：按照不同的分割粒度对获取的每帧图像进行分割，并将分割后的图像输入至不同 粒度的神经网络中；其中，不同粒度的神经网络至少包括：具有不同的网络支路结构、参数 和损失函数的神经网络；通过神经网络中的分类损失和三元损失对每帧图像进行特征抽取， 获取全局人脸特征和全局人体特征；和/或，通过神经网络中的分类损失对所述每帧图像进行 特征抽取，获取局部人脸特征和局部人体特征。在本实施例中，按照不同的分割粒度对获取 的每帧图像进行分割，可以将每帧图像分割为三组，例如：第一组分割方式为：整帧图像； 第二组分割方式为：将每帧图像均分为上下两部分；第三组分割方式为：将每帧图像均分为 上、中、下三部分。本实施例在特征提取阶段，利用三元损失triplet loss和分类损失softmaxloss可以对图像完成粗粒度的特征抽取；而只用分类损失softmax loss时，可以对图像进行 细粒度特征抽取。本实施例中的这种神经网络结构设计巧妙，与现有技术相比，能够显著地 提高识别效率、跟踪效率。
96.由此可知，本发明提供一种对象跟踪识别系统，首先获取至少两类图像，然后利用其中 一类图像对目标对象进行跟踪识别，并在跟踪识别中断时，利用另外的至少一类图像继续对 目标对象进行跟踪识别，或者在跟踪识别中断时，利用另外的至少一类图像重新对目标对象 进行跟踪识别，直至完成目标对象的跟踪识别。其中，每类图像至少包括：目标对象的人脸 特征和/或人体特征。本系统利用包含有人脸特征和/或人体特征的分类图像来对目标对象进行 跟踪识别，可以避免因为图像拍摄装置未拍摄到目标对象人脸或拍摄的人脸图像不清楚等原 因，而导致的无法对目标对象进行追踪识别。同时，本系统通过将获
取的图像进行分类，当 在目标对象跟踪识别过程中，目标对象的人体特征(例如穿戴)发生改变，导致无法对目标 对象进行跟踪识别时；本系统还可以结合其他类别的图像来对目标对象继续进行跟踪识别， 或者重新利用其他类别的图像来对目标对象进行跟踪识别，直至形成目标对象的完整运动轨 迹或路线。所以，本系统可以提供多种跟踪识别方式来对目标对象进行跟踪识别。
97.本技术实施例还提供了一种计算机设备，该设备可以包括：一个或多个处理器；和其上 存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备 执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端 设备的例子可以包括：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准 语音层面3，moving picture experts group audio layer iii)播放器、mp4(动态影像专家压缩 标准语音层面4，moving picture experts group audio layer iv)播放器、膝上型便携计算机、 车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本技术实施例对于具体的 设备不加以限制。
98.本技术实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模 块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本技术实施例的图 1中对象跟踪识别方法所包含步骤的指令(instructions)。
99.图4为本技术一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以 包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信 总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速ram 存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，第一存储器1103中 可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
100.可选的，上述第一处理器1101例如可以为中央处理器(central processing unit，简称cpu)、 应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程 逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元 件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
101.可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、 面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设 备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设 备之间进行数据传输的硬件插入接口(例如usb接口、串口等)；可选的，该面向用户的用 户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用 户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软 件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者 输入接口等；输出设备1102可以包括显示器、音响等输出设备。
102.在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能， 具体功能和技术效果参照上述实施例即可，此处不再赘述。
103.图5为本技术的另一个实施例提供的终端设备的硬件结构示意图。图5是对图4在实现 过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及 第二存储器1202。
104.第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图 1所述方法。
105.第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示 例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第 二存储器1202可能包含随机存取存储器(random access memory，简称ram)，也可能还包 括非易失性存储器(non—volatile memory)，例如至少一个磁盘存储器。
106.可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件 1203，电源组件1204，多媒体组件1205，音频组件1206，输入/输出接口1207和/或传感器 组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
107.处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二 处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200 可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200 可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
108.电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统， 一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
109.多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施 例中，显示屏可以包括液晶显示器(lcd)和触摸面板(tp)。如果显示屏包括触摸面板， 显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传 感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作 的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
110.音频组件1206被配置为输出和/或输入语音信号。例如，音频组件1206包括一个麦克风 (mic)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。 所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些 实施例中，音频组件1206还包括一个扬声器，用于输出语音信号。
111.输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块 可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
112.传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例 如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端 设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的 物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该 传感器组件1208还可以包括摄像头等。
113.通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备 可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个实施例中， 该终端设备中可以包括sim卡插槽，该sim卡插槽用于插入sim卡，使得终端设备可以登 录gprs网络，通过互联网与服务器建立通信。
114.由上可知，在图5实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口 1207、传感器组件1208均可以作为图4实施例中的输入设备的实现方式。
115.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟
悉此技 术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本发明的权利要求所涵盖。
116.应当理解的是，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范 围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如， 在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地， 第二预设范围也可以被称为第一预设范围。