复杂环境中对捕获后丢失的人脸图像的再识别方法和装置、电子设备与流程

1.本技术涉及图像处理技术领域，尤其涉及一种复杂环境中对捕获后丢失的人脸图像的再识别方法和装置、电子设备。


背景技术：

2.随着视频采集技术的发展，已经能够为用户提供各个地点的高分辨率的图像采集服务，从而用户足不出户就能够观看多个目标区域的实时图像，并且基于这样采集的实时图像可以进一步应用图像处理技术来为用户实现指定目标的识别等。现有技术中由于图像采集设备往往只能覆盖有限的一个区域，因此仅能够为用户实现该采集区域内的指定目标的识别，甚至是轨迹跟踪。而随着人们生活水平的提高，人们的活动范围和区域也日益扩大，因此，现有技术中提出了在多个位置或多个角度使用多个采集装置来实现多个区域的覆盖监控。
3.但是，现有技术中的图像处理技术仅支持单一画面中目标对象的识别，即目标对象在单一背景的被采集区域中的连续识别和轨迹追踪。当用户离开当前采集终端的采集区域进入另一个采集终端的采集区域时，针对这两个采集区域的图像识别方法仅能够在各自的采集区域中对目标进行识别而无法实现跨采集区域的连续监控。尤其是在基于人脸识别的目标追踪场景中，当目标由于在不同的采集区域中出现或者以不同角度出现，都对人脸识别的准确性产生了较大的影响。


技术实现要素：

4.本技术实施例提供一种复杂环境中对捕获后丢失的人脸图像的再识别方法和装置、电子设备，以解决现有技术中跨采集区域进行人脸追踪效率低计算量大的缺陷。
5.为达到上述目的，本技术实施例提供了一种复杂环境中对捕获后丢失的人脸图像的再识别方法，包括：
6.对目标视频中的第一视频帧进行特征提取以获得多个第一提取特征；
7.将所述多个第一提取特征与用于标识预设目标对象的预设目标特征进行比较；
8.当确定所述第一视频帧中包含有所述预设目标对象时，对所述目标视频中的第二视频帧进行特征提取以获得多个第二提取特征，其中，所述第一视频帧的采集时间早于所述第二视频帧的采集时间；
9.将所述多个第二提取特征与所述预设目标特征进行比较；
10.当确定所述第二视频帧中不包含所述预设目标特征时，将所述多个第二提取特征与所述预设目标对象的辅助目标特征进行比较，其中，所述辅助目标特征为所述预设目标对象的除所述预设目标特征之外的其他特征；
11.根据所述多个第二提取特征与所述预设目标对象的辅助目标特征的比较结果确定在所述第二视频帧中是否存在所述预设目标对象。
12.本技术实施例还提供了一种复杂环境中对捕获后丢失的人脸图像的再识别装置，包括：
13.第一提取模块，用于对目标视频中的第一视频帧进行特征提取以获得多个第一提取特征；
14.第一比较模块，用于将所述多个第一提取特征与用于标识预设目标对象的预设目标特征进行比较；
15.第二提取模块，用于当确定所述第一视频帧中包含有所述预设目标对象时，对所述目标视频中的第二视频帧进行特征提取以获得多个第二提取特征，其中，所述第一视频帧的采集时间早于所述第二视频帧的采集时间；
16.第二比较模块，用于将所述多个第二提取特征与所述预设目标特征进行比较；当确定所述第二视频帧中不包含所述预设目标特征时，将所述多个第二提取特征与所述预设目标对象的辅助目标特征进行比较，其中，所述辅助目标特征为所述预设目标对象的除所述预设目标特征之外的其他特征；
17.确定模块，用于根据所述多个第二提取特征与所述预设目标对象的辅助目标特征的比较结果确定在所述第二视频帧中是否存在所述预设目标对象。
18.本技术实施例还提供了一种电子设备，包括：
19.存储器，用于存储程序；
20.处理器，用于运行所述存储器中存储的所述程序，所述程序运行时执行本技术实施例提供的复杂环境中对捕获后丢失的人脸图像的再识别方法。
21.本技术实施例提供的复杂环境中对捕获后丢失的人脸图像的再识别方法和装置、电子设备，通过根据目标视频中的第一视频帧提取的第一提取特征与目标特征的比较确定第一视频帧中存在目标对象时进一步从目标视频的第二视频帧提取第二提取特征来与目标特征进行比较，并使用目标对象的辅助目标特征来进一步与第二提取特征比较，以确定第二视频帧中是否存在目标对象。因此，与现有技术中对于每一帧都在数据库中逐个进行特征比对的方案相比，本技术在找到包含有目标对象的第一帧开始，直接使用目标对象的目标特征来与后面的各帧中提取的特征进行比对，并且在比对失败时进一步使用其他辅助特征来进行比对，从而消除了现有技术需要将提取到的每个特征与数据库中的大量不同目标特征进行比对的需要，并且因此大大降低了对于第一帧之后的每一帧的处理的计算量，并且通过使用第一目标特征的直接比对和使用辅助特征的补充比对，还大大提高了再次识别的准确性和效率，从而能够解决现有技术中对于移动目标对象在移动时面部和/或身体特征发生改变而导致追踪对象丢失的缺陷。
22.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
23.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
24.图1a为本技术实施例提供的复杂环境中对捕获后丢失的人脸图像的再识别方案的应用场景示意图；
25.图1b为根据现有技术中的人脸图像的识别方案的示意图；
26.图1c为本技术实施例提供的复杂环境中对捕获后丢失的人脸图像的再识别方案的示意图；
27.图2为本技术提供的复杂环境中对捕获后丢失的人脸图像的再识别方法一个实施例的流程图；
28.图3为本技术提供的复杂环境中对捕获后丢失的人脸图像的再识别方法另一个实施例的流程图；
29.图4为本技术提供的复杂环境中对捕获后丢失的人脸图像的再识别装置实施例的结构示意图；
30.图5为本技术提供的电子设备实施例的结构示意图。
具体实施方式
31.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
32.实施例一
33.本技术实施例提供的方案可应用于任何具有图像识别能力的系统，例如图像识别终端等等。图1a为本技术实施例提供的复杂环境中对捕获后丢失的人脸图像的再识别方案的应用场景示意图；图1b为根据现有技术中的人脸图像的识别方案的示意图；图1c为本技术实施例提供的复杂环境中对捕获后丢失的人脸图像的再识别方案的示意图。图1c所示的原理仅仅是本技术的技术方案的原理的示例之一。
34.随着视频采集技术的发展，已经能够为用户提供各个地点的高分辨率的图像采集服务，从而用户足不出户就能够观看多个目标区域的实时图像，并且基于这样采集的实时图像可以进一步应用图像处理技术来为用户实现指定目标的识别等。现有技术中由于图像采集设备往往只能覆盖有限的一个区域，因此仅能够为用户实现该采集区域内的指定目标的识别，甚至是轨迹跟踪。而随着人们生活水平的提高，人们的活动范围和区域也日益扩大，因此，现有技术中提出了在多个位置或多个角度使用多个采集装置来实现多个区域的覆盖监控。
35.但是，现有技术中的图像处理技术仅支持单一画面中目标对象的识别，即目标对象在单一背景的被采集区域中的连续识别和轨迹追踪。当用户离开当前采集终端的采集区域进入另一个采集终端的采集区域时，针对这两个采集区域的图像识别方法仅能够在各自的采集区域中对目标进行识别而无法实现跨采集区域的连续监控。尤其是在基于人脸识别的目标追踪场景中，当目标由于在不同的采集区域中出现或者以不同角度出现，都对人脸识别的准确性产生了较大的影响。
36.例如，在人脸识别的应用场景中，视频或图像采集设备可以采集目标区域的视频或图像并且通过解码生成多个图像帧，之后传输给例如本技术提供的识别方法所应用到的
处理装置来进行处理。例如，在如图1a中所示的场景中，在经过采集设备解码后输出的三个视频帧可以分别经过比对模块来对这三个视频帧中包含的对象进行识别，以确认该3个视频帧中包含的对象。特别地，在图1a中所示的场景中，经过比对模块的处理可以进一步确认该三个视频帧中是否包含有指定的目标对象，例如对象1。
37.为此，在现有技术中，如图1b中所示，通常是对于采集设备所输出的例如第一帧先提取第一帧中的多个特征，之后比对模块可以将其与例如对象数据库中已经存储的多个对象的特征进行逐个比对，并根据比对结果来确定第一帧中包含有哪些对象。例如，在现有技术中可以计算第一帧中提取的各个特征与数据库中存储的各个对象的特征的相似度，并且将数据库中的各个对象中与第一帧提取的特征的相似度大于预设阈值的对象确定为第一帧中包含的对象，并且之后可以根据指定的目标对象标识来判断第一帧中这样确定的一个或多个对象中是否包含有指定的目标对象。
38.之后，对采集设备所输出的第二帧进行同样的操作，即将第二帧提取的各个特征与数据库中的各个对象的特征进行逐一比对，以确定第二帧中都包含有哪些对象，之后再根据指定的目标对象标识来判断第二帧中这样确定的一个或多个对象中是否包含有指定的目标对象。例如，在如图1a中所示的示例中，比对模块可以通过这样的逐一特征对比而识别出第一帧中包含有对象1和对象2，第二帧中包含有对象1、对象3和对象4，并且第三帧中包含有对象2和对象3。因此，比对模块就可以进一步根据追踪的需要而将包含有被指定为目标对象的对象1的视频帧输出，例如，输出第一帧和第二帧。但是在很多情况下，由于采集设备采集的图像帧中对象实际上并非是静止不动的，而是在不断移动，而且被采集区域中也不仅存在对象，而且还存在各种物体和背景，例如存在树木、建筑物等等。因此，在实际应用中，当例如对象1的目标对象在被采集区域中持续活动时，很可能出现的是，在第一帧中可以捕获到其正面，因而比对模块能够通过面部特征的比对而识别出第一帧中包含有对象1，但是该对象1在第二帧可能就由于移动而导致面部被树木或建筑物等遮挡，或者可能由于转身等身体动作而使得采集设备只能够采集到面部的一部分。因此，在该情况下，现有技术中仅根据视频帧中提取的特征来与数据库中的对象特征进行比对就很可能无法识别出这样的对象。即，在现有技术中很可能发生的是，将第二帧错误地识别为不包含目标对象，即对象1。
39.因此，在现有技术中通常是需要先对每一帧中提取的各个特征与数据库中的多个对象的特征进行逐个比对来识别出每一帧中包含有的对象，之后再从识别出的对象中确定是否包含有指定的目标对象，从而将确定包含有指定的目标对象的这些视频帧，尤其是第一帧之后的第二帧以及其他识别出包含有指定的目标对象的视频帧作为与第一帧对应的目标对象的跟踪视频帧。但是这样的识别过程需要对每一帧都进行数据库中的各个对象的逐一特征比对，尤其是在当前存储对象的数据库中的对象数量非常庞大的情况下，这样的逐一对比不仅效率低而且消耗了大量的计算资源，导致无法适应当前在实时捕获的视频帧中追踪指定的目标对象所要求的高识别速度和高准确率的要求。
40.对此，根据本技术实施例的识别方法提供了一种尤其适用于在复杂环境中对于捕获后的目标在丢失后的再识别方案。例如，同样在如图1a中所示的上述人脸识别的应用场景中，如图1c中所示，根据本技术实施例的识别方案，比对模块可以对于采集设备输出的第一帧提取的特征直接进行与目标对象，即对象1的指定特征的比对，在确认第一帧中包含有
目标对象之后，一方面可以继续将目标对象的指定特征与第一帧之后采集到的第二帧提取的特征进行比对，另一方面可以将确认包含有目标对象的第一帧存储为参考帧，并且在前述将目标对象的指定特征与第二帧提取的特征比对时确认第二帧中不包含目标对象时可以使用参考帧中提取的与目标对象相关的辅助特征进行进一步的比对识别，以确认第二帧中是否包含有目标对象。例如，在如图1a中所示的场景中，虽然在第二帧中仅捕获到目标对象的面部的一部分，从而导致比对模块在进行将第二帧中提取的特征与目标对象的特征比对时，由于特征相似度低于阈值而无法识别出目标对象，但是在本技术实施例中，可以将已经识别出包含目标对象的第一帧作为参考帧而从该帧中进一步提取与目标对象相关的辅助特征。例如，可以从该第一帧中提取目标对象，即对象1的衣服样式、颜色、身高、发型等等特征，并且将这些特征作为辅助特征来在基于第二帧中提取的特征与目标特征进行比对时使用，这样即使由于面部特征匹配度较低，例如，面部仅与目标对象的特征匹配上40％，那么可以继续将第二帧中的与目标对象的面部特征匹配上40％的候选对象的其他特征与从第一帧中提取的这些辅助特征进行进一步的比对，因此，即使该候选对象由于转身而使得面部特征只能够与目标对象的面部特征匹配上一部分，但是由于其衣服样式、颜色、身高等辅助特征在这些帧中几乎不会发生变化，因此，能够在面部匹配度虽然低于阈值的情况下，通过匹配度非常高的辅助特征的匹配而确认该候选对象就是目标对象。因此，可以很好地识别出第二帧中实际上包含有目标对象，即对象1。
41.因此，与现有技术中需要对于每一帧提取的特征都与数据库中各个对象的特征逐个对比的现有技术方案相比，本技术提出的识别方案，能够充分利用前面已经确认包含有目标对象的参考帧，尤其是可以利用参考帧中与目标对象相关的辅助特征辅助第二帧中的提取特征与目标对象的特征的比对。即，如果由于目标对象在第一帧中被捕获到正面，但是在后续的第二帧中目标对象的面部被遮挡或者由于其转身等身体动作而使得面部特征缺失，那么在现有技术的方案中就会由于第二帧中包含的目标对象的特征不足以与目标对象的特征匹配而导致将第二帧错误地识别为不包含目标对象，但是实际上目标对象在第二帧中是实际存在的，只是面部特征缺失，因此利用本技术实施例所提出的识别方案，可以在该情况下引入已经确认识别出包含有目标对象的例如第一帧的参考帧中提取的与目标对象相关的辅助特征来在第二帧中的对象识别中使用，从而能够避免仅由于目标对象的面部特征的缺失导致错误地将第二帧识别为不包含目标对象的视频帧。
42.本技术实施例提供的复杂环境中对捕获后丢失的人脸图像的再识别方案，通过根据目标视频中的第一视频帧提取的第一提取特征与目标特征的比较确定第一视频帧中存在目标对象时进一步从目标视频的第二视频帧提取第二提取特征来与目标特征进行比较，并使用目标对象的辅助目标特征来进一步与第二提取特征比较，以确定第二视频帧中是否存在目标对象。因此，与现有技术中对于每一帧都在数据库中逐个进行特征比对的方案相比，本技术在找到包含有目标对象的第一帧开始，直接使用目标对象的目标特征来与后面的各帧中提取的特征进行比对，并且在比对失败时进一步使用其他辅助特征来进行比对，从而消除了现有技术需要将提取到的每个特征与数据库中的大量不同目标特征进行比对的需要，并且因此大大降低了对于第一帧之后的每一帧的处理的计算量，并且通过使用第一目标特征的直接比对和使用辅助特征的补充比对，还大大提高了再次识别的准确性和效率，从而能够解决现有技术中对于移动目标对象在移动时面部和/或身体特征发生改变而
导致追踪对象丢失的缺陷。
43.上述实施例是对本技术实施例的技术原理和示例性的应用框架的说明，下面通过多个实施例来进一步对本技术实施例具体技术方案进行详细描述。
44.实施例二
45.图2为本技术提供的复杂环境中对捕获后丢失的人脸图像的再识别方法一个实施例的流程图，该方法的执行主体可以为具有图像识别能力的各种终端或服务器设备，也可以为集成在这些设备上的装置或芯片。如图2所示，该复杂环境中对捕获后丢失的人脸图像的再识别方法包括如下步骤：
46.s201，对目标视频中的第一视频帧进行特征提取以获得多个第一提取特征。
47.在本技术实施例中，可以从例如采集设备的视频源来获取目标视频，并且可以通过对获取到的目标视频进行解码而获得多个视频帧。在本技术实施例中，该多个视频帧可以是时间上具有先后顺序的视频帧。例如在如图1a中所示的场景中，第一帧可以是在第二帧之前采集到的视频帧，第二帧可以是在第三帧之前采集到的视频帧，并且第一帧、第二帧和第三帧在时间上仅需要具有先后顺序，并不一定是连续的。换言之，在本技术实施例中，第一帧、第二帧和第三帧之间可以间隔有其他视频帧，但是也可以在时间上是连续的，即之间不具有其他视频帧。
48.因此，在步骤s201中，可以对这样接收到的视频帧，例如第一视频帧进行特征提取以获得多个第一提取特征。在本技术实施例中，第一提取特征可以是以本领域中的各种特征提取算法，例如面部特征提取算法等等提取的特征。
49.s202，将多个第一提取特征与用于标识预设目标对象的预设目标特征进行比较。
50.在步骤s201中提取了第一视频帧的第一提取特征之后，在步骤s202中可以将提取到的这些第一提取特征与预设目标特征进行比较。特别地，在本技术实施例中，这些预设目标特征可以是用于标识预设目标对象的特征。例如，在如图1a中所示的场景中，步骤s202中所使用的这些预设目标特征可以是对象1的面部特征，当然在本技术实施例中，也可以使用对象的其他特征来进行比较，只要该特征能够标识目标对象即可。
51.s203，当确定第一视频帧中包含有预设目标对象时，对目标视频中的第二视频帧进行特征提取以获得多个第二提取特征。
52.在步骤s202进行了比较之后，可以当根据步骤s202的比较结果确定第一视频帧中包含有预设目标对象时，在步骤s203中可以对在第一视频帧之后采集到的第二视频帧进行特征提取以获得多个第二提取特征。在本技术实施例中，步骤s203中可以使用与步骤s201中相同或不同的特征提取算法来对在第一视频帧之后采集的第二视频帧执行特征提取。例如，在如图1a中所示的场景中，对于第一视频帧在步骤s201中使用面部特征提取算法来提取第一视频帧中的各个对象的面部特征，并且对于在第一视频帧之后采集到的第二视频帧可以采用同样的面部特征提取算法来提取第二视频帧中的各个对象的面部特征作为第二提取特征，并且也可以使用各种其他算法来提取各种其他特征与面部特征一起作为第二提取特征。换言之，在本技术实施例中，在步骤s203中提取的第二提取特征并不仅限于面部特征，而是可以从第二视频帧中将可能能够提取出的特征都提取出来作为第二提取特征。
53.s204，将多个第二提取特征与预设目标特征进行比较。
54.在步骤s203中提取了多个第二提取特征之后，可以将这些第二提取特征与步骤
s202中使用的预设目标特征进行比较，以初步确定第二视频帧中是否包含有目标特征。特别地，如上参考图1a所述，由于目标对象可能持续地移动或改变身体姿态，因此，其在第一视频帧中的例如面部特征很可能在第二视频帧中被遮挡或未采集到，但是仍然可能的是，第二视频帧中采集到的面部特征的部分与目标特征的相似度仍然足够高，例如高于预设的相似度阈值，那么仍然可以根据步骤s204中的比较结果而直接确定第二视频帧中包含有目标对象。
55.s205，当确定第二视频帧中不包含预设目标特征时，将多个第二提取特征与预设目标对象的辅助目标特征进行比较。
56.当根据步骤s204中的比较的结果确定在第一视频帧之后采集到的第二视频帧中不包含目标对象时，例如当在步骤s204中通过计算例如第二视频帧中采集到的对象的面部特征与目标特征的相似度均低于预设阈值时，与现有技术中直接确定第二视频帧不包含目标对象相反地，在本技术实施例中，可以在步骤s205中进一步使用目标对象的辅助特征来与第二提取特征进行比较。如上所述，第二提取特征不仅包括对象的面部特征，而且还包括采用其他各种算法提取的各种特征。例如衣服的样式特征、颜色特征、对象的头发特征等等，并且因此可以与预设的目标对象的面部特征之外的其他特征进行比对。
57.s206，根据多个第二提取特征与预设目标对象的辅助目标特征的比较结果确定在第二视频帧中是否存在预设目标对象。
58.因此，在步骤s206中可以根据步骤s205中的比较结果而确定在第二视频帧中是否包含有预设目标对象。例如，在如图1a中所示的场景中，虽然在第二帧中仅捕获到目标对象的面部的一部分，从而导致比对模块在进行将第二帧中提取的特征与目标对象的特征比对时，由于特征相似度低于阈值而无法识别出目标对象，但是在本技术实施例中，可以将已经识别出包含目标对象的第一帧作为参考帧而从该帧中进一步提取与目标对象相关的辅助特征。例如，可以从该第一帧中提取目标对象，即对象1的衣服样式、颜色、身高、发型等等特征，并且将这些特征作为辅助特征来在基于第二帧中提取的特征与目标特征进行比对时使用，这样即使由于面部特征匹配度较低，例如，面部仅与目标对象的特征匹配上40％，那么可以继续将第二帧中的与目标对象的面部特征匹配上40％的候选对象的其他特征与从第一帧中提取的这些辅助特征进行进一步的比对，因此，即使该候选对象由于转身而使得面部特征只能够与目标对象的面部特征匹配上一部分，但是由于其衣服样式、颜色、身高等辅助特征在这些帧中几乎不会发生变化，因此，能够在面部匹配度虽然低于阈值的情况下，通过匹配度非常高的辅助特征的匹配而确认该候选对象就是目标对象。因此，可以很好地识别出第二帧中实际上包含有目标对象，即对象1。
59.本技术实施例提供的复杂环境中对捕获后丢失的人脸图像的再识别方法，通过根据目标视频中的第一视频帧提取的第一提取特征与目标特征的比较确定第一视频帧中存在目标对象时进一步从目标视频的第二视频帧提取第二提取特征来与目标特征进行比较，并使用目标对象的辅助目标特征来进一步与第二提取特征比较，以确定第二视频帧中是否存在目标对象。因此，与现有技术中对于每一帧都在数据库中逐个进行特征比对的方案相比，本技术在找到包含有目标对象的第一帧开始，直接使用目标对象的目标特征来与后面的各帧中提取的特征进行比对，并且在比对失败时进一步使用其他辅助特征来进行比对，从而消除了现有技术需要将提取到的每个特征与数据库中的大量不同目标特征进行比对
的需要，并且因此大大降低了对于第一帧之后的每一帧的处理的计算量，并且通过使用第一目标特征的直接比对和使用辅助特征的补充比对，还大大提高了再次识别的准确性和效率，从而能够解决现有技术中对于移动目标对象在移动时面部和/或身体特征发生改变而导致追踪对象丢失的缺陷。
60.实施例三
61.图3为本技术提供的复杂环境中对捕获后丢失的人脸图像的再识别方法另一个实施例的流程图，该方法的执行主体可以为具有图像识别能力的各种终端或服务器设备，也可以为集成在这些设备上的装置或芯片。如图3所示，该复杂环境中对捕获后丢失的人脸图像的再识别法包括如下步骤：
62.s301，获取目标视频。
63.在本技术实施例中，可以从例如采集设备的视频源来获取目标视频，并且可以通过对获取到的目标视频进行解码而获得多个视频帧。在本技术实施例中，该多个视频帧可以是时间上具有先后顺序的视频帧。例如在如图1a中所示的场景中，第一帧可以是在第二帧之前采集到的视频帧，第二帧可以是在第三帧之前采集到的视频帧，并且第一帧、第二帧和第三帧在时间上仅需要具有先后顺序，并不一定是连续的。换言之，在本技术实施例中，第一帧、第二帧和第三帧之间可以间隔有其他视频帧，但是也可以在时间上是连续的，即之间不具有其他视频帧。
64.s302，对目标视频中的第一视频帧进行特征提取以获得多个第一提取特征。
65.在步骤s302中，可以对步骤s301中接收到的视频帧，例如第一视频帧进行特征提取以获得多个第一提取特征。在本技术实施例中，第一提取特征可以是以本领域中的各种特征提取算法，例如面部特征提取算法等等提取的特征。
66.s303，将多个第一提取特征与用于标识预设目标对象的预设目标特征进行比较。
67.在步骤s302中提取了第一视频帧的第一提取特征之后，在步骤s303中可以将提取到的这些第一提取特征与预设目标特征进行比较。特别地，在本技术实施例中，这些预设目标特征可以是用于标识预设目标对象的特征。例如，在如图1a中所示的场景中，步骤s202中所使用的这些预设目标特征可以是对象1的面部特征，当然在本技术实施例中，也可以使用对象的其他特征来进行比较，只要该特征能够标识目标对象即可。特别地，在本技术实施例中，预设目标特征可以为人脸识别特征。
68.s304，当确定第一视频帧中包含有预设目标对象时，对目标视频中的第二视频帧进行特征提取以获得多个第二提取特征。
69.在步骤s303进行了比较之后，可以当根据步骤s303的比较结果确定第一视频帧中包含有预设目标对象时，在步骤s304中可以对在第一视频帧之后采集到的第二视频帧进行特征提取以获得多个第二提取特征。在本技术实施例中，步骤s304中可以使用与步骤s302中相同或不同的特征提取算法来对在第一视频帧之后采集的第二视频帧执行特征提取。例如，在如图1a中所示的场景中，对于第一视频帧在步骤s302中使用面部特征提取算法来提取第一视频帧中的各个对象的面部特征，并且对于在第一视频帧之后采集到的第二视频帧可以采用同样的面部特征提取算法来提取第二视频帧中的各个对象的面部特征作为第二提取特征，并且也可以使用各种其他算法来提取各种其他特征与面部特征一起作为第二提取特征。换言之，在本技术实施例中，在步骤s304中提取的第二提取特征并不仅限于面部特
征，而是可以从第二视频帧中将可能能够提取出的特征都提取出来作为第二提取特征。
70.s305，将包含有识别出所述预设目标对象的第一视频帧作为参考视频帧。
71.与步骤s304同时、之前或之后，可以当根据步骤s303的比较结果确定第一视频帧中包含有预设目标对象时，将该第一视频帧确定为参考视频帧，并且可以进行暂时存储。
72.s306，从参考视频帧中提取预设目标对象的除预设目标特征之外的其他特征，作为目标对象的辅助目标特征。
73.在步骤s306中可以从确定为参考视频帧的第一视频帧中提取辅助目标特征。例如在如图1a中所示的场景中，可以从第一视频帧中进一步提取除面部特征之外的其他特征，例如对象1的衣服样式、颜色、身高、发型等等特征，并且将这些特征作为辅助特征来在基于第二帧中提取的特征与目标特征进行比对时使用。例如，辅助目标特征可以为颜色特征、纹理特征、形状特征和空间关系特征中的一种或多种。
74.此外，在本技术实施例中，除了可以从确定为参考视频帧的第一视频帧中提取辅助目标特征之外，还可以从候选追踪列表获取与目标对象有关的辅助目标特征。例如，可以在预先指定的目标对象的列表中设置目标对象的各种特征，以作为目标对象的辅助特征。例如，在如图1a中所示的场景中，可以预先就了解对象1是秃顶，则可以预先在候选追踪列表中就输入对象1的该发型特征，并且可以在对第二视频帧进行识别时使用。例如，辅助目标特征可以为颜色特征、纹理特征、形状特征和空间关系特征中的一种或多种。
75.s307，将多个第二提取特征与预设目标特征进行比较。
76.在步骤s304中提取了多个第二提取特征之后，可以将这些第二提取特征与步骤s303中使用的预设目标特征进行比较，以初步确定第二视频帧中是否包含有目标特征。特别地，如上参考图1a所述，由于目标对象可能持续地移动或改变身体姿态，因此，其在第一视频帧中的例如面部特征很可能在第二视频帧中被遮挡或未采集到，但是仍然可能的是，第二视频帧中采集到的面部特征的部分与目标特征的相似度仍然足够高，例如高于预设的相似度阈值，那么仍然可以根据步骤s307中的比较结果而直接确定第二视频帧中包含有目标对象。
77.s308，当确定第二视频帧中不包含预设目标特征时，将多个第二提取特征与预设目标对象的辅助目标特征进行比较。
78.当根据步骤s307中的比较的结果确定在第一视频帧之后采集到的第二视频帧中不包含目标对象时，例如当在步骤s307中通过计算例如第二视频帧中采集到的对象的面部特征与目标特征的相似度均低于预设阈值时，与现有技术中直接确定第二视频帧不包含目标对象相反地，在本技术实施例中，可以在步骤s308中进一步使用目标对象的辅助特征来与第二提取特征进行比较。如上所述，第二提取特征不仅包括对象的面部特征，而且还包括采用其他各种算法提取的各种特征。例如衣服的样式特征、颜色特征、对象的头发特征等等，并且因此可以与预设的目标对象的面部特征之外的其他特征进行比对。
79.s309，根据多个第二提取特征与预设目标对象的辅助目标特征的比较结果确定在第二视频帧中是否存在预设目标对象。
80.因此，在步骤s309中可以根据步骤s308中的比较结果而确定在第二视频帧中是否包含有预设目标对象。例如，在如图1a中所示的场景中，虽然在第二帧中仅捕获到目标对象的面部的一部分，从而导致比对模块在进行将第二帧中提取的特征与目标对象的特征比对
时，由于特征相似度低于阈值而无法识别出目标对象，但是在本技术实施例中，可以将已经识别出包含目标对象的第一帧作为参考帧而从该帧中进一步提取与目标对象相关的辅助特征。例如，可以从该第一帧中提取目标对象，即对象1的衣服样式、颜色、身高、发型等等特征，并且将这些特征作为辅助特征来在基于第二帧中提取的特征与目标特征进行比对时使用，这样即使由于面部特征匹配度较低，例如，面部仅与目标对象的特征匹配上40％，那么可以继续将第二帧中的与目标对象的面部特征匹配上40％的候选对象的其他特征与从第一帧中提取的这些辅助特征进行进一步的比对，因此，即使该候选对象由于转身而使得面部特征只能够与目标对象的面部特征匹配上一部分，但是由于其衣服样式、颜色、身高等辅助特征在这些帧中几乎不会发生变化，因此，能够在面部匹配度虽然低于阈值的情况下，通过匹配度非常高的辅助特征的匹配而确认该候选对象就是目标对象。因此，可以很好地识别出第二帧中实际上包含有目标对象，即对象1。
81.本技术实施例提供的复杂环境中对捕获后丢失的人脸图像的再识别方法，通过根据目标视频中的第一视频帧提取的第一提取特征与目标特征的比较确定第一视频帧中存在目标对象时进一步从目标视频的第二视频帧提取第二提取特征来与目标特征进行比较，并使用目标对象的辅助目标特征来进一步与第二提取特征比较，以确定第二视频帧中是否存在目标对象。因此，与现有技术中对于每一帧都在数据库中逐个进行特征比对的方案相比，本技术在找到包含有目标对象的第一帧开始，直接使用目标对象的目标特征来与后面的各帧中提取的特征进行比对，并且在比对失败时进一步使用其他辅助特征来进行比对，从而消除了现有技术需要将提取到的每个特征与数据库中的大量不同目标特征进行比对的需要，并且因此大大降低了对于第一帧之后的每一帧的处理的计算量，并且通过使用第一目标特征的直接比对和使用辅助特征的补充比对，还大大提高了再次识别的准确性和效率，从而能够解决现有技术中对于移动目标对象在移动时面部和/或身体特征发生改变而导致追踪对象丢失的缺陷。
82.实施例四
83.图4为本技术提供的复杂环境中对捕获后丢失的人脸图像的再识别装置实施例的结构示意图，可用于执行如图2和图3所示的方法步骤。如图4所示，该复杂环境中对捕获后丢失的人脸图像的再识别装置可以包括：获取模块46、第一提取模块41、第一比较模块42、第二提取模块43、第二比较模块44、确定模块45。
84.获取模块46可以用于获取目标视频。
85.在本技术实施例中，获取模块46可以从例如采集设备的视频源来获取目标视频，并且可以通过对获取到的目标视频进行解码而获得多个视频帧。在本技术实施例中，该多个视频帧可以是时间上具有先后顺序的视频帧。例如在如图1a中所示的场景中，第一帧可以是在第二帧之前采集到的视频帧，第二帧可以是在第三帧之前采集到的视频帧，并且第一帧、第二帧和第三帧在时间上仅需要具有先后顺序，并不一定是连续的。换言之，在本技术实施例中，第一帧、第二帧和第三帧之间可以间隔有其他视频帧，但是也可以在时间上是连续的，即之间不具有其他视频帧。
86.第一提取模块41可以用于对目标视频中的第一视频帧进行特征提取以获得多个第一提取特征。
87.第一提取模块41可以对获取模块46接收到的视频帧，例如第一视频帧进行特征提
取以获得多个第一提取特征。在本技术实施例中，第一提取特征可以是以本领域中的各种特征提取算法，例如面部特征提取算法等等提取的特征。
88.第一比较模块42可以用于将多个第一提取特征与用于标识预设目标对象的预设目标特征进行比较。
89.第一提取模块41提取了第一视频帧的第一提取特征之后，第一比较模块42中可以将提取到的这些第一提取特征与预设目标特征进行比较。特别地，在本技术实施例中，这些预设目标特征可以是用于标识预设目标对象的特征。例如，在如图1a中所示的场景中，第一比较模块42所使用的这些预设目标特征可以是对象1的面部特征，当然在本技术实施例中，也可以使用对象的其他特征来进行比较，只要该特征能够标识目标对象即可。特别地，在本技术实施例中，预设目标特征可以为人脸识别特征。
90.第二提取模块43可以用于当确定第一视频帧中包含有预设目标对象时，对目标视频中的第二视频帧进行特征提取以获得多个第二提取特征。
91.在第一比较模块42进行了比较之后，可以当根据第一比较模块42的比较结果确定第一视频帧中包含有预设目标对象时，第二提取模块43可以对在第一视频帧之后采集到的第二视频帧进行特征提取以获得多个第二提取特征。在本技术实施例中第二提取模块43可以使用与第一提取模块41相同或不同的特征提取算法来对在第一视频帧之后采集的第二视频帧执行特征提取。例如，在如图1a中所示的场景中，第一提取模块41对于第一视频帧使用面部特征提取算法来提取第一视频帧中的各个对象的面部特征，并且第二提取模块43对于在第一视频帧之后采集到的第二视频帧可以采用同样的面部特征提取算法来提取第二视频帧中的各个对象的面部特征作为第二提取特征，并且也可以使用各种其他算法来提取各种其他特征与面部特征一起作为第二提取特征。换言之，在本技术实施例中，第二提取模块43提取的第二提取特征并不仅限于面部特征，而是可以从第二视频帧中将可能能够提取出的特征都提取出来作为第二提取特征。
92.此外，本技术的再识别装置可以进一步包括第一处理模块47，其可以用于将包含有识别出所述预设目标对象的第一视频帧作为参考视频帧，从参考视频帧中提取预设目标对象的除预设目标特征之外的其他特征，作为目标对象的辅助目标特征。
93.第一处理模块47可以当根据第一比较模块42的比较结果确定第一视频帧中包含有预设目标对象时，将该第一视频帧确定为参考视频帧，并且可以进行暂时存储，并且可以从确定为参考视频帧的第一视频帧中提取辅助目标特征。例如在如图1a中所示的场景中，可以从第一视频帧中进一步提取除面部特征之外的其他特征，例如对象1的衣服样式、颜色、身高、发型等等特征，并且将这些特征作为辅助特征来在基于第二帧中提取的特征与目标特征进行比对时使用。例如，辅助目标特征可以为颜色特征、纹理特征、形状特征和空间关系特征中的一种或多种。
94.此外，在本技术实施例中，除了可以从确定为参考视频帧的第一视频帧中提取辅助目标特征之外，还可以从候选追踪列表获取与目标对象有关的辅助目标特征。例如，可以在预先指定的目标对象的列表中设置目标对象的各种特征，以作为目标对象的辅助特征。例如，在如图1a中所示的场景中，可以预先就了解对象1是秃顶，则可以预先在候选追踪列表中就输入对象1的该发型特征，并且可以在对第二视频帧进行识别时使用。例如，辅助目标特征可以为颜色特征、纹理特征、形状特征和空间关系特征中的一种或多种。
95.第二比较模块44可以用于将多个第二提取特征与预设目标特征进行比较。
96.第二提取模块43提取了多个第二提取特征之后，第二比较模块44可以将这些第二提取特征与第一比较模块42使用的预设目标特征进行比较，以初步确定第二视频帧中是否包含有目标特征。特别地，如上参考图1a所述，由于目标对象可能持续地移动或改变身体姿态，因此，其在第一视频帧中的例如面部特征很可能在第二视频帧中被遮挡或未采集到，但是仍然可能的是，第二视频帧中采集到的面部特征的部分与目标特征的相似度仍然足够高，例如高于预设的相似度阈值，那么仍然可以根据比较结果而直接确定第二视频帧中包含有目标对象。
97.第二比较模块44还可以当确定第二视频帧中不包含预设目标特征时，将多个第二提取特征与预设目标对象的辅助目标特征进行比较。
98.当第二比较模块44根据的比较的结果确定在第一视频帧之后采集到的第二视频帧中不包含目标对象时，例如当通过计算例如第二视频帧中采集到的对象的面部特征与目标特征的相似度均低于预设阈值时，与现有技术中直接确定第二视频帧不包含目标对象相反地，在本技术实施例中，可以进一步使用目标对象的辅助特征来与第二提取特征进行比较。如上所述，第二提取特征不仅包括对象的面部特征，而且还包括采用其他各种算法提取的各种特征。例如衣服的样式特征、颜色特征、对象的头发特征等等，并且因此可以与预设的目标对象的面部特征之外的其他特征进行比对。
99.确定模块45可以用于根据多个第二提取特征与预设目标对象的辅助目标特征的比较结果确定在第二视频帧中是否存在所述预设目标对象。
100.因此，确定模块45可以根据第二比较模块44的比较结果而确定在第二视频帧中是否包含有预设目标对象。例如，在如图1a中所示的场景中，虽然在第二帧中仅捕获到目标对象的面部的一部分，从而导致比对模块在进行将第二帧中提取的特征与目标对象的特征比对时，由于特征相似度低于阈值而无法识别出目标对象，但是在本技术实施例中，可以将已经识别出包含目标对象的第一帧作为参考帧而从该帧中进一步提取与目标对象相关的辅助特征。例如，可以从该第一帧中提取目标对象，即对象1的衣服样式、颜色、身高、发型等等特征，并且将这些特征作为辅助特征来在基于第二帧中提取的特征与目标特征进行比对时使用，这样即使由于面部特征匹配度较低，例如，面部仅与目标对象的特征匹配上40％，那么可以继续将第二帧中的与目标对象的面部特征匹配上40％的候选对象的其他特征与从第一帧中提取的这些辅助特征进行进一步的比对，因此，即使该候选对象由于转身而使得面部特征只能够与目标对象的面部特征匹配上一部分，但是由于其衣服样式、颜色、身高等辅助特征在这些帧中几乎不会发生变化，因此，能够在面部匹配度虽然低于阈值的情况下，通过匹配度非常高的辅助特征的匹配而确认该候选对象就是目标对象。因此，可以很好地识别出第二帧中实际上包含有目标对象，即对象1。
101.本技术实施例提供的复杂环境中对捕获后丢失的人脸图像的再识别装置，通过根据目标视频中的第一视频帧提取的第一提取特征与目标特征的比较确定第一视频帧中存在目标对象时进一步从目标视频的第二视频帧提取第二提取特征来与目标特征进行比较，并使用目标对象的辅助目标特征来进一步与第二提取特征比较，以确定第二视频帧中是否存在目标对象。因此，与现有技术中对于每一帧都在数据库中逐个进行特征比对的方案相比，本技术在找到包含有目标对象的第一帧开始，直接使用目标对象的目标特征来与后面
的各帧中提取的特征进行比对，并且在比对失败时进一步使用其他辅助特征来进行比对，从而消除了现有技术需要将提取到的每个特征与数据库中的大量不同目标特征进行比对的需要，并且因此大大降低了对于第一帧之后的每一帧的处理的计算量，并且通过使用第一目标特征的直接比对和使用辅助特征的补充比对，还大大提高了再次识别的准确性和效率，从而能够解决现有技术中对于移动目标对象在移动时面部和/或身体特征发生改变而导致追踪对象丢失的缺陷。
102.实施例五
103.以上描述了复杂环境中对捕获后丢失的人脸图像的再识别装置的内部功能和结构，该装置可实现为一种电子设备。图5为本技术提供的电子设备实施例的结构示意图。如图5所示，该电子设备包括存储器51和处理器52。
104.存储器51，用于存储程序。除上述程序之外，存储器51还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
105.存储器51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
106.处理器52，不仅仅局限于中央处理器(cpu)，还可能为图形处理器(gpu)、现场可编辑门阵列(fpga)、嵌入式神经网络处理器(npu)或人工智能(ai)芯片等处理芯片。处理器52，与存储器51耦合，执行存储器51所存储的程序，该程序运行时执行上述实施例二和三的复杂环境中对捕获后丢失的人脸图像的再识别方法。
107.进一步，如图5所示，电子设备还可以包括：通信组件53、电源组件54、音频组件55、显示器56等其它组件。图5中仅示意性给出部分组件，并不意味着电子设备只包括图5所示组件。
108.通信组件53被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如wifi、3g、4g或5g，或它们的组合。在一个示例性实施例中，通信组件53经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件53还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
109.电源组件54，为电子设备的各种组件提供电力。电源组件54可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
110.音频组件55被配置为输出和/或输入音频信号。例如，音频组件55包括一个麦克风(mic)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器51或经由通信组件53发送。在一些实施例中，音频组件55还包括一个扬声器，用于输出音频信号。
111.显示器56包括屏幕，其屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测
触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
112.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
113.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。