一种人脸关键点的标注方法及装置与流程

1.本发明涉及图像识别技术领域，具体而言，涉及一种人脸关键点的标注方法及装置。


背景技术：

2.人脸识别技术广泛应用在安防、人员身份检测以及人员跟踪等技术领域。在相关的人脸识别技术中，一般需要首先从所采集的包含人脸的图像中，检测其中的人脸的各部位的人脸关键点的图像位置信息，进而，基于人脸关键点的图像位置信息，进行后续的任务步骤。例如对人员进行身份验证，或者对人员进行疲劳驾驶行为识别等等步骤。
3.由上述过程可见，对图像中所包含人脸的各部位的人脸关键点的图像位置信息的准确识别至关重要。相关的人脸识别技术中在识别人眼部位的人脸关键点的过程中，可以基于眼睑线确定人眼部位的眼角点的图像位置信息。而在一些场景中，上述过程易出现位置识别错误的情况，例如：人员用力闭眼时，眼周易出现褶皱，此时易将眉尾识别为眼角点，导致人脸关键点的位置识别错误。


技术实现要素：

4.本发明提供了一种人脸关键点的标注方法及装置方法及装置，以实现提高人脸关键点的位置识别结果的准确性。具体的技术方案如下：
5.第一方面，本发明实施例提供了一种人脸关键点的标注方法，所述方法包括：
6.获得多个图像采集设备在相同采集周期内采集的人脸图像，其中，所述多个图像采集设备从不同角度针对目标人脸进行拍摄；
7.从每一人脸图像中，检测出所述目标人脸中各人脸关键点对应的图像位置信息；
8.基于每一人脸图像中所述目标人脸中人脸关键点对应的图像位置信息以及预设关键点标注规则，确定每一人脸图像中所述目标人脸的各人脸关键点的标注位置信息，其中，所述预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，和/或基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则，所述目标人脸图像为：所述人脸图像中满足指定筛选规则的人脸图像。
9.可选的，所述从每一人脸图像中，检测出所述目标人脸中各人脸关键点对应的图像位置信息的步骤，包括：
10.基于每一人脸图像，确定其对应的热力图；
11.针对每一人脸图像，利用预设聚类算法，从该人脸图像对应的热力图中，确定出所述目标人脸中各人脸关键点对应的图像位置信息及其对应的语义信息；
12.所述基于每一人脸图像中所述目标人脸中人脸关键点对应的图像位置信息以及预设关键点标注规则，确定每一人脸图像中所述目标人脸的各人脸关键点的标注位置信息的步骤，包括：
13.针对每一人脸图像，基于该人脸图像中所述目标人脸中各人脸关键点对应的语义信息，从该人脸图像中的人脸关键点中，确定出目标语义信息对应的人脸关键点对应的图像位置信息，其中，目标语义信息为对应至少两个人脸关键点所对应图像位置信息的语义信息；
14.针对每一人脸图像对应的每一目标语义信息，将该目标语义信息对应的人脸关键点对应的图像位置信息，依次作为该目标语义信息对应的人脸关键点对应的目标图像位置信息；基于该人脸图像中每一目标语义信息对应的人脸关键点对应的目标图像位置信息、其他语义信息对应的人脸关键点对应的图像位置信息以及预设三维人脸模型，确定该人脸图像对应的重投影误差，其中，其他语义信息为：除目标语义信息外的语义信息；
15.针对每一人脸图像，基于该人脸图像对应的各重投影误差以及该人脸图像对应的各重投影误差所对应的一组人脸关键点对应的图像位置信息，确定该人脸图像中各人脸特征点的标注位置信息。
16.可选的，所述预设关键点标注规则包括：基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则；
17.所述针对每一人脸图像，基于该人脸图像对应的各重投影误差以及该人脸图像对应的各重投影误差所对应的一组人脸关键点对应的图像位置信息，确定该人脸图像中各人脸特征点的标注位置信息的步骤，包括：
18.针对每一人脸图像，将该人脸图像对应的各重投影误差中数值最小的重投影误差所对应的一组人脸关键点对应的图像位置信息，确定为该人脸图像中各人脸特征点的标注位置信息。
19.可选的，所述预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，和基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则；
20.所述针对每一人脸图像，基于该人脸图像对应的各重投影误差以及该人脸图像对应的各重投影误差所对应的一组人脸关键点对应的图像位置信息，确定该人脸图像中各人脸特征点的标注位置信息的步骤，包括：
21.针对每一人脸图像，将该人脸图像对应的各重投影误差中，数值最小的重投影误差所对应的一组人脸关键点对应的图像位置信息，确定为该人脸图像中各人脸特征点的中间位置信息；
22.展示每一包含各人脸关键点的中间位置信息的人脸图像，以供用户从所展示的包含各人脸关键点的中间位置信息的人脸图像中，选择至少两帧人脸关键点检测结果准确的目标人脸图像；
23.基于用户的操作，确定所述用户选中的至少两帧目标人脸图像；
24.基于每一目标人脸图像中各人脸关键点的中间位置信息以及每一目标人脸图像对应的图像采集设备的设备信息，确定每一人脸关键点对应的三维位置信息；
25.基于每一人脸关键点对应的三维位置信息以及每一人脸图像对应的图像采集设备的设备信息和预设投影公式，确定每一人脸关键点在每一人脸图像中的标注位置信息。
26.可选的，所述目标语义信息包括左眼角点和/或右眼角点。
27.可选的，所述预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的
图像位置信息进行标注的规则；
28.所述基于每一人脸图像中所述目标人脸中人脸关键点对应的图像位置信息以及预设关键点标注规则，确定每一人脸图像中所述目标人脸的各人脸关键点的标注位置信息的步骤，包括：
29.展示每一包含所述目标人脸中各人脸关键点对应的图像位置信息的人脸图像，以供用户从所展示的包含所述目标人脸中各人脸关键点对应的图像位置信息的人脸图像中，选择至少两帧人脸关键点检测结果准确的目标人脸图像；
30.基于用户的操作，确定所述用户选中的至少两帧目标人脸图像；
31.基于每一目标人脸图像中各人脸关键点对应的图像位置信息以及每一目标人脸图像对应的图像采集设备的设备信息，确定各人脸关键点对应的三维位置信息；
32.基于各人脸关键点对应的三维位置信息以及每一人脸图像对应的图像采集设备的设备信息和预设投影公式，确定各人脸关键点在每一人脸图像中的标注位置信息。
33.第二方面，本发明实施例提供了一种人脸关键点的标注装置，所述装置包括：
34.获得模块，被配置为获得多个图像采集设备在相同采集周期内采集的人脸图像，其中，所述多个图像采集设备从不同角度针对目标人脸进行拍摄；
35.检测模块，被配置为从每一人脸图像中，检测出所述目标人脸中各人脸关键点对应的图像位置信息；
36.确定模块，被配置为基于每一人脸图像中所述目标人脸中人脸关键点对应的图像位置信息以及预设关键点标注规则，确定每一人脸图像中所述目标人脸的各人脸关键点的标注位置信息，其中，所述预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，和/或基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则，所述目标人脸图像为：所述人脸图像中满足指定筛选规则的人脸图像。
37.可选的，所述检测模块，包括：
38.第一确定单元，被配置为基于每一人脸图像，确定其对应的热力图；
39.第二确定单元，被配置为针对每一人脸图像，利用预设聚类算法，从该人脸图像对应的热力图中，确定出所述目标人脸中各人脸关键点对应的图像位置信息及其对应的语义信息；
40.所述确定模块，包括：
41.第三确定单元，被配置为针对每一人脸图像，基于该人脸图像中所述目标人脸中各人脸关键点对应的语义信息，从该人脸图像中的人脸关键点中，确定出目标语义信息对应的人脸关键点对应的图像位置信息，其中，目标语义信息为对应至少两个人脸关键点所对应图像位置信息的语义信息；
42.第四确定单元，被配置为针对每一人脸图像对应的每一目标语义信息，将该目标语义信息对应的人脸关键点对应的图像位置信息，依次作为该目标语义信息对应的人脸关键点对应的目标图像位置信息；基于该人脸图像中每一目标语义信息对应的人脸关键点对应的目标图像位置信息、其他语义信息对应的人脸关键点对应的图像位置信息以及预设三维人脸模型，确定该人脸图像对应的重投影误差，其中，其他语义信息为：除目标语义信息外的语义信息；
43.第五确定单元，被配置为针对每一人脸图像，基于该人脸图像对应的各重投影误差以及该人脸图像对应的各重投影误差所对应的一组人脸关键点对应的图像位置信息，确定该人脸图像中各人脸特征点的标注位置信息。
44.可选的，所述预设关键点标注规则包括：基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则；
45.所述第五确定单元，被具体配置为针对每一人脸图像，将该人脸图像对应的各重投影误差中数值最小的重投影误差所对应的一组人脸关键点对应的图像位置信息，确定为该人脸图像中各人脸特征点的标注位置信息。
46.可选的，所述预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，和基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则；
47.所述第五确定单元，被具体配置为针对每一人脸图像，将该人脸图像对应的各重投影误差中，数值最小的重投影误差所对应的一组人脸关键点对应的图像位置信息，确定为该人脸图像中各人脸特征点的中间位置信息；
48.展示每一包含各人脸关键点的中间位置信息的人脸图像，以供用户从所展示的包含各人脸关键点的中间位置信息的人脸图像中，选择至少两帧人脸关键点检测结果准确的目标人脸图像；
49.基于用户的操作，确定所述用户选中的至少两帧目标人脸图像；
50.基于每一目标人脸图像中各人脸关键点的中间位置信息以及每一目标人脸图像对应的图像采集设备的设备信息，确定每一人脸关键点对应的三维位置信息；
51.基于每一人脸关键点对应的三维位置信息以及每一人脸图像对应的图像采集设备的设备信息和预设投影公式，确定每一人脸关键点在每一人脸图像中的标注位置信息。
52.可选的，所述目标语义信息包括左眼角点和/或右眼角点。
53.可选的，所述预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则；
54.所述确定模块，被具体配置为展示每一包含所述目标人脸中各人脸关键点对应的图像位置信息的人脸图像，以供用户从所展示的包含所述目标人脸中各人脸关键点对应的图像位置信息的人脸图像中，选择至少两帧人脸关键点检测结果准确的目标人脸图像；
55.基于用户的操作，确定所述用户选中的至少两帧目标人脸图像；
56.基于每一目标人脸图像中各人脸关键点对应的图像位置信息以及每一目标人脸图像对应的图像采集设备的设备信息，确定各人脸关键点对应的三维位置信息；
57.基于各人脸关键点对应的三维位置信息以及每一人脸图像对应的图像采集设备的设备信息和预设投影公式，确定各人脸关键点在每一人脸图像中的标注位置信息。
58.由上述内容可知，本发明实施例提供的一种人脸关键点的标注方法及装置，获得多个图像采集设备在相同采集周期内采集的人脸图像，其中，多个图像采集设备从不同角度针对目标人脸进行拍摄；从每一人脸图像中，检测出目标人脸中各人脸关键点对应的图像位置信息；基于每一人脸图像中目标人脸中人脸关键点对应的图像位置信息以及预设关键点标注规则，确定每一人脸图像中目标人脸的各人脸关键点的标注位置信息，其中，预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规
则，和/或基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则，目标人脸图像为：人脸图像中满足指定筛选规则的人脸图像。
59.应用本发明实施例，可以基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，从人脸图像中确定出满足指定筛选规则即位置检测结果准确的目标人脸图像，进而，利用所确定出目标人脸图像中人脸关键点对应的图像位置信息对各人脸图像中人脸关键点的位置信息进行标注，和/或基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则，利用每一人脸图像中检测结果准确的人脸关键点对应的图像位置信息进行标注，以得到位置准确的人脸特征点的标注位置信息，以实现提高人脸关键点的位置识别结果的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
60.本发明实施例的创新点包括：
61.1、可以基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，从人脸图像中确定出满足指定筛选规则即位置检测结果准确的目标人脸图像，进而，利用所确定出目标人脸图像中人脸关键点对应的图像位置信息对各人脸图像中人脸关键点的位置信息进行标注，和/或基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则，利用每一人脸图像中检测结果准确的人脸关键点对应的图像位置信息进行标注，以得到位置准确的人脸特征点的标注位置信息，以实现提高人脸关键点的位置识别结果的准确性。
62.2、首先确定每一人脸图像对应的热力图，以从热力图中确定出人脸图像中包含的各人脸关键点对应的图像位置信息及其语义信息，进而，对对应至少两个图像位置信息的目标语义信息所对应的图像位置信息进行枚举，依次作为该目标语义信息对应的人脸关键点对应的目标图像位置信息，进而结合预设三维人脸模型，确定该目标语义信息对应的各图像位置信息作为目标图像位置信息情况下，该人脸图像对应的重投影误差。后续的，一方面，考虑到预设三维人脸模型中各人脸特征点对应的三维位置信息之间的关系符合实际人脸特征，上述所求得的人脸图像对应的重投影误差越小，表征从图像中所检测出的各语义信息对应的人脸特征点的图像位置信息的准确性越高，相应的一种实现，将人脸图像对应的各重投影误差中数值最小的重投影误差所对应的一组人脸关键点对应的图像位置信息，确定为该人脸图像中各人脸特征点的标注位置信息。另一方面，考虑到预设三维人脸模型中各人脸特征点对应的三维位置信息之间的关系符合实际人脸特征，上述所求得的人脸图像对应的重投影误差越小，表征从图像中所检测出的各语义信息对应的人脸特征点的图像位置信息的准确性越高的同时，再基于人员对多帧图像中所检测人脸关键点的位置信息的人工检测，确定出所对应的图像位置信息准确性更高的人脸关键点，进行后续的人脸关键点的位置标注，更好的提高人脸关键点在每一人脸图像中的标注位置信息的准确性。
63.3、考虑到多帧人脸图像中可能存在人脸特征点的位置检测较准确，可能存在人脸特征点的位置检测较不准确的情况，通过人工识别出帧人脸图像中，人脸特征点的位置检测较准确的目标人脸图像，进而，基于目标人脸图像中人脸特征点对应的图像位置信息，确定各人脸关键点在每一人脸图像中的标注位置信息，以实现提高人脸关键点的位置识别结果的准确性。
附图说明
64.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
65.图1为本发明实施例提供的人脸关键点的标注方法的一种流程示意图；
66.图2为本发明实施例提供的人脸关键点的标注方法的另一种流程示意图；
67.图3为人脸图像对应的热力图的一种示例图；
68.图4为本发明实施例提供的人脸关键点的标注方法的另一种流程示意图；
69.图5为本发明实施例提供的人脸关键点的标注装置的一种结构示意图。
具体实施方式
70.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
71.需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
72.本发明提供了一种人脸关键点的标注方法及装置，以实现提高人脸关键点的位置识别结果的准确性。下面对本发明实施例进行详细说明。
73.图1为本发明实施例提供的人脸关键点的标注方法的一种流程示意图。该方法可以包括如下步骤：
74.s101：获得多个图像采集设备在相同采集周期内采集的人脸图像。
75.其中，多个图像采集设备从不同角度针对目标人脸进行拍摄。
76.本发明实施例所提供的人脸关键点的标注方法，可以应用于任意类型的具有计算能力的电子设备中，该电子设备可以为服务器或者终端。该电子设备可以与多个图像采集设备连接，获得该多个图像采集设备所采集的图像。在一种实现中，该多个图像采集设备可以设置于车辆的车厢内，可以从不同角度针对车辆内的人员的人脸进行拍摄。或者，该多个图像采集设备可以设置于任一室内或室外场景。该多个图像采集设备可以针对人员的人脸进行全方位的拍摄。在一种情况中，多个图像采集设备中位置相邻的每两个图像采集设备的图像采集区域可以存在重合区域。
77.在一种情况中，该目标人脸可以处于用力睁闭眼的状态，相应的，电子设备可以获得多个图像采集设备所采集的目标人脸进行用力睁闭眼状态时的人脸图像。
78.s102：从每一人脸图像中，检测出目标人脸中各人脸关键点对应的图像位置信息。
79.本步骤中，电子设备可以针对每一人脸图像，利用预设人脸关键点检测算法，对该人脸图像进行检测，检测出该人脸图像中目标人脸中各人脸关键点对应的图像位置信息。
80.在一种实现方式中，该预设人脸关键点检测算法可以包括但不限于：基于深度学
习的关键点检测模型、asm(active shape model)算法以及cpr(cascaded pose regression,级联姿势回归)算法。其中，该基于深度学习的关键点检测模型可以是基于标注有人脸中各人脸关键点的样本图像训练所得的神经网络模型，其中，该基于深度学习的关键点检测模型的训练过程可以参见相关技术中神经网络模型的训练过程，在此不再赘述。本发明实施例并不对上述预设人脸关键点检测算法的具体类型进行限定，任一可以检测出人脸图像中目标人脸的各人脸关键点对应的图像位置信息的算法均可以应用于本发明实施例中。
81.其中，电子设备在得到人脸图像中目标人脸中各人脸关键点对应的图像位置信息的同时，还可以得到各人脸关键点对应的语义信息。
82.在另一种实现方式中，电子设备可以首先利用heatmap算法，对每一人脸图像进行处理，得到每一人脸图像对应的热力图，进而，利用预设聚类算法，从每一人脸图像对应的热力图中确定出目标人脸中各人脸关键点对应的图像位置信息及其对应的语义信息。
83.其中，
84.人脸关键点对应的语义信息为：描述所对应人脸关键点在目标人脸图像中的属性信息的信息。例如：语义信息包括但不限于：左脸外眼角点、左脸内眼角点、右脸外眼角点以及右脸内眼角点等等。
85.每一人脸图像对应的热力图中，每一像素点的像素值表示这个像素点的亮度。其中，像素点的像素值越大，该像素点的亮度越大；并且人脸图像对应的热力图中像素点的像素值还可以表示这个像素点为目标点，即关键点的可能性，像素点的像素值越大，相应的像素点为目标点的可能性越大。
86.在一种情况中，每一人脸图像可以对应多个热力图，其中，人脸图像对应的每一热力图对应一个用于描述所对应人脸关键点在目标人脸图像中的属性信息的语义信息。例如：人脸图像对应的热力图可以包括对应左脸外眼角点的热力图、对应左脸内眼角点的热力图、对应右脸外眼角点的热力图以及对应右脸内眼角点的热力图等。相应的，在左眼外眼角点对应的热力图中，若像素点(x0,y0)对应的像素值最大，那么左眼外眼角点最有可能位于(x0,y0)。
87.s103：基于每一人脸图像中目标人脸中人脸关键点对应的图像位置信息以及预设关键点标注规则，确定每一人脸图像中目标人脸的各人脸关键点的标注位置信息。
88.其中，预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，和/或基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则，目标人脸图像为：人脸图像中满足指定筛选规则的人脸图像。
89.本步骤中，电子设备本地或所连接的存储设备预存有预设关键点标注规则，电子设备得到每一人脸图像中目标人脸中各人脸关键点对应的图像位置信息之后，可以基于该预设关键点标注规则以及每一人脸图像中目标人脸中各人脸关键点对应的图像位置信息，从人脸图像中确定出满足指定筛选规则的人脸图像，即确定出位置检测结果准确的人脸图像，作为目标人脸图像，并基于目标人脸图像中各人脸关键点对应的图像位置信息，确定每一人脸关键点在各人脸图像中的标注位置信息，和/或基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息，确定出位置检测结果准确的人脸关键
点对应的图像位置信息，确定每一人脸关键点在各人脸图像中的标注位置信息。以得到各人脸图像中位置准确的人脸关键点的标注位置信息。
90.后续的，在一种实现方式中，在确定每一人脸关键点在各人脸图像中的标注位置信息之后，电子设备可以基于每一人脸关键点在各人脸图像中的标注位置信息进行后续的流程，例如：进行人脸识别流程，或进行疲劳驾驶行为检测流程或进行人员身份验证流程，或将每一人脸关键点在各人脸图像中的标注位置信息发送至其他电子设备，以使其他电子设备执行其相应的预设流程。
91.应用本发明实施例，可以基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，从人脸图像中确定出满足指定筛选规则即位置检测结果准确的目标人脸图像，进而，利用所确定出目标人脸图像中人脸关键点对应的图像位置信息对各人脸图像中人脸关键点的位置信息进行标注，和/或基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则，利用每一人脸图像中检测结果准确的人脸关键点对应的图像位置信息进行标注，以得到位置准确的人脸特征点的标注位置信息，以实现提高人脸关键点的位置识别结果的准确性。
92.在本发明的另一实施例中，如图2所示，所述方法可以包括如下步骤：
93.s201：获得多个图像采集设备在相同采集周期内采集的人脸图像。
94.其中，多个图像采集设备从不同角度针对目标人脸进行拍摄。
95.s202：基于每一人脸图像，确定其对应的热力图。
96.s203：针对每一人脸图像，利用预设聚类算法，从该人脸图像对应的热力图中，确定出目标人脸中各人脸关键点对应的图像位置信息及其对应的语义信息。
97.s204：针对每一人脸图像，基于该人脸图像中目标人脸中各人脸关键点对应的语义信息，从该人脸图像中的人脸关键点中，确定出目标语义信息对应的人脸关键点对应的图像位置信息。
98.其中，目标语义信息为对应至少两个人脸关键点所对应的图像位置信息的语义信息；
99.s205：针对每一人脸图像对应的每一目标语义信息，将该目标语义信息对应的人脸关键点对应的图像位置信息，依次作为该目标语义信息对应的人脸关键点对应的目标图像位置信息；基于该人脸图像中每一目标语义信息对应的人脸关键点对应的目标图像位置信息、其他语义信息对应的人脸关键点对应的图像位置信息以及预设三维人脸模型，确定该人脸图像对应的重投影误差。
100.其中，其他语义信息为：除目标语义信息外的语义信息；
101.s206：针对每一人脸图像，基于该人脸图像对应的各重投影误差以及该人脸图像对应的各重投影误差所对应的一组人脸关键点对应的图像位置信息，确定该人脸图像中各人脸特征点的标注位置信息。
102.本发明实施例中，考虑到在某些情况下，直接通过预设人脸关键点检测算法对人脸图像中人脸关键点进行检测，可能会出现检测出的人脸特征点的位置信息不准确的情况，例如在目标人脸处于用力睁闭眼状态时，对于人眼的眼角点的图像位置信息的检测易出现差错。为了保证所检测到的人脸特征点的位置信息的准确性，电子设备可以首先利用heatmap算法，对每一人脸图像进行处理，得到每一人脸图像对应的热力图，进而，利用预设
聚类算法，从每一人脸图像对应的热力图中确定出目标人脸中各人脸关键点对应的图像位置信息及其对应的语义信息。进而，基于从热力图中确定出的目标人脸中各人脸关键点对应的图像位置信息及其对应的语义信息，确定各人脸关键点在每一人脸图像中的标注位置信息。
103.其中，一种情况，上述基于从热力图中确定出的目标人脸中各人脸关键点对应的图像位置信息及其对应的语义信息，确定各人脸关键点在每一人脸图像中的标注位置信息的过程，可以是：针对每一人脸图像，基于该人脸图像中所述目标人脸中各人脸关键点对应的语义信息，从语义信息中确定出对应至少两个图像位置信息的语义信息，作为目标语义信息；进而，从该人脸图像中的人脸关键点中，确定出目标语义信息对应的人脸关键点对应的图像位置信息。
104.针对每一人脸图像对应的每一目标语义信息，将该目标语义信息对应的人脸关键点对应的图像位置信息，依次作为该目标语义信息对应的人脸关键点对应的目标图像位置信息；基于该人脸图像中每一目标语义信息对应的人脸关键点对应的目标图像位置信息、其他语义信息对应的人脸关键点对应的图像位置信息以及预设三维人脸模型，确定该人脸图像对应的重投影误差，其中，该预设三维人脸模型包括每一目标语义信息对应的人脸关键点对应的空间点的三维位置信息，以及其他语义信息对应的人脸关键点对应的空间点的三维位置信息，该预设三维人脸模型可以为基于3dmm(3d morphable model，三维形变模型)确定的。
105.具体的，确定该人脸图像对应的重投影误差的过程，可以是：从预设三维人脸模型中，确定出每一目标语义信息对应的空间点的三维位置信息，以及其他语义信息对应的空间点的三维位置信息，作为模型三维位置信息，进而，基于预设位置转换关系，将模型三维位置信息对应的空间点，从预设三维人脸模型所在空间直角坐标系，转换至该人脸图像对应的图像采集设备的设备坐标系下；进而，利用该人脸图像对应的图像采集设备的预设投影公式，将在该人脸图像对应的图像采集设备的设备坐标系下的每一目标语义信息对应的空间点和其他语义信息对应的空间点，投影至该人脸图像中，确定每一目标语义信息对应的人脸关键点对应的空间点在该人脸图像中的投影点的投影位置信息，以及每一其他语义信息对应的人脸关键点对应的空间点在该人脸图像中的投影点的投影位置信息；计算每一目标语义信息对应的投影位置信息，与每一目标语义信息对应的人脸关键点对应的目标图像位置信息，以及每一其他语义信息对应的投影位置信息与每一其他语义信息对应的图像位置信息之间的距离，将所计算的距离的和，作为该人脸图像对应的重投影误差。
106.人脸图像对应的图像采集设备为：采集得到该人脸图像的图像采集设备，图像采集设备确定，预设投影公式确定。预设位置转换关系为：预设三维人脸模型所在空间直角坐标系，与该人脸图像对应的图像采集设备的设备坐标系之间的转换关系。
107.另一种情况，该目标语义信息可以为预先根据实际情况设置的，在一种实现方式中，目标人脸处于用力睁闭眼状态，相应的，考虑到目标人脸处于用力睁闭眼状态的情况下，人眼周围易出现许多褶皱，由于褶皱的出现，以使得人眼的眼角点的检测位置出现错误，例如：将人眼上方的眉毛的眉尾点检测为人眼的外眼角点，为了保证所确定出的人脸关键点中外眼角点的位置信息的准确性，该目标语义信息可以包括左外眼角点和/或右外眼角点。又例如：将人眼上方的眉毛的眉头点检测为人眼的内眼角点，为了保证所确定出的人
脸关键点中内眼角点的位置信息的准确性，该目标语义信息可以包括左内眼角点和/或右内眼角点。
108.相应的，上述基于从热力图中确定出的目标人脸中各人脸关键点对应的图像位置信息及其对应的语义信息，确定各人脸关键点在每一人脸图像中的标注位置信息的过程，可以是：直接基于该人脸图像中所述目标人脸中各人脸关键点对应的语义信息，从该人脸图像中的人脸关键点中，确定出目标语义信息对应的人脸关键点对应的图像位置信息，如从人脸图像中，确定出所对应语义信息表征其为眼角点的人脸关键点，及其对应的图像位置信息。
109.进而，针对每一人脸图像对应的每一目标语义信息，将该目标语义信息对应的人脸关键点对应的图像位置信息，依次作为该目标语义信息对应的人脸关键点对应的目标图像位置信息；基于该人脸图像中每一目标语义信息对应的人脸关键点对应的目标图像位置信息、其他语义信息对应的人脸关键点对应的图像位置信息以及预设三维人脸模型，确定该人脸图像对应的重投影误差。
110.举例而言，在目标人脸处于用力睁闭眼状态下，在人脸图像对应的热力图中可能会出现目标语义信息为左眼外眼角点对应的图像位置信息为两个，和/或目标语义信息为右眼外眼角点对应的图像位置信息为两个，如图3所示。相应的，电子设备可以从目标语义信息为左眼外眼角点对应的2个图像位置信息中，确定出位置准确的左眼外眼角点对应的图像位置信息，可以依次将左眼外眼角点对应的2个图像位置信息，作为左眼外眼角点对应的目标图像位置信息；和/或从目标语义信息为右眼外眼角点对应的2个图像位置信息中，确定出位置准确的右眼外眼角点对应的图像位置信息，可以依次将右眼外眼角点对应的2个图像位置信息，作为右眼外眼角点对应的目标图像位置信息；分别基于左眼外眼角点对应的目标图像位置信息和右眼外眼角点对应的目标图像位置信息，以及其他语义信息对应的人脸关键点对应的图像位置信息以及预设三维人脸模型，确定该人脸图像对应的重投影误差。
111.可以理解的，人脸图像对应的重投影误差的数量，与该人脸图像中目标语义信息的个数以及每一目标语义信息对应的图像位置信息的个数相关。举例而言，若人脸图像中目标语义信息的个数为2，人脸图像中每一目标语义信息对应的图像位置信息的个数为3，则该人脸图像对应的重投影误差的数量为2*3＝6个。
112.后续的，电子设备确定出每一人脸图像对应的重投影误差之后，针对每一人脸图像，基于该人脸图像对应的各重投影误差以及该人脸图像对应的各重投影误差所对应的一组人脸关键点对应的图像位置信息，确定该人脸图像中各人脸特征点的标注位置信息。
113.在本发明的另一实施例中，考虑到预设三维人脸模型中各人脸特征点对应的三维位置信息之间的关系符合实际人脸特征，人脸图像对应的重投影误差越小，表征从该人脸图像中所检测出的各语义信息对应的人脸特征点的图像位置信息的准确性越高。相应的，预设关键点标注规则可以包括：基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则；
114.所述s206，可以包括如下步骤011：
115.011：针对每一人脸图像，将该人脸图像对应的各重投影误差中，数值最小的重投影误差所对应的一组人脸关键点对应的图像位置信息，确定为该人脸图像中各人脸特征点
的标注位置信息。
116.本发明实施例中，上述满足指定位置条件的人脸关键点可以指：在人脸图像中各人脸关键点中，利用其对应的图像位置信息所计算的人脸图像对应的重投影误差，为人脸图像对应的多个重投影误差中数值最小的人脸关键点。
117.考虑到预设三维人脸模型中各人脸特征点对应的三维位置信息之间的关系符合实际人脸特征，所确定的人脸图像对应的重投影误差越小，表征从图像中所检测出的各语义信息对应的人脸特征点的图像位置信息的准确性越高的同时，再考虑到不同的人脸图像中人脸特征点的图像位置信息的检测的准确性存在不同。为了确定出准确性更高的人脸关键点在每一人脸图像中的标注位置信息。在本发明的另一实施例中，该预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，和基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则；
118.所述s206，可以包括如下步骤021-025：
119.021：针对每一人脸图像，将该人脸图像对应的各重投影误差中数值最小的重投影误差所对应的一组人脸关键点对应的图像位置信息，确定为该人脸图像中各人脸特征点的中间位置信息。
120.022：展示每一包含各人脸关键点的中间位置信息的人脸图像，以供用户从所展示的包含各人脸关键点的中间位置信息的人脸图像中，选择至少两帧人脸关键点检测结果准确的目标人脸图像。
121.023：基于用户的操作，确定用户选中的至少两帧目标人脸图像。
122.024：基于每一目标人脸图像中各人脸关键点的中间位置信息以及每一目标人脸图像对应的图像采集设备的设备信息，确定每一人脸关键点对应的三维位置信息。
123.025：基于每一人脸关键点对应的三维位置信息以及每一人脸图像对应的图像采集设备的设备信息和预设投影公式，确定每一人脸关键点在每一人脸图像中的标注位置信息。
124.本发明实施例中，电子设备针对每一人脸图像，从该人脸图像对应的各重投影误差中，确定出数值最小的重投影误差，并将数值最小的重投影误差所对应的一组人脸关键点对应的图像位置信息，确定为该人脸图像中各人脸特征点的中间位置信息；进而，展示每一包含各人脸关键点的中间位置信息的人脸图像，以供用户从所展示的包含各人脸关键点的中间位置信息的人脸图像中，选择至少两帧人脸关键点检测结果准确的目标人脸图像；基于用户的选中操作，确定用户选中的至少两帧目标人脸图像。
125.电子设备针对每一语义信息，基于每一目标人脸图像中该语义信息对应的人脸关键点的中间位置信息，以及每一目标人脸图像对应的图像采集设备的设备信息，确定该语义信息所对应人脸关键点对应的三维位置信息；确定出每一语义信息所对应人脸关键点对应的三维位置信息之后，利用每一人脸图像对应的图像采集设备的设备信息和预设投影公式，将每一语义信息所对应人脸关键点对应的三维位置信息所表征的空间点，投影至每一人脸图像中，确定每一语义信息所对应人脸关键点在每一人脸图像中的标注位置信息，即每一人脸关键点在每一人脸图像中的标注位置信息。
126.其中，人脸图像对应的图像采集设备的设备信息可以包括：采集得到该人脸图像
的图像采集设备，采集得到该人脸图像时的设备位姿信息以及设备内参信息。其中，图像采集设备的设备内参信息包括但不限于：该图像采集设备的成像面的横轴方向上每个像素点的长度，纵轴方向上的每个像素点的长度，焦距，像主点的位置信息以及缩放因数等，像主点为图像采集设备的光轴与像平面的交点。图像采集设备的设备位姿信息可以包括：图像采集设备采集得到人脸图像时的位置和姿态。
127.本发明实施例中，通过对人脸图像中各人脸关键点对应的图像位置信息的筛选，以及人员对多帧图像中所检测人脸关键点的位置信息的人工检测，确定出所对应的图像位置信息准确性更高的人脸关键点，进行后续的人脸关键点的位置标注，更好的提高人脸关键点在每一人脸图像中的标注位置信息的准确性。
128.考虑到多帧人脸图像中可能存在人脸特征点的位置检测较准确，可能存在人脸特征点的位置检测较不准确的情况，通过人工识别出帧人脸图像中，人脸特征点的位置检测较准确的目标人脸图像，进而，基于目标人脸图像中人脸特征点对应的图像位置信息，确定各人脸关键点在每一人脸图像中的标注位置信息，以实现提高人脸关键点的位置识别结果的准确性。相应的，在本发明的另一实施例中，预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则；如图4所示，所述方法可以包括如下步骤：
129.s401：获得多个图像采集设备在相同采集周期内采集的人脸图像。
130.其中，多个图像采集设备从不同角度针对目标人脸进行拍摄。
131.s402：从每一人脸图像中，检测出目标人脸中各人脸关键点对应的图像位置信息。
132.s403：展示每一包含目标人脸中各人脸关键点对应的图像位置信息的人脸图像，以供用户从所展示的包含目标人脸中各人脸关键点对应的图像位置信息的人脸图像中，选择至少两帧人脸关键点检测结果准确的目标人脸图像。
133.s404：基于用户的操作，确定用户选中的至少两帧目标人脸图像。
134.s405：基于每一目标人脸图像中各人脸关键点对应的图像位置信息以及每一目标人脸图像对应的图像采集设备的设备信息，确定各人脸关键点对应的三维位置信息。
135.s406：基于各人脸关键点对应的三维位置信息以及每一人脸图像对应的图像采集设备的设备信息和预设投影公式，确定各人脸关键点在每一人脸图像中的标注位置信息。
136.本发明实施例中，电子设备从每一人脸图像中，检测出目标人脸中各人脸关键点对应的图像位置信息之后，直接展示每一包含目标人脸中各人脸关键点对应的图像位置信息的人脸图像，用户可以从所展示的包含目标人脸中各人脸关键点对应的图像位置信息的人脸图像中，选择出至少两帧人脸关键点检测结果准确的目标人脸图像，并执行选中操作。电子设备基于用户的选中操作，确定出用户选中的至少两帧目标人脸图像，其中，该至少两帧目标人脸图像为：用户选中的其中所包含人脸关键点对应的图像位置信息较准确的人脸图像。
137.后续的，电子设备针对每一语义信息，基于每一目标人脸图像中该语义信息对应的人脸关键点的中间位置信息，以及每一目标人脸图像对应的图像采集设备的设备信息，确定该语义信息所对应人脸关键点对应的三维位置信息；确定出每一语义信息所对应人脸关键点对应的三维位置信息之后，利用每一人脸图像对应的图像采集设备的设备信息和预设投影公式，将每一语义信息所对应人脸关键点对应的三维位置信息所表征的空间点，投
影至每一人脸图像中，确定每一语义信息所对应人脸关键点在每一人脸图像中的标注位置信息，即每一人脸关键点在每一人脸图像中的标注位置信息。
138.相应于上述方法实施例，本发明实施例提供了一种人脸关键点的标注装置，如图5所示，所述装置包括：
139.获得模块510，被配置为获得多个图像采集设备在相同采集周期内采集的人脸图像，其中，所述多个图像采集设备从不同角度针对目标人脸进行拍摄；
140.检测模块520，被配置为从每一人脸图像中，检测出所述目标人脸中各人脸关键点对应的图像位置信息；
141.确定模块530，被配置为基于每一人脸图像中所述目标人脸中人脸关键点对应的图像位置信息以及预设关键点标注规则，确定每一人脸图像中所述目标人脸的各人脸关键点的标注位置信息，其中，所述预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，和/或基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则，所述目标人脸图像为：所述人脸图像中满足指定筛选规则的人脸图像。
142.应用本发明实施例，可以基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，从人脸图像中确定出满足指定筛选规则即位置检测结果准确的目标人脸图像，进而，利用所确定出目标人脸图像中人脸关键点对应的图像位置信息对各人脸图像中人脸关键点的位置信息进行标注，和/或基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则，利用每一人脸图像中检测结果准确的人脸关键点对应的图像位置信息进行标注，以得到位置准确的人脸特征点的标注位置信息，以实现提高人脸关键点的位置识别结果的准确性。
143.在本发明的另一实施例中，所述检测模块520，包括：
144.第一确定单元(图中未示出)，被配置为基于每一人脸图像，确定其对应的热力图；
145.第二确定单元(图中未示出)，被配置为针对每一人脸图像，利用预设聚类算法，从该人脸图像对应的热力图中，确定出所述目标人脸中各人脸关键点对应的图像位置信息及其对应的语义信息；
146.所述确定模块530，包括：
147.第三确定单元(图中未示出)，被配置为针对每一人脸图像，基于该人脸图像中所述目标人脸中各人脸关键点对应的语义信息，从该人脸图像中的人脸关键点中，确定出目标语义信息对应的人脸关键点对应的图像位置信息，其中，目标语义信息为对应至少两个人脸关键点所对应图像位置信息的语义信息；
148.第四确定单元(图中未示出)，被配置为针对每一人脸图像对应的每一目标语义信息，将该目标语义信息对应的人脸关键点对应的图像位置信息，依次作为该目标语义信息对应的人脸关键点对应的目标图像位置信息；基于该人脸图像中每一目标语义信息对应的人脸关键点对应的目标图像位置信息、其他语义信息对应的人脸关键点对应的图像位置信息以及预设三维人脸模型，确定该人脸图像对应的重投影误差，其中，其他语义信息为：除目标语义信息外的语义信息；
149.第五确定单元(图中未示出)，被配置为针对每一人脸图像，基于该人脸图像对应的各重投影误差以及该人脸图像对应的各重投影误差所对应的一组人脸关键点对应的图
像位置信息，确定该人脸图像中各人脸特征点的标注位置信息。
150.在本发明的另一实施例中，所述预设关键点标注规则包括：基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则；
151.所述第五确定单元，被具体配置为针对每一人脸图像，将该人脸图像对应的各重投影误差中数值最小的重投影误差所对应的一组人脸关键点对应的图像位置信息，确定为该人脸图像中各人脸特征点的标注位置信息。
152.在本发明的另一实施例中，所述预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则，和基于每一人脸图像中遍历所得的满足指定位置条件的人脸关键点对应的图像位置信息进行标注的规则；
153.所述第五确定单元，被具体配置为针对每一人脸图像，将该人脸图像对应的各重投影误差中，数值最小的重投影误差所对应的一组人脸关键点对应的图像位置信息，确定为该人脸图像中各人脸特征点的中间位置信息；
154.展示每一包含各人脸关键点的中间位置信息的人脸图像，以供用户从所展示的包含各人脸关键点的中间位置信息的人脸图像中，选择至少两帧人脸关键点检测结果准确的目标人脸图像；
155.基于用户的操作，确定所述用户选中的至少两帧目标人脸图像；
156.基于每一目标人脸图像中各人脸关键点的中间位置信息以及每一目标人脸图像对应的图像采集设备的设备信息，确定每一人脸关键点对应的三维位置信息；
157.基于每一人脸关键点对应的三维位置信息以及每一人脸图像对应的图像采集设备的设备信息和预设投影公式，确定每一人脸关键点在每一人脸图像中的标注位置信息。
158.在本发明的另一实施例中，所述目标语义信息包括左眼角点和/或右眼角点。
159.在本发明的另一实施例中，所述预设关键点标注规则包括：基于目标人脸图像中人脸关键点对应的图像位置信息进行标注的规则；
160.所述确定模块530，被具体配置为展示每一包含所述目标人脸中各人脸关键点对应的图像位置信息的人脸图像，以供用户从所展示的包含所述目标人脸中各人脸关键点对应的图像位置信息的人脸图像中，选择至少两帧人脸关键点检测结果准确的目标人脸图像；
161.基于用户的操作，确定所述用户选中的至少两帧目标人脸图像；
162.基于每一目标人脸图像中各人脸关键点对应的图像位置信息以及每一目标人脸图像对应的图像采集设备的设备信息，确定各人脸关键点对应的三维位置信息；
163.基于各人脸关键点对应的三维位置信息以及每一人脸图像对应的图像采集设备的设备信息和预设投影公式，确定各人脸关键点在每一人脸图像中的标注位置信息。
164.上述装置、系统实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
165.本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
166.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。