人体关键点检测方法、装置、电子设备及存储介质

1.本发明涉及计算机视觉技术领域，尤其涉及一种人体关键点检测方法、装置、电子设备及存储介质。


背景技术：

2.随着社会的不断进步和科技的不断发展，短视频、直播和在线教育等行业也在不断兴起，随之也会产生各种交互场景，其中最为常见的交互场景是基于人体关键点进行互动的场景，并且逐渐产生对复杂交互场景下人体关键点的交互需求，尤其针对遮挡场景下基于人体关键点进行交互的功能需求。因此，如何提高遮挡场景下人体关键点的检测精度和鲁棒性就显得尤为重要。
3.相关技术中，针对遮挡场景下人体关键点的检测方法，通过在数据输入空间合成的遮挡数据以及使用人体关键点检测网络模型直接进行训练的数据增强方法学习人体关键点，或者通过先识别遮挡位置、再检测可见的人体关键点、后使用可见的人体关键点和遮挡位置推理遮挡关键点的多阶段检测方法识别人体关键点。
4.然而，由于数据增强方法在数据输入端输入的遮挡数据，并不能表征丰富的真实遮挡情况，导致使用人体关键点检测的鲁棒性较低，多阶段检测方法这一非端到端的检测方法，在识别遮挡位置时需要大量标注有遮挡状态的数据进行，但当前合理正确标注遮挡状态的数据是稀少且难以获取的，从而导致人体关键点检测的适用范围受限。


技术实现要素：

5.本发明提供一种人体关键点检测方法、装置、电子设备及存储介质，用以解决现有技术中适用数据增强方法和多阶段检测方法进行人体关键点检测时存在的鲁棒性低且适用范围受限的缺陷，实现在特征提取空间进行特征解耦的端到端人体关键点检测目的，不仅提高了人体关键点检测的鲁棒性，还大幅提高了适用范围。
6.本发明提供一种人体关键点检测方法，包括：
7.获取待检测人体图像，所述待检测人体图像为针对遮挡场景下的目标人体采集的图像；
8.将所述待检测人体图像输入至预设关键点检测网络模型中，得到所述预设关键点检测网络模型输出的所述目标人体的关键点检测结果；
9.其中，所述预设关键点检测网络模型用于提取所述待检测人体图像中不同的通道特征图，并对所述不同的通道特征图进行特征解耦，基于所述特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，基于所述语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测，确定所述关键点检测结果。
10.根据本发明提供的一种人体关键点检测方法，所述提取所述待检测人体图像中不同的通道特征图，包括：
11.基于预设空域正则化损失函数，将所述待检测人体图像中不同的局部空域位置映
射到不同的通道中，确定所述待检测人体图像中不同的通道特征图；所述预设空域正则化损失函数用于限定卷积核之间不相关以及限定通道之间不相关。
12.根据本发明提供的一种人体关键点检测方法，所述对所述不同的通道特征图进行特征解耦，包括：
13.基于不同的预设遮挡物通道权重，对所述不同的通道特征图进行加权；
14.基于不同的预设人体通道权重，对所述不同的通道特征图进行加权。
15.根据本发明提供的一种人体关键点检测方法，所述基于所述特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，包括：
16.对所述特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行下采样，确定目标遮挡物特征图和目标人体特征图；
17.对所述目标遮挡物特征图和所述目标人体特征图分别进行语义分割。
18.根据本发明提供的一种人体关键点检测方法，所述预设关键点检测网络模型的训练过程包括：
19.确定样本人体图像和初始关键点检测网络模型，所述初始关键点检测网络模型包括特征提取模型、特征解耦模型、遮挡物语义分割模型、人体语义分割模型和关键点检测模型；
20.将所述样本人体图像输入至所述初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的训练，确定所述预设关键点检测网络模型；其中，所述特征解耦包括使用不同的样本遮挡物通道权重和不同的样本人体通道权重分别对特征提取所得不同的样本通道特征图进行加权。
21.根据本发明提供的一种人体关键点检测方法，所述将所述样本人体图像输入至所述初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的训练，确定所述预设关键点检测网络模型，包括：
22.将所述样本人体图像输入至所述初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的迭代训练，获取预设迭代次数训练后所得的样本遮挡物分割结果和样本人体分割结果，以及所述预设迭代次数训练后得到的中间关键点检测网络模型的关键点检测结果；
23.判断所述样本遮挡物分割结果的遮挡物分割指标值是否达到预设遮挡物分割指标阈值、所述样本人体分割结果的人体分割指标值是否达到预设人体分割指标阈值以及所述关键点检测结果的检测指标值是否达到预设检测阈值；
24.确定所述遮挡物分割指标值达到所述预设遮挡物分割指标阈值、所述人体分割指标值达到所述预设人体分割指标阈值以及所述检测指标值达到所述预设检测阈值时，停止训练，并确定训练停止时对应的中间关键点检测网络模型为所述预设关键点检测网络模型；
25.确定所述检测指标值未达到所述预设检测阈值、所述遮挡物分割指标值未达到所述预设遮挡物分割指标阈值和/或所述人体分割指标值未达到所述预设人体分割指标阈值时，对所述中间关键点检测网络模型的参数进行更新、对参与所述预设迭代次数训练的样本遮挡物通道权重和/或样本人体通道权重进行调整，基于调整后的样本遮挡物通道权重、调整后的样本人体通道权重和/或模型参数更新后的中间关键点检测网络模型再次进行所
述迭代训练；直至训练停止时确定所述预设关键点检测网络模型。
26.根据本发明提供的一种人体关键点检测方法，所述特征解耦模型包括遮挡物通道注意力模型和人体通道注意力模型，所述将所述样本人体图像输入至所述初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的迭代训练，包括：
27.针对每次迭代训练，将所述样本人体图像输入至所述初始关键点检测网络模型的特征提取模型中，得到所述样本人体图像中不同的样本通道特征图；
28.将所述不同的样本通道特征图输入至所述遮挡物通道注意力模型进行卷积、下采样和全连接后，确定不同的样本遮挡物通道权重；
29.将所述不同的样本通道特征图输入至所述人体通道注意力模型进行卷积、下采样和全连接后，确定不同的样本人体通道权重；
30.使用所述不同的样本遮挡物通道权重和所述不同的样本人体通道权重分别对所述不同的样本通道特征图进行加权，确定样本第一遮挡物特征图和样本第一人体特征图；
31.对所述样本第一遮挡物特征图和所述样本第一人体特征图分别进行下采样，确定样本目标遮挡物特征图和样本目标人体特征图；
32.对所述样本目标遮挡物特征图和所述样本目标人体特征图分别进行语义分割，确定样本第二遮挡物特征图和样本第二人体特征图；
33.对所述样本第二遮挡物特征图和所述样本第二人体特征图进行关键点检测。
34.根据本发明提供的一种人体关键点检测方法，所述方法还包括：
35.确定训练停止时对应的中间关键点检测网络模型为所述预设关键点检测网络模型的同时，确定训练停止时对应的调整后的样本遮挡物通道权重为不同的预设遮挡物通道权重，以及确定训练停止时对应的调整后的样本人体通道权重为不同的预设人体通道权重。
36.本发明还提供一种人体关键点检测装置，包括：
37.获取模块，用于获取待检测人体图像，所述待检测人体图像为针对遮挡场景下的目标人体采集的图像；
38.检测模块，用于将所述待检测人体图像输入至预设关键点检测网络模型中，得到所述预设关键点检测网络模型输出的所述目标人体的关键点检测结果；
39.其中，所述预设关键点检测网络模型用于提取所述待检测人体图像中不同的通道特征图，并对所述不同的通道特征图进行特征解耦，基于所述特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，基于所述语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测，确定所述关键点检测结果。
40.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人体关键点检测方法。
41.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人体关键点检测方法。
42.本发明提供的人体关键点检测方法、装置、电子设备及存储介质，其中人体关键点检测方法，通过将待检测人体图像输入至预设关键点检测网络模型中先提取待检测人体图像中不同的通道特征图、再对不同的通道特征图进行特征解耦、后基于特征解耦所得的第
一遮挡物特征图和第一人体特征图分别进行语义分割、进一步基于语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测的方式，准确且快速地实现在特征提取空间进行特征解耦的端到端人体关键点检测目的，相较于先识别遮挡、再处理遮挡的多阶段方法具有训练简单且不需要关键点遮挡状态标注的信息的优势，不仅提高了人体关键点检测的鲁棒性，也大幅提高了适用范围，从而也极大提高了遮挡场景下检测人体关键点的准确率。
附图说明
43.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明提供的人体关键点检测方法的流程示意图；
45.图2是本发明提供的人体关键点检测装置的结构示意图；
46.图3是本发明提供的电子设备的结构示意图。
具体实施方式
47.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.下面结合图1-图3描述本发明的人体关键点检测方法、装置、电子设备及存储介质，其中人体关键点检测方法的执行主体可以为终端设备或者服务器，终端设备可以为个人计算机(personal computer，pc)、便携式设备、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等其它电子设备；服务器可以使用独立的服务器或者多个服务器组成的服务器集群，比如服务器可以为包含独立主机的物理服务器、主机集群承载的虚拟服务器、云服务器等。本发明对终端设备的具体形式不做限定，也不具体限定服务器的具体形式。
49.需要说明的是，下述方法实施例以执行主体为终端设备为例进行说明，并且下述方法实施例的执行主体可以是终端设备的部分或全部。
50.图1为本发明实施例提供的人体关键点检测方法的流程示意图，如图1所示，该人体关键点检测方法，包括以下步骤：
51.步骤110、获取待检测人体图像，待检测人体图像为针对遮挡场景下的目标人体采集的图像。
52.其中，目标人体的数量可以为至少一个，遮挡场景为目标人体的至少一个人体关键点被其它物体遮挡的场景，其它物体可以为桌子、椅子等物体。比如，目标人体站在椅子后面时其右腿的部分区域被椅子遮挡的场景为遮挡场景。
53.具体的，终端设备获取待检测人体图像，可以是终端设备通过使用内置的摄像头针对遮挡场景下的目标人体的方式获取，也可以通过指示与终端设备通信连接的独立摄像头针对遮挡场景下的目标人体的方式获取，还可以通过从预先存储的图像数据集中选取针
对遮挡场景下的目标人体拍摄的图像的方式获取。此处对终端设备获取待检测人体图像的方式不作具体限定。
54.步骤120、将待检测人体图像输入至预设关键点检测网络模型中，得到预设关键点检测网络模型输出的目标人体的关键点检测结果；
55.其中，预设关键点检测网络模型用于提取待检测人体图像中不同的通道特征图，并对不同的通道特征图进行特征解耦，基于特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，基于语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测，确定关键点检测结果。
56.具体的，由于目标人体在遮挡场景中时，目标人体的至少一个关键点会被遮挡，遮挡导致了特征的嵌套和缠绕，因此，为了减轻对遮挡数据多样性的依赖，本发明并不在数据输入端增加遮挡数据，而是在特征空间对所提取的多个通道特征图进行特征解耦，也即在特征提取空间将多个通道特征图显式解耦为第一遮挡物特征图和第一人体特征图，并通过对第一遮挡物特征图和第一人体特征图分别进行语义分割，将其尺寸大小转换为适合后续人体关键点检测精度和准确度需求的第二遮挡物特征图和第二人体特征图，此时对第二遮挡物特征图和第二人体特征图进行关键点检测，即可得到丰富且准确的人体关键点检测结果。
57.本发明提供的人体关键点检测方法，终端设备通过将待检测人体图像输入至预设关键点检测网络模型中先提取待检测人体图像中不同的通道特征图、再对不同的通道特征图进行特征解耦、后基于特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割、进一步基于语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测的方式，准确且快速地实现在特征提取空间进行特征解耦的端到端人体关键点检测目的，相较于先识别遮挡、再处理遮挡的多阶段方法具有训练简单且不需要关键点遮挡状态标注的信息的优势，不仅提高了人体关键点检测的鲁棒性，也大幅提高了适用范围，从而也极大提高了遮挡场景下检测人体关键点的准确率。
58.可选的，提取待检测人体图像中不同的通道特征图，其实现过程可以包括：
59.基于预设空域正则化损失函数，将待检测人体图像中不同的局部空域位置映射到不同的通道中，确定待检测人体图像中不同的通道特征图；预设空域正则化损失函数用于限定卷积核之间不相关以及限定通道之间不相关。
60.具体的，在预设关键点检测网络模型为针对现有残差网络中特征提取阶段和下采样阶段之间增加特征解耦和预设空域正则化损失函数，以及下采样阶段后增加语义分割进行训练所得到的网络模型时，可以在特征空间预先设置正则化约束，也即预设空域正则化损失函数，此时，终端设备使用预设关键点检测网络模型进行特征提取时，可以使用特征空间中预先建立并存储的预设空域正则化损失函数，将待检测人体图像中不同的局部空域位置映射到不同的通道中，确定待检测人体图像中不同的通道特征图。以此使得待检测人体图像中每个局部空域位置分别对应一个通道特征图，并且各个通道特征图响应不同的局部空域位置，也即多个通道特征图中的一部分通道特征图表征遮挡物特征，其余部分通道特征图表征被遮挡的目标人体的特征。此外，预设空域正则化损失函数包括惩罚卷积核相关性的第一损失函数和惩罚通道响应相关性的第二损失函数，第一损失函数用于约束每个卷积核尽可能不相关且能够激活不同的图像模式和局部空域位置，第二损失函数用于约束每
个通道尽可能不相关，第一损失函数和第二损失函数的计算公式如下：
[0061][0062]
其中，为第i个卷积核参数中第p个位置的值，为第j个卷积核参数中第p个位置的值，ri为与第i个卷积核参数对应的第i个通道特征图，rj为与第j个卷积核参数对应的第j个通道特征图，下标f为求f范数操作，l1为第一损失函数，l2为第二损失函数。
[0063]
本发明提供的人体关键点检测方法，通过在特征提取空间增加用于限定卷积核之间不相关以及限定通道之间不相关的预设空域正则化损失函数的方式，确定待检测人体图像中不同的通道特征图，以此实现每个通道特征图表征待检测人体图像中不同局部空域位置的目的，为后续准确且高效进行特征解耦奠定基础。
[0064]
可选的，对不同的通道特征图进行特征解耦，其实现过程可以包括：
[0065]
基于不同的预设遮挡物通道权重，对不同的通道特征图进行加权；基于不同的预设人体通道权重，对不同的通道特征图进行加权。
[0066]
具体的，使用预设关键点检测网络模型进行特征解耦时，可以通过使用预先学习并存储的不同的预设遮挡物通道权重和不同的预设人体通道权重分别对不同的通道特征图进行加权的方式实现特征解耦目的，其中预设遮挡物通道权重的数量与通道特征图的数量相同且一一对应，预设人体通道权重的数量与通道特征图的数量相同且一一对应。
[0067]
本发明提供的人体关键点检测方法，终端设备通过使用多个预设人体通道权重和多个预设人体通道权重分别对多个通道特征图进行加权的方式，实现特征空间中遮挡解耦的目的，从而提高了特征解耦的可靠性和适用性。
[0068]
可选的，基于特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，其实现过程可以包括：
[0069]
首先，对特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行下采样，确定目标遮挡物特征图和目标人体特征图；然后，对目标遮挡物特征图和目标人体特征图分别进行语义分割。
[0070]
其中，第一遮挡物特征图的数量至少为一个，第一人体特征图的数量至少为一个，并且第一遮挡物特征图和第一人体特征图的数量之和等于通道特征图的总数量。
[0071]
具体的，预设关键点检测网络模型可以针对现有残差网络中特征提取阶段和下采样阶段之间增加特征解耦和预设空域正则化损失函数，以及下采样阶段后增加语义分割进行训练所得到的网络模型，残差网络可以为resnet50，也可以为vgg、mobilenet等；预设空域正则化损失函数还可以设置于现有残差网络中的特征提取阶段，比如残差网络为resnet50时，预设空域正则化损失函数可以设置于resnet50的第三阶段特征提取中，也可以设置于resnet50的第三阶段特征提取和第四阶段下采样之间。此处不作具体限定。基于此，当对特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行下采样后、再针对下采样后所得的目标遮挡物特征图和目标人体特征图分别进行语义分割，以确保后续将目标遮挡物特征图和目标人体特征图处理为可提高人体关键点检测效率的第二遮挡物特征图和第二人体特征图。
[0072]
本发明提供的人体关键点检测方法，终端设备通过对特征解耦所得的第一遮挡物
特征图和第一人体特征图先分别进行下采样、后分别进行语义分割的方式，实现后续快速且准确生成第二遮挡物特征图和第二人体特征图的目的，从而确保后续人体关键点检测的全面性和可靠性。
[0073]
可选的，预设关键点检测网络模型的训练过程包括：
[0074]
首先，确定样本人体图像和初始关键点检测网络模型，初始关键点检测网络模型包括特征提取模型、特征解耦模型、遮挡物语义分割模型、人体语义分割模型和关键点检测模型；再进一步将样本人体图像输入至初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的训练，确定预设关键点检测网络模型。
[0075]
其中，特征解耦包括使用不同的样本遮挡物通道权重和不同的样本人体通道权重分别对特征提取所得不同的样本通道特征图进行加权。样本人体图像可以为针对遮挡场景下的样本人体采集的图像，样本人体可以与目标人体相同，也可以不同。此处不作限定。样本人体图像的数量可以为多个。关键点检测模型的具体结构不作具体限定，比如关键点检测模型可以设置为两几个卷积核。
[0076]
具体的，初始关键点检测网络模型可以为针对现有残差网络中特征提取阶段和下采样阶段之间增加特征解耦和预设空域正则化损失函数，以及下采样阶段之后增加语义分割阶段所得的网络模型，因此可以确定初始关键点检测网络模型包括特征提取模型、特征解耦模型、遮挡物语义分割模型、人体语义分割模型和关键点检测模型，特征解耦模型可以包括从特征提取所得不同的样本通道特征图中解耦出表征遮挡物的遮挡物通道特征图和表征样本人体的人体通道特征图，特征解耦过程中使用的不同的样本遮挡物通道权重和不同的样本人体通道权重也需要在模型训练过程中进行调整；样本遮挡物通道权重和样本人体通道权重的初始值可以通过随机数赋值的方式确定，也可以通过采用自注意力机制对不同的样本通道特征图进行学习的方式确定。此处不作具体限定。
[0077]
基于此，使用样本人体图像对初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的训练，比如可以设定训练次数，通过使用多个样本人体图像对初始关键点检测网络模型进行设定训练次数的训练后，可以将设定次数训练后的输出关键点检测结果发送至客户端，以通过客户端对应用户确定输出关键点检测结果的准确性和全面性是否满足实际需求。
[0078]
当终端设备接收到客户端反馈的包括当前输出的关键点检测结果的准确性和全面性满足实际需求的第一反馈信息时，可以将输出关键点检测结果的对应关键点检测网络模型作为预设关键点检测网络模型；反之，当终端设备接收到客户端反馈的包括当前输出的关键点检测结果的准确性和全面性不满足实际需求以及训练次数调整数值的第二反馈信息时，可以对多个样本人体图像的图像顺序进行调整，将输出关键点检测结果对应的关键点检测网络模型作为新的初始关键点检测网络模型，并对训练次数进行调整，然后再根据调整后的样本人体图像和训练次数调整数值对新的初始关键点检测网络模型进行训练轮数调整数值的次数训练；直至接收到客户端反馈的第一反馈信息。
[0079]
本发明提供的人体关键点检测方法，终端设备通过使用样本人体图像对初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的训练的方式确定预设关键点检测网络模型，实现根据样本人体图像训练网络模型的目的，避免了传统方法在输入端输入遮挡数据时使用人体关键点检测网络模型进行训练所导致的关键点检
测鲁棒性低的问题，大幅提高了关键点检测鲁棒性。
[0080]
可选的，将样本人体图像输入至初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的训练，确定预设关键点检测网络模型，其实现过程可以包括：
[0081]
首先，将样本人体图像输入至初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的迭代训练，获取预设迭代次数训练后所得的样本遮挡物分割结果和样本人体分割结果，以及预设迭代次数训练后得到的中间关键点检测网络模型的关键点检测结果；再进一步判断样本遮挡物分割结果的遮挡物分割指标值是否达到预设遮挡物分割指标阈值、样本人体分割结果的人体分割指标值是否达到预设人体分割指标阈值以及关键点检测结果的检测指标值是否达到预设检测阈值；确定遮挡物分割指标值达到预设遮挡物分割指标阈值、人体分割指标值达到预设人体分割指标阈值以及检测指标值达到预设检测阈值时，停止训练，并确定训练停止时对应的中间关键点检测网络模型为预设关键点检测网络模型；反之，确定检测指标值未达到预设检测阈值、遮挡物分割指标值未达到预设遮挡物分割指标阈值和/或人体分割指标值未达到预设人体分割指标阈值时，对中间关键点检测网络模型的参数进行更新、对参与预设迭代次数训练的样本遮挡物通道权重和/或样本人体通道权重进行调整，基于调整后的样本遮挡物通道权重、调整后的样本人体通道权重和/或模型参数更新后的中间关键点检测网络模型再次进行迭代训练；直至训练停止时确定预设关键点检测网络模型。
[0082]
其中，预设迭代次数可以为1次，也可以为多次。此处不作具体限定。遮挡物分割指标值可以为预设迭代次数训练后所得的样本遮挡物分割结果的遮挡物损失值或者均方误差值，人体分割指标值可以为预设迭代次数训练后所得的样本人体分割结果的损失值或者均方误差值，相应的，预设遮挡物分割指标阈值可以为遮挡物分割损失阈值或遮挡物分割均方误差阈值，预设人体分割指标阈值也可以为人体分割损失阈值或者人体分割均方误差阈值。完成预设迭代次数的训练可以认为完成了1轮训练。
[0083]
具体的，当遮挡物分割指标值达到预设遮挡物分割指标阈值、人体分割指标值达到预设人体分割指标阈值以及检测指标值达到预设检测阈值时，终端设备可以确定经过预设迭代次数训练后的关键点检测网络模型为训练好的预设关键点检测网络模型；反之，当遮挡物分割指标值未达到预设遮挡物分割指标阈值、人体分割指标值未达到预设人体分割指标阈值和/或检测指标值未达到预设检测阈值，终端设备可以确定经过预设迭代次数训练后的关键点检测网络模型并不是训练好的网络模型，此时可以针对本轮训练后得到的中间关键点检测网络模型的参数进行更新、对参与预设迭代次数训练的样本遮挡物通道权重和/或样本人体通道权重进行调整，基于调整后的样本遮挡物通道权重、调整后的样本人体通道权重和/或模型参数更新后的中间关键点检测网络模型再次进行迭代训练，并且模型参数更新后的中间关键点检测网络模型的输入可以为新的样本人体图像，也可以为上轮训练的样本人体图像。
[0084]
需要说明的是，本发明的模型训练过程中可以引入与人体关键点检测相关任务的多任务学习框架进行监督学习，多任务学习框架可以包括两个分割任务，也即引入遮挡物语义分割任务和人体语义分割任务监督学习特征解耦，其中人体语义分割任务还可以替换为人体检测任务和人体实例分割等任务。此处不作具体限定。以此实现利用多任务框架引
入更多人体相关的数据集的目的，减轻了对人体关键点训练数据遮挡模式多样性的依赖。此外，模型训练过程中通过将遮挡物语义分割模型和人体语义分割模型的输出结果作为监督信号进行监督学习，也即使用样本遮挡物分割结果和样本人体分割结果对不同的样本遮挡物通道权重和不同的样本人体通道权重进行监督学习，直至两个分割结果的指标均达标。遮挡物语义分割模型和人体语义分割模型可以采用现有的分割网络，本发明对分割网络的具体结构不作具体限定且不能共享权重。
[0085]
本发明提供的人体关键点检测方法，终端设备通过样本人体图像对初始关键点检测网络模型进行迭代训练后得到的样本遮挡物分割结果、样本人体分割结果和关键点检测结果是否都满足对应预设阈值的方式，确定中间关键点检测网络模型为训练好的预设关键点检测网络模型，还是对应通道权重调整和/或模型参数更新后再次进行训练，直至得到预设关键点检测网络模型。以此提高了训练网络模型的灵活性，从而提高了预设关键点检测网络模型的可靠性，确保后续实际应用中提升人体关键点检测的鲁棒性和精确性。
[0086]
可选的，特征解耦模型包括遮挡物通道注意力模型和人体通道注意力模型，将样本人体图像输入至初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的迭代训练，其实现过程可以包括：
[0087]
针对每次迭代训练，将样本人体图像输入至初始关键点检测网络模型的特征提取模型中，得到样本人体图像中不同的样本通道特征图；再将不同的样本通道特征图输入至遮挡物通道注意力模型进行卷积、下采样和全连接后，确定不同的样本遮挡物通道权重；同时将不同的样本通道特征图输入至人体通道注意力模型进行卷积、下采样和全连接后，确定不同的样本人体通道权重；然后，使用不同的样本遮挡物通道权重和不同的样本人体通道权重分别对不同的样本通道特征图进行加权，确定样本第一遮挡物特征图和样本第一人体特征图；进一步对样本第一遮挡物特征图和样本第一人体特征图分别进行下采样，确定样本目标遮挡物特征图和样本目标人体特征图；对样本目标遮挡物特征图和样本目标人体特征图分别进行语义分割，确定样本第二遮挡物特征图和样本第二人体特征图；再对样本第二遮挡物特征图和样本第二人体特征图进行关键点检测。
[0088]
具体的，遮挡物通道注意力模型和人体通道注意力模型中分别设置不同的注意力权重，也即遮挡物通道注意力模型中设置不同的样本遮挡物通道权重，人体通道注意力模型中设置不同的样本人体通道权重，并且不同的样本遮挡物通道权重可以通过遮挡物通道注意力模型对不同的样本通道特征图进行卷积、下采样和全连接的方式确定，样本遮挡物通道权重的数量与样本通道特征图的数量相同且一一对应；同样的，不同的样本人体通道权重可以通过人体通道注意力模型对不同的样本通道特征图进行卷积、下采样和全连接的方式确定，样本人体通道权重的数量也与样本通道特征图的数量相同且一一对应。基于此，可以将不同的样本遮挡物通道权重与不同的样本通道特征图一一进行相乘后可得到新的样本遮挡物特征图，也即多个样本第一遮挡物特征图，样本第一遮挡物特征图的数量与样本遮挡物通道权重的数量相同；同时，将不同的样本人体通道权重与不同的样本通道特征图一一进行相乘后可得到新的样本人体特征图，也即多个样本第一人体特征图，样本第一人体特征图的数量也与样本人体通道权重的数量相同，以此达到特征解耦的目的，遮挡物通道注意力模型输出的和人体通道注意力模型输出的样本第一遮挡物特征图和样本第一人体特征图分别依次进行下采样和语义分割后，确定多个样本第二遮挡物特征图和多个样
本第二人体特征图，此时可将多个样本第二遮挡物特征图和多个样本第二人体特征图叠加后进行人体关键点检测。
[0089]
需要说明的是，当遮挡物语义分割模型和人体语义分割模型的网络结构均包括3个上采样层、3个卷积层、3个批归一化层和3个relu激活层时，下采样后所得的每个样本目标遮挡物特征图均经过3轮处理且每轮处理包括上采样、卷积、批归一化和relu激活，同样的，下采样后所得的每个样本目标遮挡物特征图均进行3轮处理且每轮处理包括上采样、卷积、批归一化和relu激活，同样的，对下采样后所得的每个样本目标人体特征图也均进行3轮处理且每轮处理也包括上采样、卷积、批归一化和relu激活，以此实现将每个样本目标遮挡物特征图处理为可提高关键点检测鲁棒性的样本第二遮挡物特征图，以及将每个样本目标人体特征图处理为可提高关键点检测鲁棒性的样本第二人体特征图。比如，当每次上采样的采样率为3且每次卷积大小为3*3时，若样本目标人体特征图和样本目标人体特征图均为8*8，那么对样本目标人体特征图和样本目标人体特征图分别经过3轮处理后所得的样本第二遮挡物特征图的大小为64*64、样本第二人体特征图的大小也为64*64。
[0090]
本发明提供的人体关键点检测方法，终端设备通过使用遮挡物通道注意力模型和人体通道注意力模型先确定不同的样本遮挡物通道权重和不同的样本人体通道权重、后使用对应权重进行加权的方式，确定样本第一遮挡物特征图和样本第一人体特征图，再针对样本第一遮挡物特征图和样本第一人体特征图分别依次进行下采样、语义分割和关键点检测的方式，实现对样本人体图像进行特征提取、特征解耦、下采样、语义分割和关键点检测的一次迭代训练目的，从而提高了模型训练的精度和可靠性。
[0091]
可选的，本发明方法还可以包括：
[0092]
确定训练停止时对应的中间关键点检测网络模型为预设关键点检测网络模型的同时，确定训练停止时对应的调整后的样本遮挡物通道权重为不同的预设遮挡物通道权重，以及确定训练停止时对应的调整后的样本人体通道权重为不同的预设人体通道权重。
[0093]
具体的，当初始关键点检测网络模型被训练至收敛且损失精度满足预设精度需求时，此时特征解耦过程中所需的遮挡物通道权重与人体通道权重也都通过监督学习调整至满足预设需求，并且特征解耦过程中所需的遮挡物通道权重与人体通道权重可以同时学习至满足预设需求，也可以先后顺序学习至满足预设需求，此处不作具体限定。
[0094]
本发明提供的人体关键点检测方法，终端设备在确定训练好的预设关键点检测网络模型的同时，也能确定监督学习至满足预设需求的不同预设遮挡物通道权重和不同的预设人体通道权重，以此实现实际应用中快速且准确获取人体关键点检测的目的，从而提高了针对遮挡场景下目标人体拍摄的图像进行人体关键点检测的检测精度和检测鲁棒性。
[0095]
下面对本发明提供的人体关键点检测装置进行描述，下文描述的人体关键点检测装置与上文描述的人体关键点检测方法可相互对应参照。
[0096]
参照图2，为本发明提供的人体关键点检测装置的结构示意图，如图2所示，该人体关键点检测装置200，包括：
[0097]
获取模块210，用于获取待检测人体图像，待检测人体图像为针对遮挡场景下的目标人体采集的图像；
[0098]
检测模块220，用于将待检测人体图像输入至预设关键点检测网络模型中，得到预设关键点检测网络模型输出的目标人体的关键点检测结果；其中，预设关键点检测网络模
型用于提取待检测人体图像中不同的通道特征图，并对不同的通道特征图进行特征解耦，基于特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，基于语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测，确定关键点检测结果。
[0099]
可选的，检测模块220，具体可以用于基于预设空域正则化损失函数，将待检测人体图像中不同的局部空域位置映射到不同的通道中，确定待检测人体图像中不同的通道特征图；预设空域正则化损失函数用于限定卷积核之间不相关以及限定通道之间不相关。
[0100]
可选的，检测模块220，具体还可以用于基于不同的预设遮挡物通道权重，对不同的通道特征图进行加权；基于不同的预设人体通道权重，对不同的通道特征图进行加权。
[0101]
可选的，检测模块220，具体还可以用于对特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行下采样，确定目标遮挡物特征图和目标人体特征图；对目标遮挡物特征图和目标人体特征图分别进行语义分割。
[0102]
可选的，本发明装置还可以包括训练模块，用于训练生成预设关键点检测网络模型，预设关键点检测网络模型的训练过程包括：确定样本人体图像和初始关键点检测网络模型，初始关键点检测网络模型包括特征提取模型、特征解耦模型、遮挡物语义分割模型、人体语义分割模型和关键点检测模型；将样本人体图像输入至初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的训练，确定预设关键点检测网络模型；其中，特征解耦包括使用不同的样本遮挡物通道权重和不同的样本人体通道权重分别对特征提取所得不同的样本通道特征图进行加权。
[0103]
可选的，训练模块，具体还可以用于将样本人体图像输入至初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的迭代训练，获取预设迭代次数训练后所得的样本遮挡物分割结果和样本人体分割结果，以及预设迭代次数训练后得到的中间关键点检测网络模型的关键点检测结果；判断样本遮挡物分割结果的遮挡物分割指标值是否达到预设遮挡物分割指标阈值、样本人体分割结果的人体分割指标值是否达到预设人体分割指标阈值以及关键点检测结果的检测指标值是否达到预设检测阈值；确定遮挡物分割指标值达到预设遮挡物分割指标阈值、人体分割指标值达到预设人体分割指标阈值以及检测指标值达到预设检测阈值时，停止训练，并确定训练停止时对应的中间关键点检测网络模型为预设关键点检测网络模型；确定检测指标值未达到预设检测阈值、遮挡物分割指标值未达到预设遮挡物分割指标阈值和/或人体分割指标值未达到预设人体分割指标阈值时，对中间关键点检测网络模型的参数进行更新、对参与预设迭代次数训练的样本遮挡物通道权重和/或样本人体通道权重进行调整，基于调整后的样本遮挡物通道权重、调整后的样本人体通道权重和/或模型参数更新后的中间关键点检测网络模型再次进行迭代训练；直至训练停止时确定预设关键点检测网络模型。
[0104]
可选的，训练模块，具体还可以用于针对每次迭代训练，将样本人体图像输入至初始关键点检测网络模型的特征提取模型中，得到样本人体图像中不同的样本通道特征图；将不同的样本通道特征图输入至遮挡物通道注意力模型进行卷积、下采样和全连接后，确定不同的样本遮挡物通道权重；将不同的样本通道特征图输入至人体通道注意力模型进行卷积、下采样和全连接后，确定不同的样本人体通道权重；使用不同的样本遮挡物通道权重和不同的样本人体通道权重分别对不同的样本通道特征图进行加权，确定样本第一遮挡物特征图和样本第一人体特征图；对样本第一遮挡物特征图和样本第一人体特征图分别进行
下采样，确定样本目标遮挡物特征图和样本目标人体特征图；对样本目标遮挡物特征图和样本目标人体特征图分别进行语义分割，确定样本第二遮挡物特征图和样本第二人体特征图；对样本第二遮挡物特征图和样本第二人体特征图进行关键点检测。
[0105]
可选的，训练模块，具体还可以用于确定训练停止时对应的中间关键点检测网络模型为预设关键点检测网络模型的同时，确定训练停止时对应的调整后的样本遮挡物通道权重为不同的预设遮挡物通道权重，以及确定训练停止时对应的调整后的样本人体通道权重为不同的预设人体通道权重。
[0106]
本发明提供的人体关键点检测装置，将待检测人体图像输入至预设关键点检测网络模型中先提取待检测人体图像中不同的通道特征图、再对不同的通道特征图进行特征解耦、后基于特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割、进一步基于语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测的方式，准确且快速地实现在特征提取空间进行特征解耦的端到端人体关键点检测目的，相较于先识别遮挡、再处理遮挡的多阶段方法具有训练简单且不需要关键点遮挡状态标注的信息的优势，不仅提高了人体关键点检测的鲁棒性，也大幅提高了适用范围，从而也极大提高了遮挡场景下检测人体关键点的准确率。
[0107]
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备300可以包括：处理器(processor)310、通信接口(communicationsinterface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行人体关键点检测方法，该方法包括：
[0108]
获取待检测人体图像，待检测人体图像为针对遮挡场景下的目标人体采集的图像；
[0109]
将待检测人体图像输入至预设关键点检测网络模型中，得到预设关键点检测网络模型输出的目标人体的关键点检测结果；
[0110]
其中，预设关键点检测网络模型用于提取待检测人体图像中不同的通道特征图，并对不同的通道特征图进行特征解耦，基于特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，基于语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测，确定关键点检测结果。
[0111]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0112]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人体关键点检测方法，该方法包括：
[0113]
获取待检测人体图像，待检测人体图像为针对遮挡场景下的目标人体采集的图像；
[0114]
将待检测人体图像输入至预设关键点检测网络模型中，得到预设关键点检测网络模型输出的目标人体的关键点检测结果；
[0115]
其中，预设关键点检测网络模型用于提取待检测人体图像中不同的通道特征图，并对不同的通道特征图进行特征解耦，基于特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，基于语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测，确定关键点检测结果。
[0116]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人体关键点检测方法，该方法包括：
[0117]
获取待检测人体图像，待检测人体图像为针对遮挡场景下的目标人体采集的图像；
[0118]
将待检测人体图像输入至预设关键点检测网络模型中，得到预设关键点检测网络模型输出的目标人体的关键点检测结果；
[0119]
其中，预设关键点检测网络模型用于提取待检测人体图像中不同的通道特征图，并对不同的通道特征图进行特征解耦，基于特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，基于语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测，确定关键点检测结果。
[0120]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0121]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0122]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。