一种图像目标属性检测方法、装置、设备及存储介质与流程

1.本发明涉及计算机视觉领域，特别涉及一种图像目标属性检测方法、装置、设备及存储介质。


背景技术：

2.当前，目标检测（object detection）是计算机视觉领域的基本任务之一，在计算机视觉任务中对目标属性进行检测一般是基于目标检测模型检测目标后再对目标属性进行检测，但是仅基于目标检测模型的检测结果进行属性检测会引起对图像中的信息利用得不够充分的问题，例如，通过目标检测模型检测图像中的目标时，无法获取到目标的姿态信息、动作信息，就会导致图像目标属性检测的准确率低的问题。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种图像目标属性检测方法、装置、设备及存储介质，能够有效的解决计算机视觉任务中目标属性分类的问题并且还可以有效地提高图像目标属性检测的准确率。其具体方案如下：第一方面，本技术公开了一种图像目标属性检测方法，包括：基于预设目标边框训练集训练第一深度学习模型以得到训练后的第一深度学习模型，并基于预设关键点训练集训练第二深度学习模型以得到训练后的第二深度学习模型；利用所述训练后的第一深度学习模型对待检测图像进行检测以得到第一检测结果，并根据所述第一检测结果对所述待检测图像进行裁剪，以得到相应的目标子图；利用所述训练后的第二深度学习模型对所述目标子图进行检测以得到第二检测结果；根据所述第二检测结果获取相应的目标信息，并基于所述目标信息对所述待检测图像的目标属性进行检测。
4.可选的，所述基于预设目标边框训练集训练第一深度学习模型以得到训练后的第一深度学习模型之前，还包括：确定图像数据集中的待检测图像中的目标边框和关键点，并对所述目标边框和所述关键点进行标记，以得到与所述目标边框对应的预设目标边框训练集以及与所述关键点对应的预设关键点训练集。
5.可选的，所述基于预设目标边框训练集训练第一深度学习模型以得到训练后的第一深度学习模型，并基于预设关键点训练集训练第二深度学习模型以得到训练后的第二深度学习模型，包括：利用所述预设目标边框训练集对基于第一深度学习算法构建的第一深度学习模型进行训练以得到训练后的第一深度学习模型，并利用所述预设关键点训练集对基于第二深度学习算法构建的第二深度学习模型进行训练以得到训练后的第二深度学习模型。
6.可选的，所述利用所述训练后的第一深度学习模型对待检测图像进行检测以得到第一检测结果，包括：基于所述训练后的第一深度学习模型对待检测图像进行目标检测以得到相应的目标边框坐标信息，并基于所述目标边框坐标信息对所述待检测图像进行裁剪以得到相应的目标子图；相应的，所述利用所述训练后的第二深度学习模型对所述目标子图进行检测以得到第二检测结果，包括：基于所述训练后的第二深度学习模型对所述目标子图进行关键点检测以得到相应的关键点坐标信息。
7.可选的，所述基于所述训练后的第一深度学习模型对待检测图像进行目标检测以得到相应的目标边框坐标信息，并基于所述目标边框坐标信息对所述待检测图像进行裁剪以得到相应的目标子图，包括：基于所述训练后的第一深度学习模型对待检测图像进行行人检测以得到相应的行人边框坐标信息，并基于所述行人边框坐标信息对所述待检测图像进行裁剪以得到相应的行人子图；和/或，基于所述训练后的第一深度学习模型对待检测图像进行人脸检测以得到相应的人脸边框坐标信息，并基于所述行人脸框坐标信息对所述待检测图像进行裁剪以得到相应的人脸子图。
8.可选的，所述基于所述训练后的第二深度学习模型对所述目标子图进行关键点检测以得到相应的关键点坐标信息，包括：基于所述训练后的第二深度学习模型对所述行人子图进行关键点检测以得到相应的人体关键点坐标信息；和/或，基于所述训练后的第二深度学习模型对所述人脸子图进行关键点检测以得到相应的人脸关键点坐标信息。
9.可选的，所述根据所述第二检测结果获取相应的目标信息，包括：基于所述第二检测结果获取所述待检测图像的目标图像信息和关键点信息；相应的，所述基于所述目标信息对所述待检测目标的目标属性进行检测，包括：基于所述目标图像信息和所述关键点信息对所述待检测图像的目标属性进行检测。
10.第二方面，本技术公开了一种图像目标属性检测装置，包括：模型训练模块，用于基于预设目标边框训练集训练第一深度学习模型以得到训练后的第一深度学习模型，并基于预设关键点训练集训练第二深度学习模型以得到训练后的第二深度学习模型；第一图像检测模块，用于利用所述训练后的第一深度学习模型对待检测图像进行检测以得到第一检测结果，并根据所述第一检测结果对所述待检测图像进行裁剪，以得到相应的目标子图；第二图像检测模块，用于利用所述训练后的第二深度学习模型对所述目标子图进
行检测以得到第二检测结果；信息获取模块，用于根据所述第二检测结果获取相应的目标信息；目标属性检测模块，用于基于所述目标信息对所述待检测图像的目标属性进行检测。
11.第三方面，本技术公开了一种图像目标属性检测设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现前述公开的图像目标属性检测方法的步骤。
12.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的图像目标属性检测方法的步骤。
13.可见，本技术提供了一种图像目标属性检测方法，包括：基于预设目标边框训练集训练第一深度学习模型以得到训练后的第一深度学习模型，并基于预设关键点训练集训练第二深度学习模型以得到训练后的第二深度学习模型；利用所述训练后的第一深度学习模型对待检测图像进行检测以得到第一检测结果，并根据所述第一检测结果对所述待检测图像进行裁剪，以得到相应的目标子图；利用所述训练后的第二深度学习模型对所述目标子图进行检测以得到第二检测结果；根据所述第二检测结果获取相应的目标信息，并基于所述目标信息对所述待检测图像的目标属性进行检测。由此可知，本技术利用第一深度学习模型对待检测图像进行目标检测，然后再利用第二深度学习模型对基于第一检测结果得到的目标子图进行关键点检测，最后根据第二检测结果获取相应的目标信息，从而基于所述目标信息对待检测图像的目标属性进行检测分析。本技术方案基于深度学习模型进行目标检测和关键点检测结合的方式，充分利用了待检测图像中的信息，有效地提高目标属性检测的准确率，也可以有效解决计算机视觉任务中的目标属性分类的问题。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
15.图1为本技术公开的一种图像目标属性检测方法流程图；图2为本技术公开的一种具体的图像目标属性检测方法流程图；图3为本技术公开的一种图像目标属性检测装置结构示意图；图4为本技术公开的一种图像目标属性检测设备结构图。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.当前，在计算机视觉任务中对目标属性进行检测一般是基于目标检测模型检测目
标后再对目标属性进行检测，但是仅基于目标检测模型的检测结果进行属性检测会引起对图像中的信息利用得不够充分的问题，导致图像目标属性检测的准确率低。为此，本技术提供了一种图像目标属性检测方案，能够有效的解决计算机视觉任务中目标属性分类的问题并且还可以有效地提高图像目标属性检测的准确率。
18.本发明实施例公开了一种图像目标属性检测方法，参见图1所示，该方法包括：步骤s11：基于预设目标边框训练集训练第一深度学习模型以得到训练后的第一深度学习模型，并基于预设关键点训练集训练第二深度学习模型以得到训练后的第二深度学习模型。
19.本实施例中，在开始训练深度学习模型之前，需要确定相关的训练集，然后利用上述训练集进行深度学习模型的训练。具体的，确定图像数据集中的待检测图像中的目标边框和关键点，并对所述目标边框和所述关键点进行标记，以得到与所述目标边框对应的预设目标边框训练集以及与所述关键点对应的预设关键点训练集。可以理解的是，在对图像数据集中的目标边框进行标记时，可以包括但不限于对目标边框和关键点的标记。其中，目标边框还可以包括但不限于行人目标边框或者人脸目标边框等。对上述关键点标记时，可以包括但不限于行人的关键点，比如行人的关节，又或者是人脸的关键点，比如人脸的眼角或嘴角等。对数据进行标记得到相应的训练集就是为了向深度学习模型提供一些重点位置信息，使得深度学习模型能够准确地获取到目标边框和关键点的位置信息。
20.本实施例中，在得到上述预设目标边框训练集和预设关键点训练集之后，则基于预设目标边框训练集训练第一深度学习模型以得到训练后的第一深度学习模型，并基于预设关键点训练集训练第二深度学习模型以得到训练后的第二深度学习模型。也即，利用所述预设目标边框训练集对基于第一深度学习算法构建的第一深度学习模型进行训练以得到训练后的第一深度学习模型，并利用所述预设关键点训练集对基于第二深度学习算法构建的第二深度学习模型进行训练以得到训练后的第二深度学习模型。可以理解的是，上述第一深度学习模型和上述第二深度学习模型都是空白模型，利用上述预设目标边框训练集和上述预设关键点训练集分别对上述空白模型进行训练后就能够得到训练后的第一深度学习模型和训练后的第二深度学习模型，并且上述训练后的第一深度学习模型可以包括但不限于目标检测模型和人脸检测模型，上述训练后的第二深度学习模型可以包括但不限于人体关键点检测模型和人脸关键点检测模型等。
21.步骤s12：利用所述训练后的第一深度学习模型对待检测图像进行检测以得到第一检测结果，并根据所述第一检测结果对所述待检测图像进行裁剪，以得到相应的目标子图。
22.本实施例中，得到上述训练后的第一深度学习模型和训练后的第二深度学习模型就能够利用所述训练后的第一深度学习模型对待检测图像进行检测以得到第一检测结果，并根据所述第一检测结果对所述待检测图像进行裁剪，以得到相应的目标子图。可以理解的是，基于训练后的第一深度学习模型对待检测图像中的目标进行检测，得到第一检测结果，也就是说，将待检测图像输入至上述训练后的第一深度学习模型，以得到上述训练后的第一深度学习模型输出与所述待检测图像对应的目标的边框信息，基于目标边框信息对上述待检测图像进行裁剪，从而得到想要的目标子图。
23.步骤s13：利用所述训练后的第二深度学习模型对所述目标子图进行检测以得到
第二检测结果。
24.本实施例中，根据所述第一检测结果对所述待检测图像进行裁剪，以得到相应的目标子图之后，则利用所述训练后的第二深度学习模型对所述目标子图进行检测以得到第二检测结果。也即，将上述目标子图输入至上述训练后的第二深度学习模型，以得到上述训练后的第二深度学习模型输出的与所述目标子图对应的目标关键点信息。可以理解的是，基于上述训练后的第二深度学习模型对上述目标子图进行关键点检测从而获取到基于第一次检测到的目标中相关的关键点位置，从而能够有效的利用到待检测图像中的全部信息，比如，如人的关节位置或者脸部的嘴角和眼角的位置信息。
25.步骤s14：根据所述第二检测结果获取相应的目标信息，并基于所述目标信息对所述待检测图像的目标属性进行检测。
26.本实施例中，由于上述第二检测结果中包含有目标的关键位置信息，所以基于所述第二检测结果能够获取到所述待检测图像的目标图像信息和目标关键点信息；从而，基于所述目标图像信息和所述目标关键点信息对所述待检测图像的目标属性进行检测。可以理解的是，基于关键点检测的目标关键点位置信息能够准确地获取到待检测图像中的目标信息，并且通过上述目标关键点位置信息还能够获取到目标的姿态和动作等信息，进而将上述目标图像信息和姿态动作信息输入至属性分析模型就能够对目标属性进行检测或者利用相应的属性分析算法对上述目标图像信息和姿态动作信息进行属性分析，从而得到相应的属性分析结果。
27.需要指出的是，对图像数据集中的目标数据进行标记，得到相应的标记数据之后，也可以直接基于上述标记的数据对目标属性进行分析，这样也能够保证充分利用了待检测图像中的信息，提高目标属性检测的准确率。也即，确定图像数据集中的待检测图像中的目标边框和关键点，并对所述目标边框和所述关键点进行标记，以得到与所述目标边框对应的预设目标边框训练集以及与所述关键点对应的预设关键点训练集之后，直接利用上述预设目标边框训练集和上述预设关键点训练集中标记的目标边框和关键点对目标属性进行分析。
28.可见，本技术实施例中，利用第一深度学习模型对待检测图像进行目标检测，然后再利用第二深度学习模型对基于第一检测结果得到的目标子图进行关键点检测，最后根据第二检测结果获取相应的目标信息，从而基于所述目标信息对待检测图像的目标属性进行检测分析。本技术实施例基于深度学习模型进行目标检测和关键点检测结合的方式，充分利用了待检测图像中的信息，有效地提高目标属性检测的准确率，也可以有效解决计算机视觉任务中的目标属性分类的问题。
29.参见图2所示，本发明实施例公开了一种具体的图像目标属性检测方法，相较于上一实施例，本实施例对技术方案作了进一步的说明和优化。
30.步骤s21：基于预设目标边框训练集训练第一深度学习模型以得到训练后的第一深度学习模型，并基于预设关键点训练集训练第二深度学习模型以得到训练后的第二深度学习模型。
31.步骤s22：基于所述训练后的第一深度学习模型对待检测图像进行目标检测以得到相应的目标边框坐标信息，并基于所述目标边框坐标信息对所述待检测图像进行裁剪以得到相应的目标子图。
32.本实施例中，基于所述训练后的第一深度学习模型对待检测图像进行目标检测以得到相应的目标边框坐标信息。可以理解的是，使用上述训练后的第一深度学习模型检测待检测图像中的目标，可以得到上述目标边框的图像坐标：(x1，y1)，(x1，y2)，(x2，y1)，(x2，y2)，从而就能够基于上述图像坐标对上述待检测图像进行裁剪得到目标子图。
33.步骤s23：基于所述训练后的第二深度学习模型对所述目标子图进行关键点检测以得到相应的关键点坐标信息。
34.本实施例中，基于所述训练后的第二深度学习模型对所述目标子图进行关键点检测以得到相应的关键点坐标信息。可以理解的是，使用上述训练后的第二深度学习模型对上述目标子图进行关键点检测，得到目标关键点的图像坐标：(x1，y1)，(x2，y2)，
…
，(xn，yn)，所以在进行目标属性分析时就能够利用上述目标关键点的图像坐标获取目标的姿态动作等信息。
35.在一种具体的实施方式中，所述基于所述训练后的第一深度学习模型对待检测图像进行目标检测以得到相应的目标边框坐标信息，并基于所述目标边框坐标信息对所述待检测图像进行裁剪以得到相应的目标子图，可以包括：基于所述训练后的第一深度学习模型对待检测图像进行行人检测以得到相应的行人边框坐标信息，并基于所述行人边框坐标信息对所述待检测图像进行裁剪以得到相应的行人子图。相应的，基于所述训练后的第二深度学习模型对所述行人子图进行关键点检测以得到相应的人体关键点坐标信息。可以理解的是，当上述训练后的第一深度学习模型为行人目标检测模型时，将待检测图像输入至上述目标检测模型，上述目标检测模型输出与所述待检测图像对应的行人边框坐标信息，从而基于上述行人边框信息裁剪出相应的行人子图。然后将上述行人子图输入至上述人体关键点检测模型进行检测从而得到人体关键点坐标信息。
36.在一种具体的实施方式中，所述基于所述训练后的第一深度学习模型对待检测图像进行目标检测以得到相应的目标边框坐标信息，并基于所述目标边框坐标信息对所述待检测图像进行裁剪以得到相应的目标子图，可以包括：基于所述训练后的第一深度学习模型对待检测图像进行人脸检测以得到相应的人脸边框坐标信息，并基于所述行人脸框坐标信息对所述待检测图像进行裁剪以得到相应的人脸子图。相应的，基于所述训练后的第二深度学习模型对所述人脸子图进行关键点检测以得到相应的人脸关键点坐标信息。可以理解的是，当上述训练后的第一深度学习模型为人脸检测模型时，将待检测图像输入至上述人脸检测模型，上述人脸检测模型输出与所述待检测图像对应的人脸边框坐标信息，基于上述人脸边框信息裁剪出相应的人脸子图，然后将上述人脸子图输入至人脸关键点检测模型中进行检测从而得到人脸关键点坐标信息。
37.步骤s24：根据所述关键点坐标信息获取相应的目标信息，并基于所述目标信息对所述待检测图像的目标属性进行检测。
38.关于上述步骤s21、步骤s24的具体内容可以参考前述实施例中公开的相应内容，在此不再进行赘述。
39.相应的，本技术实施例还公开了一种图像目标属性检测装置，参见图3所示，该装置包括：模型训练模块11，用于基于预设目标边框训练集训练第一深度学习模型以得到训练后的第一深度学习模型，并基于预设关键点训练集训练第二深度学习模型以得到训练后
的第二深度学习模型；第一图像检测模块12，用于利用所述训练后的第一深度学习模型对待检测图像进行检测以得到第一检测结果，并根据所述第一检测结果对所述待检测图像进行裁剪，以得到相应的目标子图；第二图像检测模块13，用于利用所述训练后的第二深度学习模型对所述目标子图进行检测以得到第二检测结果；信息获取模块14，用于根据所述第二检测结果获取相应的目标信息；目标属性检测模块15，用于基于所述目标信息对所述待检测图像的目标属性进行检测。
40.由上可见，本实施例中，利用第一深度学习模型对待检测图像进行目标检测，然后再利用第二深度学习模型对基于第一检测结果得到的目标子图进行关键点检测，最后根据第二检测结果获取相应的目标信息，从而基于所述目标信息对待检测图像的目标属性进行检测分析。本技术实施例基于深度学习模型进行目标检测和关键点检测结合的方式，充分利用了待检测图像中的信息，有效地提高目标属性检测的准确率，也可以有效解决计算机视觉任务中的目标属性分类的问题。
41.在一些具体的实施例中，所述图像目标属性检测装置，还包括：标记模块，用于确定图像数据集中的待检测图像中的目标边框和关键点，并对所述目标边框和所述关键点进行标记，以得到与所述目标边框对应的预设目标边框训练集以及与所述关键点对应的预设关键点训练集。
42.在一些具体的实施例中，所述模型训练模块11，具体包括：第一模块训练单元，用于利用所述预设目标边框训练集对基于第一深度学习算法构建的第一深度学习模型进行训练以得到训练后的第一深度学习模型；第二模块训练单元，用于利用所述预设关键点训练集对基于第二深度学习算法构建的第二深度学习模型进行训练以得到训练后的第二深度学习模型。
43.在一些具体的实施例中，所述第一图像检测模块12，具体包括：目标检测单元，用于基于所述训练后的第一深度学习模型对待检测图像进行目标检测以得到相应的目标边框坐标信息，并基于所述目标边框坐标信息对所述待检测图像进行裁剪以得到相应的目标子图；在一些具体的实施例中，所述第二图像检测模块13，具体包括：关键点检测单元，用于基于所述训练后的第二深度学习模型对所述目标子图进行关键点检测以得到相应的关键点坐标信息。
44.在一些具体的实施例中，所述第一图像检测模块12，具体包括：第一目标检测单元，用于基于所述训练后的第一深度学习模型对待检测图像进行行人检测以得到相应的行人边框坐标信息，并基于所述行人边框坐标信息对所述待检测图像进行裁剪以得到相应的行人子图；第二目标检测单元，用于基于所述训练后的第一深度学习模型对待检测图像进行人脸检测以得到相应的人脸边框坐标信息，并基于所述行人脸框坐标信息对所述待检测图像进行裁剪以得到相应的人脸子图。
45.在一些具体的实施例中，所述第二图像检测模块13，具体包括：
第一关键点检测单元，用于基于所述训练后的第二深度学习模型对所述行人子图进行关键点检测以得到相应的人体关键点坐标信息；第二关键点检测单元，用于基于所述训练后的第二深度学习模型对所述人脸子图进行关键点检测以得到相应的人脸关键点坐标信息。
46.在一些具体的实施例中，所述信息获取模块14，具体包括：信息获取单元，用于基于所述第二检测结果获取所述待检测图像的目标图像信息和关键点信息；在一些具体的实施例中，所述目标属性检测模块15，具体包括：目标属性检测单元，用于基于所述目标图像信息和所述关键点信息对所述待检测图像的目标属性进行检测。
47.进一步的，本技术实施例还提供了一种图像目标属性检测设备。图4是根据一示例性实施例示出的图像目标属性检测设备20结构图，图中的内容不能认为是对本技术的使用范围的任何限制。
48.图4为本技术实施例提供的一种图像目标属性检测设备20的结构示意图。该图像目标属性检测设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的图像目标属性检测方法中的相关步骤。另外，本实施例中的图像目标属性检测设备20具体可以为电子计算机。
49.本实施例中，电源23用于为图像目标属性检测设备20上的各硬件设备提供工作电压；通信接口24能够为图像目标属性检测设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
50.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
51.其中，操作系统221用于管理与控制图像目标属性检测设备20上的各硬件设备以及计算机程序222，其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由图像目标属性检测设备20执行的图像目标属性检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
52.进一步的，本技术实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的图像目标属性检测方法步骤。
53.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
54.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将
一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
55.以上对本发明所提供的一种图像目标属性检测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。