图像处理方法、装置、电子设备及存储介质与流程

1.本公开涉及人工智能技术领域，具体涉及增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景，尤其涉及图像处理方法、装置、电子设备及存储介质。


背景技术：

2.目前，在电子设备获取到包含目标对象的图像后，可对获取到的图像进行处理，以满足用户需求。比如，可将图像中的目标对象（比如，人物）进行处理，使得图像中的目标对象更加符合用户的要求，以改善用户体验，因此，如何对图像进行处理是非常重要的。


技术实现要素：

3.本公开提供了一种图像处理方法、装置、电子设备及存储介质。
4.根据本公开的一方面，提供了一种图像处理方法，包括：获取待处理图像，从所述待处理图像中提取至少一个对象区域；根据所述至少一个对象区域，对与所述至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系；根据所述各三维网格模型中的各顶点以及对应的映射关系，确定所述各目标对象中各目标部位对应的轮廓目标关键点；根据所述各目标对象中各目标部位对应的轮廓目标关键点，对所述待处理图像中各目标对象进行处理，以得到目标图像。
5.根据本公开的另一方面，提供了一种图像处理装置，包括：获取模块，用于获取待处理图像，从所述待处理图像中提取至少一个对象区域；重建模块，用于根据所述至少一个对象区域，对与所述至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系；第一确定模块，用于根据所述各三维网格模型中的各顶点以及对应的映射关系，确定所述各目标对象中各目标部位对应的轮廓目标关键点；处理模块，用于根据所述各目标对象中各目标部位对应的轮廓目标关键点，对所述待处理图像中各目标对象进行处理，以得到目标图像。
6.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面实施例所述的方法。
7.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开第一方面实施例所述的方法。
8.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开第一方面实施例所述的方法。
9.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
10.附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是根据本公开第一实施例的示意图；图2是根据本公开第二实施例的示意图；图3是根据本公开第三实施例的示意图；图4是根据本公开第四实施例的示意图；图5是根据本公开第五实施例的示意图；图6是根据本公开第六实施例的示意图；图7是根据本公开第七实施例的示意图；图8是根据本公开实施例所提供的图像处理方法的流程示意图；图9是根据本公开实施例所提供的人体三维网格模型中人体外围轮廓关键点对应的顶点序号标注示意图；图10是根据本公开第八实施例的示意图；图11是用来实现本公开实施例的图像处理方法的电子设备的框图。
具体实施方式
11.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
12.目前，根据用户输入的图像进行目标对象的（如，人物）轮廓关键点检测，然后基于检测对象的轮廓关键点进行瘦身美化，方便用户基于ai智能修图，降低用户修图成本，提升用户的使用体验。
13.相关技术中，主要采用关键点检测技术进行对象的轮廓关键点检测，但是，由于关键点检测技术一方面需依赖大量标注精确的轮廓关键点数据集，具有非常高的数据采集和标注成本；另一方面由于缺少对象先验，对于对象遮挡区域的轮廓关键点检测误差可能比较大，导致检测轮廓关键点的准确性和鲁棒性较差，比如，在影楼拍摄场景下，经常有肥大衣服和多人遮挡的情况出现，导致检测人体轮廓关键点的准确性和鲁棒性较差。
14.针对上述问题，本公开提出一种图像处理方法、装置、电子设备及存储介质。
15.下面参考附图描述本公开实施例的图像处理方法、装置、电子设备及存储介质。
16.图1是根据本公开第一实施例的示意图。需要说明的是，本公开实施的图像处理方法被配置于图像处理装置中来举例说明，图像处理装置可以应用于任一电子设备中，以使该电子设备可以执行图像处理功能。
17.其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑（personal computer，简称pc）、移动终端等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
18.如图1所示，该图像处理方法可包括如下步骤：
步骤101，获取待处理图像，从待处理图像中提取至少一个对象区域。
19.在本公开实施例中，获取包含至少一个目标对象的图像，作为待处理图像，进而，可对待处理图像进行对象检测，以确定待处理图像中的至少一个目标对象，待处理图像中的每个目标对象可对应一个对象区域，并对待处理图像中的至少一个对象区域进行提取，以得到至少一个对象区域。
20.其中，待处理图像可为电子设备的摄像头采集的图像，或者，待处理图像可为网络下载的图像，又或者，待处理图像为人工合成的图像，等等，本公开对此并不做限制。
21.步骤102，根据至少一个对象区域，对与至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。
22.在本公开实施例中，在待处理图像中提取得到至少一个对象区域后，可根据待处理图像的至少一个对象区域中的任一对象区域，对该任一对象区域对应的目标对象进行三维重建，从而可得到各目标对象对应的三维网格模型，还可得到三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。
23.步骤103，根据各三维网格模型中的各顶点以及对应的映射关系，确定各目标对象中各目标部位对应的轮廓目标关键点。
24.在本公开实施例中，针对任一三维网格模型，可按照该任一三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系，对该任一三维网格模型中的各顶点进行映射，进而确定目标对象中各目标部位对应的轮廓目标关键点。
25.步骤104，根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中各目标对象进行处理，以得到目标图像。
26.作为本公开实施例的一种可能的实现方式，根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中各目标对象进行处理（比如，缩放处理），从而可得到目标图像。
27.综上，通过获取待处理图像，从待处理图像中提取至少一个对象区域；根据至少一个对象区域，对与至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系；根据各三维网格模型中的各顶点以及对应的映射关系，确定各目标对象中各目标部位对应的轮廓目标关键点；根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中各目标对象进行处理，以得到目标图像，由此，通过对待处理图像中各目标对象进行三维重建得到的三维网格模型，以及三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系，可有效确定各目标对象中各目标部位对应的轮廓目标关键点，轮廓目标关键点的获取无需依赖大量二维轮廓关键点，降低了轮廓关键点数据集的采集和标注成本，同时提高了轮廓目标关键点的准确性，从而，基于各目标对象的轮廓目标关键点，对待处理图像中的各目标对象进行处理，可以提升图像处理质量和精细度。
28.为了更加清楚地说明上述实施例是如何根据各三维网格模型中的各顶点以及对应的映射关系，确定各目标对象中各目标部位对应的轮廓目标关键点的，本公开提出另一种图像处理方法。
29.图2是根据本公开第二实施例的示意图。
30.如图2所示，该图像处理方法可包括如下步骤：步骤201，获取待处理图像，从待处理图像中提取至少一个对象区域。
31.步骤202，根据至少一个对象区域，对与至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。
32.步骤203，根据各三维网格模型对应的映射关系，对各三维网格模型中的各顶点进行映射，以得到各三维网格模型中的各顶点对应的二维坐标点。
33.在本公开实施例中，针对任一三维网格模型，可根据各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系，将该任一三维网格模型中各顶点进行映射（投影），从而可得到各目标对象的三维网格模型中的各顶点对应的二维坐标点，其中，需要说明的，由于各目标对象的三维网格模型中的顶点数量较多，各目标对象的三维网格模型中的顶点对应的二维坐标点可为稠密的二维坐标点。
34.步骤204，根据各三维网格模型中的各顶点对应的二维坐标点，确定各目标对象中各目标部位对应的轮廓目标关键点。
35.为了更加准确地确定各目标对象中各目标部位对应的轮廓目标关键点，同时为了降低数据计算量，作为一种示例，可从各三维网格模型中的各顶点对应的二维坐标点中，确定各目标对象中各目标部位的轮廓候选关键点，进而，从各目标对象中各目标部位的轮廓候选关键点中，确定各目标对象中各目标部位对应的轮廓目标关键点。其中，轮廓候选关键点可为各目标对象中各目标部位的轮廓圆周关键点，比如，以目标部位为脖子为例，轮廓候选关键点可为绕脖子一圈的轮廓圆周关键点，轮廓目标关键点可为脖子的左轮廓关键点和右轮廓关键点。
36.步骤205，根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中各目标对象进行处理，以得到目标图像。
37.需要说明的是，步骤201至202、步骤205的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
38.综上，通过根据各三维网格模型对应的映射关系，对各三维网格模型中的各顶点进行映射，以得到各三维网格模型中的各顶点对应的二维坐标点；根据各三维网格模型中的各顶点对应的二维坐标点，确定各目标对象中各目标部位对应的轮廓目标关键点，由此，根据各三维网格模型中的各顶点对应的二维坐标点，可有效地确定各目标对象中各目标部位对应的轮廓目标关键点，无需依赖大量二维轮廓关键点数据集，降低了轮廓关键点数据集的采集和标注成本，同时提高了轮廓目标关键点的准确性，从而，基于各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中的各目标对象进行处理，可以提升图像处理质量和精细度。
39.为了清楚地说明上述实施例是如何根据各三维网格模型中的各顶点对应的二维坐标点，确定各目标对象中各目标部位对应的轮廓目标关键点的，本公开提出另一种图像处理方法。
40.图3是根据本公开第三实施例的示意图。
41.如图3所示，该图像处理方法可包括如下步骤：
步骤301，获取待处理图像，从待处理图像中提取至少一个对象区域。
42.步骤302，根据至少一个对象区域，对与至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。
43.步骤303，根据各三维网格模型对应的映射关系，对各三维网格模型中的各顶点进行映射，以得到各三维网格模型中的各顶点对应的二维坐标点。
44.步骤304，根据设定的轮廓关键点标识，从各三维网格模型中的各顶点对应的二维坐标点中，确定各目标对象中各目标部位的轮廓候选关键点。
45.作为本公开实施例的一种可能的实现方式，可预先对各三维网格模型中各目标对象的各目标部位的轮廓关键点（轮廓圆周关键点）对应的顶点进行序号标注，得到轮廓关键点标识，即得到各目标对象的各目标部位的轮廓关键点对应的顶点的序号，进而，根据各三维网格模型中预先标注的各目标对象中各目标部位的轮廓关键点对应的顶点的序号，可从各目标对象对应的二维坐标点中，选择出各目标对象中各目标部位的轮廓候选关键点。其中，需要说明的是，可采用序号标注模型（如，参数化人体模型）对各三维网格模型中各目标对象的各目标部位的轮廓关键点对应的顶点进行序号标注，也可人工对各三维网格模型中各目标对象的各目标部位的轮廓关键点对应的顶点进行序号标注，本公开对此不做具体限制。其中，序号标注模型已学习得到三维网格模型与对应的目标对象各目标部位的轮廓关键点对应的顶点的序号之间的对应关系。
46.步骤305，根据各目标对象中各目标部位的轮廓候选关键点的坐标位置，从各目标对象中各目标部位的轮廓候选关键点中，确定各目标对象中各目标部位对应的轮廓目标关键点。
47.为了高效地从轮廓候选关键点中确定轮廓目标关键点，作为本公开实施例的一种可能的实现方式，根据各目标对象中各目标部位的轮廓候选关键点的坐标位置，确定各目标对象中各目标部位的任意两个轮廓候选关键点之间的距离；根据各目标对象中各目标部位的任意两个轮廓候选关键点之间的距离，从各目标对象中各目标部位的轮廓候选关键点中确定各目标对象中各目标部位对应的轮廓目标关键点。
48.比如，可根据各目标对象中各目标部位的任意两个轮廓候选关键点之间的距离，从对应的轮廓候选关键点中确定距离最远的两个轮廓候选关键点，并将该距离最远的两个轮廓候选关键点作为对应目标部位的轮廓目标关键点。如，脖子两侧对应的两个轮廓候选关键点，作为脖子的轮廓目标关键点。
49.步骤306，根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中各目标对象进行处理，以得到目标图像。
50.需要说明的是，步骤301至303、步骤306的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
51.综上，通过根据设定的轮廓关键点标识，从各三维网格模型中的各顶点对应的二维坐标点中，确定各目标对象中各目标部位的轮廓候选关键点；根据各目标对象中各目标部位的轮廓候选关键点的坐标位置，从各目标对象中各目标部位的轮廓候选关键点中，确定各目标对象中各目标部位对应的轮廓目标关键点，由此，从各目标对象对应的稠密的二维坐标点中，先确定出各目标对象中各目标部位的轮廓候选关键点，进而，从各目标对象中
各目标部位的轮廓候选关键点中可有效地确定出对应的轮廓目标关键点，降低了相关数据计算量。
52.为了提高图像处理的精确性和鲁棒性，本公开提出另一种图像处理方法。
53.图4是根据本公开第四实施例的示意图。
54.如图4所示，该图像处理方法可包括如下步骤：步骤401，获取待处理图像，从待处理图像中提取至少一个对象区域。
55.步骤402，根据至少一个对象区域，对与至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。
56.步骤403，根据各三维网格模型对应的映射关系，对各三维网格模型中的各顶点进行映射，以得到各三维网格模型中的各顶点对应的二维坐标点。
57.步骤404，根据设定的轮廓关键点标识，从各三维网格模型中的各顶点对应的二维坐标点中，确定各目标对象中各目标部位的轮廓候选关键点。
58.步骤405，根据各目标对象中各目标部位的轮廓候选关键点的坐标位置，从各目标对象中各目标部位的轮廓候选关键点中，确定各目标对象中各目标部位对应的轮廓目标关键点。
59.步骤406，根据各目标对象中各目标部位的轮廓候选关键点的坐标位置，确定各目标对象中各目标部位的轮廓中心关键点。
60.作为本公开实施例的一种可能的实现方式，可根据各目标对象中各目标部位的轮廓候选关键点的坐标位置，计算各目标对象中各目标部位的轮廓候选关键点对应的平均坐标值，将各目标对象中各目标部位的轮廓候选关键点对应的平均坐标值所对应的坐标点，作为对应的轮廓中心关键点。
61.步骤407，确定各目标对象中各目标部位对应的轮廓目标关键点和轮廓中心关键点之间的方向向量。
62.进而，将各目标对象中各目标部位对应的轮廓目标关键点分别与对应的轮廓中心关键点进行连线，根据连线方向确定对应的方向向量。比如，以脖子的两个轮廓目标关键点为例，将脖子对应的轮廓中心关键点与脖子一个轮廓目标关键点进行连线，同时进行方向标注（比如，从轮廓中心关键点指向该脖子的一个轮廓目标关键点），得到轮廓中心关键点与脖子的一个轮廓目标关键点对应的方向向量，同时，将脖子对应的轮廓中心关键点与脖子的另一个轮廓目标关键点进行连线，同时进行方向标注（比如，从轮廓中心关键点指向该脖子的另一个轮廓目标关键点），得到轮廓中心关键点与脖子的另一个轮廓目标关键点对应的方向向量。
63.步骤408，根据各目标对象中各目标部位对应的轮廓目标关键点和轮廓中心关键点之间的方向向量，确定各目标对象中各目标部位的轮廓目标关键点对应的轮廓标签。
64.进而，相同方向的方向向量对应的轮廓目标关键点可对应轮廓的同一侧，不同方向的方向向量对应的轮廓目标关键点可对应轮廓的不同侧，比如，轮廓中心关键点与脖子的一个轮廓目标关键点对应的方向向量，与轮廓中心关键点和脖子的另一个轮廓目标关键点对应的方向向量的方向不同，则脖子的两个轮廓目标关键点位于脖子的两侧，比如，一个轮廓目标关键点位于脖子的左轮廓，该轮廓目标关键点对应的轮廓标签可为左轮廓，则另
一个轮廓目标关键点位于脖子的右轮廓，该轮廓目标关键点对应的轮廓标签可为右轮廓；又比如，可预先设置轮廓中心关键点与脖子的一个轮廓目标关键点对应的方向向量为正，在轮廓中心关键点与脖子的另一个轮廓目标关键点对应的方向向量为负时，则一个轮廓目标关键点位于脖子的左轮廓，该轮廓目标关键点对应的轮廓标签可为左轮廓，则另一个轮廓目标关键点位于脖子的右轮廓，该轮廓目标关键点对应的轮廓标签可为右轮廓。
65.步骤409，根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中各目标对象进行处理，以得到目标图像。
66.需要说明的是，步骤401至405、步骤409的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
67.综上，通过根据各目标对象中各目标部位的轮廓候选关键点的坐标位置，确定轮廓中心关键点；根据各目标对象中各目标部位对应的轮廓目标关键点和轮廓中心关键点之间的方向向量，确定轮廓目标关键点对应的轮廓标签，由此，通过对轮廓目标关键点进行轮廓标签确定，从而，在根据轮廓目标关键点，对待处理图像中各目标对象进行处理时可以更加精准，从而提高了图像处理的精确性和鲁棒性。
68.为了清楚地说明上述实施例是如何根据至少一个对象区域，对与至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系的，本公开提出另一种图像处理方法。
69.图5是根据本公开第五实施例的示意图。
70.如图5所示，该图像处理方法可包括如下步骤：步骤501，获取待处理图像，从待处理图像中提取至少一个对象区域。
71.步骤502，根据待处理图像中的至少一个对象区域，确定与至少一个对象区域对应的目标对象的目标参数信息。
72.作为本公开实施例的一种可能的实现方式，目标参数信息可包括对应目标对象的体型信息和姿态信息，针对至少一个对象区域中的任一对象区域，可将该任一对象区域分别输入至姿态预测模型和体型预测模型中，以得到该任一对象区域对应的目标对象的体型信息和姿态信息。
73.其中，需要说明的是，姿态预测模型已学习得到图像与该图像中目标对象的姿态信息之间的对应关系，体型预测模型已学习得到图像与该图像中目标对象的体型信息之间的对应关系。
74.步骤503，根据至少一个目标对象中各目标对象的目标参数信息，生成各目标对象的三维网格模型。
75.为了根据各目标对象的目标参数信息，准确地生成各目标对象的三维网格模型，作为一种示例，可将各目标对象的体型信息和姿态信息，输入至三维网格创建模型中，三维网格创建模型根据各目标对象的体型信息和姿态信息进行三维网格模型创建，以得到各目标对象的三维网格模型。其中，三维网格创建模型比如为参数化人体模型（skinned multi-person linear，简称smpl）。
76.步骤504，根据各目标对象的三维网格模型中的各顶点的坐标位置以及各顶点对应的在对象区域中二维坐标点的坐标位置，确定各三维网格模型所在的世界坐标系与对应
的对象区域所在的图像坐标系之间的映射关系。
77.进而，根据各目标对象的三维网格模型中各顶点的坐标位置以及各顶点对应的在对象区域中二维坐标点的坐标位置，可确定各目标对象的三维网格模型中各顶点对应的在对象区域中二维坐标点之间的映射关系，并将该映射关系作为各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。
78.步骤505，根据各三维网格模型中的各顶点以及对应的映射关系，确定各目标对象中各目标部位对应的轮廓目标关键点。
79.步骤506，根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中各目标对象进行处理，以得到目标图像。
80.需要说明的是，步骤501、步骤505至506的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
81.综上，通过根据待处理图像中的至少一个对象区域，确定与至少一个对象区域对应的目标对象的目标参数信息；根据至少一个目标对象中各目标对象的目标参数信息，生成各目标对象的三维网格模型；根据各目标对象的三维网格模型中的各顶点的坐标位置以及各顶点对应的在对象区域中二维坐标点的坐标位置，确定各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系，由此，根据待处理图像中的至少一个对象区域对应的目标对象的目标参数信息，可实现对目标对象进行三维重建，得到各目标对象的三维网格模型，进而，根据三维网格模型各顶点的坐标位置以及各顶点对应的在对象区域中二维坐标点的坐标位置，可有效地确定各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。
82.为了清楚地说明上述实施例是如何获取待处理图像，从待处理图像中提取至少一个对象区域的，本公开提出另一种图像处理方法。
83.图6是根据本公开第六实施例的示意图。
84.如图6所示，该图像处理方法可包括如下步骤：步骤601，获取摄像头采集的待处理图像。
85.作为一种示例，待处理图像可以是摄像头已经采集好，存储在电子设备中的图像，也可以是当前摄像头采集的预览图像，还可以是从网络上下载的其他电子设备的摄像头采集的图像。本公开对此不做具体限定。
86.步骤602，对待处理图像进行对象检测，以得到至少一个对象检测框的位置。
87.作为本公开实施例的一种可能的实现方式，对待处理图像进行特征提取，以得到待处理图像对应的原始特征图，采用目标识别模型的编码层对待处理图像对应的原始特征图进行编码，以得到编码特征，并采用目标识别模型的解码层对待处理图像的编码特征进行解码，以得到待处理图像的解码特征；采用目标识别模型的预测层对各帧图像的解码特征进行预测，以得到待处理图像中至少一检测对象的检测框的位置。
88.在本公开实施例中，目标识别模型为经过训练的模型，比如可以基于机器学习技术或深度学习技术，对初始的目标识别模型进行训练，使得经过训练的目标识别模型能够学习得到特征图与检测结果之间的对应关系。
89.步骤603，根据至少一个对象检测框的位置，对待处理图像进行对象区域提取，以得到至少一个对象区域。
90.进而，根据至少一个对象检测框的位置，可从待处理图像中提取该至少一个对象区域，从而可得到至少一个对象区域。
91.步骤604，根据至少一个对象区域，对与至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。
92.步骤605，根据各三维网格模型中的各顶点以及对应的映射关系，确定各目标对象中各目标部位对应的轮廓目标关键点。
93.步骤606，根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中各目标对象进行处理，以得到目标图像。
94.需要说明的是，步骤604至606的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
95.综上，通过获取摄像头采集的待处理图像；对待处理图像进行对象检测，以得到至少一个对象检测框的位置；根据至少一个对象检测框的位置，对待处理图像进行对象区域提取，以得到至少一个对象区域，由此，可有效地从待处理图像中提取至少一个对象区域。
96.为了清楚地说明上述实施例是如何根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像进行处理，以得到目标图像的，本公开提出另一种图像处理方法。
97.图7是根据本公开第七实施例的示意图。
98.如图7所示，该图像处理方法可包括如下步骤：步骤701，获取待处理图像，从待处理图像中提取至少一个对象区域。
99.步骤702，根据至少一个对象区域，对与至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。
100.步骤703，根据各三维网格模型中的各顶点以及对应的映射关系，确定各目标对象中各目标部位对应的轮廓目标关键点。
101.步骤704，获取各目标对象中各目标部位的设定的缩放比例。
102.在本公开实施例中，在对待处理图像中的各个目标对象进行缩放处理时，用户可预先设置各目标对象中各目标部位的缩放比例，响应于用户对该缩放比例的设置操作，可获取到各目标对象中各目标部位的设定的缩放比例。
103.步骤705，基于各目标对象中各目标部位对应的轮廓目标关键点和缩放比例，对待处理图像中各目标对象进行缩放处理，以得到目标图像。
104.进而，以各目标对象中各目标部位对应的轮廓目标关键点为基准，并根据对应的设定的缩放比例，可自动对待处理图像中各目标对象进行缩放处理，从而可得到目标图像。
105.需要说明的是，步骤701至703的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
106.综上，获取各目标对象中各目标部位的设定的缩放比例，基于各目标对象中各目标部位对应的轮廓目标关键点和缩放比例，对待处理图像中各目标对象进行缩放处理，以得到目标图像，由此，基于各目标对象中各目标部位对应的轮廓目标关键点和缩放比例，可自动对待处理图像中各目标对象进行缩放处理，降低了用户对待处理图像的处理成本，同时提高了待处理图像中各目标对象的处理精度，改善了用户体验。
107.为了更加清楚地说明上述实施例，现举例进行说明。
108.举例而言，以目标对象为人物为例，如图8所示，对待处理图像进行人体框位置检测，并根据检测到的人体框的位置对待处理图像进行裁剪，以得到至少一个人体框区域（对象区域），根据至少一个人体框区域进行人体重建，得到人体三维网格模型和人体三维网格模型所在的世界坐标系和对应的人体框区域所在的图像坐标系之间的映射关系（相机参数），进而，根据该映射关系，将人体三维网格模型根据该映射关系进行映射（投影），得到稠密的二维顶点，再通过获取预先标注的人体二维轮廓圆周关键点对应的顶点序号（轮廓关键点标识）得到二维轮廓圆周关键点（轮廓候选关键点）的位置，最后针每一轮（每个部位）轮廓圆周关键点的位置计算人体外围轮廓关键点（轮廓目标关键点）。其中，需要说明的是，如图9所示，可基于smpl模型在人体三维网格模型中对人体轮廓圆周关键点对应的顶点进行序号标注，以脖子为例，脖子外围轮廓关键点（对应的顶点序号如图9中左侧1，右侧99）可以具有对应的轮廓圆周关键点，轮廓圆周关键点可以具有对应的顶点序号（图9中并未示出），其中，轮廓圆周关键点对应的顶点序号可为：3839、3796、3797、3662、3663、3810、3718、3719、3723、3724、3768、3918、460、423、257、212、213、209、206、298、153、150、285、284、334和3050，需要说明的是，各外围轮廓关键点和各轮廓圆周关键点对应的顶点序号仅是示例性说明，实际应用时，可根据实际需求进行设置，本公开对此并不做具体限制。
109.本公开实施例的图像处理方法，通过获取待处理图像，从待处理图像中提取至少一个对象区域；根据至少一个对象区域，对与至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系；根据各三维网格模型中的各顶点以及对应的映射关系，确定各目标对象中各目标部位对应的轮廓目标关键点；根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中各目标对象进行处理，以得到目标图像，由此，通过根据待处理图像中各目标对象三维重建得到的三维网格模型以及三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系，确定各目标对象中各目标部位对应的轮廓目标关键点，轮廓目标关键点的获取无需依赖大量二维轮廓关键点，降低了轮廓关键点数据集的采集和标注成本，同时提高了轮廓目标关键点的准确性，从而，基于各目标对象轮廓目标关键点，对待处理图像中的各目标对象进行处理，可以提升图像处理质量和精细度。
110.为了实现上述实施例，本公开还提出一种图像处理装置。
111.图10是根据本公开第八实施例的示意图。
112.如图10所示，该图像处理装置1000包括：获取模块1010、重建模块1020、第一确定模块1030和处理模块1040。
113.其中，获取模块1010，用于获取待处理图像，从待处理图像中提取至少一个对象区域；重建模块1020，用于根据至少一个对象区域，对与所述至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系；第一确定模块1030，用于根据各三维网格模型中的各顶点以及对应的映射关系，确定各目标对象中各目标部位对应的轮廓目标关键点；处理模块1040，用于根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中各目标对象进行处理，以得到目标图像。
114.作为本公开实施例的一种可能的实现方式，第一确定模块1030，用于：根据各三维网格模型对应的映射关系，对各三维网格模型中的各顶点进行映射，以得到各三维网格模型中的各顶点对应的二维坐标点；根据各三维网格模型中的各顶点对应的二维坐标点，确定各目标对象中各目标部位对应的轮廓目标关键点。
115.作为本公开实施例的一种可能的实现方式，第一确定模块1030，还用于：根据设定的轮廓关键点标识，从各三维网格模型中的各顶点对应的二维坐标点中，确定各目标对象中各目标部位的轮廓候选关键点；根据各目标对象中各目标部位的轮廓候选关键点的坐标位置，从各目标对象中各目标部位的轮廓候选关键点中，确定各目标对象中各目标部位对应的轮廓目标关键点。
116.作为本公开实施例的一种可能的实现方式，第一确定模块1030，还用于：根据各目标对象中各目标部位的轮廓候选关键点的坐标位置，确定各目标对象中各目标部位的任意两个轮廓候选关键点之间的距离；根据各目标对象中各目标部位的任意两个轮廓候选关键点之间的距离，从各轮廓候选关键点中确定各目标对象中各目标部位对应的轮廓目标关键点。
117.作为本公开实施例的一种可能的实现方式，该图像处理装置1000还包括：第二确定模块、第三确定模块和第四确定模块。
118.其中，第二确定模块，用于根据各目标对象中各目标部位的轮廓候选关键点的坐标位置，确定各目标对象中各目标部位的轮廓中心关键点；第三确定模块，用于确定各目标对象中各目标部位对应的轮廓目标关键点和轮廓中心关键点之间的方向向量；第四确定模块，用于根据所述各目标对象中各目标部位对应的轮廓目标关键点和轮廓中心关键点之间的方向向量，确定各目标对象中各目标部位的轮廓目标关键点对应的轮廓标签。
119.作为本公开实施例的一种可能的实现方式，重建模块1020，用于：根据待处理图像中的至少一个对象区域，确定与至少一个对象区域对应的目标对象的目标参数信息；根据至少一个目标对象中各目标对象的目标参数信息，生成各目标对象的三维网格模型；根据各目标对象的三维网格模型中的各顶点的坐标位置以及各顶点对应的在对象区域中二维坐标点的坐标位置，确定各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。
120.作为本公开实施例的一种可能的实现方式，目标参数信息包括对应目标对象的体型信息和姿态信息；重建模块1020，还用于：将各目标对象的体型信息和姿态信息，输入至三维网格创建模型中，三维网格创建模型根据各目标对象的体型信息和姿态信息进行三维网格模型创建，以得到各目标对象的三维网格模型。
121.作为本公开实施例的一种可能的实现方式，获取模块1010，用于：获取摄像头采集的待处理图像；对待处理图像进行对象检测，以得到至少一个对象检测框的位置；根据所述至少一个对象检测框的位置，对待处理图像进行对象区域提取，以得到至少一个对象区域。
122.作为本公开实施例的一种可能的实现方式，处理模块1040，用于：获取各目标对象中各目标部位的设定的缩放比例；基于各目标对象中各目标部位对应的轮廓目标关键点和缩放比例，对待处理图像中各目标对象进行缩放处理，以得到目标图像。
123.本公开实施例的图像处理装置，通过获取待处理图像，从待处理图像中提取至少一个对象区域；根据至少一个对象区域，对与至少一个对象区域对应的目标对象进行三维
重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系；根据各三维网格模型中的各顶点以及对应的映射关系，确定各目标对象中各目标部位对应的轮廓目标关键点；根据各目标对象中各目标部位对应的轮廓目标关键点，对待处理图像中各目标对象进行处理，以得到目标图像，由此，通过根据待处理图像中各目标对象三维重建得到的三维网格模型以及三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系，可有效地确定各目标对象中各目标部位对应的轮廓目标关键点，轮廓目标关键点的获取无需依赖大量二维轮廓关键点数据集进行轮廓目标关键点获取，降低了轮廓关键点的采集和标注成本，同时提高了各目标对象的轮廓目标关键点的准确性，从而，基于各目标对象的轮廓目标关键点，对待处理图像中的各目标对象进行处理，可以提升图像处理质量和精细度。
124.需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均在征得用户同意的前提下进行，并且均符合相关法律法规的规定，且不违背公序良俗。
125.为了实现上述实施例，本公开还提出一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例的图像处理方法。
126.为了实现上述实施例，本公开还提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述实施例所述的图像处理方法。
127.为了实现上述实施例，本公开还提出一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述实施例所述的图像处理方法。
128.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
129.图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
130.如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器（rom）1102中的计算机程序或者从存储单元1108加载到随机访问存储器（ram）1103中的计算机程序，来执行各种适当的动作和处理。在ram 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、rom 1102以及ram 1103通过总线1104彼此相连。输入/输出（i/o）接口1105也连接至总线1104。
131.设备1100中的多个部件连接至i/o接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
132.计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算
单元1101的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由rom 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到ram 1103并由计算单元1101执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行图像处理方法。
133.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、负载可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
134.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
135.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
136.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
137.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界
面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）、互联网和区块链网络。
138.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
139.其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
140.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
141.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。