图像处理方法、装置、电子设备及存储介质与流程

技术特征：
1.一种图像处理方法，包括：获取待处理图像，从所述待处理图像中提取至少一个对象区域；根据所述至少一个对象区域，对与所述至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系；根据所述各三维网格模型中的各顶点以及对应的映射关系，确定所述各目标对象中各目标部位对应的轮廓目标关键点；根据所述各目标对象中各目标部位对应的轮廓目标关键点，对所述待处理图像中各目标对象进行处理，以得到目标图像。2.根据权利要求1所述的方法，其中，所述根据所述各三维网格模型中的各顶点以及对应的映射关系，确定所述各目标对象中各目标部位对应的轮廓目标关键点，包括：根据所述各三维网格模型对应的映射关系，对所述各三维网格模型中的各顶点进行映射，以得到所述各三维网格模型中的各顶点对应的二维坐标点；根据所述各三维网格模型中的各顶点对应的二维坐标点，确定所述各目标对象中各目标部位对应的轮廓目标关键点。3.根据权利要求2所述的方法，其中，所述根据所述各三维网格模型中的各顶点对应的二维坐标点，确定所述各目标对象中各目标部位对应的轮廓目标关键点，包括：根据设定的轮廓关键点标识，从所述各三维网格模型中的各顶点对应的二维坐标点中，确定所述各目标对象中各目标部位的轮廓候选关键点；根据所述各目标对象中各目标部位的轮廓候选关键点的坐标位置，从所述各目标对象中各目标部位的轮廓候选关键点中，确定所述各目标对象中各目标部位对应的轮廓目标关键点。4.根据权利要求3所述的方法，其中，所述根据所述各目标对象中各目标部位的轮廓候选关键点的坐标位置，从所述各目标对象中各目标部位的轮廓候选关键点中，确定所述各目标对象中各目标部位对应的轮廓目标关键点，包括：根据所述各目标对象中各目标部位的轮廓候选关键点的坐标位置，确定所述各目标对象中各目标部位的任意两个轮廓候选关键点之间的距离；根据所述各目标对象中各目标部位的任意两个轮廓候选关键点之间的距离，从所述各目标对象中各目标部位的轮廓候选关键点中确定所述各目标对象中各目标部位对应的轮廓目标关键点。5.根据权利要求4所述的方法，其中，所述方法还包括：根据所述各目标对象中各目标部位的轮廓候选关键点的坐标位置，确定所述各目标对象中各目标部位的轮廓中心关键点；确定所述各目标对象中各目标部位对应的轮廓目标关键点和轮廓中心关键点之间的方向向量；根据所述各目标对象中各目标部位对应的轮廓目标关键点和轮廓中心关键点之间的方向向量，确定所述各目标对象中各目标部位的轮廓目标关键点对应的轮廓标签。6.根据权利要求1所述的方法，其中，所述根据所述至少一个对象区域，对与所述至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及
各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系，包括：根据所述待处理图像中的至少一个对象区域，确定与所述至少一个对象区域对应的目标对象的目标参数信息；根据所述至少一个目标对象中各目标对象的目标参数信息，生成所述各目标对象的三维网格模型；根据所述各目标对象的三维网格模型中的各顶点的坐标位置以及所述各顶点对应的在对象区域中二维坐标点的坐标位置，确定各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。7.根据权利要求6所述的方法，其中，所述目标参数信息包括对应目标对象的体型信息和姿态信息，所述根据所述至少一个目标对象中各目标对象的目标参数信息，生成所述各目标对象的三维网格模型，包括：将所述各目标对象的体型信息和姿态信息，输入至三维网格创建模型中，所述三维网格创建模型根据所述各目标对象的体型信息和姿态信息进行三维网格模型创建，以得到所述各目标对象的三维网格模型。8.根据权利要求1所述的方法，其中，所述获取待处理图像，从所述待处理图像中提取至少一个对象区域，包括：获取摄像头采集的待处理图像；对所述待处理图像进行对象检测，以得到至少一个对象检测框的位置；根据所述至少一个对象检测框的位置，对所述待处理图像进行对象区域提取，以得到所述至少一个对象区域。9.根据权利要求1-8中任一项所述的方法，其中，所述根据所述各目标对象中各目标部位对应的轮廓目标关键点，对所述待处理图像中各目标对象进行处理，以得到目标图像，包括：获取所述各目标对象中各目标部位的设定的缩放比例；基于所述各目标对象中各目标部位对应的轮廓目标关键点和缩放比例，对所述待处理图像中各目标对象进行缩放处理，以得到目标图像。10.一种图像处理装置，包括：获取模块，用于获取待处理图像，从所述待处理图像中提取至少一个对象区域；重建模块，用于根据所述至少一个对象区域，对与所述至少一个对象区域对应的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系；第一确定模块，用于根据所述各三维网格模型中的各顶点以及对应的映射关系，确定所述各目标对象中各目标部位对应的轮廓目标关键点；处理模块，用于根据所述各目标对象中各目标部位对应的轮廓目标关键点，对所述待处理图像中各目标对象进行处理，以得到目标图像。11.根据权利要求10所述的装置，其中，所述第一确定模块，用于：根据所述各三维网格模型对应的映射关系，对所述各三维网格模型中的各顶点进行映射，以得到所述各三维网格模型中的各顶点对应的二维坐标点；
根据所述各三维网格模型中的各顶点对应的二维坐标点，确定所述各目标对象中各目标部位对应的轮廓目标关键点。12.根据权利要求11所述的装置，其中，所述第一确定模块，还用于：根据设定的轮廓关键点标识，从所述各三维网格模型中的各顶点对应的二维坐标点中，确定所述各目标对象中各目标部位的轮廓候选关键点；根据所述各目标对象中各目标部位的轮廓候选关键点的坐标位置，从所述各目标对象中各目标部位的轮廓候选关键点中，确定所述各目标对象中各目标部位对应的轮廓目标关键点。13.根据权利要求12所述的装置，其中，所述第一确定模块，还用于：根据所述各目标对象中各目标部位的轮廓候选关键点的坐标位置，确定所述各目标对象中各目标部位的任意两个轮廓候选关键点之间的距离；根据所述各目标对象中各目标部位的任意两个轮廓候选关键点之间的距离，从所述各目标对象中各目标部位的轮廓候选关键点中确定所述各目标对象中各目标部位对应的轮廓目标关键点。14.根据权利要求13所述的装置，其中，所述装置还包括：第二确定模块，用于根据所述各目标对象中各目标部位的轮廓候选关键点的坐标位置，确定所述各目标对象中各目标部位的轮廓中心关键点；第三确定模块，用于确定所述各目标对象中各目标部位对应的轮廓目标关键点和轮廓中心关键点之间的方向向量；第四确定模块，用于根据所述各目标对象中各目标部位对应的轮廓目标关键点和轮廓中心关键点之间的方向向量，确定所述各目标对象中各目标部位的轮廓目标关键点对应的轮廓标签。15.根据权利要求10所述的装置，其中，所述重建模块，用于：根据所述待处理图像中的至少一个对象区域，确定与所述至少一个对象区域对应的目标对象的目标参数信息；根据所述至少一个目标对象中各目标对象的目标参数信息，生成所述各目标对象的三维网格模型；根据所述各目标对象的三维网格模型中的各顶点的坐标位置以及所述各顶点对应的在对象区域中二维坐标点的坐标位置，确定各三维网格模型所在的世界坐标系与对应的对象区域所在的图像坐标系之间的映射关系。16.根据权利要求15所述的装置，其中，所述目标参数信息包括对应目标对象的体型信息和姿态信息，所述重建模块，还用于：将所述各目标对象的体型信息和姿态信息，输入至三维网格创建模型中，所述三维网格创建模型根据所述各目标对象的体型信息和姿态信息进行三维网格模型创建，以得到所述各目标对象的三维网格模型。17.根据权利要求10所述的装置，其中，所述获取模块，用于：获取摄像头采集的待处理图像；对所述待处理图像进行对象检测，以得到至少一个对象检测框的位置；根据所述至少一个对象检测框的位置，对所述待处理图像进行对象区域提取，以得到
所述至少一个对象区域。18.根据权利要求10-17中任一项所述的装置，其中，所述处理模块，用于：获取所述各目标对象中各目标部位的设定的缩放比例；基于所述各目标对象中各目标部位对应的轮廓目标关键点和缩放比例，对所述待处理图像中各目标对象进行缩放处理，以得到目标图像。19.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-9中任一项所述的方法。

技术总结
本公开提出了图像处理方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。方案为：对待处理图像中的目标对象进行三维重建，以得到各目标对象对应的三维网格模型以及对应的世界坐标系与图像坐标系之间的映射关系；根据各三维网格模型中各顶点以及对应的映射关系，确定各目标对象中各目标部位对应的轮廓目标关键点；根据轮廓目标关键点，对待处理图像进行处理，由此，获取轮廓目标关键点时无需依赖大量轮廓关键点数据集，降低了轮廓关键点数据集的采集和标注成本，同时提高了轮廓目标关键点的准确性，进而，提升了图像处理质量和精细度。和精细度。和精细度。


技术研发人员：杨少雄
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.10.28
技术公布日：2022/11/29