一种模型融合方法及相关装置与流程

技术特征：
1.一种模型融合方法，其特征在于，包括：获取第一模型和第二模型，所述第一模型和所述第二模型均属于人体模型中的部分模型；分别将所述第一模型和所述第二模型与预设人体模型进行配准，得到第三模型，所述第三模型包括配准后的第一模型和配准后的第二模型；对所述第三模型中的过渡区域执行变形处理，以平滑所述过渡区域，得到第四模型；其中，所述过渡区域包括所述配准后的第一模型中靠近于所述配准后的第二模型的部分区域，以及所述配准后的第二模型中靠近于所述配准后的第一模型的部分区域。2.根据权利要求1所述的方法，其特征在于，所述第一模型为目标头部模型，所述第二模型为目标身体模型；或者，所述第一模型为目标躯干模型，所述第二模型为目标肢体模型。3.根据权利要求1或2所述的方法，其特征在于，所述对所述第三模型中的过渡区域执行变形处理，以平滑所述过渡区域，得到第四模型，包括：基于所述预设人体模型中的第一区域，确定所述第三模型中与所述第一区域对应的第二区域，所述第二区域包括所述过渡区域；根据所述第二区域中的第一控制区域和第二控制区域，确定所述过渡区域的变形系数，所述第一控制区域和所述第二控制区域分别位于所述第三模型中的不同目标模型上，且所述第一控制区域和所述第二控制区域对应于所述预设人体模型中的相同区域；根据所述变形系数，对所述第三模型中的过渡区域执行变形处理，得到所述第四模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述第二区域中的第一控制区域和第二控制区域，确定所述过渡区域的变形系数，包括：获取所述第一控制区域中的多个第一采样点、所述第二控制区域中的多个第二采样点和第三控制区域中的多个第三采样点，所述多个第一采样点与所述多个第二采样点具有对应关系，所述第二区域包括所述第三控制区域，所述第三控制区域与所述第一控制区域位于同一个目标模型上；根据所述多个第一采样点与所述多个第二采样点之间的坐标变换关系以及所述多个第三采样点与所述多个第三采样点之间的坐标变换关系，确定所述过渡区域的变形系数。5.根据权利要求4所述的方法，其特征在于，所述过渡区域中执行变形处理的区域包括所述第一控制区域、所述第三控制区域以及位于所述第一控制区域与所述第三控制区域之间的变形区域。6.根据权利要求5所述的方法，其特征在于，所述第一控制区域和所述第三控制区域的面积均小于所述变形区域的面积。7.根据权利要求5或6所述的方法，其特征在于，当所述第一模型为目标头部模型，所述第二模型为目标身体模型时，所述第一控制区域、所述第三控制区域和所述变形区域位于所述目标头部模型上，且所述第一控制区域靠近于所述目标身体模型，所述第二控制区域位于所述目标身体模型上；或者，所述第一控制区域、所述第三控制区域和所述变形区域位于所述目标身体模型上，且所述第一控制区域靠近于所述目标头部模型，所述第二控制区域位于所述目标头部模型上。
8.根据权利要求3-7任意一项所述的方法，其特征在于，当所述第一模型为目标头部模型，所述第二模型为目标身体模型时，所述基于所述预设人体模型中的第一区域，确定所述第三模型中与所述第一区域对应的第二区域，包括：获取所述预设人体模型中的脖子的中心轴；根据所述中心轴和所述第一区域，确定与所述第一区域对应的所述第二区域；其中，所述第一区域和所述第二区域中的任意两个具有对应关系的采样点位于垂直于所述中心轴的直线上。9.根据权利要求1-8任意一项所述的方法，其特征在于，当所述第二模型为目标身体模型时，所述将所述第二模型与预设人体模型进行配准，包括：确定所述目标身体模型中的多个第一关键特征点；获取所述预设人体模型的身体模型中预先标记的多个第二关键特征点，所述多个第一关键特征点与所述多个第二关键特征点具有对应关系；根据所述多个第一关键特征点与所述多个第二关键特征点，调整所述预设人体模型的身体模型的形状和/或姿态，并将调整后的预设人体模型配准到所述目标身体模型上。10.根据权利要求9所述的方法，其特征在于，所述多个第一关键特征点包括左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左脚踝和右脚踝中的一个或多个。11.根据权利要求1-10任意一项所述的方法，其特征在于，当所述第一模型为目标头部模型时，所述将所述第一模型与预设人体模型进行配准，包括：确定所述目标头部模型中的多个第三关键特征点；获取所述预设人体模型的头部模型中预先标记的多个第四关键特征点，所述多个第三关键特征点与所述多个第四关键特征点具有对应关系；根据所述多个第三关键特征点与所述多个第四关键特征点，将所述目标头部模型配准到所述预设人体模型的头部模型上。12.根据权利要求11所述的方法，其特征在于，所述多个第三关键特征点包括左眼、右眼、鼻尖、左嘴角和右嘴角中的一个或多个。13.根据权利要求11或12所述的方法，其特征在于，所述确定所述目标头部模型中的多个第三关键特征点，包括：获取所述目标头部模型在不同方向上的多个头部投影图；对所述多个投影图执行人脸检测，以确定所述目标头部模型中人脸的朝向；根据所述目标头部模型人脸的朝向，确定所述目标头部模型中的人脸在不同的投影角度下的多个人脸投影图；分别检测所述多个人脸投影图中的人脸关键特征点，并根据所述人脸关键特征点确定所述目标头部模型中的多个第三关键特征点的空间坐标。14.一种模型融合装置，其特征在于，包括：获取单元，用于获取第一模型和第二模型，所述第一模型和所述第二模型均属于人体模型中的部分模型；配准单元，用于分别将所述第一模型和所述第二模型与预设人体模型进行配准，得到第三模型，所述第三模型包括配准后的第一模型和配准后的第二模型；处理单元，用于对所述第三模型中的过渡区域执行变形处理，以平滑所述过渡区域，得
到第四模型；其中，所述过渡区域包括所述配准后的第一模型中靠近于所述配准后的第二模型的部分区域，以及所述配准后的第二模型中靠近于所述配准后的第一模型的部分区域。15.根据权利要求14所述的装置，其特征在于，所述第一模型为目标头部模型，所述第二模型为目标身体模型；或者，所述第一模型为目标躯干模型，所述第二模型为目标肢体模型。16.根据权利要求14或15所述的装置，其特征在于，所述处理单元，具体用于：基于所述预设人体模型中的第一区域，确定所述第三模型中与所述第一区域对应的第二区域，所述第二区域包括所述过渡区域；根据所述第二区域中的第一控制区域和第二控制区域，确定所述过渡区域的变形系数，所述第一控制区域和所述第二控制区域分别位于所述第三模型中的不同目标模型上，且所述第一控制区域和所述第二控制区域对应于所述预设人体模型中的相同区域；根据所述变形系数，对所述第三模型中的过渡区域执行变形处理，得到所述第四模型。17.根据权利要求16所述的装置，其特征在于，所述处理单元，具体用于：获取所述第一控制区域中的多个第一采样点、所述第二控制区域中的多个第二采样点和第三控制区域中的多个第三采样点，所述多个第一采样点与所述多个第二采样点具有对应关系，所述第二区域包括所述第三控制区域，所述第三控制区域与所述第一控制区域位于同一个目标模型上；根据所述多个第一采样点与所述多个第二采样点之间的坐标变换关系以及所述多个第三采样点与所述多个第三采样点之间的坐标变换关系，确定所述过渡区域的变形系数。18.根据权利要求17所述的装置，其特征在于，所述过渡区域中执行变形处理的区域包括所述第一控制区域、所述第三控制区域以及位于所述第一控制区域与所述第三控制区域之间的变形区域。19.根据权利要求18所述的装置，其特征在于，所述第一控制区域和所述第三控制区域的面积均小于所述变形区域的面积。20.根据权利要求18或19所述的装置，其特征在于，当所述第一模型为目标头部模型，所述第二模型为目标身体模型时，所述第一控制区域、所述第三控制区域和所述变形区域位于所述目标头部模型上，且所述第一控制区域靠近于所述目标身体模型，所述第二控制区域位于所述目标身体模型上；或者，所述第一控制区域、所述第三控制区域和所述变形区域位于所述目标身体模型上，且所述第一控制区域靠近于所述目标头部模型，所述第二控制区域位于所述目标头部模型上。21.根据权利要求16-20任意一项所述的装置，其特征在于，当所述第一模型为目标头部模型，所述第二模型为目标身体模型时，所述处理单元，具体用于：获取所述预设人体模型中的脖子的中心轴；根据所述中心轴和所述第一区域，确定与所述第一区域对应的所述第二区域；其中，所述第一区域和所述第二区域中的任意两个具有对应关系的采样点位于垂直于所述中心轴的直线上。22.根据权利要求15-21任意一项所述的装置，其特征在于，当所述第二模型为目标身
体模型时，所述配准单元，具体用于：确定所述目标身体模型中的多个第一关键特征点；获取所述预设人体模型的身体模型中预先标记的多个第二关键特征点，所述多个第一关键特征点与所述多个第二关键特征点具有对应关系；根据所述多个第一关键特征点与所述多个第二关键特征点，调整所述预设人体模型的身体模型的形状和/或姿态，并将调整后的预设人体模型配准到所述目标身体模型上。23.根据权利要求22所述的装置，其特征在于，所述多个第一关键特征点包括左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左脚踝和右脚踝中的一个或多个。24.根据权利要求15-23任意一项所述的装置，其特征在于，当所述第一模型为目标头部模型时，所述配准单元，具体用于：确定所述目标头部模型中的多个第三关键特征点；获取所述预设人体模型的头部模型中预先标记的多个第四关键特征点，所述多个第三关键特征点与所述多个第四关键特征点具有对应关系；根据所述多个第三关键特征点与所述多个第四关键特征点，将所述目标头部模型配准到所述预设人体模型的头部模型上。25.根据权利要求24所述的装置，其特征在于，所述多个第三关键特征点包括左眼、右眼、鼻尖、左嘴角和右嘴角中的一个或多个。26.根据权利要求24或25所述的装置，其特征在于，所述配准单元，具体用于：获取所述目标头部模型在不同方向上的多个头部投影图；对所述多个投影图执行人脸检测，以确定所述目标头部模型中人脸的朝向；根据所述目标头部模型人脸的朝向，确定所述目标头部模型中的人脸在不同的投影角度下的多个人脸投影图；分别检测所述多个人脸投影图中的人脸关键特征点，并根据所述人脸关键特征点确定所述目标头部模型中的多个第三关键特征点的空间坐标。27.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为执行所述代码，当所述代码被执行时，所述电子设备执行如权利要求1至13任意一项所述的方法。28.一种计算机存储介质，其特征在于，所述计算机存储介质存储有指令，所述指令在由计算机执行时使得所述计算机实施权利要求1至13任意一项所述的方法。29.一种计算机程序产品，其特征在于，所述计算机程序产品存储有指令，所述指令在由计算机执行时使得所述计算机实施权利要求1至13任意一项所述的方法。

技术总结
本申请公开了一种模型融合方法，应用于计算机视觉技术领域。该方法包括：获取第一模型和第二模型，所述第一模型和所述第二模型均属于人体模型中的部分模型；分别将所述第一模型和所述第二模型与预设人体模型进行配准，得到第三模型，所述第三模型包括配准后的第一模型和配准后的第二模型；对所述第三模型中的过渡区域执行变形处理，以平滑所述过渡区域，得到第四模型；其中，所述过渡区域包括所述配准后的第一模型中靠近于所述配准后的第二模型的部分区域，以及所述配准后的第二模型中靠近于所述配准后的第一模型的部分区域。基于本方案，能够融合来源不同的头部模型和身体模型，从而生成新的人体模型，提高人体模型的生成效率。率。率。


技术研发人员：苏益沛
受保护的技术使用者：华为技术有限公司
技术研发日：2021.11.04
技术公布日：2022/3/21