基于全身照片的获取个性化人体身材数据提取方法及系统与流程

摘要: 本发明涉及计算机视觉与人体测量技术交叉领域,尤其是涉及基于全身照片的获取个性化人体身材数据提取方法及系统。背景技术:1、目前从二维图像中提取人体身材数据的技术领...
基于全身照片的获取个性化人体身材数据提取方法及系统与流程

本发明涉及计算机视觉与人体测量技术交叉领域,尤其是涉及基于全身照片的获取个性化人体身材数据提取方法及系统。

背景技术:

1、目前从二维图像中提取人体身材数据的技术领域已存在多类公知技术,但各自均存在明显局限性:

2、第一类:传统人工标注与测量方法。需要在图像上人工标注关键点(如肩点、腋下点、腰点、胯点等),再根据已知尺寸参照物进行比例换算。该方法操作繁琐、依赖人工经验,且需要参照物,无法大规模自动化应用。

3、第二类:基于关键点检测的比例推演方法。利用深度学习模型检测图像中的人体关键点(coco格式的17个或25个关键点),根据关键点间的像素距离结合人体比例先验推算出各部位实际尺寸。其问题在于:关键点数量有限(17-25个),无法精确描述人体曲线;比例先验对个体差异较大的用户误差较大;无法捕捉胸围、腰围、臀围等围度尺寸。

4、第三类:基于参数化人体模型的拟合方法(如smpl、scape)。通过深度学习网络从图像中回归预测smpl等参数化模型的形态参数和姿态参数,再从中提取尺寸(代表技术包括hmr、pare、romp等)。其缺点是:参数化模型基于统计平均值构建,仅表示相对于平均体型的偏移量而非实际厘米级尺寸;对偏离统计平均较大的体型拟合精度有限;仅10个形态参数的压缩导致信息损失大,无法精确还原个体独特体型特征。

5、第四类:基于三维重建的直接测量方法。从单目图像重建完整三维人体模型后测量尺寸。其缺点是:基于普通rgb图像的重建精度有限且计算量大;基于3d结构光的方法需专用硬件,无法在普通手机上应用。

6、第五类:面向具体尺寸的直接回归方法。跳过三维重建,直接从图像特征回归具体尺寸数值。其缺点是:模型泛化能力有限,对训练数据未充分覆盖的体型精度下降;缺乏三维几何约束,难以确保各尺寸间的一致性。

7、综上,现有技术存在六大核心问题:(1)关键点稀疏无法精确描述人体曲线;(2)参数化模型的统计平均特性导致个体特征丢失;(3)围度尺寸测量精度不足;(4)缺乏针对服装定制的尺寸映射机制;(5)对穿着宽松衣物的用户处理不佳;(6)测量结果缺乏可解释性和置信度评估。在申请日之前,从二维图像提取人体身材数据面临核心困境:追求精度需专用设备或多角度拍摄,追求便利性则牺牲精度和细节。

技术实现思路

1、本发明提供基于全身照片的获取个性化人体身材数据提取方法及系统,旨在解决现有技术中存在的“关键点稀疏无法描述曲线”“参数化模型丢失个体特征”“围度测量精度不足”“缺乏服装定制映射”等技术问题,通过设计一种直接从图像特征回归人体尺寸数据的端到端框架,并引入基于几何约束的尺寸一致性校验机制,实现从全身照片到精准身材数据的高效转换。

2、为实现上述目的,本发明采用了如下技术方案:

3、基于全身照片的获取个性化人体身材数据提取方法,包括:

4、获取用户输入的至少一张全身照片;

5、对所述全身照片进行图像预处理,所述图像预处理至少包括人体检测和人像分割,得到预处理图像;

6、将所述预处理图像输入多尺度人体尺寸回归网络,通过所述多尺度人体尺寸回归网络的卷积神经网络提取全局特征图;

7、通过部件注意力机制分别对多个身体部位生成注意力权重图,利用所述注意力权重图对所述全局特征图进行加权得到各身体部位的注意力加权特征;

8、利用所述注意力权重图在所述全身照片中确定各身体部位的局部区域,对所述局部区域进行裁剪并提取局部特征;

9、将各身体部位的注意力加权特征与对应的所述局部特征融合,得到各身体部位的融合特征;

10、根据各身体部位的融合特征,通过所述多尺度人体尺寸回归网络回归得到各身体部位尺寸与参考尺寸的比值;

11、根据所述全局特征图,通过所述多尺度人体尺寸回归网络预测所述参考尺寸的数值;

12、将各身体部位尺寸与参考尺寸的比值乘以所述参考尺寸的数值,得到各身体部位尺寸的绝对值;

13、通过dropout monte carlo方法对所述多尺度人体尺寸回归网络进行多次前向传播,根据多次前向传播的预测结果计算每个身体部位尺寸的预测均值和预测方差,并根据所述预测均值和预测方差计算每个身体部位尺寸的置信度分数;

14、输出各身体部位尺寸的绝对值及其对应的置信度分数。

15、基于全身照片的获取个性化人体身材数据提取系统,应用所述基于全身照片的获取个性化人体身材数据提取方法,所述基于全身照片的获取个性化人体身材数据提取系统包括:

16、图像采集与预处理模块,用于获取用户输入的至少一张全身照片,对所述全身照片进行人体检测和人像分割,输出预处理图像;

17、多尺度人体尺寸回归模块,用于接收所述预处理图像,通过卷积神经网络提取全局特征图,通过部件注意力机制分别对多个身体部位生成注意力权重图,利用所述注意力权重图对所述全局特征图进行加权得到各身体部位的注意力加权特征,利用所述注意力权重图在所述全身照片中确定各身体部位的局部区域,对所述局部区域进行裁剪并提取局部特征,将各身体部位的所述注意力加权特征与对应的所述局部特征融合得到各身体部位的融合特征,根据各身体部位的所述融合特征回归得到各身体部位尺寸与参考尺寸的比值,根据所述全局特征图预测所述参考尺寸的数值,将所述比值乘以所述参考尺寸的所述数值得到各身体部位尺寸的绝对值,并通过dropout monte carlo方法进行多次前向传播,根据多次前向传播的预测结果计算每个身体部位尺寸的预测均值和预测方差,根据所述预测均值和所述预测方差计算每个身体部位尺寸的置信度分数;

18、输出模块,用于输出各身体部位尺寸的绝对值及其对应的置信度分数。

19、综上所述,本发明至少具有以下有益效果:

20、在输入便利性方面,将用户输入从“多角度多张照片”或“专用设备扫描”简化为“单张全身照片”,用户只需用手机拍摄一张日常照片即可完成身材数据提取,大幅降低使用门槛。

21、在精度方面,通过“全局-局部”多尺度回归、扩散模型细节生成、解剖学对齐测量三重机制,将关键尺寸(胸围、腰围、臀围)的平均绝对误差控制在±0.5厘米以内,达到服装定制的工业级精度要求。

22、在完整性方面,输出数十项人体尺寸数据(包括胸围、腰围、臀围、肩宽、臂长、腿长、颈围、腕围、踝围等),并自动转换为成衣尺寸,可直接用于服装生产和定制。

23、在可解释性方面,为每个尺寸输出置信度分数(0-1区间),让用户和品牌方直观了解哪些尺寸可靠、哪些需要复核,高置信度尺寸可直接用于生产,低置信度尺寸触发人工复核流程。

24、在鲁棒性方面,通过着装检测与补偿机制,能够处理用户穿着日常服装(非紧身衣)的照片,适用范围远超现有技术。

25、在速度方面,快速模式可在2秒内完成身材数据提取,高精度模式可在10秒内完成,满足实时交互体验需求。

1.基于全身照片的获取个性化人体身材数据提取方法,其特征在于,包括:

2.根据权利要求1所述的基于全身照片的获取个性化人体身材数据提取方法,其特征在于,所述部件注意力机制为:针对每个身体部位,通过一个可学习的注意力分支对所述全局特征图进行卷积操作,将卷积结果经sigmoid激活函数映射至0到1区间,生成该身体部位的注意力权重图,将所述注意力权重图与所述全局特征图逐元素相乘,得到该身体部位的注意力加权特征。

3.根据权利要求1所述的基于全身照片的获取个性化人体身材数据提取方法,其特征在于,所述参考尺寸为身高;所述多尺度人体尺寸回归网络在输出层设置一个神经元,所述神经元用于输出所述参考尺寸的数值。

4.根据权利要求1所述的基于全身照片的获取个性化人体身材数据提取方法,其特征在于,所述多尺度人体尺寸回归网络的训练过程采用尺寸一致性损失函数:根据人体测量学先验知识定义多个人体比例约束,每个人体比例约束包含一个比例函数和一个约束阈值,计算所述多尺度人体尺寸回归网络的预测值对应的实际比例与所述约束阈值的偏差,对所有约束的偏差进行加权求和得到尺寸一致性损失值,将所述尺寸一致性损失值与回归损失值和正则化损失值加权求和作为总损失值,以所述总损失值最小化为目标训练所述多尺度人体尺寸回归网络。

5.根据权利要求1所述的基于全身照片的获取个性化人体身材数据提取方法,其特征在于,所述通过dropout monte carlo方法计算置信度分数的步骤中:在推理阶段保持所述多尺度人体尺寸回归网络的dropout层启用,对同一输入进行多次前向传播,每次前向传播得到各身体部位尺寸的一个预测值,计算各身体部位尺寸在多次前向传播中的预测均值和预测标准差,将所述预测标准差除以所述预测均值得到变异系数,将所述变异系数经指数衰减函数映射为0到1之间的置信度分数;当所述置信度分数低于预设阈值时,将该身体部位尺寸标记为需要人工复核。

6.根据权利要求1所述的基于全身照片的获取个性化人体身材数据提取方法,其特征在于,所述图像预处理还包括姿态检测,得到姿态偏差参数;还包括步骤:获取三维人体网格,根据所述姿态偏差参数对所述三维人体网格进行姿势校正。

7.根据权利要求6所述的基于全身照片的获取个性化人体身材数据提取方法,其特征在于,所述姿势校正的步骤为:在所述三维人体网格上检测多个关键标志点,将检测到的所述关键标志点与预定义的标准姿势模板上的对应标志点进行比对,计算每个关键标志点的位移向量,采用径向基函数插值方法将各关键标志点的位移向量平滑地传播至所述三维人体网格的所有顶点,将所述三维人体网格校正至标准测量姿势,在校正后的三维人体网格上重新检测关键标志点位置并验证是否达到标准姿势要求,若未达到要求则重复进行位移计算和插值传播。

8.根据权利要求1所述的基于全身照片的获取个性化人体身材数据提取方法,其特征在于,所述图像预处理还包括着装检测,得到衣物宽松等级;还包括体型细节生成步骤:当触发精度提升条件时,从所述预处理图像中提取姿态信息和轮廓信息,将所述姿态信息和所述轮廓信息拼接为条件向量,以随机噪声为初始输入,以所述条件向量为引导,通过预训练的去噪扩散概率模型执行反向去噪过程,生成三维人体体素网格,将所述三维人体体素网格转换为三维人体网格。

9.根据权利要求8所述的基于全身照片的获取个性化人体身材数据提取方法,其特征在于,还包括解剖学对齐测量步骤:在所述三维人体网格上检测多个解剖学标志点,根据所述解剖学标志点定位各身体部位的测量截面,其中胸围截面定位为通过两侧腋下点和乳点的水平截面,腰围截面定位为在肚脐与髂嵴之间的区域内周长最小的水平截面,臀围截面定位为通过臀部最凸点的水平截面,计算每个测量截面与所述三维人体网格表面的交线,计算所述交线的闭合周长作为该身体部位的围度尺寸。

10.基于全身照片的获取个性化人体身材数据提取系统,其特征在于,应用权利要求1至9中任一项所述的基于全身照片的获取个性化人体身材数据提取方法,所述基于全身照片的获取个性化人体身材数据提取系统包括: