基于跨模态监督迁移的激光雷达人体表面重建方法及系统
本发明涉及三维感知、人体姿态估计与人体表面重建,特别是一种基于跨模态监督迁移的激光雷达人体表面重建方法及系统。
背景技术:
1、人体三维表面重建是三维视觉与智能感知领域的重要研究方向,其目标是根据传感器观测数据恢复人体的空间姿态、关节结构以及完整表面形态。现有方法通常依赖rgb图像、深度图像、多目相机或人体参数化模型进行重建。视觉类方法能够提供丰富的纹理和语义信息,但在实际应用中容易受到光照变化、人体遮挡、视角受限以及隐私保护要求的影响,难以在复杂场景下长期稳定部署。
2、激光雷达作为主动式三维感知设备,能够直接获取人体及周围环境的空间点云信息,具有不依赖环境光照、三维几何表达直接、隐私风险较低等优点,因此逐渐被用于人体姿态估计和人体表面重建任务。然而,真实激光雷达点云通常具有稀疏、不完整、局部遮挡明显、点密度分布不均和背景噪声较多等特点。相比图像或深度图,单帧激光雷达点云难以完整覆盖人体表面,尤其在四肢、躯干边缘和姿态变化较大的情况下,人体局部结构信息容易缺失,从而增加端到端人体表面重建的难度。
3、现有基于激光雷达的人体表面重建方法通常需要大量带有三维人体真值标注的数据进行训练,而高质量人体表面真值的获取成本较高。公开数据集虽然能够提供预训练模型和基础监督信息,但其采集设备、场景尺度、动作类别、点云密度和噪声分布往往与实际自建场景存在差异。直接将公开数据集训练得到的模型应用到新的采集环境中,容易出现人体网格扭曲、局部结构失真、表面顶点偏差较大和点级语义划分性能下降等问题。
4、此外,现有方法在跨域适配时缺乏对输入点云质量的有效甄别机制。不同预处理方式对点云的空间连续性、局部密度和背景噪声抑制效果各不相同,而传统方法通常仅采用单一固定的预处理策略,无法根据自建场景的具体数据分布特性进行针对性优化,导致模型难以在不同采集条件下获得稳定的重建性能。同时,现有方法在模型微调阶段往往采用统一的训练策略,未充分考虑不同训练阶段对学习率及优化目标的差异化需求,限制了模型在目标场景下的精细收敛能力。在模型评价层面,现有方法多侧重于人体姿态层面的精度衡量,缺乏对人体表面顶点恢复质量和局部几何结构一致性的系统性评估手段,难以全面反映模型在实际应用中的重建效果。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种基于跨模态监督迁移的激光雷达人体表面重建方法,以解决现有方法在自建场景下因点云稀疏、标注数据缺乏、公开模型跨域适应能力不足及缺乏系统性预处理筛选与多阶段优化机制,导致人体表面重建精度低、稳定性差的技术问题。
2、为达到上述目的,本发明提供如下技术方案:
3、本发明提供的基于跨模态监督迁移的激光雷达人体表面重建方法,包括以下步骤:
4、步骤1,构建端到端基础模型,所述基础模型包括点云特征提取模块、姿态回归模块和网格重建模块;所述点云特征提取模块基于pointtransformer-v2骨干网络,用于从输入激光雷达点云中提取空间几何特征;所述姿态回归模块包含投票模块与精细化模块,用于估计人体关节位置并完成关键点补全;所述网格重建模块基于多分辨率网格结构,采用图卷积与graphormer结合作为传播模块,通过特征传播机制维持不同分辨率网格之间的父子对应关系,最终层采用全连接层生成6890维smpl参数;
5、步骤2,加载所述基础模型在公开数据集上的预训练权重,将所述预训练模型直接应用于自建激光雷达人体点云数据,进行前向推理并获得初始迁移测试结果,将所述初始迁移测试结果作为后续自建数据微调训练的参照基线;
6、步骤3,构建多种不同预处理方式的自建点云数据版本,包括人体区域裁剪版本、去地面版本、聚类净化版本和联合净化版本中的至少两种,以所述预训练模型作为初始化模型,分别在各版本自建点云数据上进行基础微调训练,在训练过程中利用验证集进行评价,根据评价结果筛选出综合表现较优的至少一个优选数据版本;
7、步骤4,选取所述优选数据版本及其对应的基础微调训练后模型权重,采用小于基础微调训练的学习率进行二阶段优化训练,在训练过程中持续统计多项评价指标,记录各指标达到最优结果的训练轮次,并根据所述多项评价指标的综合表现确定最终人体表面重建模型;
8、步骤5,将所述最终人体表面重建模型应用于测试集,对输入激光雷达人体点云进行前向推理,输出人体关节位置、人体表面顶点和人体网格结果。
9、进一步,步骤3中所述基础微调训练过程中,保持网络结构、训练轮数、优化器和主要超参数一致,以保证不同点云版本之间具有可比性;对于在验证集上人体主体保留不稳定、局部结构缺失或训练效果明显较差的数据版本,不再进入后续优化训练。
10、进一步,所述网格重建模块在重建过程中持续引入点云特征以增强局部表面几何信息利用,所述传播模块中的图卷积与graphormer通过对不同分辨率网格的特征进行传递和聚合,实现由稀疏到稠密的人体表面网格恢复。
11、进一步,步骤4中所述二阶段优化训练采用小于基础微调训练的学习率进行训练。
12、进一步,步骤3和步骤4中所述多项评价指标包括以下至少两种:
13、平均关节位置误差,用于衡量预测关节与真实关节之间的空间误差;
14、平均顶点位置误差,用于衡量预测网格顶点与真实网格顶点之间的平均距离;
15、平均边长误差,用于刻画预测网格与真实网格在局部几何结构上的绝对偏差;
16、平均相对边长误差,用于衡量局部细节恢复质量;
17、点级分类精度,用于分析点云局部语义学习效果。
18、进一步,所述平均关节位置误差定义为预测关节与真实关节之间欧氏距离的均值;所述平均顶点位置误差定义为预测网格顶点与真实网格顶点之间欧氏距离的均值;所述平均边长误差定义为预测网格边长的绝对值偏差的均值;所述平均相对边长误差定义为预测网格边长与真实网格边长之间的相对偏差的均值。
19、进一步,步骤5中所述推理阶段仅依赖激光雷达点云输入,无需rgb图像输入;步骤5中分别从人体姿态、人体表面和局部几何结构三个层面进行联合评估,以综合评价人体表面重建质量。
20、进一步,步骤3中所述聚类净化版本在部分序列中存在人体主体保留不稳定、局部结构连续性较差的问题时被排除在后续优化训练之外;所述联合净化版本在去地面的基础上进一步执行离群点剔除与点云净化。
21、本发明提供的基于跨模态监督迁移的激光雷达人体表面重建系统,包括:
22、点云预处理模块,用于对输入的原始激光雷达点云执行人体区域裁剪、去地面处理、聚类净化以及联合净化中的至少一种预处理,输出预处理后的人体点云;
23、基础模型模块,存储有端到端基础模型结构及公开数据集预训练权重,所述基础模型包括点云特征提取模块、姿态回归模块和网格重建模块;所述点云特征提取模块基于pointtransformer-v2骨干网络,用于从输入激光雷达点云中提取空间几何特征;所述姿态回归模块包含投票模块与精细化模块,用于估计人体关节位置并完成关键点补全;所述网格重建模块基于多分辨率网格结构,采用图卷积与graphormer结合作为传播模块,通过特征传播机制维持不同分辨率网格之间的父子对应关系,最终层采用全连接层生成6890维smpl参数;
24、训练适配模块,用于以所述预训练模型作为初始化模型,在自建点云数据的多个预处理版本上进行基础微调训练和二阶段优化训练,并基于多项评价指标的验证结果筛选最优模型;
25、推理输出模块,用于将所述最优模型应用于实际场景,对输入激光雷达人体点云进行前向推理,并输出人体关节位置、人体表面顶点和人体网格结果。
26、进一步,所述点云预处理模块输出的预处理后人体点云为去地面版本的人体点云;
27、所述训练适配模块采用的基础微调训练的学习率大于二阶段优化训练的学习率;
28、所述推理输出模块在输出人体表面网格时,同时计算并输出平均关节位置误差、平均顶点位置误差、平均边长误差和平均相对边长误差中的至少一项评估指标。
29、本发明的有益效果在于:
30、本发明提供的基于跨模态监督迁移的激光雷达人体表面重建方法。该方法构建包含点云特征提取模块、姿态回归模块和网格重建模块的基础模型,利用公开数据集预训练权重建立初始模型;将预训练模型迁移至自建激光雷达点云数据,获得初始跨域测试结果;构建多种输入版本的自建点云数据并分别进行基础微调训练;根据验证集多项评价指标的综合表现,筛选优选数据版本并开展二阶段优化训练;选取综合性能最优的模型完成人体关节、表面顶点和网格的重建输出。本发明通过跨模态监督迁移和分阶段优化训练,使模型适应目标场景下的点云分布,提高人体表面重建的稳定性和精度。本发明适用于人体运动分析、康复评估、智慧医疗和人机交互等应用场景。与现有技术相比,本发明具有以下有益效果:
31、(一)跨模态监督迁移实现标注高效的自建场景适配
32、本发明通过利用视觉辅助生成的人体表面监督信息,对基于激光雷达点云的人体表面重建模型进行跨模态监督迁移训练,使得在缺乏大量三维人体真值标注的自建场景下,模型仍能有效学习目标场景的数据分布特征。相比于传统方法需要大量带有三维人体真值标注的数据进行训练,本发明显著降低了对人工标注的依赖,克服了公开数据集与实际自建场景之间因采集设备、场景尺度、动作类别、点云密度和噪声分布差异导致的模型跨域性能退化问题,使模型能够在实际部署场景中获得稳定的人体表面重建能力。
33、(二)多版本点云输入筛选机制优化输入数据质量
34、本发明针对自建激光雷达点云数据构建了包括人体区域裁剪版本、去地面版本、聚类净化版本和联合净化版本在内的多种输入版本,并通过基础微调训练后的验证集评价对不同版本进行系统性比较与筛选。该机制能够根据人体姿态恢复精度、人体表面重建精度、局部网格结构一致性和点级分类精度等多维度指标,筛选出最适合当前目标场景的点云预处理策略。相比于传统方法采用单一固定的预处理方式,本发明能够有效应对不同采集场景下点云稀疏性、背景噪声和局部遮挡程度的差异,避免了聚类净化版本因人体主体保留不稳定而影响训练效果的问题,从输入数据层面保障了后续模型训练的质量。
35、(三)分阶段优化训练策略提升模型收敛精度
36、本发明采用“公开数据预训练权重初始化→自建数据多版本基础微调训练→优选版本二阶段优化训练”的递进式训练策略。基础微调训练阶段使模型初步适应目标场景的数据分布,二阶段优化训练阶段采用更小的学习率对优选版本进行精细优化,使模型在已有收敛基础上进一步适应自建场景的人体点云分布、动作模式和监督标签特征。实验结果表明,该分阶段训练策略能够有效改善模型在人体整体姿态恢复、表面顶点重建和局部几何保持方面的综合表现,在plane版本上平均顶点位置误差从初始的0.29米降低至约0.04米,平均相对边长误差从0.15降低至约0.037,点级分类精度从约0.04提升至约0.91。
37、(四)多维度联合评价体系全面衡量重建质量
38、本发明从人体姿态、人体表面和局部几何结构三个层面建立了多维度联合评价体系,采用平均关节位置误差衡量人体姿态恢复精度,采用平均顶点位置误差衡量人体表面整体恢复精度,采用平均边长误差和平均相对边长误差从局部几何结构角度补充刻画网格细节恢复质量。该评价体系克服了传统方法仅依赖单一姿态评价指标导致无法全面反映表面重建质量的缺陷,为模型筛选和优化训练提供了可靠的评价依据,确保最终选取的模型在姿态、表面和局部几何三个层面均具备优良性能。
39、(五)推理阶段仅依赖激光雷达点云兼具精度与隐私保护
40、本发明在推理阶段仅需输入激光雷达人体点云,无需依赖rgb图像输入,在保证三维几何感知精度的同时兼具隐私保护优势。相比视觉类方法在实际应用中容易受到光照变化、人体遮挡、视角受限及隐私保护要求影响的问题,本发明不依赖环境光照条件,三维几何表达直接,能够适用于复杂场景下的长期稳定部署。
41、本发明的上述和其他目的、优点及特征,将通过下文结合附图的具体实施方式的详细描述而得到更充分的阐述和证明。本领域技术人员在参阅了下文的详细描述和附图后,将能够更好地理解并实现本发明的上述优点。本发明的其他目标、特征和优点,在具体实施方式部分并结合附图进行详细描述后,将变得更加清楚。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com