一种视觉辅助的激光雷达人体表面重建数据集的构建方法及系统

本发明涉及三维感知、计算机视觉、激光雷达点云处理以及深度学习训练数据构，特别是一种视觉辅助的激光雷达人体表面重建数据集的构建方法及系统。

背景技术：

1、人体表面三维重建旨在由传感器观测恢复人体的姿态、形状及表面网格结构，在康复评估、运动分析、智能交互、数字孪生和虚拟现实等领域具有重要应用价值。现有方法较多依赖单目或多目视觉图像进行人体网格恢复，该类方法能够利用丰富的外观纹理和人体轮廓信息，但也容易受到光照变化、遮挡、背景复杂度和隐私保护需求的影响；同时，单纯图像观测本质上属于二维投影，深度尺度和人体表面空间结构需要依赖模型先验或学习结果间接恢复，因而在复杂场景下可能出现空间偏差。

2、激光雷达作为主动式三维测量设备，可以直接获得目标表面的空间点云，相比纯视觉传感器具有不依赖环境光照、空间几何信息明确、隐私暴露程度较低等特点。因此，采用激光雷达点云进行人体表面重建具有较好的工程应用潜力。但是，人体在激光雷达点云中的有效采样点通常较为稀疏，并且点云存在无序性、密度不均、局部遮挡、地面背景干扰和离群点噪声等问题，导致直接利用原始点云训练人体表面重建网络时难以获得稳定的监督约束。

3、对于端到端的人体表面重建模型而言，高质量训练样本不仅需要激光雷达人体点云输入，还需要与其对应的三维关节、人体姿态参数、形状参数和表面网格真值。传统真值构建方式往往依赖光学动捕系统、惯性传感器或人工标注。光学动捕系统对场地和设备条件要求较高，惯性传感器需要受试者穿戴额外装置，而人工标注难以获得稠密表面级真值，均不利于低成本、可扩展的数据集构建。

4、多视角视觉系统能够从不同方向获取人体图像，通过二维关节点检测、多视角几何约束和参数化人体模型拟合生成较为完整的人体三维监督信息。若能够在训练数据生成阶段利用多视角视觉系统提供监督真值，再将生成的真值与同一时刻的激光雷达人体点云进行配准和封装，则可以兼顾视觉系统的标注能力与激光雷达部署阶段的隐私和光照鲁棒优势。

5、然而，在实际采集过程中，激光雷达与多相机通常具有不同的坐标系、采样频率、数据格式和采集主机时间基准，现有方法未给出可靠的空间标定和时间对齐方案。若未进行上述校准，点云输入与视觉监督真值将无法对应到同一人体姿态瞬间，进而造成训练标签错配。此外，原始激光雷达点云中存在地面、环境结构、离群点和局部聚类失败等情况，现有方法缺乏针对训练样本质量控制的点云净化和无效样本剔除机制。因此，亟需一种能够统一完成跨传感器空间标定、跨设备时间补偿、人体点云提取净化、监督真值映射、一致性检查和训练样本封装的数据生成方法。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种视觉辅助的激光雷达人体表面重建数据集的构建方法及系统，该方法解决了现有激光雷达人体表面重建训练过程中高质量三维监督真值获取困难、跨模态观测难以精确对应、原始点云背景干扰较强以及训练样本组织不规范的问题。

2、为达到上述目的，本发明提供如下技术方案：

3、本发明提供的视觉辅助的激光雷达人体表面重建数据集的构建方法，包括以下步骤：

4、步骤1，构建雷视协同采集系统，所述雷视协同采集系统包括激光雷达和多视角相机；通过所述激光雷达获取人体及环境的三维点云，通过所述多视角相机采集不同视角下的人体图像，对所述点云、所述图像及其各自的时间戳进行统一记录和存储；

5、步骤2，对所述激光雷达与所述多视角相机进行空间标定，利用标定辅助装置建立跨传感器空间关系；通过所述多视角相机求解所述标定辅助装置在相机坐标系下的位姿，通过所述激光雷达求解所述标定辅助装置在激光雷达坐标系下的位姿；根据同一时刻所述标定辅助装置在所述相机坐标系和所述激光雷达坐标系中的位姿对应关系，求解所述激光雷达到所述相机的外参参数；

6、步骤3，对所述激光雷达与所述多视角相机进行时间同步与帧匹配，以所述激光雷达的时间基准为参考，对所述多视角相机的图像时间戳进行补偿校正；以所述激光雷达的点云帧为基准，在补偿后的图像序列中为每帧点云匹配时间上最接近的图像帧，并通过时间门限筛选出有效点云-图像样本对；

7、步骤4，构建多源监督信息与人体点云样本，将完成时空对齐后的同一时刻的所述激光雷达点云、所述多视角相机图像和人体表面监督信息组织到同一样本层级；对原始点云分别进行人体区域裁剪处理、基于随机抽样一致性算法的地面去除处理、基于密度的空间聚类净化处理以及组合执行地面去除和聚类净化的联合净化处理，形成裁剪版本、去地面版本、聚类版本和联合净化版本四种不同净化程度的人体点云输入版本；将所述人体表面监督信息统一转换到所述激光雷达坐标系下，并与各版本所述人体点云输入进行空间一致性检查，剔除无效样本；

8、步骤5，封装训练样本并组织数据集，将有效样本封装为标准化训练样本，所述标准化训练样本包含人体点云、姿态参数、形状参数、三维关节、表面顶点及辅助标签；按照采集序列整体划分训练集、验证集和测试集，形成用于人体表面重建模型训练的数据集。

9、进一步，步骤2中，所述标定辅助装置为棋盘格标定板；所述通过所述多视角相机求解所述标定辅助装置在相机坐标系下的位姿，包括：利用相机内参，通过检测所述棋盘格标定板的图像角点，并结合已知的棋盘格空间坐标，求解所述棋盘格标定板相对于相机坐标系的旋转矩阵和平移向量；所述通过所述激光雷达求解所述标定辅助装置在激光雷达坐标系下的位姿，包括：从原始点云中提取所述棋盘格标定板表面对应的点云，对提取的点云进行平面拟合得到平面法向量和平面偏置，根据板面点云的几何中心及平面法向量恢复所述棋盘格标定板在激光雷达坐标系中的位姿。

10、进一步，步骤2中，采集多组不同姿态下的所述棋盘格标定板的观测数据，构建联合优化模型求解所述激光雷达到所述相机的外参参数；所述联合优化模型的目标为使各组观测数据中所述棋盘格标定板在所述相机坐标系与所述激光雷达坐标系下的位姿变换关系保持一致。

11、进一步，步骤3中，所述对所述多视角相机的图像时间戳进行补偿校正，具体包括：以连接所述激光雷达的主机为时间参考端，以连接所述多视角相机的主机为待补偿端；采集前多次测量两端主机之间的时间差，对多次测量结果进行统计分析，选取中位数或截尾均值作为固定时间偏移量；利用所述固定时间偏移量对所述多视角相机的图像时间戳进行统一补偿；设定一时间门限，将所述点云帧与其匹配到的所述图像帧之间的时间差与所述时间门限进行比较，当所述时间差小于或等于所述时间门限时保留该点云-图像配对作为有效样本对，当所述时间差大于所述时间门限时舍弃该配对；所述时间门限根据对不同门限值下样本留存率的统计结果进行选取。

12、进一步，所述时间门限根据采集系统的时钟同步精度、人体运动速度以及样本留存率综合确定，在所述激光雷达的采集帧率为10hz、所述多视角相机的采集帧率为30hz时，所述时间门限的取值范围为15毫秒至50毫秒。

13、进一步，步骤4中，所述人体表面监督信息通过以下方式生成：利用完成时间同步后的所述多视角相机图像，通过二维关节点检测和多视角几何约束恢复人体三维关节点；利用所述人体三维关节点拟合参数化人体模型，生成姿态参数、形状参数和表面顶点；将生成的所述姿态参数、所述形状参数和所述表面顶点通过步骤2得到的所述外参参数从所述相机坐标系转换到所述激光雷达坐标系；所述参数化人体模型为smpl模型。

14、进一步，步骤4中，所述空间一致性检查包括：将各版本所述人体点云输入与转换到所述激光雷达坐标系下的所述表面顶点在同一坐标系下进行叠加，检查整体位置一致性和姿态方向一致性；将聚类后人体主体不完整、或所述人体点云输入与所述表面顶点之间存在局部区域偏移或肢体方向不一致的样本标记为无效样本并予以剔除。

15、进一步，步骤5中，所述按照采集序列整体划分训练集、验证集和测试集，包括：以采集序列为单位进行划分，保证同一采集序列的全部样本归属同一数据子集；按照不同动作类别进行分层，在每个动作类别内按序列帧数进行加权分配；按照八比一比一的预设比例将所有有效序列划分为所述训练集、所述验证集和所述测试集。

16、本发明提供的视觉辅助的激光雷达人体表面重建数据集的构建系统，用于执行上述方法，所述系统包括：

17、雷视协同采集单元，包括激光雷达、多视角相机、数据采集与存储终端以及标定辅助装置，用于获取人体及环境的三维点云、不同视角的人体图像，并对所述点云、所述图像及其时间戳进行统一记录和存储；

18、空间标定单元，用于利用所述标定辅助装置建立跨传感器空间关系，求解所述激光雷达到所述相机的外参参数；

19、时间同步与帧匹配单元，用于以所述激光雷达的时间基准为参考对所述多视角相机的图像时间戳进行补偿校正，并以所述激光雷达的点云帧为基准通过时间门限筛选有效点云-图像样本对；

20、数据生成与样本构建单元，用于将完成时空对齐后的所述激光雷达点云、所述多视角相机图像和人体表面监督信息组织到同一样本层级，对原始点云分别进行人体区域裁剪处理、基于随机抽样一致性算法的地面去除处理、基于密度的空间聚类净化处理以及组合执行地面去除和聚类净化的联合净化处理，形成裁剪版本、去地面版本、聚类版本和联合净化版本四种不同净化程度的人体点云输入版本，将所述人体表面监督信息转换到所述激光雷达坐标系下并进行空间一致性检查剔除无效样本；

21、数据集组织单元，用于将有效样本封装为标准化训练样本，并按照采集序列整体划分训练集、验证集和测试集，形成用于人体表面重建模型训练的数据集。

22、进一步，所述数据生成与样本构建单元中，所述人体表面监督信息通过以下方式生成：利用完成时间同步后的所述多视角相机图像，通过二维关节点检测和多视角几何约束恢复人体三维关节点；利用所述人体三维关节点拟合smpl模型，生成姿态参数、形状参数和表面顶点；将生成的所述姿态参数、所述形状参数和所述表面顶点通过所述空间标定单元得到的所述外参参数从所述相机坐标系转换到所述激光雷达坐标系。

23、本发明的有益效果在于：

24、本发明提供的一种视觉辅助的激光雷达人体表面重建数据集的构建方法。该方法构建激光雷达与多视角相机协同采集系统，通过相机标定和激光雷达到相机外参标定建立统一空间参考关系，基于跨主机时间偏移测量、固定补偿和时间门限筛选实现点云帧与图像帧的时序匹配；利用多视角图像恢复人体三维关节并生成参数化人体表面真值，将其转换至激光雷达坐标系；对原始点云进行裁剪、去地面、聚类净化和联合净化处理，形成多版本点云输入；通过点云与真值的空间一致性检查剔除无效样本，将有效样本封装为包含点云、姿态参数、形状参数、三维关节、表面顶点及辅助标签的标准化训练数据。本发明能提高跨模态训练样本的一致性、可靠性和可追溯性，适用于激光雷达人体表面重建模型的数据构建。与现有技术相比，本发明至少具有以下有益效果：

25、第一，通过构建包括激光雷达和多视角相机的雷视协同采集系统，在训练数据生成阶段利用多视角视觉系统生成高质量人体表面监督真值，同时以激光雷达点云作为模型主要输入，降低了纯激光雷达数据缺少稠密标签的问题，实现了视觉系统标注能力与激光雷达部署阶段隐私和光照鲁棒优势的兼顾。

26、第二，通过激光雷达到多视角相机的空间标定，利用标定板建立跨传感器空间关系，使激光雷达点云与视觉监督结果统一到同一空间参考系下；同时通过跨主机时间偏移测量、固定补偿和时间门限筛选策略，使点云帧与图像帧对应到同一人体运动瞬间，克服了异构传感器不同坐标系、采样频率和采集主机时间基准带来的时空错配问题，显著提高了跨模态训练样本的时空一致性。

27、第三，通过对原始点云分别进行人体区域裁剪、基于随机抽样一致性算法的地面去除、基于密度的空间聚类净化以及组合执行地面去除和聚类净化的联合净化处理，形成裁剪版本、去地面版本、聚类版本和联合净化版本四种不同净化程度的人体点云输入版本，有效减少了地面点、背景结构、离群点和局部聚类失败对模型训练的干扰，同时为分析不同预处理策略对训练效果的影响提供了可对比的数据基础。

28、第四，通过将多视角视觉生成的人体表面监督信息转换至激光雷达坐标系，并与各版本人体点云输入进行空间一致性检查，将聚类后人体主体不完整或点云与表面真值之间存在姿态错位、位置偏移的样本标记为无效并予以剔除，有效保障了训练样本的几何正确性和可靠性。

29、第五，通过将有效样本封装为包含人体点云、姿态参数、形状参数、三维关节、表面顶点及辅助标签的标准化训练样本，并按照采集序列整体划分训练集、验证集和测试集，避免了相邻帧跨集合分布带来的数据泄露问题，提高了数据集的可调用性、可追溯性和模型评估的可靠性。

30、第六，本发明所得数据可支持视觉辅助训练、激光雷达独立推理的模型训练范式，在训练阶段利用多视角视觉生成稠密监督真值，在部署或推理阶段仅依赖激光雷达点云输入，有利于在隐私敏感或光照复杂场景中部署人体表面重建模型，拓宽了激光雷达人体表面重建技术的应用范围。

31、本发明的上述和其他目的、优点及特征，将通过下文结合附图的具体实施方式的详细描述而得到更充分的阐述和证明。本领域技术人员在参阅了下文的详细描述和附图后，将能够更好地理解并实现本发明的上述优点。本发明的其他目标、特征和优点，在具体实施方式部分并结合附图进行详细描述后，将变得更加清楚。