一种多模态场景自动语义标注方法及系统与流程

本技术涉及自动语义标注的，尤其是涉及一种多模态场景自动语义标注方法及系统。

背景技术：

1、在自动驾驶与机器人环境感知工程中，通常利用激光雷达获取三维点云数据，并结合相机采集的二维图像进行多模态场景的语义标注。点云数据提供目标在三维空间中的绝对坐标和物理轮廓，二维图像提供目标区域的像素级语义细节。工程实践中需要将二维图像内的语义标签跨模态映射至三维点云构建的体素空间中。该映射过程要求系统精准建立像素坐标系与三维空间坐标系的数据关联，以保障多模态特征在真实物理空间中的定位精度。

2、中国专利申请cn119323776a公开了一种基于点云与图像的3d障碍物细分属性预标注方法。该技术采用点云3d目标检测算法生成每一个障碍物的三维检测框，通过计算三维检测框的8个顶点，利用相机和激光雷达的内外参将其投影至多视角图像上。系统在图像平面寻找顶点边界截取感兴趣区域，依据目标大类检索对应的细分预测模型。经过对感兴趣区域进行尺度缩放与图像归一化预处理，该方案在通道维度上拼接多视角图像数据并输入特征提取网络，通过多帧结果融合输出障碍物在三维空间内的细分属性类别。

3、上述方案依靠刚性的几何转换矩阵建立三维边界框与二维图像特征的对应关系，其逻辑基础依赖于激光雷达能够获取连续且密集的物理表面反射点。当测试场景中出现玻璃等高透射材质或发生远距离遮挡工况时，激光脉冲产生穿透或回波丢失，目标空间内的局部点云极度稀疏。受限于该机制单纯依赖外参矩阵进行强行跨模态绑定，未对物理坐标处的实际物质承载状态进行条件仲裁，后方真实目标的二维语义标签会被前方高透射材质（如玻璃）或稀疏噪点错误截留，导致错误投射并附着在前方深度的非目标点云上。这一底层机制的缺失导致不可控的语义错误截留与空间错位，迫使系统在错误的三维空间坐标处生成幽灵语义障碍物，造成最终场景结构化数据的严重空间错位。

技术实现思路

1、为了解决后方真实目标的语义标签被前方高透射材质或稀疏噪点错误截留导致的空间错位，实现准确的三维标注，本技术提供一种多模态场景自动语义标注方法及系统。

2、第一方面，本技术提供的一种多模态场景自动语义标注方法，采用如下的技术方案：一种多模态场景自动语义标注方法，包括：

3、获取待标注场景的、具有硬件时间戳对齐的二维图像帧与三维点云帧，提取所述二维图像帧中携带二维语义标签的目标像素点，并将所述三维点云帧转化为三维体素空间；

4、向所述三维体素空间发射对应于所述目标像素点的、具有中心射线的反投影追踪域，将处于所述反投影追踪域内且内部包含三维点云的非空体素作为候选体素，并按径向深度由近及远依次遍历所述候选体素；

5、提取当前遍历的所述候选体素的径向深度、局部点密度及强度特征，并基于所述径向深度与预设的衰减关系计算密度下限阈值；

6、若所述局部点密度不小于所述密度下限阈值且所述强度特征位于预设的区间，判定所述候选体素的状态为有效，并将所述二维语义标签与所述候选体素绑定，并终止所述目标像素点对后续更深层体素的遍历与绑定操作；

7、若所述候选体素的所述状态未判为有效，则继续遍历下一个所述候选体素；

8、若所有所述候选体素均遍历完毕且所述状态均未判为有效，则回溯计算各所述候选体素的所述局部点密度与对应的所述密度下限阈值的比值，并提取所述比值最大的所述候选体素为中心，按预设的步长逐层扩大包围盒范围进行邻域搜索；

9、将所述邻域搜索覆盖且状态判定为有效的体素作为备选体素，若在预设的最大搜索层级内寻得所述备选体素，则选取至所述反投影追踪域的所述中心射线垂直距离最小的所述备选体素与所述二维语义标签绑定，并终止所述目标像素点的绑定操作；

10、若达到所述预设的最大搜索层级仍未寻得所述备选体素，则终止所述目标像素点的绑定操作。

11、可选的，所述向所述三维体素空间发射对应于所述目标像素点的、具有中心射线的反投影追踪域，包括：

12、获取采集所述二维图像帧的相机的内参矩阵，以及所述相机所在坐标系与所述三维体素空间所在基准坐标系之间的空间外参矩阵；

13、基于所述内参矩阵与所述空间外参矩阵，构建二维像素坐标系至所述基准坐标系的坐标映射关系；

14、提取所述相机的光学中心，并利用所述坐标映射关系确定所述光学中心在所述基准坐标系下的三维物理坐标，同时计算所述目标像素点映射的三维方向向量；

15、以所述三维物理坐标为起点，沿所述三维方向向量向所述三维体素空间投射，生成所述反投影追踪域的所述中心射线。

16、可选的，所述将处于所述反投影追踪域内且内部包含三维点云的非空体素作为候选体素，并按径向深度由近及远依次遍历所述候选体素，包括：

17、获取所述相机的像素足迹参数，并基于所述像素足迹参数计算所述中心射线的空间发散角；

18、以所述三维物理坐标为锥顶、所述三维方向向量为中心轴线，结合所述空间发散角构建投射于所述三维体素空间内的空间视锥体，作为所述反投影追踪域；

19、提取与所述反投影追踪域具有空间几何交集且内部包含所述三维点云的非空体素，作为所述候选体素，并按径向深度由近及远依次遍历所述候选体素。

20、可选的，所述提取当前遍历的所述候选体素的径向深度、局部点密度及强度特征，包括：

21、计算所述候选体素的三维几何中心至所述基准坐标系原点的三维欧氏距离，作为所述径向深度；

22、统计所述候选体素内部包含的所述三维点云的数量，作为所述局部点密度；

23、计算所述候选体素内部所有所述三维点云的反射强度的均值，作为所述强度特征。

24、可选的，所述基于所述径向深度与预设的衰减关系计算密度下限阈值，包括：

25、获取预设的空间衰减常数、预设的平滑极小值、预设的最大截断门限以及预设的底噪极小值；

26、计算所述空间衰减常数与所述径向深度的平方及所述平滑极小值之和的比值，作为第一衰减密度值；

27、选取所述第一衰减密度值与所述最大截断门限中的较小值，并与所述底噪极小值进行比对取大，作为所述密度下限阈值。

28、可选的，所述基于所述径向深度与预设的衰减关系计算密度下限阈值，包括：

29、获取预设的分段查找表，所述分段查找表包含多个径向深度区间及各所述区间分别对应的基准密度门限，且各所述基准密度门限均不小于预设的底噪极小值；

30、将所述径向深度作为索引查询所述分段查找表，提取匹配的所述基准密度门限，作为所述密度下限阈值。

31、可选的，所述将所述二维语义标签与所述候选体素绑定，包括：

32、提取状态判定为有效的所述候选体素的三维几何中心；

33、关联所述二维语义标签与所述三维几何中心，封装生成结构化语义节点数据包；

34、将所述结构化语义节点数据包写入预设的场景语义数据库，以构建所述二维语义标签与所述候选体素在所述三维体素空间中的映射节点。

35、可选的，所述提取所述比值最大的所述候选体素为中心，按预设的步长逐层扩大包围盒范围进行邻域搜索，包括：

36、以所述比值最大的所述候选体素的三维几何中心为基准，构建初始三维包围盒；

37、按所述预设的步长逐层向外扩展所述初始三维包围盒的三维边界，生成当前搜索层级的包围盒搜索域；

38、提取所述包围盒搜索域内邻域体素的径向深度、局部点密度及强度特征，并基于提取的所述径向深度重新计算密度下限阈值，以判定所述邻域体素的状态是否为有效。

39、可选的，所述选取至所述反投影追踪域的所述中心射线垂直距离最小的所述备选体素与所述二维语义标签绑定，包括：

40、若所述当前搜索层级的包围盒搜索域内存在至少两个状态判定为有效的所述邻域体素，将各所述邻域体素标记为所述备选体素；

41、分别计算各所述备选体素的三维几何中心至所述中心射线的垂直空间欧氏距离；

42、选取所述垂直空间欧氏距离最小的所述备选体素与所述二维语义标签绑定，并终止所述邻域搜索。

43、第二方面，本技术提供的一种多模态场景自动语义标注系统，采用如下的技术方案：一种多模态场景自动语义标注系统，包括：

44、数据采集模块，用于获取待标注场景的、具有硬件时间戳对齐的二维图像帧与三维点云帧，提取所述二维图像帧中携带二维语义标签的目标像素点，并将所述三维点云帧转化为三维体素空间；

45、映射追踪模块，用于向所述三维体素空间发射对应于所述目标像素点的、具有中心射线的反投影追踪域，将处于所述反投影追踪域内且内部包含三维点云的非空体素作为候选体素，并按径向深度由近及远依次遍历所述候选体素；

46、特征仲裁模块，用于提取当前遍历的所述候选体素的径向深度、局部点密度及强度特征，并基于所述径向深度与预设的衰减关系计算密度下限阈值；若所述局部点密度不小于所述密度下限阈值且所述强度特征位于预设的区间，判定所述候选体素的状态为有效，并将所述二维语义标签与所述候选体素绑定，并终止所述目标像素点对后续更深层体素的遍历与绑定操作；

47、标注代偿模块，用于若所述候选体素的所述状态未判为有效，则继续遍历下一个所述候选体素；若所有所述候选体素均遍历完毕且所述状态均未判为有效，则回溯计算各所述候选体素的所述局部点密度与对应的所述密度下限阈值的比值，并提取所述比值最大的所述候选体素为中心，按预设的步长逐层扩大包围盒范围进行邻域搜索；将所述邻域搜索覆盖且状态判定为有效的体素作为备选体素，若在预设的最大搜索层级内寻得所述备选体素，则选取至所述反投影追踪域的所述中心射线垂直距离最小的所述备选体素与所述二维语义标签绑定，并终止所述目标像素点的绑定操作；若达到所述预设的最大搜索层级仍未寻得所述备选体素，则终止所述目标像素点的绑定操作。

48、综上所述，本技术包括以下有益技术效果：

49、1、本技术通过沿反投影追踪域由近及远逐层遍历候选体素，并引入基于径向深度动态变化的密度下限阈值与强度特征区间构成双重有效性判定条件，仅当体素的局部点密度与强度特征同时满足门限要求时才将二维语义标签绑定至当前候选体素并终止更深层遍历，客观上避免了前方高透射材质或稀疏噪点对二维语义标签的错误截留，有效降低了后方真实目标语义被错误附着于前方非目标体素的风险，提升了三维体素空间中语义标注的位置准确性。

50、2、本技术通过以比值最大的候选体素为中心逐层扩大包围盒进行邻域搜索，并以至中心射线垂直距离最小为准则从备选体素中选取绑定目标，在主线遍历未能判定有效体素的情形下提供了补充标注路径，有效提升了稀疏点云或遮挡场景下二维语义标签仍能锚定至三维物理表面的能力，扩大了自动语义标注方法的工况适应范围。

51、3、本技术通过将二维图像帧与三维点云帧经硬件时间戳对齐后分别提取目标像素点并转化为三维体素空间，结合预标定的相机内参矩阵与空间外参矩阵构建反投影追踪域，并基于体素内点云数量统计与反射强度均值计算实现局部点密度与强度特征的同步提取，有效降低了跨模态映射过程中因传感器时空未对齐或特征提取不充分而产生的语义漂移，增强了多模态数据融合环节的信息保真度。