一种空间语义建图方法及系统与流程

本发明涉及空间语义构建，具体为一种空间语义建图方法及系统。

背景技术：

1、随着仓储物流自动化的发展，堆满高密度货架的无人仓对叉车式agv的长时间可靠自主定位提出了严格要求。叉车agv依赖空间语义建图技术，通过融合激光点云与相机图像构建包含货架结构、货物箱体、托盘及地面等语义类别的三维地图，并基于该地图实现位姿估计。

2、现有空间语义建图方法大多采用离散语义标签的地图表征形式，将语义类别以静态标签赋予三维栅格，通过贝叶斯滤波等概率融合手段进行多帧更新。这种表征假定环境物体在较长时间内保持准静态，只有当传感器明确观测到物体消失时，对应栅格的语义标签才能切换或清除。

3、然而，在高密度货架仓库场景中，货物被频繁存取，箱体或托盘在货架上的出现与消失呈现瞬时、非连续的特点。货物存取行为缺乏可被跟踪的连续运动轨迹，且高度相似的箱体外观和巷道内的严重视角遮挡，使得传感器往往无法直接捕获变化瞬间，仅能获取变化前后的不一致观测。在此条件下，离散语义标签地图中已移走货物对应的栅格仍长期残留箱体或托盘标签，形成与真实环境不符的错误语义信息。在后续定位过程中，这些残留标签产生虚假匹配约束，使位姿解算引入系统性偏差，随残留累积最终导致定位精度丧失，严重制约叉车agv在动态仓库中的长期稳定运行，因此，我们提出一种空间语义建图方法及系统。

技术实现思路

1、为解决上述技术问题，本发明提供一种空间语义建图方法及系统，包括以下步骤：

2、步骤s1：获取仓库静态结构先验信息，在三维栅格地图中对静态结构占据的栅格初始化结构信息素浓度，并将非静态结构栅格的信息素浓度置零，设定静态结构占据栅格的信息素蒸发速率为0；

3、步骤s2：采集叉车agv上多线激光雷达的点云数据和环视rgb相机的图像数据，对图像进行语义分割，并将语义标签投影至点云，生成带有语义标签和观测置信度的语义点云；

4、步骤s3：将每帧语义点云映射至栅格地图，对于每个语义类别和栅格，根据落入栅格的投影点数量、预设饱和阈值及投影点的平均置信度，计算语义信息素释放增量，并将所述语义信息素释放增量注入对应栅格；

5、步骤s4：按照固定时间步长，对全局地图中非静态结构栅格执行信息素蒸发操作，静态结构占据的栅格不执行信息素蒸发操作，保持初始浓度恒定，并将当前时间窗口内释放的全部语义信息素增量累加至对应栅格，得到更新后的语义信息素浓度场地图；

6、步骤s5：获取当前帧的语义点云作为查询点云，在候选位姿下将查询点云变换至地图坐标系，根据各查询点对应语义类别在栅格中的信息素浓度计算匹配得分，以最大化加权匹配得分为目标求解最优位姿，实现叉车agv定位。

7、进一步地，所述步骤s1包括以下步骤：

8、步骤s11：从仓库cad布局图或无货物空仓扫描点云中提取货架立柱、横梁、背板、地面及天花板作为永久性静态结构，生成静态结构模板；

9、步骤s12：对被所述静态结构占据的栅格，将结构信息素浓度初始化为最大值，并设定蒸发速率，使结构信息素浓度永不衰减；对货架内部空位、通道区域及其他非静态结构空间，初始浓度均置为零。

10、进一步地，所述步骤s2中包括以下步骤：

11、步骤s21：将多线激光雷达采集的点云与多个环视rgb相机采集的图像进行时间戳对齐，利用预设外部标定矩阵将图像像素投影至激光点，形成带语义标签的稠密点云，其中为点的三维坐标，为语义类别，至少包含箱体、托盘、货架结构、地面和背景杂物五种语义类别；

12、步骤s22：根据激光反射率和点云局部几何特征为每个投影点分配观测置信度，其中高反射率且表面平整的点被赋予较高的观测置信度。

13、进一步地，所述步骤s3中,为将一帧瞬时观测中不同语义类别的空间分布与观测质量转化为局部栅格的语义信息素注入量，使货物物体的出现以信息素浓度升高的形式得到即时表达，对于语义类别和栅格，若当前帧有个类别为的投影点落入该栅格，语义信息素释放增量公式如下：

14、

15、式中，为语义类别的单次释放强度系数，货物类别的值被设定为高于静态结构类别，使货物语义信息素浓度能够快速建立；为点数量饱和阈值，用于限制密集点云对浓度增量的过度影响；为栅格内所有投影点观测置信度的平均值。

16、进一步地，所述步骤s4中，对全局地图中非结构性栅格进行信息素蒸发和增量累加，通过蒸发项使随时间衰减的货物信息素浓度模拟物理世界物体的移走，通过累加项将新观测持续注入，使得地图表征自身具备区分暂时性与永久性语义的能力，移走货物后对应栅格的货物信息素浓度自动消退，无需执行显式的动态物体检测；更新方程如下：

17、

18、式中，为时间时栅格内语义类别的信息素浓度；为固定的更新时间步长；为语义类别的信息素蒸发速率，动态货物类别的蒸发速率被设定为大于半静态类别，以保证未被持续观测的货物信息素浓度迅速衰减；表示在时间区间内触发释放的所有观测集合；货架结构占据的栅格不执行蒸发操作，保持永久浓度。

19、进一步地，所述步骤s5中，以最大化加权匹配得分为目标求解最优位姿，使定位求解过程中高浓度的静态结构信息素自动贡献主要匹配得分，而正在蒸发消退的货物信息素因浓度较低，对匹配得分的影响被自然抑制，从而在货物动态变化环境下保持定位结果稳定地锁定于静态货架结构；求解过程如下：

20、

21、式中，为候选位姿；为查询点及其语义类别；为查询点的观测权重；为查询点通过位姿变换至地图坐标系后，对应栅格内语义类别的信息素浓度；为非线性激活函数，一种示例形式为，用于限制过高浓度值对匹配的主导并使低浓度栅格自动失配。

22、进一步地，所述步骤s4获得更新后的语义信息素浓度场地图之后，还包括将所述语义信息素浓度场地图组织为多分辨率体素结构的步骤：建立由粗到精的三层尺度金字塔，最粗层保留高浓度静态结构信息素，中间层同时保留静态结构和长存留货物信息素，最细层保留全部语义信息素细节，且每个层级仅存储浓度大于设定阈值的栅格。

23、进一步地，所述步骤s4执行信息素蒸发与累加的过程中，当观测到高置信度的地面语义点时，对相同栅格内的货物类信息素浓度施加负向修正项，以加快已移走货物所残留的信息素衰减。

24、一种空间语义建图系统，包括先验结构注入模块、数据采集与同步模块、语义点云生成模块、信息素释放模块、浓度场融合更新模块、多分辨率索引模块、语义定位模块和冲突消解模块；

25、所述先验结构注入模块负责从仓库cad平面图或静态结构的几何信息，生成静态结构模板；依据静态结构模板在三维栅格地图中，对静态结构占据的栅格初始化结构信息素浓度为最大值并设蒸发速率为零，使结构信息素浓度永不衰减；非结构性空间栅格浓度初始化为零，形成底层语义基底；

26、所述数据采集与同步模块用于驱动叉车agv上的多线激光雷达和多个环视rgb相机以相同帧率同步触发，完成点云与图像的时间戳对齐，并利用预设外部标定矩阵建立相机像素到激光点的空间投影关系；

27、所述语义点云生成模块用于对每一帧rgb图像执行语义分割，生成至少包含箱体、托盘、货架结构、地面和其他五类的像素级标签；通过多模态数据采集与同步模块提供的投影关系将标签赋给对应激光点，形成带语义标签的稠密点云，同时结合反射率和局部几何特征为每个投影点计算观测置信度；

28、所述信息素释放模块用于将语义点云生成模块输出的每一帧语义点云按空间位置映射至三维栅格，统计落入各栅格的各类别点数，结合预设的点数量饱和阈值和点平均置信度，计算各语义类别的信息素释放增量并注入对应栅格，将瞬时语义观测转化为局部浓度表达；

29、所述浓度场融合更新模块用于固定时间步长对全局非静态结构性栅格执行浓度蒸发衰减，同时累加当前时间窗口内信息素释放模块产生的全部语义信息素增量，更新全局语义信息素浓度场；静态结构栅格不参与蒸发，浓度保持恒定；

30、所述多分辨率索引模块用于将浓度场融合更新模块维护的语义信息素浓度场组织为粗、中、细三层体素金字塔，各层仅保留浓度高于预设阈值的栅格，实现稀疏化压缩，分别提供结构约束和局部细节查询，支撑语义定位模块的分级高效访问；

31、所述语义定位模块用于当前帧语义点云为查询，将查询点变换至候选位姿下的地图坐标系，从多分辨率索引模块获取各点对应栅格的语义信息素浓度，经非线性激活后计算加权匹配得分，通过最大化总得分求解叉车agv的最优位姿，输出实时定位结果；

32、所述冲突消解模块用于在浓度场融合更新模块执行蒸发与累加过程中，当检测到高置信度地面语义观测时，对同栅格内的货物类信息素浓度施加负向修正，加速已移走货物残留信息素的消退，降低新旧语义短暂交叠造成的定位歧义。

33、本发明具有以下有益效果：

34、1、本发明引入信息素浓度作为语义表征的连续量，利用蒸发机制使未被持续观测的货物语义浓度自然衰减，利用释放机制使新出现货物的语义浓度快速累积。地图表征自身即具备了随时间流动反映物理世界变化的能力，无需显式判别货物的存取行为，从根本上消除了动态检测模块失效导致的地图一致性破坏风险，使地图维护过程对物体变化频率和幅度具有鲁棒性。

35、2、本发明中，定位匹配得分直接依赖于语义信息素浓度，高浓度的永久性结构信息素自动主导位姿求解过程，而正在蒸发消退的货物信息素因浓度较低，对匹配得分的贡献被自然抑制。因此，即便货架上货物发生大规模变动，定位解算的约束主体始终来源于位置固定的货架结构，有效避免了动态物体移动引入的位姿跳变和定位漂移，保障了长期自主运行中的定位稳定性。

36、3、本发明将动态信息的处理完全嵌入信息素浓度场的更新方程中，蒸发和累加操作均为逐栅格的简单代数运算，不引入额外的计算分支或复杂逻辑判断。地图更新与定位共用同一套信息素浓度场表征，无需维护分离的静态地图与动态物体列表，显著简化了系统架构，减少了内存占用和处理器负载，有利于在叉车agv的嵌入式计算平台上实现实时可靠运行。

37、4、本发明通过构建信息素浓度场的多分辨率体素金字塔，粗层级保留高浓度的结构信息素，适于快速全局定位和路径规划；细层级保留完整的语义信息素细节，适于末端精确对准和障碍物规避。各层级仅存储高于阈值的有效浓度栅格，实现了稀疏化压缩。这种分层递进的查询机制使系统能够根据任务需求灵活切换地图尺度，在保证定位精度的同时提升了查询响应速度，适应仓库环境中叉车agv在不同作业阶段的差异化需求。