语义地图构建方法和边缘设备与流程

本技术属于机器人导航，具体涉及一种语义地图构建方法和边缘设备。

背景技术：

1、在机器人智能导航领域中，为了实现根据语音指令识别场景中导航目标并规划到指定区域的功能，需要基于该场景的语义地图实现。

2、目前，语义地图的构建过程通常包括场景数据采集、单帧语义处理、全局数据融合与结构化地图建模等阶段。在单帧语义处理阶段，通常采用大参数量开放词汇检测模型（如grounding dino）以及大参数量分割模型（如任意分割模型（segment anything model，sam））对连续帧进行目标检测，以便于后续结合位姿进行多帧融合建图。

3、然而，上述大参数量模型部署至边缘设备运行时，存在单帧推理开销大及处理高频图像数据流时运行效率瓶颈显著突出的技术短板；并且，目标检测过程的准确率低。

技术实现思路

1、本技术实施例的目的是提供一种语义地图构建方法和边缘设备，能够大幅降低推理开销、提高边缘侧处理高频图像数据流时的运行效率，并针对性弥补大参数量模型在目标检测过程中准确率低的缺陷。

2、为了解决上述技术问题，本技术是这样实现的：

3、第一方面，本技术实施例提供了一种语义地图构建方法，该方法包括：获取机器人采集的待构建场景的多个第一图像帧；针对多个第一图像帧中每个第一图像帧，调用第一模型对第一图像帧进行实例检测与语义分割处理，得到第一图像帧中各个实例的语义信息，其中，第一模型为基于待训练实例对第二模型的检测准确率调整后的轻量实例检测分割模型；基于多个第一图像帧中各个实例的语义信息，构建待构建场景的语义地图。

4、结合上述第一方面，在一种可能的实现方式中，上述第一模型的构建步骤包括：确定第二模型的预设检测实例集合中的待训练实例；调用文本编码器并结合待训练实例，对第三模型执行微调训练，直至第三模型对于待训练实例的检测准确率大于或等于预设阈值，其中，第三模型与第二模型的检测分割参数结构一一对应；基于微调训练后的第三模型，调整第二模型中待训练实例对应的检测参数，得到第一模型。

5、结合上述第一方面，在一种可能的实现方式中，上述确定第二模型的预设检测实例集合中的待训练实例，包括：确定预设检测实例集合中的样本实例集合，并获取样本实例集合对应的至少一个样本图像帧以及每个样本图像帧中的第一样本实例的真值；针对每个样本图像帧，基于第二模型，检测样本图像帧中的第一样本实例，得到第一样本实例的检测值；对比第一样本实例的检测值与对应的真值，确定第一样本实例的检测准确率；将检测准确率小于预设阈值的第一样本实例作为待训练实例。

6、结合上述第一方面，在一种可能的实现方式中，上述调用文本编码器并结合待训练实例，对第三模型执行微调训练，直至第三模型对于待训练实例的检测准确率大于或等于预设阈值，包括：确定待训练实例的类别名称，并调用文本编码器将类别名称转换为类别向量；将待训练实例对应的样本图像帧输入第三模型的视觉骨干网络，提取得到多尺度视觉特征向量；将视觉特征向量与对应类别向量输入第三模型，结合图文对齐损失、定位损失、掩膜损失确定加权总损失；基于加权总损失，反向传播更新第三模型中检测分割分支的参数权重，迭代训练直至第三模型对于待训练实例的检测准确率大于或等于预设阈值。

7、结合上述第一方面，在一种可能的实现方式中，上述基于微调训练后的第三模型，调整第二模型中待训练实例对应的检测参数，得到第一模型，包括：调用预设文本编码器对预设检测实例集合内的全部实例的类别名称逐一进行特征映射，生成类别词嵌入向量，将全部实例对应的类别词嵌入向量拼接，得到第二模型对应的全局词嵌入矩阵；将微调训练后的第三模型的检测分割分支的参数权重，与全局词嵌入矩阵进行融合计算，得到等效分类核权重与偏置参数；将第二模型的原检测分割分支的参数权重，替换为等效分类核权重与偏置参数，得到第一模型。

8、结合上述第一方面，在一种可能的实现方式中，上述获取机器人采集的待构建场景的多个第一图像帧，包括：获取机器人在待构建场景中移动扫描得到的连续图像帧序列，其中，针对待构建场景中的第一房间区域，机器人进出第一房间区域的位置相同；筛选连续图像帧序列中的多个第一图像帧。

9、其中，筛选连续图像帧序列中的多个第一图像帧，包括：将连续图像帧序列中的首个图像帧作为首个第一图像帧；将首个第一图像帧作为索引图像帧，重复以下第一操作，直至连续图像帧序列遍历结束。

10、第一操作，包括：基于索引图像帧对应的位姿信息，遍历连续图像帧序列中每个图像帧对应的位姿信息，将满足预设条件的图像帧作为下一个第一图像帧；位姿信息包括位置及航向角，预设条件包括以下至少一项：相对位移大于或等于位移阈值、相对航向角变化量大于或等于角度阈值；将下一个第一图像帧作为索引图像帧。

11、结合上述第一方面，在一种可能的实现方式中，上述基于多个第一图像帧中各个实例的语义信息，构建待构建场景的语义地图，包括：对多个第一图像帧中全部实例的语义信息做投影变换处理，得到待构建场景对应的全局点云，其中，全局点云中的每个点均携带对应实例的语义类别信息；遍历各个第一图像帧中实例对应的点云簇，将每两个点云簇作为一组候选实例，将满足预设合并条件的两个候选实例执行合并处理，得到待构建场景对应的语义目标实例合集；基于待构建场景对应的全局点云和语义目标实例合集，构建待构建场景的语义地图；其中，预设合并条件包括以下至少一项：两个候选实例的三维包围盒交并比大于或等于预设交并比阈值；两个候选实例的三维质心距离小于预设距离阈值；两个候选实例的点云簇的重叠度大于预设重叠阈值；两个候选实例的语义类别相同。

12、结合上述第一方面，在一种可能的实现方式中，待构建场景为多楼层场景，上述基于待构建场景对应的语义目标实例合集，构建待构建场景的语义地图，包括：对全局点云的高度坐标构造世界坐标系下的直方图，并在直方图的峰间谷值处设置分割平面，得到待构建场景的各个楼层的子点云；将单个楼层的子点云与机器人的运动轨迹投影至二维栅格平面，将运动轨迹重叠的栅格点对应的包围区域分割为房间区域；将语义目标实例合集中的各个实例的三维质心投影至对应楼层的二维栅格平面，并根据二维栅格平面中第一三维质心的投影位置及高度，确定第一三维质心对应的实例归属的房间及楼层，完成待构建场景的语义地图的关联构建。

13、结合上述第一方面，在一种可能的实现方式中，上述语义信息包括以下至少一项：掩码、语义类别、深度信息以及位姿信息。

14、第二方面，本技术实施例提供了一种语义地图构建装置，该装置包括通信单元以及处理单元；通信单元，用于获取机器人采集的待构建场景的多个第一图像帧；处理单元，用于针对多个第一图像帧中每个第一图像帧，调用第一模型对第一图像帧进行实例检测与语义分割处理，得到第一图像帧中各个实例的语义信息，其中，第一模型为基于待训练实例对第二模型的检测准确率调整后的轻量实例检测分割模型；处理单元，还用于基于多个第一图像帧中各个实例的语义信息，构建待构建场景的语义地图。

15、第三方面，本技术实施例提供了一种边缘设备，该边缘设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

16、第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

17、第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

18、第六方面，本技术提供一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面所描述的方法。

19、需要说明的是，上述计算机指令可以全部或者部分存储在可读存储介质上。其中，可读存储介质可以与装置的处理器封装在一起，也可以与装置的处理器单独封装，本技术对此不作限定。

20、本技术中第二方面至第六方面的描述，可以参考第一方面的详细描述；并且，第二方面至第六方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

21、在本技术中，上述语义地图构建装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本技术类似，属于本技术权利要求及其等同技术的范围之内。

22、本技术的这些方面或其他方面在以下的描述中会更加简明易懂。

23、基于上述技术方案，本技术提供的语义地图构建方法，首先，将机器人采集的待构建场景的多个第一图像帧作为输入，并针对多个第一图像帧中每个第一图像帧，可以调用第一模型，也即基于待训练实例对第二模型的检测准确率调整后的轻量实例检测分割模型，对第一图像帧进行实例检测与语义分割处理，一方面该轻量模型相较大参数量模型，可以大幅降低推理开销且提高边缘侧处理高频图像数据流时的运行效率；另一方面该轻量模型通过待训练实例对第二模型完成检测准确率的优化，可以针对性弥补大参数量模型在目标检测过程中准确率低的缺陷，逐帧输出精准可靠的实例的语义信息；进而可以整合全部图像帧对应的实例的语义信息完成待构建场景的语义地图构建。