多模态感知移动机器人无地图导航方法、系统及存储介质

本发明涉及移动机器人自主导航，尤其是涉及一种基于跨模态整流融合与深度强化学习的移动机器人无地图导航方法、系统及存储介质。

背景技术：

1、移动机器人无地图导航方法通常依赖激光雷达或视觉传感器获取环境信息并生成运动控制指令。单独使用激光雷达时，由于其仅能获取距离信息，缺乏场景语义，机器人在需要目标识别或语义理解的导航任务中容易陷入局部最优；单独使用视觉传感器时，图像特征易受光照变化和遮挡影响，导致障碍物距离估计不准确，避障能力受限。

2、为此，已有研究将激光雷达与视觉传感器结合用于无地图导航，并引入深度强化学习进行策略训练。然而，现有多模态融合方法大多采用特征直接拼接的方式，未能有效消除两种异构传感器特征之间的模态差异，视觉特征中由光照或遮挡引起的干扰响应无法得到抑制，融合特征的表达质量受到影响。此外，现有方法的奖励函数设计多局限于目标距离和碰撞信号，未充分利用多模态感知信息对导航行为进行约束，在含动态障碍物的复杂场景中导航鲁棒性不足。

技术实现思路

1、本发明的目的在于提供一种多模态感知移动机器人无地图导航方法、系统及存储介质，以解决现有技术中存在的以下技术问题：现有多模态融合导航方法采用特征直接拼接的方式，未能有效消除激光雷达特征与视觉特征之间的模态差异，视觉特征中由光照变化或遮挡引起的干扰响应无法得到抑制，导致融合特征表达质量不足；现有深度强化学习导航方法的奖励函数设计局限于目标距离和碰撞信号，未充分利用多模态感知信息对导航行为进行约束，在含动态障碍物的复杂场景中导航鲁棒性不足。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明提供一种多模态感知移动机器人无地图导航方法，包括以下步骤：获取移动机器人的激光雷达数据、视觉图像数据及目标状态信息；分别对所述激光雷达数据和所述视觉图像数据进行特征提取，得到激光雷达特征和视觉特征，所述激光雷达特征与所述视觉特征具有相互匹配的特征维度；利用跨模态整流融合机制对所述激光雷达特征和所述视觉特征进行交互校正，所述跨模态整流融合机制从通道维度和空间维度建立所述激光雷达特征与所述视觉特征之间的对应关系，利用所述激光雷达特征生成通道整流权重和空间整流权重，以残差叠加方式对所述视觉特征进行整流校正，得到整流后的视觉特征，将所述整流后的视觉特征经投影映射和尺度恢复后生成融合特征；根据所述激光雷达数据计算环境风险信息，利用门控网络根据所述环境风险信息生成风险权重，将所述融合特征划分为多个特征块并映射为融合特征序列，利用所述风险权重对所述融合特征序列进行动态调节，得到风险感知特征序列，将所述目标状态信息编码得到目标状态嵌入向量，将所述目标状态嵌入向量与所述风险感知特征序列拼接后输入注意力网络进行全局特征交互，生成目标感知导航决策特征；构建多模态复合奖励函数，所述多模态复合奖励函数包括基础导航任务奖励及激光雷达空隙对齐奖励、视觉逼近奖励和跨模态一致性奖励，将所述目标感知导航决策特征输入深度强化学习策略网络，根据所述多模态复合奖励函数对所述深度强化学习策略网络进行训练，输出移动机器人的线速度控制指令和角速度控制指令。通过上述方案，跨模态整流融合机制利用激光雷达的几何约束信息对视觉特征进行残差式双维度校正，能够有效抑制视觉特征中的干扰响应，提升融合特征的表达质量；风险门控机制根据实时环境风险信息动态调节融合特征中各信息的权重，实现目标感知与风险感知的自适应平衡；多模态复合奖励函数从多维度约束策略训练，提高了导航安全性和鲁棒性。

4、进一步地，所述激光雷达数据为由移动机器人前方视场范围内各扫描方向的测距值构成的激光雷达距离向量；所述视觉图像数据为连续多帧灰度图像堆叠构成的视觉观测序列；所述目标状态信息包含移动机器人与目标点之间的相对距离、目标相对于移动机器人当前航向的方位角、移动机器人当前线速度和当前角速度。通过将激光雷达距离向量、多帧视觉观测序列与目标状态信息共同构成多模态观测状态，使导航决策能够同时利用环境几何信息、局部时序视觉信息和目标相对位置信息，为后续特征提取与融合提供完整的多源输入。

5、进一步地，所述激光雷达距离向量由对激光雷达原始数据进行采样、截断和归一化处理后得到；所述视觉观测序列由对视觉图像进行灰度化、尺寸调整和归一化处理后得到；所述目标状态信息中的相对距离、方位角、线速度和角速度各分量均经归一化处理至统一数值范围。上述预处理操作消除了不同量纲数据对网络训练收敛性的影响，并通过截断处理避免超量程数据引入噪声。

6、优选地，所述视觉观测序列由连续4帧分辨率为128×160像素的灰度图像堆叠构成；所述激光雷达距离向量的维数为20。该参数配置在保证感知信息完整性的同时，有效控制了网络输入规模，适于在边缘计算平台上进行实时推理。

7、进一步地，所述跨模态整流融合机制中，通道整流权重由通道门控单元生成，所述通道门控单元对所述激光雷达特征分别进行全局平均池化和全局最大池化，将两个分支的池化结果相加后经全连接层映射得到通道整流权重；空间整流权重由空间门控单元生成，所述空间门控单元对所述激光雷达特征进行1×1卷积操作得到空间整流权重；所述整流后的视觉特征由下式得到：

8、

9、其中，为视觉特征，为激光雷达特征，为通道校正函数，为空间校正函数，为通道校正权重，为空间校正权重。通道门控单元通过双分支池化捕获激光雷达特征在通道方向的全局统计信息，空间门控单元通过逐点卷积捕获空间位置的几何约束，二者协同作用实现对视觉特征的精细化残差校正。

10、优选地，所述通道校正权重和所述空间校正权重均为可学习参数，在训练过程中自适应调节通道维度校正与空间维度校正对视觉特征整流的相对贡献。将两类校正权重设置为可学习参数，使网络能够根据不同场景的特征分布自动确定通道校正与空间校正的最优比例，增强了跨模态整流融合机制的泛化能力。

11、进一步地，所述环境风险信息包括激光雷达探测范围内的最小障碍物距离和激光雷达距离数据的标准差；所述风险权重由多层感知机根据所述环境风险信息映射生成，用于对所述融合特征序列中各特征块的权重进行动态调节。最小障碍物距离反映当前最紧迫的碰撞风险，标准差反映环境空间分布的复杂程度，二者共同构成对当前环境危险程度的量化表征，为门控网络提供可靠的风险输入。

12、进一步地，当所述最小障碍物距离减小或所述标准差增大时，所述风险权重增大几何风险信息对所述融合特征序列的调节幅度；当障碍物距离较大且环境较为空旷时，所述风险权重保留视觉语义信息和目标状态信息对导航决策的作用。该动态调节逻辑使导航系统在障碍物密集场景下优先响应几何避障信息，在空旷场景下充分利用视觉语义和目标方向信息，从而减少局部最优现象的发生。

13、进一步地，所述激光雷达空隙对齐奖励用于在移动机器人的运动方向与最大可通行空隙方向接近时给予正向奖励；所述视觉逼近奖励用于根据相邻时刻视觉图像的变化量确定移动机器人接近障碍物的风险程度，当视觉图像变化量超过设定阈值时对前进速度施加惩罚；所述跨模态一致性奖励用于在激光雷达感知结果与视觉风险判断一致时给予正向奖励，在两种模态的风险判断差异超过设定范围时给予惩罚。三类多模态奖励分量分别从通行方向选择、接近速度控制和跨模态感知一致性三个维度约束策略学习，引导机器人形成安全、稳健的导航行为。

14、优选地，所述基础导航任务奖励包括导航启发奖励、动作约束奖励、目标到达奖励和碰撞惩罚；所述多模态复合奖励函数的总奖励为：

15、

16、其中，、、分别为对应奖励项的权重系数。该奖励函数将基础导航任务奖励与多模态感知奖励有机结合，各权重系数可根据应用场景需求独立调节，兼顾了导航效率与安全性的平衡。

17、在一些实施例中，所述深度强化学习策略网络采用适用于连续动作空间的柔性演员评论家算法，输出移动机器人的线速度控制指令和角速度控制指令。柔性演员评论家算法通过最大化熵目标函数在策略探索与利用之间取得平衡，适合处理连续动作空间的导航控制任务，具有较高的样本效率和训练稳定性。

18、本发明还提供一种多模态感知移动机器人无地图导航系统，包括激光雷达传感器、视觉传感器和处理器，还包括：特征提取模块，与所述激光雷达传感器和所述视觉传感器信号连接，用于分别对激光雷达数据和视觉图像数据进行特征提取，得到激光雷达特征和视觉特征，所述激光雷达特征与所述视觉特征具有相互匹配的特征维度；跨模态整流融合模块，与所述特征提取模块信号连接，用于从通道维度和空间维度建立所述激光雷达特征与所述视觉特征之间的对应关系，利用所述激光雷达特征生成通道整流权重和空间整流权重，以残差叠加方式对所述视觉特征进行整流校正，得到整流后的视觉特征，将所述整流后的视觉特征经投影映射和尺度恢复后生成融合特征；风险门控决策模块，与所述跨模态整流融合模块信号连接，用于根据所述激光雷达数据计算环境风险信息，利用门控网络根据所述环境风险信息生成风险权重，将所述融合特征划分为多个特征块并映射为融合特征序列，利用所述风险权重对所述融合特征序列进行动态调节，得到风险感知特征序列，将目标状态嵌入向量与所述风险感知特征序列拼接后输入注意力网络进行全局特征交互，生成目标感知导航决策特征；策略执行模块，与所述风险门控决策模块信号连接，用于将所述目标感知导航决策特征输入经多模态复合奖励函数训练的深度强化学习策略网络，输出移动机器人的线速度控制指令和角速度控制指令，所述多模态复合奖励函数包括基础导航任务奖励及激光雷达空隙对齐奖励、视觉逼近奖励和跨模态一致性奖励。该系统将上述方法中各处理阶段封装为功能模块，各模块之间通过明确的信号连接关系传递特征数据，便于在不同硬件平台上进行部署和集成。

19、进一步地，所述跨模态整流融合模块包括通道门控单元、空间门控单元和特征映射单元；所述通道门控单元与所述特征提取模块信号连接，用于对所述激光雷达特征进行全局平均池化和全局最大池化并将两分支结果相加后经全连接层映射，生成通道整流权重；所述空间门控单元与所述特征提取模块信号连接，用于对所述激光雷达特征进行1×1卷积操作，生成空间整流权重；所述特征映射单元与所述通道门控单元和所述空间门控单元信号连接，用于利用所述通道整流权重和所述空间整流权重对所述视觉特征进行残差式整流，并对整流后的视觉特征进行投影映射和上采样，生成所述融合特征。通道门控单元、空间门控单元和特征映射单元的分工协作，使跨模态整流融合模块能够在通道和空间两个维度上对视觉特征进行精细化校正，并通过上采样操作恢复融合特征的空间分辨率。

20、进一步地，所述导航系统还包括边缘计算器，所述边缘计算器与所述激光雷达传感器和所述视觉传感器通信连接，用于运行所述特征提取模块、所述跨模态整流融合模块、所述风险门控决策模块和所述策略执行模块的推理计算，并将输出的线速度控制指令和角速度控制指令发送至移动机器人的运动控制器。边缘计算器部署于移动机器人本体，可在无需远程服务器的情况下完成全部推理计算，保证了导航决策的实时性，并降低了对网络通信的依赖。

21、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述移动机器人无地图导航方法的各步骤。该存储介质保护形式使本发明的导航方法能够以软件形式灵活部署于不同型号的处理器和计算平台，扩展了本发明的适用范围。

22、与现有技术相比，本发明具有如下有益效果：

23、通过构建跨模态整流融合机制，利用激光雷达特征从通道维度和空间维度对视觉特征进行残差式双维度整流校正，有效抑制了视觉图像中因光照变化、遮挡和背景干扰引起的无效特征响应，增强了与障碍物边界和可通行区域相关的有效特征，克服了现有方法采用特征直接拼接无法消除模态差异的缺陷，提升了多模态融合特征的表达质量和感知精度。

24、通过引入风险门控决策机制，根据激光雷达数据实时计算环境风险信息并生成风险权重，对融合特征序列进行动态调节，实现了在障碍物密集场景下自动增大几何风险信息权重、在空旷场景下充分利用视觉语义和目标状态信息的自适应决策特征生成，减少了复杂未知环境中移动机器人陷入局部最优的情况，提高了导航的目标到达成功率。

25、通过设计包含激光雷达空隙对齐奖励、视觉逼近奖励和跨模态一致性奖励的多模态复合奖励函数，从通行方向选择、障碍物接近速度控制和跨模态感知一致性三个维度对深度强化学习策略训练进行约束，克服了现有方法奖励函数仅依赖目标距离和碰撞信号导致训练不稳定的缺陷，提高了策略学习的稳定性、导航安全性和在含动态障碍物复杂场景中的鲁棒性。