机器人视觉导航方法及系统

本发明涉及机器人导航，尤其涉及一种机器人视觉导航方法及系统。

背景技术：

1、基于视觉的机器人导航是机器人领域的一项关键技术，其核心目标是利用机器人的相机获得的当前视觉观测和目标信息，生成机器人的未来路径点，进而实现机器人在未知环境中的自主导航。

2、现有技术，通常将机器人的当前视觉观测信息及其对应的最终导航目标的坐标信息直接输入至端到端网络中，由网络隐式地输出机器人的预测的运动轨迹。而在实际场景中，当前视觉观测信息存在视野范围有限、透视关系复杂和遮挡干扰等问题，且导航目的较远，直接利用该端到端网络直接预测的运动轨迹对机器人进行导航控制时，容易导致偏离导航目标，且难以保证导航的安全性与可执行性。

技术实现思路

1、本发明提供一种机器人视觉导航方法及系统，用以解决现有技术中利用端到端网络直接预测的运动轨迹对机器人进行导航控制时，容易导致偏离导航目标，且难以保证导航的安全性与可执行性的缺陷，实现生成具有目标一致性、局部安全性和实际可执行性的导航轨迹，以提升导航的准确性、安全性与可执行性。

2、本发明提供一种机器人视觉导航方法，包括：

3、将目标机器人对应的导航目标的坐标信息输入至导航规划模型中的长尺度目标引导模块，得到目标引导特征；所述目标引导特征用于表征导航目标与所述目标机器人和所述目标机器人对应的局部区域内各栅格之间的几何关系特征；

4、将所述目标机器人的当前视觉观测信息输入至所述导航规划模型中的局部特征表征模块，得到所述局部区域的局部视觉特征及局部环境风险特征；

5、将所述目标引导特征及所述局部视觉特征输入至所述导航规划模型中的局部目标决策模块，得到所述局部区域内的当前局部子目标；

6、根据所述当前视觉观测信息及所述当前局部子目标的坐标信息，生成初始导航轨迹，并根据所述局部环境风险特征，对所述初始导航轨迹进行优化，得到优化导航轨迹；

7、根据所述优化导航轨迹，对所述目标机器人进行导航控制；

8、其中，所述导航规划模型是根据样本机器人的历史行驶数据训练得到的，所述历史行驶数据包括所述样本机器人在样本时刻获取的样本视觉观测信息、样本导航目标的坐标信息、所述样本视觉观测信息对应的样本深度信息，以及样本行驶轨迹。

9、根据本发明提供一种机器人视觉导航方法，所述将目标机器人对应的导航目标的坐标信息输入至导航规划模型中的长尺度目标引导模块，得到目标引导特征，包括：

10、对所述导航目标的坐标信息进行编码，得到坐标编码特征；

11、将所述坐标编码特征输入至所述长尺度目标引导模块中的多层感知机层，得到目标坐标特征；所述目标坐标特征用于表征所述导航目标与所述目标机器人之间的几何关系特征；

12、根据各所述栅格指向所述导航目标的方向角，以及各所述栅格与所述导航目标之间的距离，构建相对目标特征；所述相对目标特征用于表征所述导航目标与各所述栅格之间的几何关系特征；

13、将所述相对目标特征及所述目标坐标特征输入至所述长尺度目标引导模块中的融合层，得到所述目标引导特征。

14、根据本发明提供一种机器人视觉导航方法，所述对所述导航目标的坐标信息进行编码，得到坐标编码特征，包括：

15、对所述导航目标的坐标信息进行归一化处理，得到归一化目标坐标信息；

16、分别以多个频率对所述归一化目标坐标信息逐元素施加正弦函数和余弦函数，得到各所述频率对应的正弦编码结果和余弦编码结果；

17、将所述归一化目标坐标信息、所述正弦编码结果和所述余弦编码结果进行拼接，得到所述坐标编码特征。

18、根据本发明提供一种机器人视觉导航方法，所述将所述目标机器人的当前视觉观测信息输入至所述导航规划模型中的局部特征表征模块，得到所述局部区域的局部视觉特征及局部环境风险特征，包括：

19、将所述当前视觉观测信息输入至所述局部特征表征模块的视觉编码层，得到图像特征；

20、将所述图像特征输入至所述局部特征表征模块的视锥转换层，得到视锥特征；

21、根据所述目标机器人的相机的内参，以及所述相机的坐标系与所述目标机器人的坐标系之间的变换矩阵，将所述视锥特征投影至所述局部区域内的各栅格中，得到所述局部视觉特征；

22、将所述局部视觉特征输入至所述局部特征表征模块的可通行性预测层，得到所述局部环境风险特征。

23、根据本发明提供一种机器人视觉导航方法，所述将所述目标引导特征及所述局部视觉特征输入至所述导航规划模型中的局部目标决策模块，得到所述局部区域内的当前局部子目标，包括：

24、将所述目标引导特征及所述局部视觉特征输入至所述局部目标决策模块的融合层，得到局部空间特征；

25、将所述局部空间特征输入至所述局部目标决策模块的局部目标决策层，得到局部子目标序列；所述局部子目标序列包括至少一个位于所述局部区域内的局部子目标；

26、在所述导航目标位于所述局部区域之外的情况下，将所述局部子目标序列中距离所述目标机器人最近的有效的局部子目标确定为所述当前局部子目标；

27、在所述导航目标位于所述局部区域之内的情况下，将所述导航目标确定为所述当前局部子目标。

28、根据本发明提供一种机器人视觉导航方法，所述根据所述当前视觉观测信息及所述当前局部子目标的坐标信息，生成初始导航轨迹，包括：

29、将所述当前视觉观测信息输入至轨迹预测模型中的视觉编码模块，得到视觉特征序列；

30、将所述当前局部子目标的坐标信息输入至所述轨迹预测模型中的特征嵌入模块，得到目标嵌入特征；

31、将所述目标嵌入特征及所述视觉特征序列输入至所述轨迹预测模型中的特征交互模块，得到交互特征；

32、将所述交互特征输入至所述轨迹预测模型中的预测模块，得到所述初始导航轨迹。

33、根据本发明提供一种机器人视觉导航方法，所述根据所述局部环境风险特征，对所述初始导航轨迹进行优化，得到优化导航轨迹，包括：

34、根据所述局部环境风险特征，确定各所述栅格的障碍概率值；

35、根据所述障碍概率值，将各所述栅格划分为障碍栅格或者自由栅格；所述障碍栅格的障碍概率值大于障碍概率阈值，所述自由栅格的障碍概率值小于或等于所述障碍概率阈值；

36、对于所述局部区域内的每一栅格，计算所述栅格到距离所述栅格最近的障碍栅格之间的第一距离，以及所述栅格到距离所述栅格最近的自由栅格之间的第二距离，并根据所述第一距离与所述第二距离之差，得到所述栅格的符号距离；

37、根据各所述栅格的符号距离，生成局部代价图；

38、根据所述局部代价图，对所述初始导航轨迹进行迭代修正，得到所述优化导航轨迹。

39、根据本发明提供一种机器人视觉导航方法，所述根据所述局部代价图，对所述初始导航轨迹进行迭代修正，得到所述优化导航轨迹，包括：

40、将所述初始导航轨迹中的各航点映射至所述局部区域内的栅格，并根据各所述航点所映射的栅格在所述局部代价图中的代价值，确定所述初始导航轨迹的总代价值；

41、根据所述总代价值相对于所述初始导航轨迹的空间梯度、更新步长以及代价约束权重，对所述初始导航轨迹中的各航点进行迭代修正，得到所述优化导航轨迹。

42、根据本发明提供一种机器人视觉导航方法，所述导航规划模型的训练步骤包括：

43、根据所述样本深度信息，生成所述样本机器人的样本局部区域内的障碍物区域证据；

44、根据所述样本行驶轨迹中位于所述样本局部区域内的行驶轨迹，生成所述样本局部区域内的可通行区域证据；

45、融合所述障碍物区域证据和所述可通行区域证据，生成可通行性标签和有效区域掩码；所述有效区域掩码用于标识未知区域或已知区域；

46、根据所述样本行驶轨迹中位于所述样本局部区域内的行驶轨迹，生成局部子目标序列标签；

47、将所述样本机器人在所述样本时刻的样本视觉观测信息及样本导航目标的坐标信息输入至初始化模型，得到所述初始化模型输出的样本局部环境风险特征、样本局部子目标序列；

48、根据所述样本局部环境风险特征与所述可通行性标签在已知区域内的偏差，确定第一损失值；

49、根据所述样本局部子目标序列与所述局部子目标序列标签之间的偏差，确定第二损失值；

50、根据所述第一损失值及所述第二损失值，对所述初始化模型进行训练，得到所述导航规划模型。

51、本发明还提供一种机器人视觉导航系统，包括：

52、第一特征提取单元，用于将目标机器人对应的导航目标的坐标信息输入至导航规划模型中的长尺度目标引导模块，得到目标引导特征；所述目标引导特征用于表征导航目标与所述目标机器人和所述目标机器人对应的局部区域内各栅格之间的几何关系特征；

53、第二特征提取单元，用于将所述目标机器人的当前视觉观测信息输入至所述导航规划模型中的局部特征表征模块，得到所述局部区域的局部视觉特征及局部环境风险特征；

54、子目标生成单元，用于将所述目标引导特征及所述局部视觉特征输入至所述导航规划模型中的局部目标决策模块，得到所述局部区域内的当前局部子目标；

55、初始轨迹生成单元，用于根据所述当前视觉观测信息及所述当前局部子目标的坐标信息，生成初始导航轨迹；

56、优化单元，用于根据所述局部环境风险特征，对所述初始导航轨迹进行优化，得到优化导航轨迹；

57、控制单元，用于根据所述优化导航轨迹，对所述目标机器人进行导航控制；

58、其中，所述导航规划模型是根据样本机器人的历史行驶数据训练得到的，所述历史行驶数据包括所述样本机器人在样本时刻获取的样本视觉观测信息、样本导航目标的坐标信息、所述样本视觉观测信息对应的样本深度信息，以及样本行驶轨迹。

59、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述机器人视觉导航方法。

60、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述机器人视觉导航方法。

61、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述机器人视觉导航方法。

62、本发明提供的机器人视觉导航方法及系统，通过长尺度目标引导模块对导航目标的坐标信息进行几何关系建模得到目标引导特征，建立了远距离目标信息与局部运动决策之间的有效连接，克服了仅依赖当前局部观测进行决策容易产生短视行为的技术缺陷；在此基础上，通过局部特征表征模块将透视图像空间中的当前视觉观测信息转换为机器人坐标系下的局部视觉特征并预测局部环境风险特征，使目标机器人能够显式感知周围空间布局和潜在风险；进一步地，通过局部目标决策模块融合目标引导特征与局部视觉特征决策当前局部子目标，将远距离目标导航任务转化为局部范围内可执行的运动任务，并通过局部环境风险特征对初始导航轨迹进行约束优化，使最终的优化导航轨迹在保持与导航目标方向一致的同时远离障碍区域和高风险区域，有效确保了目标机器人在缺少高精地图和强先验环境信息的条件下导航过程的目标一致性、局部安全性与轨迹可执行性，实现了正确、安全、稳定、可执行的自主机器人导航。