基于纯视觉世界模型的GNSS拒止环境无人机路径规划方法及系统与流程

摘要: 本发明属于无人机自主导航,涉及无人机自主导航、视觉感知、世界模型、路径规划和gnss拒止环境智能控制,具体涉及一种基于纯视觉世界模型的gnss拒止环境无人机路径...
基于纯视觉世界模型的GNSS拒止环境无人机路径规划方法及系统与流程

本发明属于无人机自主导航,涉及无人机自主导航、视觉感知、世界模型、路径规划和gnss拒止环境智能控制,具体涉及一种基于纯视觉世界模型的gnss拒止环境无人机路径规划方法及系统。

背景技术:

1、无人机在室内仓储、地下管廊、隧道巡检、灾后搜救、桥下巡查以及城市峡谷低空作业中经常处于gnss拒止环境。在该类环境中,gnss信号可能因建筑遮挡、多路径反射、电磁干扰或地下空间屏蔽而失效,无人机需要依靠机载感知完成定位、建图、避障和路径规划。

2、现有无人机导航方案通常采用视觉相机、惯性测量单元、激光雷达、毫米波雷达或外部定位基站融合的方式提高稳定性。该类方案虽然具有较强工程鲁棒性,但也带来载荷重量增加、功耗提高、设备成本增加、标定维护复杂以及小型无人机适配困难等问题。

3、已有纯视觉或视觉主导导航方法主要包括视觉slam、视觉伺服、特征匹配定位、单目深度估计和语义分割避障。上述方法能够在部分场景下形成当前位置或局部地图,但其通常仅对当前观测进行估计,缺少对未来可通行空间和未来风险变化的显式预测。

4、对于动态人员穿行、门洞遮挡、玻璃反光、弱纹理墙面、低照度通道和狭窄转弯等复杂环境,仅依赖当前占据图进行a星、rrt或人工势场规划容易产生短视决策。当视觉定位漂移增大或局部地图不确定度升高时,传统路径规划方法也难以及时将不确定性纳入轨迹代价。

5、因此,需要一种新的无人机路径规划方法,使无人机在不依赖gnss、激光雷达和外部定位基站的情况下获得具备前瞻性的路径决策能力。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种基于纯视觉世界模型的gnss拒止环境无人机路径规划方法及系统,用于解决现有技术中过度依赖多传感器融合、纯视觉方法缺少未来状态预测以及动态风险处理不足的问题。本发明以视觉图像为核心输入、以可学习世界模型预测未来状态、以滚动时域优化输出飞行路径,使无人机在不依赖gnss、激光雷达和外部定位基站的情况下获得具备前瞻性的路径决策能力。

2、为达到上述目的,本发明提供如下技术方案:

3、方案1:一种基于纯视觉世界模型的gnss拒止环境无人机路径规划方法,具体包括:

4、获取无人机机载视觉相机采集的连续图像序列,并按照预设时间窗形成视觉观测序列。

5、对视觉观测序列进行预处理(包括畸变校正、曝光归一化、关键帧筛选和运动模糊评价),并提取视觉深度图、语义分割图、光流图、视觉里程计相对位姿以及视觉质量特征,形成局部视觉状态。

6、基于视觉深度图、语义分割图和视觉里程计相对位姿构建纯视觉局部地图,所述纯视觉局部地图包括局部占据图、语义风险图、可通行区域图和不确定度图。其中,构建纯视觉局部地图是指利用视觉深度图恢复空间点,经视觉里程计相对位姿转换至同一局部坐标系,并对应语义分割结果;局部占据图表示空间位置被障碍物占据的情况;语义风险图表示对应语义类别及其风险权重形成的风险;可通行区域图表示满足无人机机体空间及安全距离要求的空闲区域;不确定度图表示局部地图估计的不确定程度。

7、建立纯视觉世界模型,包括可信视觉编码器、信念状态更新网络、层级化潜在状态转移网络、语义占据风险场解码器和不确定性校准分支;所述纯视觉世界模型根据当前局部视觉状态和候选控制序列预测未来若干时刻的可通行区域、障碍物占据概率、语义风险、位姿变化和预测不确定度。

8、所述可信视觉编码器以滑动时间窗内的图像序列、视觉深度图、语义分割图、光流图和纯视觉局部地图为输入,输出当前视觉编码特征;

9、所述信念状态更新网络以根据视觉质量特征确定的逐维视觉可信度为门控权重,对当前视觉编码特征与上一时刻的视觉信念状态进行逐维门控融合,输出视觉信念状态,并根据所述逐维视觉可信度对当前视觉观测协方差与先验预测协方差加权并加入协方差膨胀项,得到信念状态协方差矩阵;

10、所述层级化潜在状态转移网络以视觉信念状态和候选控制子序列为输入,输出未来潜在状态均值和未来潜在状态协方差;

11、所述语义占据风险场解码器以未来潜在状态均值和未来潜在状态协方差为输入,输出未来占据概率、未来可通行概率、动态语义速度场和预测不确定度;

12、所述不确定性校准分支以预测不确定度为输入并输出校正后的预测不确定度,不确定度校准损失用于约束校正前的预测不确定度与对应预测结果的误差表现之间的一致性;

13、其中,所述未来占据概率、动态语义速度场与校正后的预测不确定度共同确定语义占据风险场,所述语义占据风险场用于构建风险约束轨迹总代价;所述视觉信念状态和信念状态协方差矩阵回馈至下一时刻的信念状态更新网络,所述语义占据风险场和校正后的预测不确定度用于触发在线重规划。

14、根据所述纯视觉世界模型的预测结果构建候选轨迹的风险约束轨迹总代价;采用滚动时域优化方式从候选轨迹集合中选择轨迹总代价最低的轨迹作为无人机路径规划结果。

15、其中,纯视觉世界模型和滚动时域优化过程不以gnss定位数据、激光雷达点云或外部定位基站坐标作为必要输入。

16、进一步,所述视觉相机包括单目相机、双目相机、多目相机或事件相机中的一种或多种;当采用单目相机时,根据多帧重投影一致性、无人机已知机体尺度和视觉里程计相对位姿恢复局部尺度;当采用双目相机或多目相机时,根据视差深度生成局部三维点云并投影为局部占据图。

17、进一步,所述语义分割图至少包括可通行区域、障碍物、墙体、门洞、人员、车辆、线缆、楼梯口、玻璃区域或反光区域中的一种或多种类别。

18、进一步,所述可信视觉编码器表示为:

19、

20、其中,表示当前视觉编码特征,表示可信视觉编码器,表示滑动时间窗内的图像序列,表示视觉深度图,表示语义分割图,表示光流图,表示纯视觉局部地图。

21、进一步,所述信念状态更新网络表示为:

22、

23、

24、其中,表示视觉信念状态,表示信念状态更新网络,表示先验状态预测网络,表示逐维门控乘法,表示当前时刻视觉信念状态的协方差矩阵,用于表征当前状态估计的不确定性,表示当前视觉观测对应的协方差,表示先验预测协方差;表示逐维视觉可信度向量,表示可信度映射矩阵,表示偏置向量,表示视觉质量特征向量,表示图像梯度质量,表示运动模糊评分,表示曝光评分,表示特征匹配评分,表示语义一致性评分,表示sigmoid函数;表示逐维视觉可信度均值,表示协方差膨胀系数,

d表示视觉信念状态与逐维视觉可信度向量的维数,表示当前时刻逐维视觉可信度向量的第个分量,为维度索引;当视觉可信度下降时,系统提高历史预测状态和地图记忆在当前信念状态中的占比,并通过增大协方差以降低路径规划对不可靠观测的依赖。

25、进一步,所述层级化潜在状态转移网络表示为:

26、

27、其中,表示未来潜在状态均值,表示未来潜在状态协方差,表示候选控制子序列,表示层级化潜在状态转移网络。

28、进一步,所述语义占据风险场解码器表示为:

29、

30、其中,表示未来占据概率,表示未来可通行概率,表示动态语义速度场,表示预测不确定度;表示语义占据风险场解码器;

31、语义占据风险场根据未来占据概率、语义类别风险权重、动态语义速度场和预测不确定度确定,并满足:

32、

33、其中,表示局部地图栅格,表示栅格语义类别,表示语义类别风险权重,和分别表示动态风险权重和不确定度风险权重,表示向量的二范数,即各分量平方和的平方根。

34、进一步,所述风险约束轨迹总代价表示为:

35、

36、其中,

h表示滚动预测时域内的离散预测步数,表示协方差迹,表示候选控制序列中第τ个预测步的控制向量;分别表示占据碰撞代价、语义风险代价、目标接近代价、控制能耗代价、控制平滑代价、不确定度代价和安全屏障项的权重系数;表示占据碰撞代价,表示语义占据风险场代价,表示目标接近代价;

37、

38、

39、

40、其中,表示候选轨迹在第个预测时刻的位置,表示栅格的中心位置,表示目标位置,表示局部地图栅格集合;表示轨迹点对局部栅格的空间影响核函数;表示空间影响核函数的带宽平方,用于控制轨迹点邻域的栅格影响范围;

41、表示安全屏障项,且

42、

43、其中,表示预测碰撞概率超过阈值时的平方惩罚项,,表示预测碰撞概率,表示碰撞概率阈值;表示安全距离不足时的二次惩罚权重,表示安全距离不足时的固定高惩罚项,表示候选轨迹的最小预测安全距离,表示预设安全距离,表示对数计算中的正数稳定常数。上式在时采用二次惩罚而不计算对数项,以避免对数屏障函数的定义域非法。

44、进一步,所述滚动时域优化方式包括带温度权重的交叉熵采样优化、采样模型预测控制或梯度优化方式;其中,带温度权重的交叉熵采样优化方式是采用带温度权重的精英样本筛选的交叉熵采样更新候选轨迹分布,表达式为:

45、

46、

47、

48、其中,表示第轮采样中的精英样本索引集合,表示代价序列的分位数,表示本轮采样中第n个候选轨迹的总代价,n为本轮候选样本总数,表示归一化温度权重,表示温度系数,表示第n+1轮候选控制序列采样分布的均值向量;表示第i个候选控制序列按时间顺序展开的向量,用于表征对应候选轨迹;表示第n+1轮候选控制序列采样分布的协方差矩阵,表示最小探索方差,表示单位矩阵,并且每一滚动时域仅执行最优轨迹的首段控制指令。

49、进一步,纯视觉世界模型的训练损失满足:

50、(12)

51、其中,表示视觉重投影损失,表示深度一致性损失,表示语义分割损失,表示占据预测损失,表示后验信念状态与先验预测状态的散度约束,表示未来状态预测损失,表示不确定度校准损失,表示安全轨迹间隔损失;分别表示视觉重投影、深度一致性、语义分割、占据预测、散度约束、未来状态预测、不确定度校准和安全轨迹间隔损失的权重系数。

52、进一步,该方法还包括路径重规划,重规划触发条件满足:

53、

54、其中,表示条件成立时取1、否则取0的指示函数,表示视觉可信度低于阈值的触发指示量,表示信念状态协方差迹超过阈值的触发指示量,表示语义风险变化量超过阈值的触发指示量,表示最小预测安全距离低于阈值的触发指示量,时触发在线重规划;表示逐维视觉可信度均值,表示视觉可信度阈值,表示协方差阈值,表示语义风险变化量,表示无人机与障碍物的最小预测距离,和分别为语义风险阈值和安全距离阈值。

55、方案2:一种基于纯视觉世界模型的gnss拒止环境无人机路径规划系统,包括:

56、视觉采集模块,用于获取连续图像序列;

57、视觉状态提取模块,用于提取视觉深度图、语义分割图、光流图、视觉里程计相对位姿以及视觉质量特征;

58、视觉可信度估计模块,用于根据图像梯度、运动模糊、曝光分布、特征匹配和语义一致性计算视觉可信度;

59、信念状态更新模块,用于根据视觉可信度融合当前视觉编码特征和上一时刻预测状态;所述纯视觉世界模型预测模块用于预测未来潜在状态均值和协方差;

60、纯视觉局部地图构建模块,基于视觉深度图、语义分割图和视觉里程计相对位姿构建纯视觉局部地图;所述纯视觉局部地图包括局部占据图、语义风险图、可通行区域图和不确定度图;

61、纯视觉世界模型预测模块,用于建立纯视觉世界模型包括可信视觉编码器、信念状态更新网络、层级化潜在状态转移网络、语义占据风险场解码器和不确定性校准分支;所述纯视觉世界模型根据当前局部视觉状态和候选控制序列预测未来若干时刻的可通行区域、障碍物占据概率、语义风险、位姿变化和预测不确定度;

62、语义占据风险场解码模块,用于输出未来占据概率、动态语义速度场、预测不确定度和语义占据风险场;

63、轨迹代价计算模块,根据纯视觉世界模型的预测结果构建候选轨迹的轨迹总代价;

64、滚动时域路径优化模块,用于根据风险约束轨迹总代价输出无人机路径规划结果;

65、在线重规划模块,用于根据重规划触发条件重新采样候选轨迹并计算风险约束总代价。

66、本发明的有益效果在于:本发明以视觉图像为核心输入、以可学习世界模型预测未来状态、以滚动时域优化输出飞行路径,使无人机的路径规划模型不以gnss、激光雷达或外部定位基站为必要输入,能够提高纯视觉无人机在gnss拒止环境中的可实施性和安全性。具体有益效果体现如下:通过视觉可信度门控和协方差传播降低纯视觉失效风险;通过语义占据风险场将动态障碍和场景语义转化为可优化代价;通过分段安全屏障项和精英样本采样更新提高滚动路径优化的安全性和可复现性。

67、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。