基于强化学习的特征级不确定性表征与优势调节的无人机自主导航方法及系统

本发明涉及无人机自主导航与智能控制，具体涉及基于强化学习的特征级不确定性表征与优势调节的无人机自主导航方法及系统。

背景技术：

1、现有无人机自主导航方法主要包括基于同步定位与建图的方法、基于预构建地图的路径规划方法以及感知、规划与控制相分离的模块化方法。上述方法通常依赖环境几何信息、定位结果或者先验地图，在环境相对稳定且观测条件较好的场景下能够实现导航控制。

2、然而，在未知环境、动态障碍物环境或者局部观测受限场景下，上述方法容易受到地图更新滞后、动态目标建模不足、状态估计误差累积以及模块间误差传递等因素影响，进而导致导航实时性下降、避障可靠性降低以及控制输出不稳定。

3、为降低对显式环境建模和人工规则设计的依赖，现有技术中还提出了基于深度强化学习的端到端导航方法。该类方法将机载传感器观测直接映射为控制输出，缩短了感知到决策之间的处理链路，并能够在一定程度上适应复杂环境下的导航任务需求。

4、但是，在复杂动态场景下，现有端到端导航方法仍存在以下不足：

5、其一，对于历史观测信息的利用不充分，难以同时表征环境空间结构、障碍物动态变化以及无人机自身运动状态的时间演化关系；

6、其二，多模态输入通常采用直接拼接或者浅层融合方式，缺少对视觉观测与非视觉状态信息的联合时空建模，难以充分表征外部环境变化与内部飞行状态之间的耦合关系。

7、此外，现有端到端导航方法通常将融合特征直接用于策略学习或者控制输出，而较少对融合特征本身的可靠性进行显式表征。在深度观测受到噪声干扰、惯性测量存在漂移、位姿估计存在偏差以及多模态信息不一致的情况下，融合特征往往存在不同程度的不确定性。若缺少对所述不确定性的显式建模和利用，容易导致价值评估偏差增大、策略更新波动增强，并进一步影响无人机在复杂动态环境中的导航稳定性、避障可靠性以及场景适应能力。

8、因此，仍有必要提出一种新的无人机自主导航方法，从而有利于提高无人机在复杂环境中的状态表征稳定性、决策鲁棒性和导航可靠性。

技术实现思路

1、针对现有无人机自主导航方法在复杂动态环境中存在的融合特征可靠性缺乏显式表征、高不确定样本易干扰策略更新以及历史多模态观测信息利用不充分等问题，本发明提供一种基于强化学习的特征级不确定性表征与优势调节的无人机自主导航方法及系统，在不依赖全局地图的条件下，对历史多模态观测序列进行联合时空建模，对融合特征的可靠性进行显式表征，并将所述可靠性信息进一步引入策略优化过程。

2、本发明首先对历史多模态观测序列进行跨模态时序融合，得到融合潜在表示；随后基于所述融合潜在表示进行特征级不确定性建模，并结合模态冲突信息和反事实决策敏感度进行一致性校准；进一步地，将校准后的逐维对数方差向量聚合为样本级不确定性指标，并基于所述样本级不确定性指标对优势函数进行加权调节，从而提高无人机在复杂动态环境下的状态表征可靠性、策略优化稳定性和导航鲁棒性。

3、为达到上述目的，本发明采用如下技术方案：基于强化学习的特征级不确定性表征与优势调节的无人机自主导航方法，其包括以下步骤：

4、s1、构建无人机动力学与导航任务交互模型，并获取无人机机载多源传感器观测序列与任务交互数据；

5、所述任务交互模型用于执行导航任务并采集机载深度视觉传感器与非视觉惯性传感器的历史多模态观测数据、策略训练数据及执行反馈数据。

6、s2、构建用于表征环境与平台运动的历史多模态观测序列；

7、在各决策时刻采样当前时刻及其之前预设历史时间窗内的深度图像和非视觉状态信息（如角速度、线加速度等惯性测量），并按时间顺序排列构成历史多模态观测序列，以表征无人机局部环境物理变化及其时序连续性。

8、s3、针对传感器数据冲突与物理感知底噪进行时序融合，并提取风险评估参数；

9、分别对历史深度图像序列和非视觉状态序列进行时序特征提取，并通过跨模态联合聚合生成融合潜在表示；在训练阶段，进一步基于对齐后的跨模态特征构造模态冲突信息，并通过受控反事实扰动（抑制视觉或非视觉模态）获得反事实决策敏感度相关信息，作为后续特征级不确定性一致性校准的依据。

10、s4、基于传感器冲突与失效风险进行物理感知底噪的定向校准，输出特征级不确定性；

11、将所述融合潜在表示输入状态表示映射分支和方差预测分支，分别输出状态表示向量和初步预测的原始逐维对数方差向量（表征初始物理感知底噪）；结合所述模态冲突信息和反事实决策敏感度构造一致性校准约束目标，对所述原始逐维对数方差向量进行强制修正，得到定向校准后的特征级不确定性（即校准后的逐维对数方差向量）。

12、s5、生成传感器综合置信度权重进行优势调节，隔离高噪干扰并输出连续飞行控制动作。

13、将所述校准后的逐维对数方差向量聚合为表征当前样本综合置信度的指标，并转换为控制权重；利用该权重对近端策略优化（ppo）的优势函数进行动态加权调节，以在控制迭代层面上隔离或抑制高噪声/高冲突传感器数据对策略梯度的干扰，通过调节后的优势函数更新策略网络，并输出无人机的底层连续飞行控制动作。

14、进一步地，所述s1中所述无人机动力学与导航任务交互模型包括无人机状态转移、目标点设置、障碍物分布场景、控制接口及环境反馈机制。

15、无人机状态至少包括位置、线速度、姿态和角速度，控制输入至少包括滚转增量、俯仰增量、偏航增量及推力指令。

16、进一步地，所述s2中，历史多模态观测序列表示为：

17、；

18、其中，为历史回溯步长， 为时刻单步观测，表示为：

19、；

20、式中，表示深度图像，表示非视觉状态向量。

21、所述非视觉状态向量包括惯性测量单元获取的角速度、线加速度、局部线速度、姿态信息、无人机相对于目标点的方向信息以及上一时刻控制动作，因此，也可表示为：

22、。

23、所述历史多模态观测序列用于表征无人机局部环境变化、自身运动状态及其时序连续性，并作为后续跨模态时序融合及特征级底噪建模的输入。

24、进一步地，所述s3包括将视觉时空特征和非视觉时序特征映射至统一公共潜在空间并进行联合聚合，融合潜在表示表示为：

25、；

26、式中， 表示历史深度图像序列的视觉时空特征提取映射， 表示非视觉状态序列的时序特征提取映射， 表示跨模态联合聚合函数， 表示融合潜在表示。

27、所述联合聚合函数采用基于全局查询向量的注意力聚合方式，以从联合特征序列中提取与当前导航决策相关的关键信息，并输出对应时序注意力分布 。

28、在训练阶段，针对多源传感器数据冲突，基于对齐后的视觉特征、对齐后的非视觉特征以及联合时序特征序列构造模态冲突向量 ，并通过对至少一种模态信息施加受控反事实扰动获得反事实决策敏感度度量，以表征不同模态信息不一致时对当前导航决策的安全影响程度；所述模态冲突向量和反事实决策敏感度度量共同作为后续物理感知底噪一致性校准的依据。

29、进一步地，所述s4中，基于所述融合潜在表示 提取聚合语义表示；将分别输入状态表示分支、监督重建分支和方差预测分支，输出得到状态表示向量、监督重建特征以及表征初始物理感知底噪的原始逐维对数方差向量 ，表示为：

30、；

31、；

32、；

33、在此基础上，以监督目标特征为重建目标，执行特征级异方差回归监督；利用时序注意力分布生成监督权重，对异方差回归损失进行加权，得到时序注意力引导的异方差监督项。

34、基于所述模态冲突向量和所述反事实决策敏感度度量构造反映传感器失效风险的一致性校准目标 ，并据此对原始逐维对数方差向量进行强制定向校准，得到校准后的最终逐维对数方差向量：

35、；

36、其中，为一致性校准强度系数。

37、在连续时序预测场景中，引入前一时刻逐维对数方差向量  作为平滑参考项，对当前时刻逐维对数方差向量施加时序平滑约束；对注意力分布施加熵约束；并进一步构造一致性校准损失 ，约束校准后的逐维对数方差向量与所述一致性校准目标趋于一致。

38、所述不确定性感知表征过程对应的总不确定性监督损失可表示为：

39、；

40、其中， 表示时序注意力引导的异方差监督损失， 表示一致性校准损失， 表示注意力熵约束项， 表示时序平滑损失，、 和  分别为对应权重系数。

41、进一步地，所述 s5 中，基于所述校准后的逐维对数方差向量 ，聚合得到表征多源传感器综合置信度的样本级不确定性指标：

42、；

43、其中， 用于表征当前样本整体的不确定性水平。

44、对所述样本级不确定性指标进行批次内标准化：

45、；

46、随后，将标准化后的样本级不确定性指标通过有界映射函数转换为隔离高噪干扰的控制样本权重：

47、；

48、其中，为映射灵敏度系数，和 分别为样本权重下界和上界。

49、根据所述控制样本权重对原始优势函数进行加权，得到加权优势函数：

50、；

51、其中，为调节系数。

52、利用所述加权优势函数执行ppo策略更新，以在迭代层面上隔离或抑制高噪声特征对策略梯度的干扰，其目标函数表示为：

53、；

54、其中：

55、；

56、式中，和 分别为当前策略和旧策略，为 ppo算法的裁剪阈值，为数学期望算子。

57、采用上述方式，在保持ppo原始裁剪更新结构不变的前提下，实现基于特征级综合置信度的样本贡献调节，从而在控制策略的迭代层面上，动态隔离或抑制高噪声/高冲突传感器数据对底层飞行连续控制指令的干扰，保障无人机的稳定飞行。

58、进一步地，在执行阶段，保持固定长度的历史观测窗口，通过时空多模态感知模型和不确定性感知表征模型生成当前状态表示向量，由 actor 网络输出连续控制动作：

59、；

60、所述连续控制动作经控制接口映射为无人机低层控制命令后执行，以实现目标到达、障碍规避和稳定飞行。

61、本发明还提出了一种基于强化学习的特征级不确定性表征与优势调节的无人机自主导航系统，包括多模态历史观测构建单元、时空多模态感知模块、不确定性感知表征模块、actor-critic 决策模块以及策略学习模块。上述各模块依次连接，形成由观测输入、特征提取、不确定性建模、动作决策到反馈更新构成的闭环导航架构。

62、所述多模态历史观测构建单元用于获取预设时间窗内的历史多模态观测序列；

63、所述时空多模态感知模块用于对视觉信息和非视觉状态信息进行时序建模与融合表征，输出融合潜在表示；

64、所述不确定性感知表征模块用于对所述融合潜在表示进行特征级不确定性估计和一致性校准，输出状态表示向量及不确定性表征；

65、所述 actor-critic 决策模块用于根据所述状态表示向量输出连续控制动作并估计状态价值；

66、所述策略学习模块用于在训练阶段结合环境反馈对策略网络和价值网络进行更新。

67、在训练阶段，所述系统按照“历史观测输入-多模态感知-不确定性感知表征-决策输出-环境反馈-策略更新”的流程进行闭环学习；在执行阶段，所述系统基于历史观测窗口进行前向推理，输出当前时刻控制动作，以实现目标到达、障碍规避和稳定飞行。

68、与现有技术相比，本发明具有以下显著优点：

69、（1）本发明通过构建面向历史观测序列的时空多模态感知机制，对深度图像序列和非视觉状态序列进行联合建模，实现了对部分可观测条件下环境空间结构、障碍物动态及自身运动状态的综合表征，增强了导航系统的环境理解深度，提高了复杂动态环境下的感知与决策能力。

70、（2）本发明通过面向融合特征的逐维对数方差建模与一致性校准机制，结合时序注意力、模态冲突及反事实敏感度信息，使校准后的逐维对数方差向量能够准确反映重建误差及多模态不一致性对决策的影响，有效抑制了感知噪声的干扰，提升了状态表征的鲁棒性与有效性。

71、（3）本发明通过基于校准后不确定性信息的优势调节方法，实现了样本贡献度的动态调节，使得高可靠样本在策略更新中占据主导，低可靠样本对梯度的干扰受到抑制，从而加快了策略收敛速度并提升了复杂场景下的导航可靠性，增强了策略学习的稳定性与泛化性能。