一种基于液态神经网络的船舶动态路径规划方法
本发明属于人工智能与智能航海,尤其涉及一种基于液态神经网络的船舶动态路径规划方法。
背景技术:
1、随着全球航运业向智能化与低碳化转型,无人船自主导航与动态船舶路径规划成为交通运输工程与海事管理领域的核心议题。然而,真实的海洋环境具有高度的非平稳性与复杂性。在实际航行中,船舶不可避免地会遭遇突发强对流天气、不规则风浪以及局部流场畸变等动态物理约束。在这些极端海况下,传统的启发式规划算法往往由于计算延迟与环境建模的理想化假设,难以输出兼顾燃油经济性与实时安全性的控制策略。
2、近年来,深度强化学习凭借其强大的数据驱动交互能力,在船舶避碰与路径规划中展现出巨大潜力。但现有深度强化学习模型在应对非平稳海洋环境时存在以下不足:
3、1、异采样时序依赖断裂:在真实的航海通信中,ais和雷达传感器极易受到恶劣气象干扰而发生严重丢包,导致环境观测呈现不规则的时序特征。当基于传统rnn/lstm的离散模型面临观测数据断流时,其时序依赖链条会被瞬间切断,只能被动输出上一次的动作响应,从而在盲区内引发不可控的轨迹漂移甚至碰撞事故。
4、2、离散模型缺乏连续动力学记忆:真实的海洋风浪扰动是连续的动力学过程。离散模型采用固定的步长进行网络演化,只能在特定的时间节点"采样"环境。当遭遇高频震荡的强横风时,离散模型缺乏两次采样之间的物理积分记忆,导致其输出的舵角指令发生剧烈的高频震荡,极大地增加了船舶的机械磨损与能耗。
5、3、长程信用分配困难:由于远洋航线规划是一个典型的长序列决策问题,最终的燃油经济性反馈存在极长的延迟,传统离散网络在长程信用分配中极易陷入梯度消失。
6、因此,亟需一种能够适应非平稳海洋环境、具备连续时间动力学记忆、并能在长程决策中有效分配信用的船舶路径规划方法。
技术实现思路
1、本发明的目的在于提出本发明提供一种基于液态神经网络的船舶动态路径规划方法,解决现有技术中异采样时序依赖断裂、缺乏连续动力学记忆以及长程信用分配困难的问题。
2、为达上述目的,本发明提出一种基于液态神经网络的船舶动态路径规划方法,其特征在于,包括以下步骤:
3、s1:采集船舶在多轮动态交互中的历史行为轨迹数据以及当前时刻的环境观测状态数据,其中所述历史行为轨迹数据包括船舶的位置坐标、艏向角、艏向角速度、纵向航速以及横移速度;所述环境观测状态数据包括归一化交叉轨迹误差、归一化艏向偏差、归一化前向相对速度以及归一化最近障碍物距离;
4、s2:对所述历史行为轨迹数据进行预处理和归一化处理,得到归一化的观测状态向量;
5、s3:将所述归一化的观测状态向量输入液态时间常数网络,通过求解常微分方程驱动隐藏状态的连续时间演化,得到隐藏状态向量,其中所述液态时间常数网络的隐藏状态演化方程为:
6、;
7、其中,为隐藏状态向量,为神经元衰减时间常数向量,为外部输入向量,为非线性激活函数,为神经网络可学习参数,为平衡常数矩阵;
8、s4:基于所述隐藏状态向量,通过双时间尺度actor-critic架构输出针对船舶的控制动作,并根据多维综合奖励函数对策略进行优化,其中所述双时间尺度actor-critic架构包括actor策略网络和critic价值网络,所述actor策略网络配置较小的基础时间参数,所述critic价值网络配置较大的基础时间参数;
9、s5:执行所述控制动作,更新船舶运动状态,并判断是否满足终止条件;若满足,则输出最终路径规划结果;否则,返回采集步骤进行下一轮迭代。
10、进一步的,对所述历史行为轨迹数据进行预处理和归一化处理的步骤包括:
11、采用带有指数移动平均更新机制的动态z-score标准化策略对原始数据进行归一化处理;
12、在标准化末端引入极值钳制机制,将所有归一化后的状态输入截断于预设的安全区间内。
13、进一步的,所述带有指数移动平均更新机制的动态z-score标准化策略采用敏感的时间窗口参数更新移动均值与方差。
14、进一步的,所述液态时间常数网络的等效系统时间尺度为自适应动态变量,计算公式为:
15、。
16、进一步的,当外部输入发生剧烈突变时,所述等效系统时间尺度自动缩小,使网络进入快速响应模式;当外部输入平稳时,所述等效系统时间尺度自动放大,使网络切换为平滑的长时间积分模式。
17、进一步的,所述液态时间常数网络在面临异采样丢包时,利用常微分方程的物理惯性在无外部观测输入的盲区继续进行数值积分,实现内生的动力学插值。
18、进一步的,,所述actor策略网络负责高频反应,输出连续动作的正态概率分布;所述critic价值网络负责长程信用分配,输出从当前状态出发遵循当前策略所能获得的期望折扣累计奖励。
19、进一步的,所述控制动作包括主机目标转速调整量和目标舵角调整量两个连续维度的指令。
20、进一步的,所述多维综合奖励函数包括进度引导奖励、弹性寻迹惩罚、机械平滑度约束和非线性排斥避碰奖励,所述多维综合奖励函数为各子奖励项的线性之和。
21、与现有技术相比,本发明的优势之处在于:
22、1、本发明通过构建连续时间部分可观测马尔可夫决策过程,将船舶与环境的交互重构为连续时间动态演化过程,彻底消除了传统离散马尔可夫决策模型在处理连续时间演化时的截断误差。
23、2、本发明采用液态时间常数网络构建双时间尺度actor-critic框架,ltc网络内部自适应流动的时间常数机制发挥了类似动力学低通滤波器的作用,有效抑制了强风扰动下的高频打舵震荡,显著提升了控制平稳性。
24、3、本发明在面临异采样丢包时,能够利用常微分方程的物理惯性在无外部观测输入的盲区继续进行数值积分,实现内生的动力学插值,显著降低了传感器失效引发的航行风险。
25、4、本发明设计的弹性奖励机制(软弹簧漏斗函数与非线性排斥势场)使得模型在拥挤水域中能够提前预判并平滑规避动态障碍物,实现了寻迹精度与航行安全的合理平衡。
1.一种基于液态神经网络的船舶动态路径规划方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,对所述历史行为轨迹数据进行预处理和归一化处理的步骤包括:
3.根据权利要求2所述的方法,其特征在于,所述带有指数移动平均更新机制的动态z-score标准化策略采用敏感的时间窗口参数更新移动均值与方差。
4.根据权利要求1所述的方法,其特征在于,所述液态时间常数网络的等效系统时间尺度为自适应动态变量,计算公式为:
5.根据权利要求4所述的方法,其特征在于,当外部输入发生剧烈突变时,所述等效系统时间尺度自动缩小,使网络进入快速响应模式;当外部输入平稳时,所述等效系统时间尺度自动放大,使网络切换为平滑的长时间积分模式。
6.根据权利要求1所述的方法,其特征在于,所述液态时间常数网络在面临异采样丢包时,利用常微分方程的物理惯性在无外部观测输入的盲区继续进行数值积分,实现内生的动力学插值。
7.根据权利要求1所述的方法,其特征在于,所述actor策略网络负责高频反应,输出连续动作的正态概率分布;所述critic价值网络负责长程信用分配,输出从当前状态出发遵循当前策略所能获得的期望折扣累计奖励。
8.根据权利要求7所述的方法,其特征在于,所述控制动作包括主机目标转速调整量和目标舵角调整量两个连续维度的指令。
9.根据权利要求1所述的方法,其特征在于,所述多维综合奖励函数包括进度引导奖励、弹性寻迹惩罚、机械平滑度约束和非线性排斥避碰奖励,所述多维综合奖励函数为各子奖励项的线性之和。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com