一种基于评论家网络梯度的船舶航路规划对抗性场景生成方法与流程
本发明属于人工智能安全及智能无人系统测试领域,涉及船舶航路规划智能体的鲁棒性测试,具体涉及一种基于评论家网络(critic network)梯度的船舶航路规划对抗性场景生成方法。
背景技术:
1、随着船舶自主导航与智能航行技术的快速发展,深度强化学习(deepreinforcement learning, drl)已成为解决复杂海况下避碰与航路规划问题的核心技术方案。在典型的船舶航路规划场景中,船舶航路规划智能体通常需要在包含多个动态或静态障碍物如岛礁、其他船舶、浮标等的矩形海域内,通过不断观测环境状态如目标距离、障碍物方位角等,并做出动作决策如改变航向、航速,以规划出一条安全、高效的导航路径。为了保证航路规划智能模型在实际部署时的可靠性,必须针对其决策策略进行严格的鲁棒性测试与安全性评估,以探测模型在极端或对抗性环境下的潜在失效风险。
2、然而,现有的针对航路规划智能体的测试方法在实际应用中存在显著的技术局限性,难以平衡测试效率与物理真实性。首先,传统的基于观测空间扰动的对抗性攻击方法如fgsm(快速梯度符号方法))等主要针对传感器输入进行“像素级”或“特征级”的篡改,试图通过在观察数据中加入微小噪声来欺骗智能体。但在船舶航路规划的物理场景中,这类攻击仅仅停留在信息欺骗层面,并未实质性地改变环境中障碍物的物理位置或布局,无法有效评估智能体在应对真实物理环境变动时的避障能力。对于航海安全而言,探测智能体在障碍物物理位置发生极端偏移时的决策逻辑缺陷比单纯的传感器抗噪性测试更具实际意义。
3、其次,基于领域随机化(domain randomization)或预设脚本的场景测试方法在处理多障碍物复杂布局时表现出极低的效率。在包含多个障碍物的航路规划场景中,障碍物的位置组合空间巨大,随机化生成的场景往往由于缺乏针对性,难以在有限的测试回合内击中智能体策略的“边际案例”。即使采用行业专家经验设计的典型案例脚本,也往往受限于先验知识,无法覆盖智能体由于深度神经网络非线性拟合所产生的、人类难以预见的决策盲区。这种测试场景生成的盲目性导致了大量计算资源的浪费,且难以精准、高效地定位航路规划模型在特定几何拓扑下的脆弱性点。再者,目前先进的基于对抗强化学习(adversarial rl)的测试方法,虽然通过训练一个专门的“对手智能体”来学习如何移动障碍物以使主角模型失效,但其实施难度巨大且稳定性极差,这种二人零和博弈的训练框架不仅计算开销极高,且极易陷入收敛不稳定或不收敛的困境,导致生成的对抗场景缺乏针对性。更关键的是,现有的对抗攻击研究普遍忽略了大地坐标系下的物理运动学约束。在真实的海洋环境下,障碍物的位移必须遵循地理信息规则和物理位移限额。目前的算法大多仅在抽象的归一化向量空间进行计算,无法将生成的扰动量映射回符合航海逻辑的地理位置,导致生成的对抗场景虽然在数学层面有效,但在物理世界中往往由于违背运动学规律而不可实现。
4、综上所述,现有的船舶航路规划模型鲁棒性测试技术面临着测试效率低下、缺乏导向性以及物理可实现性差等诸多挑战。针对基于actor-critic架构如ppo(近端策略优化)算法的船舶航路规划模型,亟需一种能够结合模型内部评价机制、无需额外高昂训练成本、且严格符合大地坐标系物理映射规律的对抗性场景生成与测试方法。
技术实现思路
1、针对现有技术中船舶航路规划模型鲁棒性测试存在的瓶颈,本发明旨在解决的核心技术问题是:(1)测试场景生成的盲目性与低效性:传统随机场景生成法在面对由多个障碍物构成的复杂海域时,难以在海量组合中精准定位模型在特定场景下的决策失效点。(2)物理层面的对抗真实性缺失:现有对抗攻击多集中于对传感器观察数据的数学扰动,如白噪声,这种信息欺骗并未真实改变海面障碍物的物理位置,无法评估船舶在真实物理环境动态演变下的避障安全性。(3)缺乏符合航海逻辑的运动学约束:现有的环境干扰方法往往忽略了地球曲率带来的经纬度变换规律以及障碍物的物理位移极限,导致生成的测试场景在物理世界中不可实现,难以指导实际的工程部署与安全性验证。为了解决上述问题,本发明提供了一种基于评论家网络梯度的船舶航路规划对抗性场景生成方法,通过将评论家网络梯度信息与大地坐标物理映射相结合生成对抗性测试场景。
2、本发明的基于评论家网络梯度的船舶航路规划对抗性场景生成方法,其应用场景中,船舶航路规划基于近端策略优化算法的强化学习模型实现,包括如下步骤:
3、步骤1,构建应用场景的仿真环境;设仿真环境中包含本船和个可移动的圆形障碍物;本船部署基于近端策略优化算法的强化学习模型实现的船舶航路规划智能体,所述模型为actor-critic架构,actor网络输出当前时间步的动作决策,critic网络输出状态价值标量;
4、步骤2,在每个时间步,决策捕获,包括:在船舶航路规划的每个决策步,船舶航路规划智能体输出决策动作后,拦截决策动作的执行;提取当前环境状态,根据预设的攻击触发概率触发对抗攻击逻辑;所述环境状态包含本船至目标的归一化距离和相对方位角,本船至各障碍物的归一化距离和相对方位角,以及本船至边界的距离。
5、步骤3,当触发对抗攻击逻辑时,基于critic网络生成对抗性扰动,包括:首先,将当前环境状态输入所述智能体的critic网络,获得状态价值,通过自动微分技术计算价值评估分数相对于输入观测向量的梯度,该梯度代表了环境评价下降最快的方向。然后,按照该梯度反方向生成对抗扰动向量。将该对抗扰动向量添加到当前环境状态,得到受干扰的状态。
6、步骤4,将步骤3得到的受干扰的环境状态映射回真实的地理坐标系,进行地理场景重构,包括:从受干扰的环境状态中解析出本船到各障碍物的相对距离和相对方位角;利用球面三角学公式,基于本船当前的地理经纬度和航向角,将解析获得的相对距离和相对方位角转换为物理环境中障碍物新的经纬度坐标;
7、步骤5,施加运动学物理约束,进行环境同步,包括:计算障碍物移动到新经纬度坐标的球面距离,进行位移合规性检验和坐标修正,根据障碍物新的经纬度坐标更新仿真环境中的障碍物位置,构建对抗性物理场景。
8、步骤6,将当前时间步船舶航路规划智能体生成的决策动作在步骤5的对抗性物理场景中执行,进行环境状态观测。
9、本发明的优点和积极效果在于:
10、(1)大幅提升对障碍物布局的探测效率:本发明方法通过利用智能体内部价值函数寻找价值下降最快的方向,能够自动识别并构建使船舶航路规划模型决策失效的障碍物布局。在包含多个障碍物的复杂海域中,本发明方法能够以远低于随机化测试的样本量,精准定位导致船舶发生碰撞或偏离航线的特定空间结构,从而高效识别避碰策略在特定环境分布下的脆弱性。
11、(2)确保对抗场景符合航海地理规则与实际:本发明通过大地问题正算将数学层面的扰动映射为真实经纬度坐标,使对抗干预体现为物理环境中的障碍物真实位移。结合半正矢(haversine)距离校验与物理位移限额约束,生成的测试场景严格遵循地球曲率规律与物体运动学限制,克服了传统攻击方法中场景不可实现的弊端,为船舶自动导航系统的安全性验证提供了具有工程参考价值的物理测试依据。
12、(3)深度检验策略的全局规划稳定性:由于critic网络反映的是长期累积奖励的期望值,本发明方法生成的对抗场景具有导向性,能够迫使船舶智能体进入具有长期负面效应的环境状态。通过在多步决策中动态调整环境,本发明方法可以有效评估基于ppo等算法的船舶航路规划模型在面对诱导性物理布局时的长程规划能力,揭露模型在复杂博弈环境下可能存在的深层逻辑缺陷,从而指导提升船舶航路规划算法在极端海况下的导航鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com