面向具身智能导航测试的对抗轨迹生成方法及系统与流程

摘要: 本发明涉及具身智能系统的导航安全测试与鲁棒性验证,具体涉及一种面向具身智能导航测试的对抗轨迹生成方法及系统。背景技术:1、随着具身智能技术在公共服务、商业服务及...
面向具身智能导航测试的对抗轨迹生成方法及系统与流程

本发明涉及具身智能系统的导航安全测试与鲁棒性验证,具体涉及一种面向具身智能导航测试的对抗轨迹生成方法及系统。

背景技术:

1、随着具身智能技术在公共服务、商业服务及智慧交通等复杂公共环境中的应用不断扩展,具身智能导航系统在动态、高密度人群等复杂动态环境下的导航安全性与交互可靠性逐渐成为行业关注的重点问题。为在部署前验证导航算法在多样化工况下的稳定性与安全性,发现潜在失效风险,业界普遍采用仿真测试方式在多样化环境条件下对导航算法进行功能验证与性能评估。

2、在环境建模与人群仿真方面,现有技术通常基于真实场景数据构建动态环境模型,通过统计学习或数据驱动的方法复现行人或动态障碍物的运动特征,以提高仿真环境与真实场景之间的一致性。在导航算法研究方面,基于学习的方法已被广泛应用于机器人自主避障与路径规划任务,以增强系统在动态环境中的感知与决策能力。此外,在导航系统安全测试领域,为了评估算法在边界条件或复杂交互场景下的表现,相关研究开始尝试通过自动化方式生成多样化测试场景,包括引入动态障碍物行为变化、复杂交互关系以及极端运行条件等手段,以提升测试覆盖范围。

3、比如,近年来,基于高保真物理引擎的数字孪生仿真平台,以及生成对抗模仿学习(gan for imitation learning,gail)、深度强化学习(deep reinforcement learning,drl)等对抗行为生成技术,被广泛用于具身智能导航系统的测试验证与算法迭代。然而,在面向高强度压力测试与极端工况验证的实际应用中,现有测试场景与对抗行为生成方法仍难以满足工业级测试对于覆盖率、交互性及稳定性的综合要求,主要体现在以下几个方面:

4、(1)缺乏具备持续交互能力的主动对抗测试机制

5、现有多数导航算法研究工作主要关注机器人在一般动态环境中的避障与合规行为,通常假设环境中的行人行为是合作的或近似随机的。相关综述工作如文献“socialrobot navigation: a review and benchmarking of learning-based methods.frontiers in robotics and ai, 2025”中指出,当前主流基准测试主要评估机器人在常规动态场景下的性能表现,对于非合作行为或极端交互场景的覆盖仍然有限。

6、而尽管有相关研究工作提出了一些方法能够基于真实数据生成具有较高真实性的人群行为,但其生成目标主要集中于历史行为复现或正常行人模拟,缺乏面向被测系统的定向干扰能力。在此类测试环境中,机器人在突发切入、持续阻挡等复杂交互条件下的潜在决策失效风险,难以被系统性暴露。

7、(2)现有对抗行为生成方法难以兼顾自然性与交互强度

8、为提升测试强度,部分研究开始引入对抗生成或攻击技术。例如,文献“towardsphysically realizable adversarial attacks in embodied vision navigation.arxiv 2024”提出了针对具身视觉导航的物理攻击方法,但其主要依赖静态视觉扰动,难以刻画动态交互过程。在自动驾驶领域,“diffscene: diffusion-based safety-criticalscenario generation for autonomous vehicles. aaai 2024”及基于强化学习的场景编辑方法“safety-critical scenario generation via reinforcement learning basedediting. icra 2024”尝试生成安全关键场景,但上述方法多采用离线生成或单次编辑方式,生成的对抗主体无法根据被测系统的实时反应进行策略调整,交互性有限。

9、此外,传统基于强化学习的对抗行为生成方法在以碰撞率等指标作为优化目标时,容易产生偏离人类运动规律的异常行为,如非连续位移或高频抖动等。这类行为特征与真实人类存在显著差异,容易被导航系统的异常检测模块识别,从而降低测试结果在实际应用场景中的参考价值。

10、(3)长时程、大尺度场景下的训练稳定性不足

11、在大尺度导航环境中,攻击主体与被测目标之间的初始距离较远,交互过程持续时间长。现有部分方法如“navrep: unsupervised representations for rl of robotnavigation. icra 2021”主要采用稀疏奖励机制,仅在发生碰撞等事件时提供反馈。而已有研究如“analyzing adversarial attacks against deep learning for robotnavigation. icinco 2021”等指出,在稀疏奖励条件下,智能体容易出现探索效率低下或策略收敛不稳定的问题。

12、同时,部分方法仅依赖相对位置等局部状态特征进行决策,在复杂地图边界或结构受限区域中,智能体对环境全局约束的感知能力不足,容易出现分布外失效现象,从而影响测试过程的稳定性与可重复性。

13、综上,上述相关技术大多侧重于环境行为复现或单一对抗场景构造的测试方法,对于具备明确干扰意图、能够与被测系统进行持续交互的测试主体,其生成方式仍有待进一步完善。

技术实现思路

1、本发明所要解决的技术问题在于面向具身智能导航测试时,如何在复杂动态人群环境中生成具备明确干扰意图且可持续交互的对抗轨迹,有效提升具身智能装备在复杂动态环境下的安全测试覆盖能力与测试结果的现实参考价值。

2、本发明通过以下技术手段解决上述技术问题:

3、提出了一种面向具身智能导航测试的对抗轨迹生成方法,所述方法包括:

4、获取真实行人轨迹数据并将真实行人轨迹数据转换为参考真值数据;

5、在混合参照系仿真空间中,以参考真值数据为监督依据对生成对抗模仿学习模型进行训练,获得用于行为生成的教师策略;

6、对生成对抗模仿学习模型中的策略网络和价值网络使用近端策略优化算法进行迭代更新,以对学生策略进行受混合奖励函数约束的对抗策略训练;

7、其中,所述混合奖励函数包括基于距离变化的势能差分奖励、当智能体与被测目标之间的距离小于预设的物理碰撞阈值时触发的稀疏碰撞终结奖励以及基于冻结训练好的教师策略作为参考分布对当前学生策略的动作分布进行约束所形成的分布散度约束奖励。

8、进一步地,所述获取真实行人轨迹数据并将真实行人轨迹数据转换为参考真值数据,包括:

9、从原始的公开数据集中采集真实行人轨迹数据;

10、计算真实行人轨迹数据的每一帧数据中智能体对应的瞬时位移范数;

11、将超出物理极限速度阈值的瞬时位移范数所对应的帧数据作为异常样本点;

12、将异常样本点剔除或通过插值进行平滑处理后,得到参考真值数据。

13、进一步地,所述混合参照系仿真空间为融合相对信息与绝对信息的混合编码状态空间,其中,为相对特征子空间,用于描述智能体与被测目标之间的相对运动关系;为自身绝对特征子空间,用于编码智能体在全局地图坐标系下的绝对状态信息;为目标绝对特征子空间,用于描述被测目标在全局地图坐标系下的运动状态。

14、进一步地,所述相对特征子空间包括智能体相对于被检测目标在全局地图坐标系下沿轴和轴方向的相对位移、智能体相对于被检测目标在全局地图坐标系下沿轴和轴方向的相对速度分量、相对合速度以及相对角速度;

15、所述自身绝对特征子空间包括智能体在全局地图坐标系中的二维位置坐标、智能体合速度以及智能体角速度;

16、所述目标绝对特征子空间包括被测目标在全局地图坐标系中的二维位置坐标、被测目标在全局坐标系下沿轴和轴方向的速度分量、被测目标合速度以及被测目标角速度。

17、进一步地,所述在混合参照系仿真空间中,以参考真值数据为监督依据对生成对抗模仿学习模型进行训练,获得用于行为生成的教师策略,包括:

18、分别将所述相对特征子空间作为策略网络的输入、将所述目标绝对特征子空间作为价值网络的输入,并以所述参考真值数据为监督依据对生成对抗模仿学习模型进行训练,使得生成教师策略的动作与所述参考真值数据所表征的行人运动特性一致。

19、进一步地,所述势能差分奖励用于当智能体在当前时间步采取的动作使其与目标之间的距离相较于上一时间步减小时,势能差分奖励为正值以对智能体当前采取的动作进行正向奖励;当智能体在当前时间步采取的动作使其与目标之间的距离相较于上一时间步增加或不变时,势能差分奖励为负值或者零以对智能体当前采取的动作进行惩罚;

20、所述势能差分奖励的公式表示为:

21、

22、式中,表示势能差分奖励,表示时刻攻击者与被测目标中心点之间的直线距离,表示时刻攻击者与被测目标中心点之间的直线距离,为奖励缩放系数。

23、进一步地,所述稀疏碰撞终结奖励仅在碰撞发生时触发且取值为1,未碰撞时取值为0,其公式表示为:

24、

25、式中,表示稀疏碰撞终结奖励;表示示性函数,当条件满足时取值为1,否则为0;为碰撞判定半径;为终结奖励权重;表示时刻攻击者与被测目标中心点之间的欧式距离。

26、进一步地,所述分布散度约束奖励的公式表示为:

27、

28、式中,表示分布散度约束奖励,表示冻结的教师策略在状态下输出的参考动作分布,表示学生策略在状态下输出的动作概率分布,为分布散度惩罚系数,惩罚项表示两个概率分布和之间的相对熵,为截断函数。

29、进一步地,所述分布散度约束奖励中的惩罚项若大于或等于上限阈值对惩罚项的梯度进行截断处理使其梯度幅值不超过预设梯度上限,若小于或等于生效阈值则保留惩罚项的完整约束梯度。

30、进一步地,所述混合奖励函数的公式表示为:

31、

32、式中,表示混合奖励函数,表示势能差分奖励,表示分布散度约束奖励,表示稀疏碰撞终结奖励。

33、进一步地,所述方法还包括:

34、对所述策略网络输出的连续动作值进行低通滤波处理,并在处理后的连续动作值的动作变化率超出设定的最大加速度阈值时,对该动作进行幅值约束以使动作满足基本运动学约束条件。

35、进一步地,所述方法还包括:

36、当检测到某训练回合中智能体在连续个时间步内的位移幅值均小于预设阈值时,确定当前交互过程进入无效停滞状态,并自动触发环境重置操作;

37、对该训练回合施加固定幅值的负奖励惩罚,以降低策略在相似状态下重复进入停滞区域的概率。

38、此外,本发明还提出了一种面向具身智能导航测试的对抗轨迹生成系统,所述系统包括:

39、数据采集模块,用于获取真实行人轨迹数据并将真实行人轨迹数据转换为参考真值数据;

40、协同优化器,用于在混合参照系仿真空间中,以参考真值数据为监督依据对生成对抗模仿学习模型进行一阶段训练,获得用于行为生成的教师策略;以及对生成对抗模仿学习模型中的策略网络和价值网络使用近端策略优化算法进行二阶段迭代更新,以对学生策略进行受混合奖励函数约束的对抗策略训练;

41、其中,所述混合奖励函数包括基于距离变化的势能差分奖励、当智能体与被测目标之间的距离小于预设的物理碰撞阈值时触发的稀疏碰撞终结奖励以及基于冻结训练好的教师策略作为参考分布对当前学生策略的动作分布进行约束所形成的分布散度约束奖励。

42、本发明的优点在于:

43、(1)本发明首先利用采集的真实行人轨迹数据对生成对抗网络运行gail算法训练以获得用于行为生成的教师策略,并将其作为分布约束嵌入近端策略优化算法(proximalpolicy optimization,ppo)的训练循环中,以指导学生策略进行受约束的对抗策略训练,并且在近端策略优化过程中,引入势能差分稠密奖励、分布散度软约束和稀疏碰撞终结奖励,以在保证轨迹动力学符合人类运动特性前提下,提高对被测智能导航系统的干扰效率(如诱导碰撞或动作冻结),解决了传统方法中难以同时实现高攻击性与高自然度的问题。

44、(2)本发明构建一个包含相对特征和绝对特征的混合编码状态空间,该状态空间能够反馈智能体与目标的相对状态,并通过轨迹回放机制引入真实环境边界约束。

45、(3)本发明通过势能差分奖励、分布散度约束奖励与稀疏碰撞终结奖励的组合设计,在策略优化过程中同时提供连续梯度引导、分布一致性约束以及明确的任务终止条件,从而提高了训练稳定性与收敛效率,使策略在有限训练轮次内能够达到预设成功率阈值。

46、(4)本发明在工程实现中引入kl散度的动态截断机制,该机制使策略在训练初期能够保持足够的探索能力;随着训练过程推进,当学生策略逐步收敛至合理动作分布后,kl散度约束逐渐发挥稳定化作用,从而在不同训练阶段实现探索能力与分布一致性的动态平衡。

47、(5)本发明通过设计长时程交互中的死锁检测与重置机制,能在训练过程中逐步降低进入停滞状态的概率,从而提升其在复杂几何环境中的运动连续性与环境适应能力。

48、本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。