一种基于时间窗逆物理信息神经网络与残差强化学习的四足机器人气味源追踪方法及系统与流程
本发明涉及机器人感知与智能控制,具体涉及一种用于四足机器人的气味源追踪方法及系统,尤其涉及一种基于时间窗逆物理信息神经网络与残差强化学习的气味源追踪技术,可应用于危险气体泄漏定位、工业安全巡检、灾后环境监测以及具有气味特征的目标搜索等场景。
背景技术:
1、利用移动机器人自主定位环境中气味或气体释放源的位置,是机器人感知领域一个持续受到关注的研究方向。在过去的三十年间,研究人员提出了多种气味源定位方法,大致可以分为仿生/群体智能方法、基于编队的方法、基于概率/信息论的方法以及基于学习的方法等几类。尽管已有大量研究工作,气味源定位在实际部署中仍然面临诸多技术挑战,尤其是在使用四足机器人等腿式移动平台时,气味信号的间歇性、传感器响应的延迟与漂移、风场的随机扰动以及机器人自身运动产生的干扰,都使得这一任务远未得到满意解决。
2、一、基于瞬时浓度差分的贪心导航方法
3、一类常见的方法是让机器人根据当前时刻各传感器测得的浓度值进行差分比较,向浓度较高的方向移动,或者简单地持续逆风前进。这类方法结构简单、计算量低,在理想条件下能够工作。但气味羽流在湍流和间歇释放条件下本身就会断裂和摆动,传感器还存在响应迟滞和零点漂移,某一时刻测得的局部高浓度并不必然指向气味源的真实位置。机器人在这类策略驱动下容易在羽流边缘反复转向,一旦丢失羽流后也缺少系统性的重新捕获机制。
4、二、基于固定解析模型或纯数据驱动的状态估计方法
5、另一类方法试图通过建立气味扩散的数学模型来反推源位置。固定解析模型通常要求风场均匀、扩散系数已知且释放状态稳定,现实中的随机气团和局部扰动会导致模型失配。纯数据驱动的神经网络虽然能够拟合观测数据,却可能产生不符合对流、扩散和衰减物理规律的浓度场,尤其在样本稀疏或需要空间外推时容易出现不稳定结果。近年来出现的物理信息神经网络(physics-informed neural network, pinn)为这一问题提供了新的思路。已有研究将pinn应用于气体扩散逆问题的求解,通过将物理方程嵌入神经网络损失函数,使得网络在拟合观测数据的同时受到物理规律的约束。然而,现有基于pinn的方法大多采用“每个控制周期重新优化网络参数”的在线优化模式,计算开销较大,难以在算力受限的机载平台上满足实时控制的需求。也有方法采用离线训练后固定网络参数的方式,但通常仅输出气味源的单一位置估计,未同时提供位置不确定度和可用于导航的连续浓度场梯度信息。
6、三、基于强化学习的端到端控制方法
7、近年来,强化学习也被引入到气味源定位任务中。已有研究使用dueling dqn算法在四足机器人平台上完成气体源定位任务,也有研究采用double dqn算法让四足机器人在有障碍物的场景中进行空气源探索。这类方法通常让策略网络直接输出机器人的关节动作或底层运动指令,试图让强化学习算法同时解决“往哪里走”和“怎么走”两个问题。这种端到端的做法将气味导航、站立平衡、步态生成和姿态恢复全部压入高维搜索空间,训练样本效率较低,容易出现动作突变、侧翻以及对单一初始状态过拟合的问题。
8、此外,端到端强化学习方法在仿真训练中容易利用仿真器提供的隐藏状态——例如气味源的真实世界坐标或机器人的绝对位置——作为决策依据,而这些信息在现实部署中是无法获得的。一旦训练好的策略依赖于这类“信息捷径”,迁移到现实环境中就会失效。
9、四、固定规则式搜索方法
10、还有一类方法是基于固定的搜索规则进行气味源定位,例如逆风前进、横风摆动等生物启发的行为模式。这类方法具有可解释性强的优点,但难以自适应地补偿传感器延迟、步态周期造成的采样扰动以及不同风速和气味间歇程度带来的影响。固定规则参数往往需要针对具体场地反复人工调节;若完全交给学习策略,则又失去了稳定先验和安全边界。
11、综合来看,现有技术路线普遍存在以下几个方面的不足:
12、第一,对历史信息的利用不充分。大多数方法仅依赖当前时刻或极短时间内的传感器读数,未能充分利用机器人在移动过程中积累的多点空间采样信息来反演气味源的位置。
13、第二,物理约束与数据适应性之间的平衡难以兼顾。固定解析模型缺乏对实际数据的适应能力,纯数据驱动方法又可能违背基本的物理规律。
14、第三,缺少显式的不确定度估计和失效回退机制。当模型估计不可靠时,系统缺乏平滑过渡到更保守策略的手段。
15、第四,高层导航决策与低层运动控制耦合过深。端到端的强化学习方法让同一个策略网络同时承担路径规划和步态生成两个任务,训练难度大且安全性难以保证。
技术实现思路
1、1.要解决的技术问题:
2、针对现有技术中存在的问题,本发明目的在于提供一种能够充分利用历史采样信息、受物理规律约束、具有显式不确定度评估和自适应回退机制、且将高层导航决策与低层运动控制解耦的四足机器人气味源追踪方法及系统。
3、2.技术方案:
4、为解决上述问题,本发明采用如下的技术方案。
5、本发明提供一种基于时间窗逆物理信息神经网络与残差强化学习的四足机器人气味源追踪方法,该方法包括以下步骤:
6、第一步,在机器人移动过程中,通过设置在机器人机体上的多个空间分离的气味采样点,以预定采样周期连续采集各采样点处的气味浓度数据,同时获取各采样时刻的机器人局部风速信息、机器人相对位移信息和姿态信息。
7、优选地,多个空间分离的气味采样点为设置在机器人机体前部同一高度平面上的四个采样点,分别位于前、后、左、右四个方位,用于形成沿机器人纵向和横向两个非共线方向的浓度差分。每个采样点可以设置单一气体传感器,也可以设置包含多种气体传感器的传感器阵列。
8、局部风速信息优选由二维超声波风速仪直接测得二维风速和风向,姿态信息由惯性测量单元获取,机器人相对位移信息由足端里程计、视觉惯性里程计或同步定位与地图构建模块中的至少一种提供。二维超声波风速仪测得的风速数据经惯性测量单元提供的姿态信息转换至机器人机身坐标系。
9、第二步,将当前时刻之前的最近n个采样时刻内各采样点的采样位置、采样时间、气味浓度、风速和有效标志数据写入滚动时间窗,其中各采样点的采样位置均转换为相对于机器人当前位置的局部坐标。单个采样点在单个采样时刻的特征数据至少包括该采样点相对于机器人当前位置的二维局部坐标、归一化时间、气味浓度、风速二维分量和有效掩码。
10、第三步,将滚动时间窗输入预训练的逆物理信息神经网络。该网络对滚动时间窗进行编码,并输出气味源相对于机器人当前位置的估计相对位置、估计位置的不确定度,以及机器人当前位置附近的连续浓度场梯度。
11、逆物理信息神经网络采用对流-扩散-衰减方程作为物理约束先验:
12、,
13、其中c为气味浓度,u为风速矢量,d为有效扩散系数,λ为衰减系数,s(x,y)为以气味源估计相对位置为中心的气味源项。
14、该网络包括用于将滚动时间窗编码为潜变量的时间窗编码器、用于输出气味源估计相对位置的气味源估计头、用于输出不确定度的不确定度估计头、以及用于根据潜变量和查询位置输出浓度预测值的条件浓度场网络。连续浓度场梯度通过对条件浓度场网络在机器人当前位置附近的多个查询点进行有限差分获得。
15、逆物理信息神经网络预先在仿真环境中完成训练,训练时的联合损失函数至少包括气味源位置负对数似然损失、传感器数据拟合损失、对流-扩散-衰减方程的配点残差损失以及正则化损失。
16、优选地,所述联合损失函数具体表示为:
17、;
18、其中,l source为所述气味源位置负对数似然损失,l data为所述传感器数据拟合损失,l pde为所述对流-扩散-衰减方程的配点残差损失,l reg为所述正则化损失。
19、上述各损失项前的权重系数仅为本优选方案的示例性取值,本领域技术人员在获知本发明的损失函数构成后,可根据传感器噪声水平、风场条件及网络收敛情况进行适应性调整。
20、训练完成后网络参数被冻结,部署阶段仅进行前向推理。
21、第四步,根据不确定度计算当前估计的置信度,并依据该置信度对逆物理信息神经网络输出的连续浓度场梯度与由多个空间分离的气味采样点的瞬时浓度差分计算得到的原始浓度场梯度(例如,可定义为沿机器人机身纵向和横向的浓度差与对应采样点间距之比,即,其中分别为前、后、左、右采样点的浓度值,分别为纵向和横向采样点间距)进行自适应加权融合,得到融合梯度。
22、置信度根据不确定度、滚动时间窗的填充比例和有效数据比例综合计算得到。自适应加权融合按照下式进行:
23、;
24、其中g为融合梯度,gpinn为逆物理信息神经网络输出的连续浓度场梯度,graw为原始浓度场梯度,κ为置信度。
25、第五步,根据置信度、气味源估计相对位置的有效性判断结果以及机器人当前是否检测到气味羽流,从至少包括源导向模式、羽流内追踪模式和羽流再捕获模式的多种导航先验模式中选择一种,生成基础线速度和基础偏航角速度指令。
26、具体而言,源导向模式在置信度高于预设阈值且气味源估计相对位置位于预设有效范围内时启用,此时根据气味源估计相对方位控制机器人转向,并根据估计距离调整前进速度。羽流内追踪模式在检测到气味羽流但气味源估计相对位置不稳定时启用,此时将融合梯度的上升方向与逆风方向加权融合,控制机器人沿气味羽流向上游推进。羽流再捕获模式在气味浓度低于预设接触阈值时启用,此时控制机器人执行横风方向摆动并叠加逆风偏置,以重新进入气味羽流。
27、第六步,将基础线速度和基础偏航角速度指令作为导航先验,由经训练的残差强化学习策略网络根据当前机器人状态观测输出线速度残差和偏航角速度残差,将这两个残差分别叠加至基础线速度和基础偏航角速度指令,经限幅和平滑后得到最终高层速度命令。
28、残差强化学习策略网络优选为近端策略优化(proximal policy optimization,ppo)网络。其输入的当前状态观测至少包括机器人机身坐标系下的以下信息:气味源估计相对位置、融合梯度、置信度、气味浓度均值及变化率、机身坐标系风速、机身线速度、机身角速度、机身横滚角和俯仰角、上一时刻的动作指令以及羽流接触标志。该状态观测中不包含气味源的真实世界绝对坐标,以确保策略在现实部署时不会依赖仿真环境中才有的信息捷径。
29、第七步,将最终高层速度命令输入底层步态控制器,由底层步态控制器将该命令转换为机器人各关节的驱动指令并执行,驱动机器人移动至新的采样位置。
30、底层步态控制器优选为对角trot步态控制器,其中前左腿与后右腿设为同相,前右腿与后左腿设为相反相位。最终高层速度命令中的线速度用于调节步频、摆幅以及支撑相与摆动相的比例,偏航角速度用于通过左右腿步幅差实现转向。各关节的驱动指令在执行前经过关节运动范围裁剪和动作平滑处理。
31、第八步,重复执行上述步骤,直至满足预设的终止条件。终止条件包括机器人进入气味源预设邻域范围、超过预设搜索时间、机器人姿态超出预设安全范围以及接收到外部终止指令中的至少一种。
32、本发明还提供一种基于时间窗逆物理信息神经网络与残差强化学习的四足机器人气味源追踪系统,该系统包括以下模块:
33、多点气味采集模块,用于通过设置在机器人机体上的多个空间分离的气味采样点连续采集各采样点处的气味浓度。
34、风场与运动采集模块,用于获取各采样时刻的局部风速、机器人相对位移及姿态信息。
35、时间窗构建模块,用于将当前时刻之前的最近n个采样时刻内各采样点的采样位置、采样时间、气味浓度、风速和有效标志写入滚动时间窗,并将各采样位置转换为相对于机器人当前位置的局部坐标。
36、逆物理信息神经网络估计模块,用于对滚动时间窗进行编码并输出气味源相对于机器人当前位置的估计相对位置、估计位置的不确定度,以及机器人当前位置附近的连续浓度场梯度。
37、置信度融合模块,用于根据不确定度计算置信度,并依据该置信度对连续浓度场梯度与由多个采样点的瞬时浓度差分得到的原始浓度场梯度进行自适应加权融合,得到融合梯度。
38、导航先验模块,用于根据置信度、气味源估计相对位置的有效性以及机器人当前是否检测到气味羽流,从至少包括源导向模式、羽流内追踪模式和羽流再捕获模式的多种导航先验模式中选择一种,生成基础线速度和基础偏航角速度指令。
39、残差强化学习决策模块,用于根据当前状态观测输出线速度残差和偏航角速度残差,并叠加至基础线速度和基础偏航角速度指令,经限幅平滑后得到最终高层速度命令。
40、底层步态执行模块,用于将最终高层速度命令转换为机器人各关节的驱动指令并执行。
41、3.有益效果:
42、采用本发明提供的技术方案,与现有技术相比,具有如下有益效果:
43、(1)利用时间窗汇聚机器人在移动过程中多个空间采样点的历史数据,而非仅依赖当前时刻的浓度测量,能够有效应对气味羽流的间歇性和气体传感器的响应迟滞,降低瞬时噪声引起的错误转向。
44、(2)通过对流-扩散-衰减物理方程约束神经网络的输出,使得浓度场的估计在稀疏观测和局部空间外推时具有明确的物理依据,避免了纯数据驱动方法可能产生的不符合物理规律的预测结果。
45、(3)逆物理信息神经网络同时输出气味源相对位置、连续浓度场梯度和位置不确定度。置信度根据不确定度以及时间窗的填充状态综合计算,并据此在神经场梯度与原始传感器差分之间自适应融合——高置信度时充分利用历史信息和物理约束提供的连续场,低置信度时自动回退到直接的瞬时观测——避免了单一估计器在不利条件下完全失效导致控制突变。
46、(4)通过源导向、羽流内追踪和羽流再捕获三种导航模式的设置,实现了锁定目标、追踪羽流、丢失后重新捕获之间的可解释切换,便于系统调试和故障分析。
47、(5)将强化学习的动作空间从十二个关节动作大幅缩减为线速度和偏航角速度两个高层残差,使强化学习策略只需学习对导航先验的微小修正,不必重新学习站立平衡和周期步态,从而降低了训练搜索空间、动作爆炸和侧翻的风险。
48、(6)通过将气味源真实世界坐标排除在强化学习策略的观测空间之外,并设置气味消融验证实验,有效避免了策略在仿真训练中利用隐藏信息形成信息捷径,增强了策略从仿真到现实部署的有效性。
49、需要说明的是,本发明未介绍的结构由于不涉及本发明的设计要点及改进方向,均与现有技术相同或者可采用现有技术加以实现在此不做赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com