一种无人设备跨平台智能体目标接力跟踪方法及系统与流程
本发明涉及无人机与机器人分布式协同感知,具体涉及一种无人设备跨平台智能体目标接力跟踪方法及系统,适用于空中无人机、地面无人车、固定监控节点等异构无人设备对运动目标进行连续、无缝的跨平台接力跟踪。
背景技术:
1、在安防巡检、边境巡逻、交通监控、应急救援等应用场景中,需要对运动目标(人员、车辆、船只等)进行长时间、大范围的连续跟踪。现有技术主要存在以下三类方案:
2、(1)单平台跟踪方案:由单台无人机或单个监控设备对目标进行持续跟踪。该方案受单平台视场(field of view, fov)范围、续航能力及遮挡条件的限制,当目标驶出视场或平台电量耗尽返航时,跟踪即告中断,无法实现大范围连续跟踪。
3、(2)多平台并行跟踪方案:多个平台各自独立检测目标,由中心服务器汇总检测结果。该方案中各平台对同一目标分配不同的本地标识(id),跨平台目标身份关联依赖中心服务器的事后匹配,存在跨平台目标 id 断裂问题;且中心化处理方式对通信带宽与中心节点可靠性要求高,难以适应弱网、拒止环境。
4、(3)硬切换移交方案:部分协同跟踪系统在目标进入下一平台视场后直接进行跟踪权硬切换。硬切换缺乏平滑过渡机制,当两个平台对目标的观测存在时间差或测量误差时,目标轨迹在切换瞬间出现跳变甚至丢失;同时由于缺乏严格的身份校验机制,在密集多目标场景下容易发生目标误关联,将跟踪权错误移交至其他目标。
5、此外,现有跨平台协同多采用中心调度式架构,各平台缺少本地自治的边缘智能决策能力,切换时机与接管方选择由中心节点统一计算,存在单点故障与时延高的问题。在边缘侧部署深度推理时,还存在推理框架跨平台可移植性差的问题。
6、因此,亟需一种去中心化的、由边缘智能体自主协商的跨平台目标接力跟踪方法,以解决单平台视场受限、跨平台目标 id 断裂、硬切换轨迹丢失及目标误关联等技术问题。
技术实现思路
1、要解决的技术问题
2、针对现有技术中单平台视场受限导致跟踪中断、跨平台目标 id 断裂、硬切换导致目标轨迹丢失、密集场景下接力目标误关联等问题,本发明提供一种无人设备跨平台智能体目标接力跟踪方法及系统,实现多台异构无人设备之间对运动目标的去中心化、无缝、身份一致的接力跟踪。
3、技术方案
4、本发明的技术方案如下:
5、一种无人设备跨平台智能体目标接力跟踪方法,包括:
6、步骤s1、本地感知跟踪:各无人设备上运行的边缘智能体(edge agent)基于部署在本地的轻量级目标检测模型(如 yolo 系列模型,经序列化后由 tract 推理引擎或onnxruntime 运行时加载执行)对传感器数据流进行目标检测,并对检测到的目标执行卡尔曼滤波(kalman filter)运动状态估计与重识别(re-identification, reid)外观特征提取,生成目标的 reid 特征向量与运动状态向量(位置、速度、协方差矩阵)。
7、步骤s2、接力触发与请求广播:当前持有目标跟踪权的跟踪方智能体依据卡尔曼滤波外推的目标轨迹与自身传感器视场多边形边界求交,计算目标预计离开感知范围的剩余时间;当剩余时间小于预警阈值(1秒至10秒)时,通过跨平台消息总线(tonic 框架的grpc 双向流式通道,或基于 quinn 的 quic 协议承载的 mqtt 通道)广播接力请求消息,消息包含目标 reid 特征向量、运动状态向量、地理围栏及预计交接时间窗。
8、步骤s3、接管评估:候选智能体根据自身平台位置、传感器朝向、与地理围栏的空间关系及当前计算负载,按加权评分函数计算接管评分: s_score = w1·p_vis + w2·p_dist + w3·p_load + w4·p_stable, 并回送接力应答消息。
9、步骤s4、双门限迟滞移交:跟踪方智能体依据接管评分选定接管方智能体,采用带迟滞阈值与置信窗口的双门限切换机制执行跟踪权移交:接管方对目标的身份确认置信度c(t) 在长度为 w 的连续置信窗口内全部大于第一门限 t_high 时进入预接管状态;预接管状态下 c(t) 低于第二门限 t_low 则回退,迟滞间隔 δ=t_high−t_low 防止门限附近抖动导致的频繁切换;移交期间跟踪方在协同观测时段(0.5秒至5秒)内继续向接管方发送协同观测数据,接管方将双方量测融合进卡尔曼滤波器,实现轨迹平滑过渡。
10、步骤s5、目标身份联合校验:接管方对自身检测到的候选目标执行特征相似度与时空一致性联合校验:计算候选目标 reid 特征向量与请求消息中目标特征向量的余弦相似度 s_app;将请求消息中的运动状态外推至当前时刻得到预测位置,计算候选目标实测位置与预测位置的马氏距离并映射为时空一致性评分 s_st;当联合校验评分 j=α·s_app+β·s_st 大于校验阈值时判定身份关联成立,接管方继承目标的全局跟踪标识,完成接力。
11、本发明还提供一种实现上述方法的无人设备跨平台智能体目标接力跟踪系统,包括部署于多台异构无人设备上的边缘智能体及跨平台消息总线;边缘智能体包括本地感知跟踪模块、接力触发模块、接管评估模块、移交决策模块和身份融合模块。
12、本发明还提供一种计算机可读存储介质及无人设备,用于执行上述方法。
13、有益效果
14、(1)去中心化接力协商:接力触发、接管评分与移交决策均由边缘智能体自主完成,无需中心调度节点,消除了单点故障,适应弱网环境;
15、(2)无缝轨迹过渡:移交期间旧跟踪方持续提供短时协同观测,接管方将双源量测融合进卡尔曼滤波,避免硬切换导致的轨迹跳变与目标丢失;
16、(3)切换稳定性:双门限迟滞机制配合置信窗口,避免置信度在单一门限附近抖动引发的”乒乓切换”;
17、(4)身份一致性:reid 特征相似度与马氏距离时空一致性联合校验,配合全局跟踪标识继承机制,解决跨平台目标 id 断裂与密集多目标场景下的误关联问题;
18、(5)工程可实现性:全链路基于 rust 生态(tokio 异步运行时、tonic/grpc、quinn/quic、tract/onnxruntime 推理),兼顾内存安全、跨平台移植性与边缘侧推理性能。
1.一种无人设备跨平台智能体目标接力跟踪方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的无人设备跨平台智能体目标接力跟踪方法,其特征在于,步骤s2中所述目标预计离开感知范围的剩余时间按如下方式计算:以卡尔曼滤波预测的目标位置轨迹与自身传感器视场多边形边界求交,得到轨迹穿出视场边界的交点时刻与当前时刻之差作为剩余时间;所述预警阈值为1秒至10秒。
3.根据权利要求1所述的无人设备跨平台智能体目标接力跟踪方法,其特征在于,步骤s3中所述接管评分按加权评分函数计算: s_score = w1·p_vis + w2·p_dist + w3·p_load + w4·p_stable, 其中,p_vis 为目标地理围栏范围落入候选智能体传感器视场内的可见概率,依据候选智能体的平台位置、传感器朝向角及视场角计算;p_dist 为候选智能体与目标预测位置的距离归一化评分,距离越近取值越大;p_load 为候选智能体当前计算负载的归一化余量评分,负载越低取值越大;p_stable 为候选智能体通信链路质量评分;w1、w2、w3、w4 为权重系数,满足 w1+w2+w3+w4=1,且各权重取值范围为0至1。
4.根据权利要求1所述的无人设备跨平台智能体目标接力跟踪方法,其特征在于,步骤s4中所述双门限切换机制具体为:设接管方智能体对目标的身份确认置信度为 c(t),第一门限为 t_high,第二门限为 t_low,且 t_high>t_low,迟滞间隔 δ=t_high−t_low;当接管方智能体处于未确认状态时,若 c(t) 在长度为 w 的连续置信窗口内的全部采样值均大于 t_high,则切换为预接管状态;当接管方智能体处于预接管状态时,若 c(t) 在置信窗口内低于 t_low 则回退至未确认状态,若 c(t) 持续满足移交条件且协同观测时段届满,则切换为正式接管状态,获得目标跟踪权;其中 t_high 取值范围为0.6至0.95,δ 取值范围为0.05至0.2,w 对应的时长为0.2秒至2秒。
5.根据权利要求1所述的无人设备跨平台智能体目标接力跟踪方法,其特征在于,步骤s5中所述特征相似度与时空一致性联合校验具体为:计算候选目标外观特征向量与接力请求消息中目标外观特征向量之间的余弦相似度 s_app;依据接力请求消息中的运动状态向量外推至当前时刻得到目标预测位置,计算候选目标实测位置与目标预测位置的马氏距离,并映射为时空一致性评分 s_st;当联合校验评分 j = α·s_app + β·s_st 大于校验阈值时判定身份关联成立,其中 α、β 为权重系数且 α+β=1。
6.根据权利要求1所述的无人设备跨平台智能体目标接力跟踪方法,其特征在于,步骤s4中所述移交期间,跟踪方智能体以预设频率向接管方智能体发送协同观测数据,所述协同观测数据包括跟踪方对目标的检测框、运动状态向量及测量协方差;接管方智能体将所述协同观测数据与自身检测量测一并输入卡尔曼滤波器进行融合更新,直至协同观测时段届满后跟踪方智能体停止发送并释放目标跟踪权;所述协同观测时段为0.5秒至5秒。
7.根据权利要求1所述的无人设备跨平台智能体目标接力跟踪方法,其特征在于,步骤s2中所述跨平台消息总线为基于 grpc 的双向流式通信通道或基于 quic 协议的 mqtt消息通道;所述接力请求消息与接力应答消息采用 protocol buffers 序列化,消息中携带目标跟踪标识、消息时间戳及签名信息,接收方依据消息时间戳丢弃过期消息。
8.根据权利要求1所述的无人设备跨平台智能体目标接力跟踪方法,其特征在于,所述方法还包括:当所述跟踪方智能体在广播接力请求消息后的超时时段内未收到任何接力应答消息、或全部接力应答消息的接管评分均低于最低接管阈值时,跟踪方智能体沿目标运动方向重新计算扩大范围的地理围栏并再次广播接力请求消息;当重试次数达到上限后,将目标标记为丢失并向任务中心上报告警。
9.根据权利要求1所述的无人设备跨平台智能体目标接力跟踪方法,其特征在于,所述边缘智能体采用 rust 语言实现,本地目标检测模型经序列化后由 tract 推理引擎或onnxruntime 运行时加载执行;多个边缘智能体之间的异步消息收发基于 tokio 异步运行时实现,接力协商过程由跟踪方智能体、候选智能体各自维护的接力状态机驱动,所述接力状态机至少包括跟踪中、预警、协商中、协同移交、已移交五种状态。
10.一种无人设备跨平台智能体目标接力跟踪系统,其特征在于,包括部署于多台异构无人设备上的边缘智能体以及连接各边缘智能体的跨平台消息总线;所述边缘智能体包括:本地感知跟踪模块,用于基于本地轻量级目标检测模型执行目标检测,并通过卡尔曼滤波与外观特征提取生成目标的外观特征向量与运动状态向量;接力触发模块,用于依据目标运动状态外推轨迹与自身传感器视场边界计算目标预计离开感知范围的剩余时间,在剩余时间小于预警阈值时经所述跨平台消息总线广播接力请求消息;接管评估模块,用于在收到接力请求消息后,根据自身平台位置、传感器朝向、与地理围栏的空间关系及当前计算负载计算接管评分,并回送接力应答消息;移交决策模块,用于依据各接力应答消息的接管评分确定接管方智能体,并采用带迟滞阈值与置信窗口的双门限切换机制执行跟踪权移交,在移交期间由跟踪方智能体继续发送协同观测数据;身份融合模块,用于对接管方智能体检测到的候选目标与接力请求消息中的目标执行特征相似度与时空一致性联合校验,校验通过后继承目标跟踪标识,完成跟踪接力。
11.根据权利要求10所述的无人设备跨平台智能体目标接力跟踪系统,其特征在于,所述移交决策模块按加权评分函数 s_score = w1·p_vis + w2·p_dist + w3·p_load +w4·p_stable 对各接力应答消息的接管评分进行排序,选取评分最高的候选智能体作为接管方智能体;其中 p_vis 为可见概率,p_dist 为距离归一化评分,p_load 为负载余量评分,p_stable 为通信链路质量评分,w1+w2+w3+w4=1。
12.根据权利要求10所述的无人设备跨平台智能体目标接力跟踪系统,其特征在于,所述移交决策模块维护的置信度 c(t) 满足:当 c(t) 在长度为 w 的连续置信窗口内均大于第一门限 t_high 时进入预接管状态;处于预接管状态时若 c(t) 在置信窗口内低于第二门限 t_low 则回退,若持续满足移交条件且协同观测时段届满则进入正式接管状态;其中 t_high>t_low,迟滞间隔 δ=t_high−t_low 的取值范围为0.05至0.2。
13.根据权利要求10所述的无人设备跨平台智能体目标接力跟踪系统,其特征在于,所述身份融合模块计算候选目标外观特征向量与接力请求消息中目标外观特征向量的余弦相似度 s_app,以及候选目标实测位置与目标预测位置之间的马氏距离所映射的时空一致性评分 s_st,当联合校验评分 j=α·s_app+β·s_st 大于校验阈值时判定身份关联成立,其中 α+β=1。
14.根据权利要求10所述的无人设备跨平台智能体目标接力跟踪系统,其特征在于,所述跨平台消息总线为基于 grpc 双向流式通信或基于 quic 协议的 mqtt 消息通道,接力请求消息与接力应答消息采用 protocol buffers 序列化并携带目标跟踪标识、消息时间戳及签名信息。
15.根据权利要求10所述的无人设备跨平台智能体目标接力跟踪系统,其特征在于,所述异构无人设备包括空中无人机、地面无人车及固定监控节点中的至少两种;各边缘智能体采用 rust 语言实现并运行于 tokio 异步运行时之上,本地目标检测模型由 tract 推理引擎或 onnxruntime 运行时加载执行。
16.根据权利要求10所述的无人设备跨平台智能体目标接力跟踪系统,其特征在于,所述接力触发模块在接力请求广播超时未获有效应答时,沿目标运动方向扩大地理围栏并重新广播接力请求消息,重试次数达到上限后将目标标记为丢失并上报告警。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的无人设备跨平台智能体目标接力跟踪方法的步骤。
18.一种无人设备,其特征在于,包括处理器、存储器、传感器及通信接口,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的无人设备跨平台智能体目标接力跟踪方法中对应边缘智能体的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com