一种无人机动态目标重定位方法及系统

本发明涉及无人机目标跟踪，具体涉及一种无人机动态目标重定位方法及系统。

背景技术：

1、无人机具有视角灵活、覆盖范围广及部署便捷等特点，已逐渐应用于城市交通监测、道路巡检及动态车辆跟踪等场景。现有无人机目标跟踪方法通常利用机载摄像头获取道路图像，通过目标检测、视觉跟踪或多目标关联算法持续确定目标车辆的位置，并根据目标车辆在图像中的位置变化控制无人机调整飞行姿态或跟踪航点。当目标车辆持续可见或仅发生短时遮挡时，上述方法能够维持较为连续的目标跟踪。

2、在目标车辆脱离无人机视野后，现有技术通常根据目标车辆消失前的位置、速度及运动方向预测目标车辆的运动轨迹，并据此生成无人机搜索轨迹。例如，现有技术cn118519446a公开了一种车辆目标脱离视野后的无人机跟踪控制方法，其根据目标车辆消失前在世界坐标系中的变化数据预测目标车辆的坐标轨迹，根据目标车辆消失前在图像框坐标系中的变化数据确定无人机的搜索速度和搜索方向，并对预测坐标轨迹和搜索坐标轨迹进行加权融合，以确定无人机的期望搜索轨迹。

3、此外，视觉语言动作（vision-language-action，vla）策略模型能够对图像、任务指令及设备状态等多模态信息进行融合处理，并输出导航动作或控制动作，为无人机自主跟踪和搜索提供了新的技术途径。但是，现有vla策略模型主要面向目标可见状态下的指令跟随和当前观测决策，对目标完全离开无人机视野后的持续搜索、同一目标确认及安全恢复跟随考虑不足。

4、在城市道路环境中，目标车辆可能因建筑物、道路转弯、交叉路口、树木或其他车辆遮挡而长时间离开无人机视野。仅根据目标车辆消失前的运动轨迹进行外推，难以充分反映道路连通关系、车辆可通行方向及道路分支对目标运动范围的限制，容易产生搜索区域不合理和重复搜索的问题。同时，在搜索区域内存在多个外观相似车辆时，若直接使用新检测结果更新目标线索，容易造成目标身份混淆及跟踪模型污染。目标重新出现后，若仅根据单一外观特征或预测位置恢复跟随，也容易将相似车辆错误确认为原目标。此外，现有方法通常缺少搜索决策、候选车辆验证、航点安全检查及执行结果反馈之间的闭环联系，难以兼顾目标重定位的准确性、搜索效率和飞行安全性。

技术实现思路

1、本发明要解决的技术问题是：针对现有无人机目标跟踪方法在目标车辆脱离视野后主要依赖历史运动轨迹进行搜索，未能有效结合可信目标线索、道路拓扑和道路观察状态确定搜索区域，且在目标重新出现后容易受到相似车辆干扰，以及目标搜索、身份确认、动作生成和安全执行之间缺少闭环反馈的问题，提供一种无人机动态目标重定位方法及系统，以提高复杂道路环境下目标车辆重新定位和恢复跟随的可靠性。

2、本发明通过下述技术方案实现：

3、一种无人机动态目标重定位方法，包括：

4、获取任务指令、无人机当前图像、无人机状态、历史目标线索、局部道路上下文和候选验证结果；

5、根据所述无人机当前图像判断目标车辆是否处于已验证可见状态，并在所述目标车辆不处于已验证可见状态且目标丢失时间超过预设丢失容忍阈值时，触发动态目标重定位流程；

6、响应于触发所述动态目标重定位流程，保持最后一次已验证目标线索，并根据所述目标丢失时间更新所述目标车辆的位置不确定范围，其中，未经身份验证的候选车辆不用于替换所述最后一次已验证目标线索；

7、根据所述最后一次已验证目标线索和所述局部道路上下文确定候选道路段，基于所述候选道路段与所述目标车辆的运动一致性、道路可行驶约束、近期观察状态权重以及未访问道路分支奖励，确定各候选道路段的搜索置信度，并根据所述搜索置信度确定满足无人机安全可达条件的候选道路区域；

8、控制所述无人机对所述候选道路区域进行搜索，并对搜索过程中检测到的候选车辆进行身份验证，其中，所述身份验证包括根据所述候选车辆的可见质量、属性一致性、运动一致性、空间一致性和外观重识别相似度确定候选车辆身份评分，并根据候选车辆数量选择相应的身份确认条件，确认所述候选车辆是否为所述目标车辆；

9、将所述任务指令、所述无人机当前图像、所述无人机状态、所述历史目标线索、所述局部道路上下文和所述候选验证结果输入视觉语言动作策略模型，得到包括动作阶段、空间目标和策略置信度的结构化重定位决策，并根据所述空间目标生成无人机待执行航点；

10、对所述无人机待执行航点进行安全约束检查，在所述无人机待执行航点满足安全约束时控制所述无人机执行对应动作，在所述无人机待执行航点不满足所述安全约束时拒绝执行所述无人机待执行航点并进行重新规划或保持搜索状态；以及

11、根据道路观察结果、候选车辆身份验证结果和动作执行结果，更新所述最后一次已验证目标线索、所述局部道路上下文、所述候选验证结果以及下一轮所述视觉语言动作策略模型的输入。

12、更进一步的，使用已验证可见性标志表示所述目标车辆是否处于已验证可见状态，并将目标丢失条件表示为：

13、

14、其中，表示当前时刻的已验证可见性标志，表示所述目标车辆不可见或身份存在歧义，表示当前时刻，表示最后一次已验证观测时刻，表示所述预设丢失容忍阈值；

15、所述最后一次已验证目标线索表示为：

16、

17、

18、其中，表示目标类别，表示最后一次已验证目标外观描述，表示最后一次已验证目标位置，表示目标状态信息，表示最后一次已验证目标速度，表示最后一次已验证目标航向，表示最后一次已验证观测时刻的位置不确定半径；

19、当所述目标车辆处于已验证可见状态时，根据当前观测结果更新所述最后一次已验证目标线索；当所述目标车辆不处于已验证可见状态时，保持所述最后一次已验证目标线索不变。

20、更进一步的，根据所述目标丢失时间更新所述目标车辆的位置不确定范围，包括：

21、按照下式计算当前时刻的位置不确定半径：

22、

23、其中，表示当前时刻的位置不确定半径，表示不确定半径增长系数；

24、根据所述无人机的当前位置、所述最后一次已验证目标位置、所述最后一次已验证目标航向、所述最后一次已验证目标速度、所述当前时刻的位置不确定半径以及局部道路拓扑，确定候选道路段集合。

25、更进一步的，所述候选道路段的搜索置信度按照下式确定：

26、；

27、其中，表示候选道路段的搜索置信度，表示归一化系数，表示该道路段与最后一次已验证目标线索所外推运动方向的一致性，表示道路连通性和车辆可行驶约束，表示近期观察状态权重，表示所述候选道路段属于未访问道路分支时的奖励项；

28、对于候选道路段集合，各所述候选道路段的搜索置信度满足：

29、；

30、其中，根据所述候选道路段的道路方向与所述最后一次已验证目标航向之间的偏差以及外推目标位置到所述候选道路段的距离，确定所述运动一致性；在所述候选道路段近期被完整观察且未发现所述目标车辆时，降低对应的近期观察状态权重，并使该权重随时间恢复；通过所述奖励项提高未访问道路分支的搜索优先级。

31、更进一步的，对于搜索过程中检测到的第个候选车辆，按照下式确定所述候选车辆身份评分：

32、；

33、其中，表示第个候选车辆的候选车辆身份评分，表示所述候选车辆的可见质量，表示所述候选车辆与所述目标车辆之间的类别和外观属性一致性，表示所述候选车辆与所述最后一次已验证目标线索之间的运动一致性，表示所述候选车辆所在道路区域与候选道路区域之间的空间一致性，表示所述候选车辆与所述最后一次已验证目标外观描述之间的外观重识别相似度，、、、和分别表示对应的非负权重，并满足：。

34、更进一步的，根据候选车辆数量选择相应的身份确认条件，确认候选车辆是否为所述目标车辆，包括：

35、当存在两个或两个以上满足检测条件的候选车辆时，将各所述候选车辆按照所述候选车辆身份评分由高到低排序，并在同时满足下列条件时，确认所述最优候选车辆为所述目标车辆：

36、；

37、其中，表示所述最优候选车辆的候选车辆身份评分，表示所述次优候选车辆的候选车辆身份评分，表示身份确认阈值，表示候选车辆间身份评分间隔阈值；

38、当当前候选道路区域内仅存在一个满足检测条件的候选车辆时，候选车辆间身份评分间隔条件不适用，仅判断该候选车辆的身份评分是否不低于身份确认阈值；当相应确认条件不满足时，不更新所述最后一次已验证目标线索，并控制所述无人机继续搜索、调整观察航点或者在后续获取的无人机当前图像中重新检测候选车辆。

39、更进一步的，所述视觉语言动作策略模型的输入表示为：

40、；

41、其中，表示所述任务指令，表示所述无人机当前图像，表示所述无人机状态，表示截至所述最后一次已验证观测时刻的历史目标线索，表示所述局部道路上下文，表示所述候选验证结果；

42、所述无人机状态表示为：

43、；

44、其中，、、和分别表示所述无人机的位置、速度、航向和高度；

45、在当前候选道路区域内未检测到候选车辆时，所述候选验证结果为空集或未确认状态标记；在检测到一个候选车辆时，所述候选验证结果包括该候选车辆的身份评分及身份确认结果；在检测到两个或两个以上候选车辆时，所述候选验证结果还包括最优候选车辆与次优候选车辆之间的评分间隔信息。

46、更进一步的，所述结构化重定位决策表示为：

47、；

48、其中，表示所述动作阶段，所述动作阶段至少包括搜索、巡检、确认、跟随和返回；表示所述空间目标，所述空间目标包括道路区域标识、候选车辆标识、已确认目标车辆标识或无人机航点；表示所述策略置信度；

49、当所述空间目标为道路区域标识时，根据所述道路区域的位置生成观察航点；当所述空间目标为候选车辆标识且所述动作阶段为巡检或确认时，根据所述候选车辆的位置生成相应航点；当所述空间目标为已确认目标车辆标识且所述动作阶段为跟随时，根据所述已确认目标车辆的位置生成跟随航点；当所述空间目标为无人机航点时，将所述无人机航点确定为所述无人机待执行航点。

50、更进一步的，对所述无人机待执行航点进行安全约束检查，包括：

51、根据所述无人机待执行航点对应的飞行高度、障碍物距离、航点可达性和局部碰撞风险，判断所述无人机待执行航点是否满足所述安全约束；

52、在所述无人机待执行航点不满足所述安全约束时，将安全检查失败结果反馈至所述视觉语言动作策略模型，并重新生成无人机待执行航点或保持搜索状态；

53、在候选车辆被确认为所述目标车辆时，将被确认的候选车辆作为新的已验证目标，更新所述最后一次已验证目标线索并恢复跟随；将最近一次完整观察未发现通过身份验证的目标车辆、候选车辆未通过身份验证以及无人机待执行航点未通过所述安全约束检查的结果，分别用于更新所述局部道路上下文、所述候选验证结果和下一轮所述视觉语言动作策略模型的输入。

54、本发明还提供了一种无人机动态目标重定位系统，用于实现前述一种无人机动态目标重定位方法，包括：

55、多源输入模块，用于获取任务指令、无人机当前图像、无人机状态、历史目标线索、局部道路上下文和候选验证结果；

56、目标丢失判断模块，用于根据所述无人机当前图像判断目标车辆是否处于已验证可见状态，并在所述目标车辆不处于已验证可见状态且目标丢失时间超过预设丢失容忍阈值时，输出目标丢失状态；

57、历史目标线索管理模块，用于保存最后一次已验证目标线索，根据所述目标丢失时间更新所述目标车辆的位置不确定范围，并禁止未经身份验证的候选车辆替换所述最后一次已验证目标线索；

58、道路约束搜索模块，用于根据所述最后一次已验证目标线索和所述局部道路上下文确定候选道路段，基于目标运动一致性、道路可行驶约束、近期观察状态权重和未访问道路分支奖励确定各所述候选道路段的搜索置信度，并根据所述搜索置信度确定候选道路区域；

59、候选车辆验证模块，用于根据候选车辆的可见质量、属性一致性、运动一致性、空间一致性和外观重识别相似度确定候选车辆身份评分；在存在两个或两个以上满足检测条件的候选车辆时，根据最优候选车辆的候选车辆身份评分以及最优候选车辆与次优候选车辆之间的评分差值，确认所述最优候选车辆是否为所述目标车辆；在仅存在一个满足检测条件的候选车辆时，仅根据该候选车辆的身份评分与身份确认阈值确认所述候选车辆是否为所述目标车辆；

60、视觉语言动作结构化决策模块，用于根据所述任务指令、所述无人机当前图像、所述无人机状态、所述历史目标线索、所述局部道路上下文和所述候选验证结果，输出包括动作阶段、空间目标和策略置信度的结构化重定位决策，并根据所述空间目标生成无人机待执行航点；以及

61、安全执行与反馈模块，用于对所述无人机待执行航点进行安全约束检查，在所述无人机待执行航点满足安全约束时控制所述无人机执行对应动作，在所述无人机待执行航点不满足所述安全约束时进行重新规划或保持搜索状态，并根据道路观察结果、候选车辆身份验证结果和动作执行结果，更新所述最后一次已验证目标线索、所述局部道路上下文、所述候选验证结果以及下一轮所述视觉语言动作结构化决策模块的输入。

62、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如前所述的无人机动态目标重定位方法。

63、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述的无人机动态目标重定位方法。

64、本发明与现有技术相比，具有如下的优点和有益效果：

65、本发明在目标车辆被确认可见时保存最后一次已验证目标线索，并在目标车辆不可见或候选车辆尚未通过身份验证时，禁止使用对应候选车辆替换最后一次已验证目标线索，由此避免遮挡期间的误检测结果和相似车辆对原始目标身份信息造成污染；同时根据目标丢失时间更新目标车辆的位置不确定范围，为后续搜索区域的确定提供可靠的历史状态依据。

66、本发明根据最后一次已验证目标线索和局部道路上下文确定候选道路段，并综合目标运动一致性、道路可行驶约束、近期观察状态权重及未访问道路分支奖励确定搜索置信度，使目标搜索范围与道路连通关系、车辆可能行驶方向及无人机已有观察结果相匹配，减少不符合车辆运动规律的区域搜索及已观察道路区域的重复搜索。

67、本发明综合候选车辆的可见质量、属性一致性、运动一致性、空间一致性及外观重识别相似度确定候选车辆身份评分，并同时利用身份确认阈值和候选车辆间身份评分间隔阈值进行身份确认，只有在最优候选车辆自身具有足够可信度且与其他候选车辆具有足够区分度时才恢复跟随，从而降低相似车辆造成错误重定位和错误恢复跟随的风险。

68、本发明将任务指令、无人机当前图像、无人机状态、历史目标线索、局部道路上下文及候选验证结果共同输入视觉语言动作策略模型，输出包括动作阶段、空间目标和策略置信度的结构化重定位决策，并对生成的无人机待执行航点进行安全约束检查；进一步根据道路观察结果、候选车辆身份验证结果及动作执行结果更新下一轮模型输入，从而形成目标搜索、候选确认、动作生成、安全执行及反馈更新相衔接的动态目标重定位闭环。