基于感知大模型的跟踪反馈方法、装置、设备及存储介质与流程

本技术涉及无人机交互与反馈，尤其涉及基于感知大模型的跟踪反馈方法、装置、设备及存储介质。

背景技术：

1、飞手是指操控无人机的操作人员。飞手通过遥控器向无人机发送控制指令，控制无人机的飞行姿态、飞行速度和飞行航向。在无人机视觉跟踪系统中，飞手负责执行目标选择、目标锁定确认的任务。

2、然而，现有无人机视觉跟踪系统的反馈方式完全依赖于飞手的视觉通道，单一反馈方式无法在飞手视线离开屏幕时，传递锁定状态信息，导致飞手无法及时获知目标是否已被锁定及跟踪状态是否发生变化，不利于提高飞手在多任务操作场景下的态势感知能力和目标跟踪任务的操作效率。因此，如何增加无人机视觉跟踪场景下的反馈手段，是一个亟需解决的技术问题。

技术实现思路

1、本技术实施例提供基于感知大模型的跟踪反馈方法、装置、设备及存储介质，以解决上述如何增加无人机视觉跟踪场景下的反馈手段的技术问题。

2、第一方面，本技术实施例提供了一种基于感知大模型的跟踪反馈方法，应用于控制设备，所述跟踪反馈方法包括：

3、获取无人机发送的视频帧，将视频帧输入感知大模型，通过感知大模型生成跟踪目标集合，跟踪目标集合包括每个跟踪目标的边界框、每个跟踪目标的唯一标识；

4、基于每个跟踪目标的边界框，确定每个跟踪目标的中心坐标与图像中心坐标的距离；

5、将距离最小的跟踪目标的唯一标识标记为锁定标识，将距离最小的跟踪目标标记为锁定目标，获取无人机与锁定目标之间的当前距离值；

6、根据当前距离值和预定义的半径生成模型，生成预警圈的半径，根据预警圈的半径，在显示画面中围绕锁定目标绘制一个预警圈；

7、在当前距离值低于预设阈值时，控制预警圈以红色进行闪烁，绘制虚线圈，并驱动蜂鸣器发出锁定目标的提示音。

8、在第一方面的一种可能的实现方式中，获取无人机发送的视频帧，将视频帧输入感知大模型，通过感知大模型生成跟踪目标集合，跟踪目标集合包括每个跟踪目标的边界框、每个跟踪目标的唯一标识，包括：

9、获取无人机发送的视频帧，采用预设尺寸对视频帧进行缩放，得到缩放后的视频帧，对缩放后的视频帧进行像素数值归一化，生成视频帧的张量，将视频帧的张量输入感知大模型，通过感知大模型生成跟踪目标集合，跟踪目标集合包括每个跟踪目标的边界框、每个跟踪目标的唯一标识。

10、在第一方面的一种可能的实现方式中，基于每个跟踪目标的边界框，确定每个跟踪目标的中心坐标与图像中心坐标的距离，包括：

11、将每个跟踪目标的边界框的颜色设置为绿色，提取每个跟踪目标的边界框的最小横坐标、最大横坐标、最小纵坐标、最大纵坐标，对每个跟踪目标的边界框的最小横坐标、最大横坐标取平均值，得到每个跟踪目标的中心横坐标，对每个跟踪目标的边界框的最小纵坐标与最大纵坐标取平均值，得到跟踪目标的中心纵坐标，组合中心横坐标与中心纵坐标，形成每个跟踪目标的中心坐标；

12、获取图像中心坐标，分别计算每个跟踪目标的中心坐标与图像中心坐标的距离。

13、在第一方面的一种可能的实现方式中，将距离最小的跟踪目标的唯一标识标记为锁定标识，将距离最小的跟踪目标标记为锁定目标，获取无人机与锁定目标之间的当前距离值，包括：

14、选取距离最小的选中目标的边界框的颜色设置为黄色，获取模式切换信息，当模式切换信息中的开关由选择模式切换至锁定模式时，将距离最小的跟踪目标的唯一标识标记为锁定标识，将距离最小的跟踪目标标记为锁定目标，选取距离最小的跟踪目标的边界框作为锁定目标的边界框，在显示画面中，将锁定目标的边界框的颜色设置为红色，在锁定目标的边界框的框顶上，显示锁定标签及锁定目标的唯一标识，获取无人机与锁定目标之间的当前距离值。

15、在第一方面的一种可能的实现方式中，在当前距离值低于预设阈值时，控制预警圈以红色进行闪烁，绘制虚线圈，并驱动蜂鸣器发出锁定目标的提示音，包括：

16、在当前距离值低于预设阈值时，控制预警圈以红色进行闪烁，在预警圈所在位置绘制虚线圈，获取预警圈在显示界面中的圆心坐标，以圆心坐标为旋转中心，控制虚线圈绕旋转中心进行匀速旋转，并获取预设频次，将预设频次除以当前距离值，生成蜂鸣器的鸣叫频率，通过预设接口，驱动蜂鸣器按照鸣叫频率发出锁定目标的提示音。

17、在第一方面的一种可能的实现方式中，半径生成模型，定义如下：

18、ra=rc×(rf/d)）；

19、ra表示预警圈的半径；

20、rc表示基准半径；

21、rf表示报警阈值；

22、d表示当前距离值。

23、在第一方面的一种可能的实现方式中，预设接口包括gpio接口、i2c接口、spi接口中的至少一种。

24、第二方面，本技术实施例提供了一种基于感知大模型的跟踪反馈装置，应用于控制设备，包括：

25、获取模块，用于获取无人机发送的视频帧，将视频帧输入感知大模型，通过感知大模型生成跟踪目标集合，跟踪目标集合包括每个跟踪目标的边界框、每个跟踪目标的唯一标识；

26、确定模块，用于基于每个跟踪目标的边界框，确定每个跟踪目标的中心坐标与图像中心坐标的距离；

27、锁定模块，用于将距离最小的跟踪目标的唯一标识标记为锁定标识，将距离最小的跟踪目标标记为锁定目标，获取无人机与锁定目标之间的当前距离值；

28、绘制模块，用于根据当前距离值和预定义的半径生成模型，生成预警圈的半径，根据预警圈的半径，在显示画面中围绕锁定目标绘制一个预警圈；

29、反馈模块，用于在当前距离值低于预设阈值时，控制预警圈以红色进行闪烁，绘制虚线圈，并驱动蜂鸣器发出锁定目标的提示音。

30、第三方面，本技术实施例提供了一种控制设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中的跟踪反馈方法。

31、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中的跟踪反馈方法。

32、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在控制设备上运行时，使得控制设备执行上述第一方面中的跟踪反馈方法。

33、本技术实施例有益效果在于以下两方面：

34、第一方面，在当前距离值低于预设阈值时，控制预警圈以红色进行闪烁，绘制虚线圈，并驱动蜂鸣器发出锁定目标的提示音，因此增加无人机视觉跟踪场景下的反馈手段，使飞手无需持续注视屏幕即可获知锁定目标的状态，有利于提升飞手在多任务操作场景下的态势感知能力和飞行安全性；

35、第二方面，蜂鸣器发出锁定目标的提示音直接通过听觉通道传递至飞手，消除了视线切换和视觉识别两个环节所引入的时间延迟，从而缩短了锁定目标的状态从发生到飞手感知的总时间，提高了锁定目标的状态反馈效率。