一种AI协同雷达和光电设备的自动跟踪方法与流程

本技术的实施例涉及多源传感融合与智能跟踪，特别涉及一种ai协同雷达和光电设备的自动跟踪方法。

背景技术：

1、光电跟踪技术指通过雷达探测目标并引导光电跟踪设备（例如，智能云台摄像头）实现多目标自动跟踪的技术，该技术广泛应用于安防监控、海域、空域等需要目标追踪、智能巡检等多源异构系统场景。

2、传统光电跟踪技术主要依赖人工操作或固定预设路径的自动化方案，通过雷达、ais（automatic identification system，自动识别系统）、北斗定位等传感器获取目标数据，并驱动光电设备进行跟踪。然而，现有技术在多目标、高动态场景下存在显著缺陷，导致系统调度效率低下、动态响应滞后、设备协同缺失、参数校准不足、数据融合能力薄弱等问题。

技术实现思路

1、有鉴于此，本技术的实施例提出了一种ai协同雷达和光电设备的自动跟踪方法，旨在解决现有技术存在的资源调度僵化、响应延迟、协同缺失、校准不足及数据融合能力薄弱，从而无法满足现代安防监控等领域对高实时性、高精度及多目标并行跟踪的需求的技术问题。

2、为了实现上述目的，本技术的实施例提出了一种ai协同雷达和光电设备的自动跟踪方法，所述方法包括以下步骤：

3、接收来自多个异构传感器的目标探测数据；其中，异构传感器包括雷达、ais系统和北斗定位系统，目标探测数据包括目标对象的轨迹；

4、对目标探测数据进行融合处理，生成具有统一时空坐标的融合目标信息；

5、基于预设的地理围栏与光电设备覆盖区域的映射关系，为融合目标信息分配可用的光电跟踪设备；

6、基于融合目标信息中的地理坐标，以及光电跟踪设备的位置参数，确定光电跟踪设备的ptz（pan、tilt、zoom，水平旋转、垂直倾斜、镜头缩放）控制参数；其中，ptz控制参数用于控制光电跟踪设备指向目标对象；

7、在目标跟踪过程中，结合ai视频分析模块，对跟踪有效性进行判定，得到判定结果；其中，判定结果用于动态维持光电跟踪设备的跟踪任务。

8、为了实现上述目的，本技术的实施例还提出了一种ai协同雷达和光电设备的自动跟踪装置，所述装置包括：

9、多源数据采集模块，用于接收来自多个异构传感器的目标探测数据；其中，异构传感器包括雷达、ais系统和北斗定位系统，目标探测数据包括目标对象的轨迹；

10、数据融合与目标管理模块，用于对目标探测数据进行融合处理，生成具有统一时空坐标的融合目标信息；

11、设备智能分配模块，用于基于预设的地理围栏与光电设备覆盖区域的映射关系，为融合目标信息分配可用的光电跟踪设备；

12、动态ptz参数计算与校准模块，用于基于融合目标信息中的地理坐标，以及光电跟踪设备的位置参数，确定光电跟踪设备的ptz控制参数；其中，ptz控制参数用于控制光电跟踪设备指向目标对象；

13、ai协同决策模块，用于在目标跟踪过程中，结合ai视频分析模块，对跟踪有效性进行判定，得到判定结果；其中，判定结果用于动态维持光电跟踪设备的跟踪任务。

14、为了实现上述目的，本技术的实施例还提出了一种电子设备，包括：处理器和存储器，所述存储器中存储有所述处理器能够执行的指令，所述处理器被配置为执行所述指令时，使得所述电子设备能够实现如上述所述的一种ai协同雷达和光电设备的自动跟踪方法。

15、为了实现上述目的，本技术的实施例还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，能够实现如上述所述的一种ai协同雷达和光电设备的自动跟踪方法。

16、本技术的实施例提出的一种ai协同雷达和光电设备的自动跟踪方法，首先接收来自多个异构传感器的目标探测数据；异构传感器包括雷达、ais系统和北斗定位系统，目标探测数据包括目标对象的轨迹；然后，对目标探测数据进行融合处理，生成具有统一时空坐标的融合目标信息；这样可以将相同的目标对象融合为一个整体，进而提高数据融合能力，以及设备协同能力；之后，基于预设的地理围栏与光电设备覆盖区域的映射关系，为融合目标信息分配可用的光电跟踪设备，进而可以快速确定能够覆盖区域的可用的光电跟踪设备；之后，基于融合目标信息中的地理坐标，以及光电跟踪设备的位置参数，确定光电跟踪设备的ptz控制参数；由于ptz控制参数用于控制光电跟踪设备指向目标对象，这样可以提高校准的精度；最后，在目标跟踪过程中，结合ai视频分析模块，对跟踪有效性进行判定，得到判定结果，进而提高了资源调度的效率；基于此，本方案能够解决现有技术存在的资源调度僵化、响应延迟、协同缺失、校准不足及数据融合能力薄弱，进而满足现代安防监控等领域对高实时性、高精度及多目标并行跟踪的需求。

17、可选地，对目标探测数据进行融合处理，生成具有统一时空坐标的融合目标信息，包括：对来自不同异构传感器的同一目标对象的轨迹进行关联匹配，并基于身份识别信息、运动状态及空间位置一致性进行数据融合，生成融合目标信息；其中，融合目标信息包括目标对象标识和目标对象的融合轨迹。

18、可选地，基于预设的地理围栏与光电设备覆盖区域的映射关系，为融合目标信息分配可用的光电跟踪设备，包括：基于映射关系，确定地理围栏覆盖目标对象位置的第一光电跟踪设备；从第一光电跟踪设备中获取当前处于空闲状态，且未处于手动控制模式的光电跟踪设备，并将其分配为融合目标信息分配可用的光电跟踪设备。

19、可选地，基于融合目标信息中的地理坐标，以及光电跟踪设备的位置参数，确定光电跟踪设备的ptz控制参数，包括：基于融合目标信息中的地理坐标，以及光电跟踪设备的位置参数，通过球面三角学算法，确定初始方位参数；其中，初始方位参数包括初始方位角和初始俯仰角；从云端参数管理系统中获取光电跟踪设备的校准补偿参数和变倍系数；其中，校准参数包括方位角补偿值和俯仰角基准值；基于校准补偿参数，对初始方位参数进行补偿修正，得到补偿修正后的方位参数，同时基于变倍系数，以及光电跟踪设备与目标对象之间的距离，确定变倍级别；其中，变倍级别用于调整目标对象在画面中显示大小；基于补偿修正后的方位参数和变倍级别，确定光电跟踪设备的ptz控制参数，并对补偿修正后的方位参数进行角度归一化处理，以适配光电跟踪设备的控制协议。

20、可选地，在目标跟踪过程中，结合ai视频分析模块，对跟踪有效性进行判定，得到判定结果，包括：获取第一级超时阈值和第二级超时阈值；其中，第二级超时阈值大于第一级超时阈值；在目标跟踪过程中，若在第一级超时阈值内未接收到ai视频分析模块所反馈的目标结果反馈，则确定判定结果为跟踪无效；若在第一级超时阈值内接收到ai视频分析模块所反馈的目标结果反馈，则确定判定结果为跟踪有效；在目标跟踪过程中，若检测到光电跟踪设备的跟踪时长大于第二级超时阈值，则强制释放光电跟踪设备。

21、可选地，本技术实施例所提供的方法还包括：检测当前工作模式；若当前工作模式为手动模式，则暂停自动分配功能，并通过用户操作实现对目标对象的跟踪；若当前工作模式为自动模式，则执行所述为融合目标信息分配可用的光电跟踪设备的步骤。

22、可选地，本技术实施例所提供的方法还包括：通过websocket协议，接收来自ai视频分析模块的视频流，并基于ai视频分析模块识别目标类型识别结果；其中，目标类型识别结果用于对跟踪有效性进行判断和目标行为分析。