一种双摄云台摄像头协同多目标追踪方法及装置

本发明是智能视频监控与多目标追踪，特别是关于一种双摄云台摄像头协同多目标追踪方法及装置。

背景技术：

1、云台摄像头，即具有水平旋转、俯仰旋转和焦距变换能力的摄像装置，因能够在较大空间范围内灵活调整观测方向和视野尺度，被广泛应用于公共安全、智慧城市、园区管理、交通监管、工业生产及养老看护等场景。与固定摄像头相比，云台摄像头能够对感兴趣目标进行主动追踪和细节放大，从而提高监控系统对重点目标的感知能力。

2、现有的单云台摄像头追踪方案通常根据目标在图像中的位置控制云台转动与变焦，以使目标保持在视场范围内。然而，单个云台摄像头的视野范围、旋转速度、变焦能力和计算资源均有限：当视场内同时出现多个目标时，摄像头难以兼顾全局监测范围与局部目标细节；当摄像头为获得目标细节而增大焦距时，容易导致其他目标离开视场；当不同目标向相反方向运动时，单一云台无法同时完成有效追踪。因此，单节点方案容易出现目标漏检、目标丢失、追踪时长不足及视野频繁抖动等问题。

3、为扩大监测范围，已有技术通常采用多个摄像头构成协同监控系统。例如，采用广角摄像头提供全局视野、采用云台摄像头进行局部精细追踪，或者采用多个云台摄像头对不同区域和不同目标进行任务分配。但现有多摄像头协同方案往往基于预设规则、固定优先级或中心化调度方式。当目标数量、运动方向、遮挡情况和节点负载发生动态变化时，固定规则难以适应复杂场景；而中心化调度又需要持续汇集多个节点的视频数据和状态信息，容易造成通信带宽占用增加、决策延迟增大，并降低系统在边缘侧部署时的实时性和可靠性。

4、此外，多云台协同追踪还面临跨节点目标身份一致性的技术问题。同一目标在不同摄像头的成像角度、分辨率、光照条件和尺度可能不同，且目标交接时通常存在视场重叠不足、短时遮挡或时间不同步等情况。仅依赖位置邻近或单一外观特征进行目标匹配，容易导致身份切换、重复追踪或交接失败，进而影响后续的任务分配和云台控制。

5、在云台视野控制方面，现有技术多针对单一目标设计，使目标位于图像中心或按固定比例调整焦距。对于多目标场景，若简单依据全部目标的最远边界调整视野，容易产生过度缩小、频繁变焦或目标贴近边缘的问题；若仅关注优先级较高的个别目标，则可能造成其他目标脱离监控范围。因此，亟需一种能够在保证多目标覆盖的同时兼顾视野紧凑性和控制平滑性的云台视野控制方案。

6、在多台双摄云台摄像头协同层面，现有分布式方案中的每个节点多为传统单镜头云台摄像头，因此不可避免会存在单镜头云台摄像头的固有问题，如视野狭窄、视野与细节的矛盾、高能耗等，这些问题在一定程度上降低了分布式云台摄像头系统的整体效果。尽管双摄云台摄像头在单体设备层面通过广角/全景摄像头与高精度云台变焦摄像头的异构协同，从硬件上解决了全局视野与局部细节不可兼得的矛盾，但将多个双摄云台摄像头组成智能化、分布式的集群仍面临三大核心挑战：首先是部分可观测条件下的协同决策，即每个节点仅能通过自身广角镜头获取局部视野内的目标信息，对全局态势的认知是片面的、不完整的，如何在信息局部化的条件下做出使全局最优的追踪资源分配决策，是分布式协同的首要理论难题；其次是多目标约束下的资源优化配置，即系统需要在追踪覆盖率、系统能耗、负载均衡与追踪稳定性等多个相互冲突的目标之间寻找平衡，这本质上是一个多目标、多约束的动态优化问题；最后，双摄云台分布式协同系统会面临感知不确定性向控制链路的传导抑制问题，广角镜头的目标检测存在噪声、漏检与定位误差，这些不确定性会直接传导至决策层与控制层，如何在决策与控制过程中抑制感知噪声的影响、保证系统行为的鲁棒性，是实现高效高可用的分布式系统的关键。

7、综上，现有技术仍缺少一种面向复杂动态场景的双摄云台协同多目标追踪方案，能够在部分可观测、通信与计算资源受限的条件下，综合解决轻量级目标感知、多目标视野自适应控制、跨节点目标身份关联、噪声识别抑制、动态任务分配以及低时延协同决策等问题。

技术实现思路

1、本发明的目的在于提供一种双摄云台摄像头协同多目标追踪方法及装置，解决现有云台摄像头多目标追踪技术中，单个云台难以同时兼顾大范围全局监测与局部目标细节追踪；在多个目标运动方向不一致时，容易产生目标丢失的问题。

2、第一方面，本发明提供一种双摄云台摄像头协同多目标追踪方法，应用于至少两个双摄云台摄像头的监控系统，每一双摄云台摄像头包括固定方向的广角镜头和可转动的变焦镜头，所述方法包括以下步骤：

3、s1、获得各广角镜头采集的当前视频帧与前一视频帧的差分图像，根据所述差分图像计算运动熵，并对所述差分图像进行网格划分，在各网格内对前景像素进行光流计算以获得目标运动矢量，并动态调整网格的划分粒度与检测阈值，以持续识别目标并输出目标信息；所述目标信息包括：目标位置、尺度及运动状态；

4、s2、根据所述目标信息以及决策指令确定待追踪目标集合，求解覆盖全部待追踪目标的最小包围圆，在所述最小包围圆半径上叠加动态安全裕量以得到目标视野圆，基于所述目标视野圆的圆心偏移量和半径生成各云台摄像头的控制指令；所述控制指令包括：云台摄像头的转动和变焦；

5、s3、源节点在触发目标交接后向目标节点发送交接请求，所述目标节点基于运动预测进行时空滤波以筛选候选目标，再基于紧凑外观特征进行精确匹配；所述源节点和目标节点均包括双摄云台摄像头；

6、s4、将多个双摄云台摄像头的协同追踪过程建模为分散式部分可观测马尔可夫决策过程，输出所述决策指令至步骤s2以执行目标追踪；所述决策指令至少包括以下之一：目标分配、继续追踪、释放目标、交接目标及优先级调整。

7、其中，根据所述差分图像计算运动熵，并对所述差分图像进行网格划分包括：

8、在初始化阶段，采用均匀网格划分采集各区域的运动统计特征，建立各区域运动熵的初始估计，并根据所述差分图像中的运动像素分布，将所述差分图像划分为多个初始网格区域；所述运动统计特征包括：目标像素密度、运动强度标准差和速度变异系数；

9、对每个区域计算区域运动熵，所述区域运动熵由运动强度标准差、速度变异系数和目标像素密度加权得到；

10、在自适应运行阶段，对各区域内的前景目标像素点采用金字塔lucas-kanade光流算法计算运动向量，动态获取目标轮廓。

11、其中，所述方法还包括：当运动熵高于高阈值时采用第一粒度网格，位于高阈值与低阈值之间时采用第二粒度网格，低于低阈值时采用第三粒度网格，其中第一粒度网格小于第二粒度网格，第二粒度网格小于第三粒度网格。

12、其中，所述方法还包括：通过基于光流质量指标的双层反馈调节机制动态调整区域划分粒度与检测阈值；其中，双层反馈调节机制包括短期性能监控层和长期模式学习层；所述短期性能监控层实时计算各区域的追踪质量指标，当某区域的追踪质量指标低于预设质量阈值时，触发该区域的网格粒度细化操作；长期模式学习层检测区域运动模式与历史记录是否一致，并在所述区域运动模式发生变化时执行区域重组操作。

13、其中，所述动态安全裕量由四个维度的分量加权求和得到：δrt = β1δrdyn + β2δrtrend + β3δrerr + β4δrscene。

14、其中：β1、β2、β3为非负权重且其和为1，δrdyn为基于目标最大速度与系统时延计算的动力学预测分量，δrtrend为目标间相对运动趋势分量，δrerr为误差分量，δrscene为场景分量。

15、其中，所述目标节点基于运动预测进行时空滤波以筛选候选目标，再基于紧凑外观特征进行精确匹配包括：

16、所述目标节点根据所述交接请求中包含的目标最后观测时刻和位置，以及补偿通信延迟，使用目标运动模型预测其在当前时刻的期望位置；

17、遍历所述目标节点当前广角视野中的所有目标观测，计算每个目标观测与预测位置的空间距离，保留空间距离不大于最大距离且运动方向差不大于预设方向阈值的候选目标；

18、计算每个候选目标的综合匹配评分；

19、若最高综合匹配评分不低于评分高阈值，则判定对应候选目标为移交目标，并确认交接；

20、若最高综合匹配评分处于评分高阈值与评分低阈值之间，则进入暂态确认阶段，在后续预设帧数内持续追踪并重新计算综合匹配评分；

21、若最高综合匹配评分低于评分低阈值，则将交接请求信息存入待观察队列，在未来预设帧内持续尝试匹配，超过最大等待时间仍未匹配成功时，向源节点发送交接失败通知。

22、其中，所述马尔可夫决策过程包括：

23、各双摄云台摄像头将本地观测信息上传至所属边缘节点，由各边缘节点运行训练完成的策略网络以进行批量推理，并输出决策指令，各双摄云台摄像头依据决策指令调用步骤s2以执行具体追踪。

24、其中，所述方法还包括：

25、当双摄云台摄像头与边缘节点的通信中断时，自动切换至降级运行模式，暂停等待边缘节点的决策指令并采用预设规则继续追踪当前目标。

26、第二方面，本发明提供一种双摄云台摄像头协同多目标追踪装置，应用于至少两个双摄云台摄像头的监控系统，每一双摄云台摄像头包括固定方向的广角镜头和可转动的变焦镜头，包括：

27、运动目标检测模块，用于获得各广角镜头采集的当前视频帧与前一视频帧的差分图像，根据所述差分图像计算运动熵，并对所述差分图像进行网格划分，在各网格内对前景像素进行光流计算以获得目标运动矢量，并动态调整网格的划分粒度与检测阈值，以持续识别目标并输出目标信息；所述目标信息包括：目标位置、尺度及运动状态；

28、控制指令生成模块，用于根据所述目标信息以及决策指令确定待追踪目标集合，求解覆盖全部待追踪目标的最小包围圆，在所述最小包围圆半径上叠加动态安全裕量以得到目标视野圆，基于所述目标视野圆的圆心偏移量和半径生成各云台摄像头的控制指令；所述控制指令包括：云台摄像头的转动和变焦；

29、追踪模块，用于当源节点在触发目标交接后向目标节点发送交接请求，所述目标节点基于运动预测进行时空滤波以筛选候选目标，再基于紧凑外观特征进行精确匹配；所述源节点和目标节点均包括双摄云台摄像头；

30、决策指令生成模块，用于将多个双摄云台摄像头的协同追踪过程建模为分散式部分可观测马尔可夫决策过程，输出所述决策指令至步骤s2以执行目标追踪；所述决策指令至少包括以下之一：目标分配、继续追踪、释放目标、交接目标及优先级调整。

31、第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任一项所述的双摄云台摄像头协同多目标追踪方法。所述方法综合优化目标追踪覆盖率、追踪稳定性、节点负载均衡、系统能耗及决策时延，可在复杂动态场景中实现多目标的持续、稳定和低时延协同追踪。