一种基于解耦记忆与重入激活的多目标视频分割方法及系统与流程

摘要: 本发明涉及计算机视觉与人工智能,尤其涉及一种基于解耦记忆与重入激活的多目标视频分割方法及系统。背景技术:1、在计算机视觉与人工智能技术领域,多目标视频分割(mu...
一种基于解耦记忆与重入激活的多目标视频分割方法及系统与流程

本发明涉及计算机视觉与人工智能,尤其涉及一种基于解耦记忆与重入激活的多目标视频分割方法及系统。

背景技术:

1、在计算机视觉与人工智能技术领域,多目标视频分割(multi-target videoobject segmentation,vos)是视频理解的基础任务。以segment anything 3(sam3)为代表的视觉基础模型,通过为每个追踪目标维护专属记忆库(memory bank),并利用记忆编码器将当前帧表观特征与对象指针写入记忆库,实现跨帧掩码传播与时序身份保持。

2、现有技术中,sam3采用组级别(group-level)集体记忆选择策略:将当前帧所有目标的分割得分取算术平均后与帧级存在得分相乘,得到统一的帧级置信度,并据此同步决定所有目标记忆库是否更新。同时,为克服该缺陷,有研究团队公开了sam3-dms方案,提出解耦记忆选择(decoupled memory selection,dms)策略:针对每个目标独立计算置信度,并以全局固定阈值门控各目标记忆库的独立写入。

3、然后,现有技术存在如下缺陷或不足:

4、其一,记忆更新阈值缺乏目标级自适应能力。sam3-dms对所有目标共用固定阈值,无法区分“长期稳定可见目标”与“频繁遭遇遮挡的目标”。对于后者,固定阈值易导致有效帧被过度阻断、记忆库更新不足;对于前者,固定阈值无法抑制偶发低质量帧的写入,仍可能引入噪声。

5、其二,记忆读取阶段缺乏质量感知加权机制。现有dms策略仅在写入端进行门控过滤,读取端对所有历史记忆条目采用等权交叉注意力检索。当记忆库中混存不同置信度写入的条目时,低质量历史帧仍可能参与匹配,在目标重入或快速运动场景下引发身份误关联。

6、其三,目标重入场景缺乏专用激活策略。当目标因遮挡或出画导致连续多帧跳过后,现有方案在目标重新出现时仍从完整记忆库中等权检索,未区分“遮挡前高质量锚点帧”与“遮挡期间可能残留的边界帧”,重入后身份恢复延迟大,身份切换(id switch)风险高。

7、其四,置信度评估缺乏时序平滑与遮挡状态显式建模。现有方案基于单帧瞬时得分进行门控判定,易受运动模糊、光照突变等单帧噪声干扰,导致记忆更新决策在相邻帧间频繁抖动;同时缺乏对“连续遮挡帧数”的显式计数与状态转移,无法触发与遮挡时长相匹配的差异化检索策略。

技术实现思路

1、鉴于目前多目标视频分割存在的上述不足,本发明提供一种基于解耦记忆与重入激活的多目标视频分割方法,通过自适应解耦记忆与重入激活实现抗遮挡视频分割。

2、为达到上述目的,本发明采用如下技术方案:

3、一种基于解耦记忆与重入激活的多目标视频分割方法,包括:

4、获取视频流的当前帧图像并对其进行预处理,得到多实例目标集合;每一实例目标包括初始分割结果、目标级分割得分、帧级存在得分,并配置独立的连续跳帧计数器和专属记忆库;

5、根据所述目标级分割得分和帧级存在得分,计算得到所述目标实例对应的平滑置信度,并根据所述平滑置信度得到目标级自适应阈值;

6、比对所述平滑置信度与所述目标级自适应阈值,通过自适应解耦记忆选择控制生成写入门控信号,以选择性更新专属记忆库和连续跳帧计数器;

7、当连续跳帧计数达到预设阈值且所述平滑置信度超过所述目标级自适应阈值时,触发重入激活模式;

8、基于所述专属记忆库,优化所述初始分割结果,输出当前帧图像的最终分割掩码。

9、所述预处理具体为:获取视频流的当前帧图像,将所述当前帧图像输入视觉基础模型以提取多尺度特征,并基于所述多尺度特征得到多实例目标集合。

10、依照本发明的一个方面,所述计算得到所述目标实例对应的平滑置信度具体为:根据所述目标级分割得分和帧级存在得分,计算瞬时置信度;对所述瞬时置信度进行时序平滑处理,得到平滑置信度;同时,更新连续跳帧计数器。

11、依照本发明的一个方面,所述根据所述平滑置信度得到目标级自适应阈值具体为:根据所述平滑置信度计算所述实例目标在预设滑动窗口内的历史平滑置信度均值,并动态计算对应的目标级自适应阈值。

12、依照本发明的一个方面,所述实例目标还包括对象指针;所述写入门控信号分为写入允许指示和写入阻断指示;所述专属记忆库由若干记忆条目构成。

13、依照本发明的一个方面,所述选择性更新专属记忆库和连续跳帧计数器具体为:

14、若所述平滑置信度大于所述目标级自适应阈值,所述写入门控信号为写入允许指示,更新所述专属记忆库,并重置所述连续跳帧计数;

15、若所述平滑置信度小于等于所述目标级自适应阈值,所述写入门控信号为写入阻断指示,递增所述连续跳帧计数,且不更新所述专属记忆库。

16、依照本发明的一个方面,所述更新所述专属记忆库具体为:

17、基于所述当前帧图像和所述初始分割结果提取表观特征;

18、以所述平滑置信度映射为质量标签;

19、将所述表观特征、对象指针及质量标签封装为记忆条目写入专属记忆库。

20、依照本发明的一个方面,所述重入激活模式具体为:从所述专属记忆库中选取质量标签最高的记忆条目作为锚点记忆条目,并提升所述锚点记忆条目的检索权重。

21、依照本发明的一个方面,所述基于所述专属记忆库,优化所述初始分割结果,输出当前帧图像的最终分割掩码具体为:

22、基于所述专属记忆库,计算加权注意力权重;

23、若处于重入激活模式,则对所述锚点记忆条目对应的加权注意力权重额外乘以缩放系数;

24、根据所述加权注意力权重对所述专属记忆库中的表观特征做加权融合,得到时序特征;

25、对所述时序特征与所述表观特征执行交叉注意力交互,交互结果输入视觉基础模型,对所述初始分割掩码进行优化,输出最终分割掩码。

26、一种基于解耦记忆与重入激活的多目标视频分割系统,所述系统应用于上述任一所述的多目标视频分割方法,所述系统包括:

27、数据预处理模块,获取视频流的当前帧图像并对其进行预处理,得到多实例目标集合;每一实例目标包括初始分割结果、目标级分割得分、帧级存在得分,并配置独立的连续跳帧计数器和专属记忆库;

28、数据计算模块,根据所述目标级分割得分和帧级存在得分,计算得到所述目标实例对应的平滑置信度,并根据所述平滑置信度得到目标级自适应阈值;

29、解耦记忆选择模块,比对所述平滑置信度与所述目标级自适应阈值,通过自适应解耦记忆选择控制生成写入门控信号,以选择性更新专属记忆库和连续跳帧计数器;

30、重入激活判断模块,当连续跳帧计数达到预设阈值且所述平滑置信度超过所述目标级自适应阈值时,触发重入激活模式;

31、结果生成模块,基于所述专属记忆库,优化所述初始分割结果,输出当前帧图像的最终分割掩码。

32、本发明实施的优点在于:摒弃全局固定阈值,采用目标级自适应阈值实现门控判定动态可调;依托带质量标签的记忆条目与质量加权检索,让高可靠历史帧主导特征匹配;引入重入激活模式,调取最优锚点条目并放大其检索权重,加速遮挡后目标身份恢复;结合时序平滑置信度与门控联动逻辑,搭建包括正常追踪、遮挡跳帧、重入激活的三态状态机,完成稳定、抗遮挡的多目标视频时序分割。