一种质量约束的长视频目标轨迹整合与身份保持方法

本发明涉及计算机视觉、视频目标分割和多目标跟踪，特别涉及一种质量约束的长视频目标轨迹整合与身份保持方法。

背景技术：

1、现有视频目标分割和目标跟踪方法通常侧重于相邻帧之间的目标传播或短时间范围内的目标关联。视频目标分割方法一般在给定初始目标掩码后，利用历史帧特征、当前帧特征和记忆机制，将目标掩码传播到后续帧中。该类方法在目标连续可见、视频较短或场景变化较小的情况下效果较好，但当目标发生长时间遮挡、出画后重新出现、外观剧烈变化或掩码传播误差累积时，容易出现轨迹断裂、身份切换或重复注册。

2、多目标跟踪方法通常采用检测—关联框架，即先在每一帧中检测目标，再根据外观特征、空间位置、运动预测和时间连续性，将不同帧中的目标观测关联为轨迹。该类方法能够处理一定程度的跨帧身份匹配问题，但多数方法主要以目标框或中心点作为表示，对像素级掩码变化、分割粒度不一致和部件—整体关系处理不足。

3、此外，已有轨迹后处理方法通常根据轨迹之间的交并比或外观相似度，成对执行轨迹保留、删除或合并。当三个以上轨迹同时覆盖相同或相邻区域时，成对处理结果容易受到处理顺序影响，难以从竞争轨迹组整体上确定更可靠的目标身份。另一方面，较高的轨迹重叠既可能表示两个轨迹重复覆盖同一对象，也可能表示部件轨迹被整体轨迹包含。若仅采用交并比或单一包含比例进行判断，容易将跨粒度包含关系误判为普通重复轨迹关系。尤其在长视频中，部分区域与整体区域可能交替出现，需要结合时间窗口内的轨迹稳定性、掩码质量和时间支持长度作进一步判断。

4、同时，现有方法通常将外观相似度直接用于轨迹更新或身份恢复，未充分考虑当前掩码质量。低质量掩码一旦写入外观特征记忆，可能造成后续身份恢复错误并持续污染轨迹状态。

5、因此，需要一种面向长视频轨迹集合的处理方法，通过质量约束控制历史记忆更新，通过双重重叠指标区分普通竞争关系与跨粒度包含关系，通过竞争关系图进行群组评分，并根据时间窗口内的多维可靠性证据执行双向跨粒度轨迹决策。

技术实现思路

1、本发明的目的在于克服上述现有技术的不足，提供一种质量约束的长视频目标轨迹整合与身份保持方法，其旨在解决长视频目标分割或多目标跟踪过程中，低质量目标观测污染外观特征记忆、三个以上重叠轨迹的成对处理结果受处理顺序影响、普通重复轨迹与跨粒度包含轨迹难以区分，以及目标长时间缺失后历史身份恢复不稳定的技术问题。

2、为实现上述目的，本发明提出了一种质量约束的长视频目标轨迹整合与身份保持方法，包括以下步骤：

3、s1、输入当前视频帧、当前帧目标观测集合和已有目标轨迹集合；

4、s2 、对当前帧中的目标观测提取外观特征并计算掩码质量得分，根据当前目标观测与对应历史轨迹之间的外观相似度确定更新权重；对于休眠状态的目标轨迹，需要确定历史身份恢复结果；

5、s3、计算活跃轨迹当前掩码之间的交并比和最小包含重叠率以此确定空间重叠关系；结合面积差异区分普通竞争关系与跨粒度包含关系；以活跃轨迹为节点、竞争关系为边构建竞争关系图，按连通分量形成竞争轨迹组；

6、s4、计算竞争轨迹组中各目标轨迹的竞争评分，根据竞争评分、外观相似度和空间重叠关系的持续情况，对竞争轨迹执行保留、抑制或合并处理；

7、s5、在预设时间窗口内统计跨粒度包含关系候选的包含关系稳定性，计算部件轨迹与整体轨迹的可靠性的差值形成初步跨粒度决策，以此决定吸收、拆分或暂缓；

8、s6、根据s2中的历史身份恢复结果、s4中竞争轨迹处理结果和s5中跨粒度轨迹处理结果，更新各轨迹的活跃、休眠或终止状态，对外观特征记忆和历史掩码序列进行更新、压缩和剪枝，输出整合后的目标轨迹集合及目标身份标识。

9、作为优选，s2中根据掩码区域提取外观特征，外观特征提取表示为；其中，表示视觉特征提取模型对当前帧提取的图像特征图； 表示第  个目标观测的掩码；表示掩码加权运算；表示池化操作；表示特征归一化操作；视觉特征提取模型采用卷积神经网络、视觉transformer、自监督视觉模型或多模态视觉编码器。

10、作为优选，s2中掩码质量得分由模型置信度、边界稳定性、面积合理性、区域内部一致性和冲突惩罚中的至少两项确定；面积合理性得分通过当前掩码面积与轨迹历史平均面积之间的变化计算得到；当掩码质量得分低于掩码质量阈值时，当前观测不直接用于更新历史轨迹。

11、作为优选，s2中进行外观相似度确定更新权重的方法包括以下步骤：计算当前目标观测的外观特征与对应目标轨迹的外观特征记忆之间的余弦相似度，并根据所述余弦相似度确定相似度门控值；将所述相似度门控值与掩码质量得分进行组合，得到外观特征记忆更新权重；当所述外观特征记忆更新权重低于更新阈值时，暂停当前目标观测写入外观特征记忆；当所述外观特征记忆更新权重不低于更新阈值、当前目标观测的掩码质量得分不低于掩码质量阈值，且对应目标轨迹未处于当前帧抑制、被吸收或终止状态时，采用指数滑动平均方式更新外观特征记忆。

12、作为优选，步骤s2中，对于处于休眠状态的目标轨迹，根据当前目标观测与外观特征记忆之间的外观相似度、当前目标观测位置与历史运动预测位置之间的空间上下文一致性得分、当前目标观测的掩码质量得分以及轨迹休眠时间惩罚项，计算历史身份恢复得分；当所述历史身份恢复得分达到身份恢复阈值时，将对应目标轨迹由休眠状态恢复为活跃状态。

13、作为优选，空间重叠关系的确认方式为当所述交并比达到交并比阈值，或者所述最小包含重叠率达到包含重叠阈值时；空间重叠关系标记为普通竞争关系与跨粒度包含关系候选的要求为最小包含重叠率达到包含重叠阈值且活跃轨迹之间的面积比例满足面积差异条件。

14、作为优选，s4中的竞争评分在竞争关系图的各连通分量范围内统一计算，并根据外观一致性得分、历史持续时间得分、近期稳定性得分、近期掩码质量得分、空间覆盖合理性得分、轨迹异常惩罚项以及相应的权重系数，对竞争轨迹组中的每个轨迹进行群组级多因素评分。

15、作为优选，竞争评分的方法为外观一致性得分、历史持续时间得分、近期稳定性得分、近期掩码质量得分、空间覆盖合理性得分和轨迹异常惩罚项加权确定。

16、作为优选，s4中竞争轨迹执行保留、抑制或合并处理的方法为：在竞争轨迹组中确定最高竞争评分轨迹和次高竞争评分轨迹；当最高竞争评分轨迹与次高竞争评分轨迹之间的差值达到评分差阈值时，保留最高竞争评分轨迹，并对其余竞争轨迹执行当前帧抑制、降低后续竞争权重或暂停当前帧记忆更新中的至少一种处理；当所述最高竞争评分轨迹与次高竞争评分轨迹的评分差值小于评分差阈值，且二者的外观相似度、交并比和连续重叠帧数分别达到对应阈值时，执行轨迹合并；合并时保留历史持续时间较长或稳定性较高的目标轨迹身份，并根据掩码质量融合历史掩码序列和外观特征记忆。

17、作为优选，步骤s5包括：在预设时间窗口内统计候选部件轨迹被候选整体轨迹包含的持续比例，确定跨粒度包含关系稳定性；分别根据目标轨迹在所述时间窗口内的平均近期稳定性、平均掩码质量和时间支持长度归一化得分，计算部件轨迹可靠性和整体轨迹可靠性；当整体轨迹可靠性高于部件轨迹可靠性且二者差值达到吸收阈值时，将部件轨迹吸收到整体轨迹；当部件轨迹可靠性高于整体轨迹可靠性且二者差值达到保留阈值时，保留部件轨迹并抑制或拆分整体轨迹；当整体轨迹可靠性与部件轨迹可靠性之间的差值未满足前述吸收条件和保留条件中的任一条件时，暂不执行吸收或拆分，并继续观察；在完成前述可靠性差值判断后，当同一候选整体轨迹对应多个候选部件轨迹，所述多个候选部件轨迹对候选整体轨迹的联合覆盖率达到覆盖阈值，且各候选部件轨迹可靠性均高于候选整体轨迹可靠性时，将前述处理结果更新为抑制或拆分所述候选整体轨迹并保留所述候选部件轨迹集合；当所述联合覆盖条件不满足时，维持根据前述可靠性差值确定的处理结果。

18、作为优选，s6中输出整合后的目标轨迹集合及目标身份标识的方法包括将活跃状态的目标轨迹参与当前帧观测匹配、记忆更新和竞争关系判断；将休眠状态的目标轨迹保留外观特征记忆并参与历史身份恢复判别；将终止状态的目标轨迹不再参与后续匹配和输出；当历史外观特征数量超过预设容量时，优先保留掩码质量较高的观测特征、与已有特征差异较大的观测特征、目标发生显著视角或尺度变化时的观测特征、轨迹恢复后的首个稳定观测特征以及轨迹竞争或合并前后的观测特征，并删除相似度达到冗余阈值的低质量特征。

19、与现有技术相比，本发明提供的一种质量约束的长视频目标轨迹整合与身份保持方法，至少具有以下有益效果：

20、（1）通过将掩码质量与外观相似度共同用于外观特征记忆更新控制，能够降低低质量掩码和异常观测对历史身份记忆的污染，提高长时间缺失后历史身份恢复的可靠性。

21、（2）通过同时计算交并比和最小包含重叠率，并结合轨迹面积差异对重叠关系进行分流，能够区分普通重复轨迹竞争与跨粒度包含关系，减少将部件轨迹误判为重复轨迹的情况。

22、（3）通过建立竞争关系图，并在连通分量范围内根据外观一致性、历史持续时间、近期稳定性、近期掩码质量、空间覆盖合理性和轨迹异常惩罚项进行群组评分，能够降低成对处理顺序对轨迹保留结果的影响。

23、（4）通过在时间窗口内比较部件轨迹可靠性和整体轨迹可靠性，能够根据实际证据双向执行部件吸收、整体拆分、轨迹保留或延迟判断，降低单向吸收造成的错误粒度合并。

24、（5）通过基于观测质量、特征差异性和轨迹关键事件进行历史记忆压缩，能够在控制存储规模的同时保留对身份恢复和冲突消解更有价值的历史观测。