一种摄像头网络目标轨迹关联方法及系统与流程

摘要: 本发明涉及视觉与视频智能监控术领域,更具体地说,它涉及一种摄像头网络目标轨迹关联方法及系统。背景技术:1、城市治安监控网络中,相邻相机视野通常不重叠,目标在路口...
一种摄像头网络目标轨迹关联方法及系统与流程

本发明涉及视觉与视频智能监控术领域,更具体地说,它涉及一种摄像头网络目标轨迹关联方法及系统。

背景技术:

1、城市治安监控网络中,相邻相机视野通常不重叠,目标在路口、通道或街巷间的步行盲区短暂脱离监控后,从下游相机重新出现。办案应用需将同一目标在不同相机内留下的轨迹片段接续为一条连贯的跨相机轨迹,以支撑轨迹检索与行为分析。

2、现有跨相机关联技术通常先对单相机视频做目标检测与跟踪得到轨迹片段,再在相邻相机间设固定通行时间窗筛除时间不合理的候选对,并直接比较片段外观特征相似度完成匹配;部分方案采用固定权重融合外观与时间线索,或在局部候选集上做逐对指派。

3、上述做法存在以下技术问题:固定时间窗难以覆盖快走、驻留、绕行等不同通行行为,且无法随早晚高峰等时段规律变化,易造成慢行目标漏关联或放宽窗口后候选膨胀;跨相机光照与视角差异使同一人外观存在系统性偏移,统一特征与固定相似度阈值难以兼顾漏接与错接;外观与时间线索的可靠性会随穿着相近、光照拍花、人流突变等情形反转,固定融合规则难以区分原因并合理定权;下游候选众多时逐对匹配易产生一人多接、多人争抢同一目标等身份冲突,且难以在目标暂未重现时稳妥处理暂不接续。因此需要更适用的跨相机关联方案。

技术实现思路

1、本发明提供一种摄像头网络目标轨迹关联方法及系统,解决相关技术中跨相机目标轨迹关联时通行时间非固定、跨相机成像存在系统性偏差、外观与时间线索可靠性随情形反转以及多候选关联易发生身份冲突的技术问题。

2、本发明提供了一种摄像头网络目标轨迹关联方法,包括以下步骤:

3、s1,接入摄像头网络各相机视频流,经目标检测与单相机多目标跟踪,按检测置信度与遮挡程度加权聚合逐帧外观,生成含相机标识、进出时间、进出位置与聚合外观特征的单相机轨迹片段;

4、s2,依据单相机轨迹片段的进出时间与相机标识,在相邻相机间组成初始片段对,按所属相机对与时段建立多峰通行时间似然,并以该似然对初始片段对做通行时间门控,得到候选片段对及其时空似然;

5、s3,就候选片段对,以相机对和光照为条件的跨成像域对齐网络把上游片段的聚合外观特征映射到下游成像域后与下游片段比对,算得对齐外观相似度;

6、s4,将候选片段对的对齐外观相似度与时空似然按逐边线索不确定性自适应融合并建关联图,经图神经网络消息传递给出关联置信度,在整图上做允许不接的身份互斥匹配,得到跨相机关联结果与完整跨相机轨迹;

7、s5,从所述跨相机关联结果中选取关联置信度超过阈值且跨窗一致者作为高置信伪标签,反哺更新对齐网络、通行时间似然、线索不确定性估计与图神经网络,使跨相机轨迹随运行稳定接续。

8、在一个优选地实施方式中,所述s1中按检测置信度与遮挡程度加权聚合逐帧外观,包括:对每一帧,以该帧目标检测框与相邻其它行人检测框的交并比近似该帧遮挡程度,取该帧检测置信度乘以一减去所述交并比所得的值作为该帧权重;

9、对一条单相机轨迹片段内各帧的外观特征按所述权重做加权平均,得到该单相机轨迹片段的聚合外观特征。

10、在一个优选地实施方式中,所述s2中的多峰通行时间似然由若干个分量叠加而成,每个分量对应一类通行行为的通行时间区间,由中心位置、分布宽度和占比描述,各分量按各自占比叠加得到对应相机对在对应时段的整体通行时间似然;

11、所述时段按固定时间粒度划分,划分粒度以使同一时段内的通行时间规律近似平稳为准,同一相机对在不同时段各自维护一套分量。

12、在一个优选地实施方式中,所述s2还包括:系统上线时,根据相邻相机之间的空间距离与可行走路径长度并结合步行速度估算通行时间区间,以覆盖对应区间且中心落在区间中部的单峰初始分布初始化所述多峰通行时间似然;

13、系统运行后,每接上一对高置信片段得到一个通行时间观测,先计算该观测归属各分量的归属度,再按归属度加权增量更新被归属分量的中心位置与分布宽度并同步更新各分量占比;

14、对每一对初始片段对,将其通行时间代入所属相机对、所属时段的多峰通行时间似然并经归一化算得时空似然,将时空似然低于第一阈值的片段对筛除,其余作为候选片段对。

15、在一个优选地实施方式中,所述s3的跨成像域对齐网络接收两路条件:相机对条件,将按上下游次序组成的有序相机对经可学习的相机对嵌入表查成向量;

16、光照条件,从上游片段与下游片段各自的行人图像区域统计平均亮度与颜色分布的描述量并拼成光照统计向量,所述统计仅在检测框内的行人图像区域上进行;两路条件拼接后经条件嵌入子网络压成固定长度的条件向量。

17、在一个优选地实施方式中,所述s3的跨成像域对齐网络主干为各相机对共享参数的残差式多层结构:上游片段的聚合外观特征经输入全连接层投到工作维度后,依次进入若干结构相同的残差调制块,在每一残差调制块内,特征经全连接层与归一化后,由所述条件向量经线性映射生成的逐通道缩放系数与逐通道偏移量分别对特征逐通道相乘与相加,再经非线性激活与全连接层,并将对应块输入加回对应块输出形成残差连接;

18、经输出全连接层得到与下游片段的聚合外观特征同空间同维度的上游对齐后特征,计算上游对齐后特征与下游片段的聚合外观特征的余弦相似度作为对齐外观相似度。

19、在一个优选地实施方式中,所述s4中由不确定性估计头对每条候选边的两路证据表征分别估计一个线索不确定性,外观一路取上游对齐后特征与下游片段的聚合外观特征的逐元素差和逐元素积拼成的向量,时间一路取多峰通行时间似然对该候选的通行时间算出的一组归属度;

20、将对齐外观相似度与时空似然各自映射为同一尺度的匹配得分,按各自线索不确定性的倒数加权求和并归一化,得到融合匹配得分;

21、在滑动时间窗内以每个单相机轨迹片段为节点、以每一对候选片段对为边构建关联图,节点初始特征取该单相机轨迹片段的聚合外观特征及进出时间、进出位置,边初始特征取融合匹配得分与两路线索不确定性。

22、在一个优选地实施方式中,所述s4的图神经网络在关联图上做多轮消息传递,每轮包括边更新、消息聚合与节点更新:边更新将边两端节点特征与对应边特征拼接送入边更新子网络得到新边特征;

23、消息聚合对每个节点将相连各边的新边特征按注意力打分加权求和得到汇总消息;节点更新将节点当前特征与汇总消息送入节点更新子网络;多轮后将边特征送入边分类头输出关联置信度;

24、在整图上选出关联置信度之和最大且满足身份互斥与允许不接约束的边集合,所述身份互斥指任一单相机轨迹片段在同一关联方向上最多被选中一条边且被选中边集合不出现时间冲突,所述允许不接指当一个单相机轨迹片段的所有候选边关联置信度均低于匹配阈值时判为本窗暂不接续。

25、在一个优选地实施方式中,所述s5中设第二阈值,将关联置信度超过第二阈值且在连续多个滑动时间窗内保持一致的关联对选为高置信伪标签;

26、将所述高置信伪标签喂给对齐网络作为同人样本对与异人样本对以在线微调对齐网络与条件嵌入子网络,喂给多峰通行时间似然作为新的通行时间观测以更新对应相机对、对应时段的分量,喂给图神经网络与不确定性估计头继续训练;

27、在线微调时每次仅走少量梯度步且以离线得到的参数为锚在微调损失中加入约束当前参数不偏离该锚的项。

28、在一个优选地实施方式中,一种摄像头网络目标轨迹关联系统,用于执行上述一种摄像头网络目标轨迹关联方法中的步骤,包括:

29、片段生成模块,用于接入摄像头网络各相机视频流,经目标检测与单相机多目标跟踪,按检测置信度与遮挡程度加权聚合逐帧外观,生成含相机标识、进出时间、进出位置与聚合外观特征的单相机轨迹片段;

30、通行时间门控模块,用于依据单相机轨迹片段的进出时间与相机标识,在相邻相机间组成初始片段对,按所属相机对与时段建立多峰通行时间似然,并以该似然对初始片段对做通行时间门控,得到候选片段对及其时空似然;

31、跨成像域对齐模块,用于就候选片段对,以相机对和光照为条件的跨成像域对齐网络把上游片段的聚合外观特征映射到下游成像域后与下游片段比对,算得对齐外观相似度;

32、关联图匹配模块,用于将候选片段对的对齐外观相似度与时空似然按逐边线索不确定性自适应融合并建关联图,经图神经网络消息传递给出关联置信度,在整图上做允许不接的身份互斥匹配,得到跨相机关联结果与完整跨相机轨迹;

33、在线自增强模块,用于从所述跨相机关联结果中选取关联置信度超过阈值且跨窗一致者作为高置信伪标签,反哺更新对齐网络、通行时间似然、线索不确定性估计与图神经网络,使跨相机轨迹随运行稳定接续。

34、本发明的有益效果在于:

35、通过相机对与时段条件下的多峰通行时间似然门控,以多分量刻画不同通行行为对应的时间区间,并结合可达性先验初始化与观测在线更新,适应通行时间随时段与行为波动,在收缩候选规模的同时降低慢行漏关联风险;通过相机对与光照条件下的跨成像域对齐网络,将上游片段聚合外观特征映射到下游成像域后再比对,使上下游外观在同一成像域内可比,缓解跨相机成像系统性偏移导致的外观线索失效问题;

36、通过不确定性估计头对每条候选边的外观与时间两路证据分别估计线索不确定性,并据此自适应融合对齐外观相似度与时空似然,区分穿着相近与光照拍花、人流突变等情形下的线索可信程度;通过图神经网络在关联图上多轮消息传递输出关联置信度,并在整图上按身份互斥且允许不接约束做全局匹配,消解多候选竞争与时间冲突,避免被迫错接;通过高置信伪标签反哺更新对齐网络、通行时间似然、不确定性估计与图神经网络,形成在线自增强闭环,使跨相机轨迹接续能力随运行持续优化。