一种面向低照度遮挡场景的鲁棒性行人重识别方法与流程
本发明涉及计算机视觉和行人重识别,具体涉及一种面向低照度遮挡场景的鲁棒性行人重识别方法。
背景技术:
1、行人重识别用于在跨时间、跨地点和跨摄像机的视频图像中检索与查询目标身份一致的行人,在公共安全视频分析、目标排查和跨镜轨迹还原中具有重要作用。现有行人重识别方法在光照稳定、人体区域清晰且遮挡较少的条件下能够获得较好的身份区分能力,但在夜间低照度、高杆俯视、多人交叉和复杂人造光源环境下,目标颜色、纹理和局部结构容易发生明显退化。
2、低照度监控图像并非仅表现为整体亮度降低。路灯、车灯和广告屏会造成局部过曝,高增益成像会放大传感器噪声,行人运动会产生拖影,树木、车辆和其他行人会造成局部遮挡。不同摄像机的安装角度、曝光策略和压缩质量也不相同,因此完全相同的亮度、清晰度或检测置信度阈值在不同摄像机上可能产生不同的质量判断结果。
3、现有视频分析通常采用固定步长抽帧。固定步长不能适应画面人数和跟踪难度的变化:画面无人时持续高频处理会产生大量无效计算;画面中人员较多、相互遮挡或交叉时,固定稀疏抽帧容易遗漏关键过程,并增加跟踪中断和身份切换的风险。
4、现有轨迹特征通常由轨迹内全部图像直接求均值得到。该方式默认每张图像的可靠性相同,但同一轨迹中通常同时存在清晰、欠曝、模糊、过曝和遮挡图像。低质量图像若与高质量图像等权参与聚合,会使轨迹特征偏离真实身份;若把低质量图像全部删除,又可能损失仍然存在的人体轮廓、服饰结构和局部纹理信息。
5、现有检索通常只比较完整人体的全局特征。夜间监控中经常出现人体局部可见、局部欠曝或局部被遮挡的情况,仅使用全局特征容易受到无效区域干扰。若对所有局部区域使用固定权重,则被遮挡或严重欠曝的局部仍会降低正确候选的匹配分数。
6、现有跨轨迹关联通常只利用外观相似度和时间重叠约束。时间重叠约束可以排除同一人员在同一时刻同时出现于两个位置的情况,但对于时间上不重叠的两个记录,仍无法判断目标是否能够在给定时间内沿实际道路从一个摄像机点位到达另一个摄像机点位。
7、此外,现有方法往往对全部摄像机采用统一质量阈值,并由算法结果直接完成轨迹合并。统一阈值不能适应不同摄像机的长期成像差异,自动合并结果若缺少来源完整帧、质量权重、点位时间和人工确认状态,则不利于后续核验和错误纠正。
8、现有技术方案一通过固定步长对视频抽帧并执行检测跟踪,虽然便于控制处理规模,但没有根据画面人数、遮挡程度和跟踪不确定性调节计算资源。
9、现有技术方案二通过固定阈值删除低质量图像并对剩余图像特征求均值,容易造成有效信息损失或者低质量样本污染轨迹表示。
10、现有技术方案三通过全局人体特征执行一次检索排序,未对排名靠前的候选进行可见局部复核,也没有结合摄像机差异和道路通行时间校验跨镜关系。
11、因此,需要一种面向低照度复杂监控场景的方法,根据画面人数和跟踪状态调节采样频率,在同一轨迹内部按照图像质量分配特征权重,通过全局检索和可见局部复核提高低照度遮挡场景的匹配可靠性,并结合时间互斥、道路可达性、摄像机自适应质量基准以及人工确认留痕形成完整处理流程。
技术实现思路
1、本发明的目的在于提供一种面向低照度遮挡场景的鲁棒性行人重识别方法,以解决固定抽帧产生无效计算或遗漏多人交叉过程、低质量图像等权聚合污染轨迹特征、全局特征无法充分利用可见局部、统一质量阈值不适应不同摄像机、跨镜关联缺少道路时间校验以及分析结果难以核验的问题。
2、为实现上述目的,本发明提供一种面向低照度遮挡场景的鲁棒性行人重识别方法,包括以下步骤:
3、步骤s1:人数与状态感知的自适应视频采样:对输入视频执行周期性基础检测,根据场景状态调整采样间隔,并在无人状态下保留周期性基础检测;
4、步骤s2:同一轨迹内的图像质量加权特征聚合:对采样帧进行行人检测和多目标跟踪,获得带轨迹标识的行人图像;根据多项质量指标计算图像质量分数,在同一轨迹内按照所述图像质量分数确定各行人图像的特征权重,并对帧级行人特征加权聚合,得到轨迹级全局特征;
5、步骤s3:全局检索与可见局部质量复核:利用查询目标的全局人体特征与轨迹级全局特征执行第一阶段检索,获得候选轨迹;针对候选轨迹提取人体局部特征,确定局部可靠性,仅使满足可用条件的局部参与比较,将全局相似度和有效局部相似度按局部可靠性融合并对候选轨迹重新排序;
6、步骤s4:时间互斥与道路时间可达性复核:判断拟关联轨迹之间是否存在超过容忍范围的时间重叠,存在时间冲突时禁止建立同一身份关联;不存在时间冲突且轨迹来自不同摄像机时,根据摄像机坐标执行道路路线规划,比较道路规划用时与前后轨迹之间的实际时间间隔,将道路规划用时超过所述实际时间间隔允许范围的候选关系标记为不可达或者异常关联;
7、步骤s5:建立摄像机自适应质量基准:按照摄像机分别统计历史有效画面或历史有效行人图像的质量指标分布,形成摄像机自适应质量基准;将当前行人图像的质量指标相对于所属摄像机自适应质量基准进行归一化,并以归一化后的质量指标计算步骤s2中的图像质量分数;利用满足稳定条件的新样本对所述摄像机自适应质量基准进行增量更新。
8、本发明的有益效果是:
9、1)根据画面人数和跟踪状态动态分配视频处理频率,在无人和稳定场景减少无效计算,在多人交叉、遮挡和光照突变阶段保留更完整的时间信息。
10、2)在同一轨迹内部使高质量图片获得较大权重、低质量图片获得较小权重,降低欠曝、模糊和遮挡图片对轨迹表示的干扰,同时保留低质量图片中的辅助身份线索。
11、3)使用全局特征完成快速初检,再依据局部可见程度和质量对前k个候选进行局部复核,避免被遮挡或严重欠曝局部参与等权比较。
12、4)同时使用时间互斥和道路时间可达性约束,既能排除同一时间同时出现的关系,也能排除时间不重叠但实际无法及时到达的关系。
13、5)按照摄像机建立质量基准,减少不同曝光、角度和压缩质量造成的统一阈值偏差,提高图像质量权重在不同摄像机之间的可比性。
14、6)算法只输出候选关系,经人工确认后再形成最终轨迹,并保存原图、完整帧、质量权重、匹配分数和时空判断结果,提高分析结果的可核验性和可追溯性。
1.一种面向低照度遮挡场景的鲁棒性行人重识别方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种面向低照度遮挡场景的鲁棒性行人重识别方法,其特征在于,步骤s1中,所述场景状态包括:行人数量、人体检测框重叠或遮挡程度、轨迹接近或交叉程度、跟踪不确定性和相邻时刻光照状态变化量;时刻t的场景状态向量表示为:
3.根据权利要求1所述的一种面向低照度遮挡场景的鲁棒性行人重识别方法,其特征在于,步骤s2中,所述多项质量指标构成第i张行人图像的质量向量,所述质量向量至少包括有效亮度、暗像素比例、过曝比例、局部对比度、清晰度、遮挡程度、人体框完整度和检测可靠度;
4.根据权利要求1所述的一种面向低照度遮挡场景的鲁棒性行人重识别方法,其特征在于,步骤s3中,仅对第一阶段检索得到的前k条候选轨迹执行局部复核,所述人体局部至少包括上半身和下半身;
5.根据权利要求1所述的一种面向低照度遮挡场景的鲁棒性行人重识别方法,其特征在于,步骤s4中,对于拟关联的两条轨迹,先执行时间互斥约束,再执行道路时间可达性约束;将所述道路规划用时与实际时间间隔的比值作为道路时间可达性比值,如下式所示:
6.根据权利要求1所述的一种面向低照度遮挡场景的鲁棒性行人重识别方法,其特征在于,步骤s5中,所述摄像机自适应质量基准至少包括亮度、暗像素比例、过曝比例、局部对比度、清晰度、遮挡程度、人体框完整度和检测可靠度的中位数、分位数范围或者移动统计值;
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com