一种双端选择性属性证据约束的公交乘客检索系统及方法
本发明涉及智能公共交通和图像检索,尤其涉及一种双端选择性属性证据约束的公交乘客检索系统及方法。
背景技术:
1、公交车厢监控视频是公共交通安全管理、事件回溯、失物查找和乘客行为分析的重要数据来源。公交乘客检索通常以目标乘客的一张或者多张图像作为查询,在由公交监控视频或者预构建图库形成的候选集中,查找与目标乘客身份相同的乘客图像或者乘客轨迹。
2、现有公交乘客检索方法主要利用行人重识别网络或者其他身份表征网络提取视觉身份特征,并按照查询端与图库端身份特征之间的相似度进行排序。如中国专利申请cn110569819a公开了一种公交车乘客再识别方法,其利用设置于公交车前门、后门顶部区域的摄像头采集乘客上下车的客流视频,对乘客人头和肩部进行目标检测,再采用深度学习网络对乘客进行再识别。此类方法仅依赖视觉身份特征进行识别,未利用乘客属性等辅助语义信息;由于公交车厢内存在座椅、扶手和其他乘客遮挡,同时受到视角变化、运动模糊、低分辨率以及相似着装等因素影响,真实候选与外观相似干扰候选之间的身份相似度间隔可能较小,容易产生局部排序错误。
3、性别、年龄、上衣类型等乘客属性可以为身份判断提供辅助语义信息。现有属性辅助检索方法通常直接拼接身份特征与属性特征,或者根据属性类别是否相同对身份相似度进行固定加减。如中国专利申请cn105095475a公开了基于两级融合的不完整属性标记行人重识别方法与系统,其利用跨层稀疏重构一致性补全属性特征,通过属性关注度和显著度模型度量属性向量间距离,并对低层特征排序结果和属性特征排序结果进行后融合。然而,此类方法将属性作为固定融合、固定加权或者固定加减的对象参与匹配,未考虑不同属性可观测程度的差异:公交监控图像中不同属性的可观测程度不同;当属性对应区域不可见或者视觉证据不足时,选择性属性识别网络可能输出未知状态。若将未知状态作为普通类别参与匹配,或者仅依据查询端、图库端中的单端属性结果进行比较,容易将缺少视觉证据错误解释为属性一致或者属性冲突。
4、此外,不同属性类别关系对身份判断的意义并不相同。常见服饰颜色相同通常只能提供较弱的同一身份支持,而高可靠的稳定属性冲突可能形成较强的反对证据。采用“类别相同即加分、类别不同即减分”的固定规则,难以反映不同属性类别对在同身份和异身份条件下的统计差异。此外,现有重排序手段多将辅助特征以无界方式直接叠加到身份相似度上,如中国专利cn110555428a公开了行人重识别方法、装置、服务器以及存储介质,其将姿态特征的余弦距离与原始特征的余弦距离加权求和得到重排序距离;此类无界加权在辅助特征发生误判时,可能使原本正确的身份排序发生大幅变化。
5、因此,需要一种公交乘客检索技术:仅在查询端和图库端均具有可靠具体属性输出时构造身份判别证据,任一端输出未知状态时使对应属性严格不参与身份判断;同时根据双端可比属性覆盖率、双端属性平均可靠度、属性证据冲突度和身份初始排序不确定度控制属性证据是否介入,并限制属性对身份排序的最大修正幅度,从而在利用可靠属性纠正局部模糊排序的同时,降低不可靠属性造成的负面干扰。
技术实现思路
1、本发明要解决的技术问题是克服现有公交乘客检索方法中单端属性直接参与匹配、未知属性被错误比较、不同属性类别关系采用固定规则、相关属性重复计票以及属性修正幅度缺乏约束等不足,提供一种双端选择性属性证据约束的公交乘客检索系统及方法。本发明以视觉身份表征作为全库召回和主排序依据,仅在身份初始排序的局部候选集中使用双端选择性属性证据;任一端对同一属性输出未知状态时,对应属性对身份判断的贡献严格为零;属性证据经有界映射函数约束后形成有界身份排序残差,在优选实施方式中还可进一步经候选级可信介入门和查询级共享修正预算约束,从而使系统在不存在可靠双端属性证据时退化为身份初始排序。
2、为解决上述技术问题,本发明提出的技术方案为:
3、一种双端选择性属性证据约束的公交乘客检索系统,用于在查询端与图库端候选集之间检索公交乘客,包括:
4、身份表征与初始检索模块,用于提取查询端和图库端的身份特征,根据身份相似度对图库端候选集执行全库初始排序,得到身份初始排序,选取身份初始排序在前的个图库候选构成局部候选集;
5、双端选择性属性结果获取与身份判别证据构建模块,用于获取选择性属性识别网络分别针对查询端和图库端输出的单端选择性属性结果包;针对同一乘客属性,仅在查询端和图库端均输出具体属性类别时根据属性类别关系生成单属性身份判别证据,在任一端输出未知状态时该单属性身份判别证据为零;根据单属性身份判别证据得到双端选择性属性总证据;
6、有界身份重排序模块,用于将双端选择性属性总证据经有界映射函数处理,得到有界的属性身份排序残差,并将属性身份排序残差与身份相似度相加得到最终检索分数,最终检索分数用于在局部候选集内对个图库候选进行重排序。
7、进一步地,系统还包括图像获取与轨迹组织模块,用于获取至少一个查询乘客图像形成查询端图像集,并从公交监控视频或者预构建图库中获取候选乘客图像或者候选乘客轨迹,形成图库端候选集;系统还包括检索输出模块,用于在局部候选集内按照最终检索分数输出公交乘客检索结果,并可以输出身份相似度、逐属性身份判别证据、双端选择性属性总证据、候选级可信介入门、查询级修正预算和属性身份排序残差中的一种或者多种解释信息。
8、优选地,单端选择性属性结果包包含各乘客属性的具体类别输出标记、完整类别概率分布和属性可靠度;双端可比掩码由查询端和图库端针对同一乘客属性的具体类别输出标记相乘得到。对于查询端、第个图库候选以及第个乘客属性,查询端具体类别输出标记为,图库端具体类别输出标记为,双端可比掩码按照下式确定:
9、;
10、当查询端或者图库端中的任一端对第个乘客属性输出未知状态时,对应的具体类别输出标记为零,双端可比掩码,并使该乘客属性对应的单属性身份判别证据严格为零。只有查询端和图库端均输出具体属性类别时,才允许该属性参与后续身份判别证据计算。
11、对于第个乘客属性的查询端类别和图库端类别,属性类别关系对数似然比按照下式确定:
12、;
13、式中,为平滑参数,为第个乘客属性的对数似然比限幅值,表示限幅函数。当时,对应属性类别关系形成支持同一身份的证据;当时,对应属性类别关系形成反对同一身份的证据;当时,对应属性类别关系不参与同一身份判断。
14、在离线参数确定阶段,利用预先训练的选择性属性识别网络对带有身份标签的校准样本生成选择性属性结果,并根据选择性属性结果和身份标签估计同身份属性类别对分布与异身份属性类别对分布。将由两种分布确定的属性类别关系判别参数保存为参数表或者等价的判别函数。校准样本的身份标签仅用于离线参数确定,在线检索阶段不读取当前查询端或者图库候选的真实身份标签。
15、优选地,局部属性区分度仅在当前身份初始排序的前个图库候选中计算。对于查询端第个乘客属性的具体类别,在局部候选集合中,仅统计图库端已经输出具体属性类别的属性值频数:
16、;
17、式中,和分别为第个图库候选对第个乘客属性的具体类别输出标记和具体类别,为示性函数。图库端输出未知状态时,对应的具体类别输出标记为零,不计入属性值频数。
18、查询端对应属性值的局部属性区分度按照下式确定:
19、;
20、式中,为第个乘客属性的类别数量,为平滑参数,为属性区分度限幅值。查询端属性值在当前局部候选集中越少见,局部属性区分度越大;计算只读取图库端的选择性属性输出,不读取图库候选的真实身份标签。
21、优选地,对于查询端、第个图库候选和第个乘客属性,单属性身份判别证据按照下式确定:
22、;
23、式中,和分别为查询端和图库端对应乘客属性的属性可靠度,和分别为查询端和图库端的完整类别概率。使用双端完整类别概率对属性类别关系对数似然比求期望,可以降低仅使用硬类别造成的证据突变。当时,由乘法结构可得。
24、单属性身份判别证据为正值时支持查询端与图库端属于同一身份,为负值时反对查询端与图库端属于同一身份,为零时不参与同一身份判断。
25、进一步优选地,为降低具有相关性的多个乘客属性对同一视觉线索重复计票,将乘客属性划分为个属性语义组。对于第个属性语义组,先按照当前双端可比属性数量对组内证据进行归一化,再对各组证据求和:
26、;
27、式中,为查询端与第个图库候选之间的双端选择性属性总证据。属性语义组可以根据乘客属性语义先验确定,也可以根据训练数据中的属性相关性确定。组内归一化使同一组中可比属性数量增加时不会造成证据幅度无约束增长。
28、预先训练的选择性属性识别网络为能够针对每个乘客属性输出完整类别概率分布、具体类别输出标记和属性可靠度的网络。在一种实施方式中,采用已训练的oecar-net作为单端选择性属性结果包的提供器。本发明利用该网络的输出结果构造查询端与图库端之间的身份判别证据,不以该网络的特定内部结构作为必要限制。
29、进一步地,系统还包括可信介入与预算确定模块,用于根据双端可比属性覆盖率、双端属性平均可靠度和属性证据冲突度中的一种或者多种确定候选级可信介入门,并根据身份初始排序不确定度确定同一查询的各局部候选共享的查询级修正预算;其中,,,和分别为预设最小修正预算和预设最大修正预算。
30、有界身份重排序模块将双端选择性属性证据映射到绝对值不大于一的有限区间。有界映射函数可以采用双曲正切函数:
31、;
32、式中,为证据温度参数。还可以采用裁剪函数或者其他满足且的饱和函数。
33、查询端与第个图库候选之间的属性身份排序残差按照下式确定:
34、;
35、最终检索分数按照下式确定:
36、;
37、由于且,任一图库候选的属性身份排序残差满足:
38、;
39、当查询端与图库端之间不存在双端可比属性,或者候选级可信介入门时,设置,最终排序退化为身份初始排序。当查询端全部属性均输出未知状态时,可以跳过属性证据构建和有界身份重排序,直接输出身份初始排序结果。
40、进一步地,查询端和图库端分别支持单图输入或者多图输入;当任一端包含多张图像时,先在该端内部对身份特征以及由选择性属性识别网络输出的单帧选择性属性结果进行集合级聚合,再执行查询端与图库端之间的比较;当任一端仅包含一张图像时,对应的集合级聚合退化为恒等映射。
41、进一步地,身份表征与初始检索模块分别获得查询端集合级身份表征和第个图库候选的集合级身份表征,并按照下式计算身份相似度:
42、;
43、身份相似度还可以在使用前进行温度缩放、线性变换或者其他单调校准,使查询级修正预算与身份相似度处于同一分数尺度。乘客属性信息不参与全库近邻搜索,仅用于对局部候选集进行重排序。
44、本发明还提出一种双端选择性属性证据约束的公交乘客检索方法,包括如下步骤:
45、步骤s1,获取至少一个查询乘客图像形成查询端图像集,并从公交监控视频或者预构建图库中获取多个候选乘客图像或者候选乘客轨迹,形成图库端候选集;
46、步骤s2,分别提取查询端和图库端的身份特征并进行集合级聚合,根据身份相似度对图库端候选集执行全库初始排序,选择排序在前的个图库候选构成局部候选集;
47、步骤s3,获取由预先训练的选择性属性识别网络分别针对查询端和局部候选集中的各图库候选输出的单端选择性属性结果包,每一单端选择性属性结果包至少包括各乘客属性的完整类别概率分布、具体类别输出标记和属性可靠度;
48、步骤s4,针对同一乘客属性建立双端可比掩码,仅在查询端和图库端均输出具体属性类别时,根据属性类别关系、双端属性可靠度以及查询端和图库端的完整类别概率分布,生成单属性身份判别证据;当查询端或者图库端中的任一端输出未知状态时,将对应的双端可比掩码和单属性身份判别证据置为零;
49、步骤s5,对各单属性身份判别证据进行聚合,得到查询端与各图库候选之间的双端选择性属性总证据;
50、步骤s6,根据双端可比属性覆盖率、双端属性平均可靠度和属性证据冲突度中的一种或者多种,确定候选级可信介入门,并根据身份初始排序不确定度确定同一查询的各局部候选共享的查询级修正预算;
51、步骤s7,将双端选择性属性总证据经有界映射函数处理后,与候选级可信介入门和查询级修正预算相乘,得到有界的属性身份排序残差;将属性身份排序残差与对应的身份相似度相加,得到最终检索分数,并仅在局部候选集内按照最终检索分数对个图库候选进行重排序,输出公交乘客检索结果。
52、与现有技术相比,本发明具有以下有益效果:
53、1、本发明将预先训练的选择性属性识别网络在查询端和图库端输出的单端结果转换为面向身份假设的双端证据,其中,仅当同一属性在两端均输出具体类别时该属性参与比较,任一端为未知状态时对应证据为零。该设置使不可观测属性及单端误判的错误传递在结构上被抑制,适用于遮挡、低清晰度和视角变化条件下的乘客检索。
54、2、本发明区别于“属性类别相同即加分、不同即减分”的硬匹配方式,根据同身份与异身份样本中各属性类别组合的统计差异,生成方向和强度可区分的身份判别证据。其中,相容类别组合产生支持证据,冲突组合产生反对证据,缺乏判别力的常见组合趋近于零证据。由此,属性关系表达具有更细致的区分粒度,适用于相似外观乘客的区分。
55、3、本发明仅在身份初始排序的前个候选中引入属性证据,并根据当前局部候选集计算属性值区分度,使局部范围内稀有且可靠的属性获得更高判别作用;同时将相关属性划分为语义组,先在组内按双端可比属性数量归一化,再聚合各组证据。该处理方式降低了相关外观线索的重复计票,使局部重排序具有针对性和稳定性。
56、4、本发明提出有界身份重排序机制,通过候选级可信介入门控制属性证据是否参与重排序,并利用同一查询共享的修正预算限制其对身份初始分数的修正幅度;属性证据经饱和映射形成有界身份排序残差,且任一残差绝对值均不超过该预算。当不存在双端可比属性或介入门关闭时,残差归零并退化为身份初始排序。该机制使不可靠属性证据对检索结果的影响被限制在可控范围内。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com