一种行人重识别建库的方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像检索技术领域，特别是涉及一种行人重识别建库方法、装置、计算机设备和存储介质。


背景技术：

2.随着信息技术飞速的发展，图像处理技术广泛应用于生活的方方面面，行人重识别建库技术则近年来学术界和工业界研究的一个热门话题。行人重识别建库技术是利用计算机视觉技术判断图像或视频序列中是否存在特定人的技术，该技术可配合行人检测以及行人跟踪等技术，广泛应用于智能视频监控、智能安保、无人驾驶、智能刑侦以及智慧零售等领域，具有广阔的技术应用前景。
3.实际生活中场景复杂多变，考虑的因素不仅包括光照的变化，行人姿态穿着的多变以及监控视角和监控覆盖范围的限制以及个性化需等。目前为数不多比较成熟的行人跟踪方案都是基于较为理想的输入数据，一旦使用在多遮挡、多行人、多相似样例的情景中，没有科学的reid建库和查询机制的辅助，系统误检率会大大提升，导致例如无人店等智能零售结算系统无法正常运行从而影响购物结算。


技术实现要素：

4.本发明旨在解决在监控场景下的行人跟踪问题。基于此，有必要针对上述技术问题，提供结合行人重识别建库技术，在因遮挡造成跟踪失效的场景下，启用行人重识别建库的技术实现跨摄像头的全场景跟踪一种行人重识别建库方法、装置、计算机设备和存储介质。
5.一种行人重识别建库方法，该方法包括：
6.跟踪行人的行人轨迹，检测到行人进入注册区域，采集该行人的多角度图片，获取第一行人特征，指派与第一行人特征对应的行人id，保存行人id和第一行人特征到reid库；
7.检测到行人进入店内区域，采集该行人的任一行人轨迹对应的图片，提取该行人轨迹的第二行人特征，将第二行人特征与reid库中的第一行人特征进行特征匹配，若匹配成功，形成第二行人特征对应的行人轨迹与第一行人特征对应的行人id的匹配对，输出配对信息，用于行人id的所有行人轨迹的拼接；
8.对配对信息筛选去重，取消同一行人id上的多余匹配对，取消对多余匹配对对应的行人轨迹的拼接；
9.获取低于最小置信度阈值的匹配对，并取消对该匹配对中行人轨迹的拼接；
10.实时检测已绑定的匹配对的特征变化，更新行人在店内区域的特征变化。
11.在一个实施例中，行人的行人轨迹进入注册区域时，采用摄像头群采集该行人的多角度图片，至少从正面、侧面和头顶俯视角度获取行人的纹理和深度特征。
12.在一个实施例中，若仅检测到一个行人轨迹，且reid库中仅存在一个待绑定的行人id，则直接将该行人轨迹与该行人id进行匹配，将该行人轨迹和该行人id的其他行人轨
迹进行拼接；
13.若检测到多个行人轨迹，获取每个行人轨迹的行人特征，在reid库中进行特征匹配，确定与行人轨迹相匹配的行人id，输出配对信息，同时丢弃未匹配成功的行人轨迹。
14.在一个实施例中，若行人id同时与至少一个行人轨迹匹配成功，则保留一个行人轨迹与行人id形成匹配对，对其余行人轨迹进行二次匹配，并分别强行匹配距离最小的行人轨迹和行人id，形成匹配对。
15.在一个实施例中，遍历所有匹配对，预设最小置信度阈值，分别获取已匹配的行人轨迹与reid库中任意行人id间的相似度距离，取消相似度距离低于最小置信度阈值的匹配对的匹配。
16.在一个实施例中，提取异常行人人体特征包括，利用颜色直方图提取人体实例分割的特征信息。
17.在一个实施例中，距离判定包括，
18.获取异常行人人体特征与图像数据信息底库中的每个行人图像的人体特征；
19.计算进行异常行人人体特征与图像数据信息底库中的每个行人图像的人体特征的相似度；
20.确定异常行人图像与行人图像之间的特征距离；
21.存在一个异常行人图像时，计算进行异常行人人体特征与图像数据信息底库中的每个行人图像的人体特征的相似度，确定异常行人图像与行人图像之间的特征距离，使用最小距离匹配，将最小距离对应的图像数据信息底库中的行人图像匹配为异常行人图像；
22.存在至少两个异常行人图像时，分别计算至少两个异常行人图像与图像数据信息底库中的每个行人图像的人体特征的相似度，分别确定至少两个异常行人图像与行人图像之间的特征距离，计算得到的距离矩阵，将结果对应的图像数据信息底库中的行人图像分别匹配为至少两个异常行人图像；
23.完成图像匹配。
24.一种行人重识别建库装置，装置包括：
25.采集模块，用于跟踪行人的行人轨迹，检测到行人进入注册区域，采集该行人的多角度图片，获取第一行人特征，指派与第一行人特征对应的行人id，保存行人id和第一行人特征到reid库；
26.匹配模块，用于检测到行人进入店内区域，采集该行人的任一行人轨迹对应的图片，提取该行人轨迹的第二行人特征，将第二行人特征与reid 库中的第一行人特征进行特征匹配，若匹配成功，形成第二行人特征对应的行人轨迹与第一行人特征对应的行人id的匹配对，输出配对信息，用于行人id的所有行人轨迹的拼接；
27.去重模块，用于对配对信息筛选去重，取消同一行人id上的多余匹配对，取消对多余匹配对对应的行人轨迹的拼接；
28.过滤模块，用于获取低于最小置信度阈值的匹配对，并取消对该匹配对中行人轨迹的拼接；
29.更新模块，用于实时检测已绑定的匹配对的特征变化，更新行人在店内区域的特征变化。
30.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的
计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
31.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
32.本发明行人重识别建库方法、装置、计算机设备和存储介质，具有以下效果：
33.1、通过多角度使用深度摄像头获取行人各个朝向的纹理和深度信息进行特征注册，最大限度充分获取行人特点以便应对复杂的场景中的遮挡问题。
34.2、使用高效的多目标匹配逻辑，将所有未匹配的行人位置和库中未匹配的reid进行高效的交叉匹配。
35.3、使用精确的去重逻辑，避免多个特征相似的行人被误合并成同一 reid。
36.4、使用准确的过滤逻辑，纠正匹配阶段的误匹配。
37.5、使用特征更新机制，动态更新在店行人的特征变化，如穿脱外套、帽子、墨镜等。
附图说明
38.图1为一个实施例中一种行人重识别建库方法的流程示意图；
39.图2为一个实施例中一种行人重识别建库方法的整体流程示意图；
40.图3为一个实施例中一种行人重识别建库装置的结构框图；
41.图4为一个实施例中计算机设备的内部结构图。
具体实施方式
42.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
43.本技术提供的一种针对复杂场景的行人跟踪重识别建库方法，能够准确高效地同时跟踪多个对象，在一个实施例中，如图1-图2所示，包括以下步骤：
44.s100，跟踪行人的行人轨迹，检测到行人进入注册区域，采集该行人的多角度图片，获取第一行人特征，指派与第一行人特征对应的行人id，保存行人id和第一行人特征到reid库。
45.在本实施例中，行人通过进店闸机进入店内注册区域，优选地，使用摄像头群采集行人的多角度rgb-d图片，以此最大限度充分获取行人正面、侧面、头顶俯视三个角度的纹理和深度特征，获取行人的第一行人特征，用于特征库的注册，采用特征提取模型获取输入图片的特征，并指派临时行人id，保存行人id及第一行人特征到reid库。
46.具体地，当行人的轨迹从闸机区域进入注册区域，进入瞬间激活reid 模块对这条轨迹的处理，进入注册模式。此时，包含正面、背面以及侧面这个3个摄像头的摄像头群同时拍摄，优选地，连续拍摄35帧(1秒)，分别对每个摄像头拍摄的35帧的图像特征取平均，然后计入这条行人轨迹的reid特征库并指派新的reid给该轨迹，上述策略可用公式表示如下：
[0047][0048]
其中，对于公式(1)，reidfeaturei表示第i个面(正面、背面、侧面)的平均特征，ni表示对应第i个面在连续拍摄35帧(1秒)时间内跟踪注册统计到的图像帧数，然后采用平均
策略输出描述reid的特征。
[0049]
s200，检测到行人进入店内区域，采集该行人的任一行人轨迹对应的图片，提取该行人轨迹的第二行人特征，将第二行人特征与reid库中的第一行人特征进行特征匹配，若匹配成功，形成第二行人特征对应的行人轨迹与第一行人特征对应的行人id的匹配对，输出配对信息，用于行人id 的所有行人轨迹的拼接。
[0050]
在本实施例中，检测行人的行人轨迹进入店内区域，当店内的行人轨迹出现连续多帧画面之后，经过模型对摄像头群的任一摄像头获取到的图片进行特征提取，获取第二行人特征，调用reid搜索模块进行特征匹配。
[0051]
具体地，当任何新的行人轨迹出现，连续3个行人位置即被认定是形成了新的行人轨迹，只有当该新的行人轨迹在店内区域中出现，此次，reid 模块介入并进入搜索模式寻找匹配reid。
[0052]
若行人轨迹置和未绑定的行人id都只有一个的时候，该行人轨迹与该行人id直接绑定，否则其他情况下，调用reid特征匹配模型进行配对匹配，形成匹配对，丢弃未匹配成功的行人轨迹。优选地，针对多对多匹配模式，为了较高的运行效率，采用匈牙利匹配方式，将所有未匹配的行人轨迹和reid库中未匹配的行人id特征交叉匹配，形成匹配对。
[0053]
利用reid模块进行匹配搜索实际上可视为一个基于特征的图像检索过程，不同对象由于特征提取的不同，所以往往采取的度量方式不尽相同，常见的度量方式有余弦距离，欧氏距离，巴氏距离或者相关性等，颜色直方图特征常使用相关性度量方式，欧式距离则常用于空间位置特征，余弦距离则常用于大部分纹理特征或深度学习特征间的距离度量。余弦距离度量方式可如下式所示：
[0054][0055]
dist＝1-cos(θ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
[0056]
其中，对于公式(2)，a和b为某个查询图像和reid注册库中的某个底库图像的特征表示，cos(θ)为其余弦相似度，对于公式(3)，dist为两个特征表示之间的余弦距离，用于匈牙利匹配中的指派矩阵计算。
[0057]
在实施例中，采用计算余弦距离方式，针对一对多的情况下有较高的运行效率，将单个未匹配的行人轨迹和reid库中未匹配的行人id特征一一比对，绑定距离最小的行人id。且由于余弦距离方式取值范围为[0,1]，具有符合常理的概率意义，可进一步为后续滤除步骤提供依据。
[0058]
s300，对配对信息筛选去重，取消同一行人id上的多余匹配对，，取消对多余匹配对对应的行人轨迹的拼接。
[0059]
在本实施例中，检查经过reid匹配后的配对信息进行筛选去重，取消可能出现的同一个行人id的不同面朝像分别被匹配上行人轨迹的匹配对的匹配，取消对多余匹配对对应的行人轨迹的拼接。
[0060]
具体地，由于包括但不仅限于模型缺陷或者两个样本的特征距离实在接近的问题存在，可能出现两个行人轨迹分别匹配上了同一个行人id的不同面朝向特征。所以在步骤s200的匈牙利匹配之后，取出指派相同行人 id的行人轨迹进行二次复查，从而减少未匹配的行人轨迹。具体地，强行匹配距离最小的行人轨迹和行人id，哪怕该距离大于预设的距离
阈值，也将该行人轨迹和行人id进行匹配，形成匹配对。而剩余的行人轨迹则不进行匹配。
[0061]
s400，获取低于最小置信度阈值的匹配对，并取消对该匹配对中行人轨迹的拼接。
[0062]
在本实施例中，过滤机制介入，检查低于最小置信度阈值的轨迹-id 匹配对并取消匹配，并取消对该匹配对中行人轨迹的拼接。
[0063]
具体地，检查所有已经匹配的行人轨迹和行人id的匹配对，可利用相似度阈值约束进一步提高匹配的准确率，该策略可用以下公式表示：
[0064][0065]
其中，对于公式(4)，d
matchedq_g
表示已匹配上的某个行人位置和reid 注册底库中的某个reid之间的相似度距离，g表示reid,设定过滤阈值 filter_thresh，对相似距离大于过滤阈值的情况视为可信度过低，解除相似度低于过滤阈值的匹配对的绑定
[0066]
针对最后未匹配的行人轨迹，若行人的行人轨迹出现在店内区域，则不处理，直到下一帧出现更好的特征并成功匹配。
[0067]
s500，实时检测已绑定的匹配对的特征变化，更新行人在店内区域的特征变化。
[0068]
在本实施例中，时刻检查已经绑定的轨迹-行人id匹配对的特征变化情况，动态更新在店行人改变衣帽饰品导致的特征变化。
[0069]
具体地，原则上只建议添加新特征，反对替换特征，避免污染原始reid 特征库。但是由于场景较为复杂，可能会发生行人拥挤的场景，目标检测技术无法准确切分不同行人，因此检查同一深度摄像头下的所有已匹配上轨迹的位置，采用以下公式判断是否需要更新reid库：
[0070][0071][0072]
其中，对于公式(5)，表示两个已匹配上的轨迹，其检测框分别为bdboxi 和bdboxj，iou
bdboxi_bdboxj
为其重叠度，对于公式(6)，表示设定不更新重叠度阈值为notupdate_thresh，如果两个检测框的重叠度大于该阈值，有理由相信检测框定位不准，特征将引入其他的背景噪声会污染原始reid 特征库，因此不对两个检测框匹配上的reid进行特征更新，而对于低于 notupdate_thresh的检测框可进入候选更新reid库的特征，在需要时更新该特征。
[0073]
在一个实施例中，还包括步骤s600，删除已绑定reid。
[0074]
具体地，当检测到行人轨迹从店内区域进入出店区域，即，该行人已经出店，则将该行人轨迹绑定的行人id从reid库中删除。
[0075]
应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0076]
在一个实施例中，如图3所示，提供了应用上述方法的行人重识别建库装置，包括：采集模块100、匹配模块200、去重模块300、过滤模块400 和更新模块500。其中：
[0077]
采集模块100，用于跟踪行人的行人轨迹，检测到行人进入注册区域，采集该行人的多角度图片，获取第一行人特征，指派与第一行人特征对应的行人id，保存行人id和第一行人特征到reid库。
[0078]
匹配模块200，用于检测到行人进入店内区域，采集该行人的任一行人轨迹对应的图片，提取该行人轨迹的第二行人特征，将第二行人特征与 reid库中的第一行人特征进行特征匹配，若匹配成功，形成第二行人特征对应的行人轨迹与第一行人特征对应的行人id的匹配对，输出配对信息，用于行人id的所有行人轨迹的拼接。
[0079]
去重模块300，用于对配对信息筛选去重，取消同一行人id上的多余匹配对，取消对多余匹配对对应的行人轨迹的拼接。
[0080]
过滤模块400，用于获取低于最小置信度阈值的匹配对，并取消对该匹配对中行人轨迹的拼接。
[0081]
更新模块500，用于实时检测已绑定的匹配对的特征变化，更新行人在店内区域的特征变化。
[0082]
关于行人重识别建库装置的具体限定可以参见上文中对于行人重识别建库方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0083]
本实施例的行人重识别建库装置，在相应的监控场景能够利用多组深度摄像头，覆盖对应监控场景全部区域，能处理多人同时进出对应监控场景。跟踪模块在较低的错误率下需要reid模块介入。reid识别准确率高，很大程度上可以保证相应场景下视觉跟踪系统的正常运作。同时这套系统还能够切换成数据采集和预处理模式，用于包括行人检测、行人跟踪、reid 识别等模块的模型优化迭代。
[0084]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是数据管理服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的数据源终端通过网络连接通信，以接收数据源终端上传的数据。该计算机程序被处理器执行时以实现行人重识别建库方法。
[0085]
本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0086]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述行人重识别建库方法。
[0087]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机
可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom) 或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0088]
本发明应用场景十分丰富，可广泛应用于无人超市、安防监控、犯罪刑侦等多个场景。以应用到智能零售为例，可开展无人店项目，打造无感知购物的全新购物体验，实现多人同时进店购物、实时盘点购物车清单、出店自动结算的技术能力。具体地，由于无人店场景不同于普通公共场所安防场景，安防场景的摄像头多为向下斜拍且允许一定程度的遮挡，并且很少出现多人多次反复出现这样的复杂情况。但是无人店中漏检误检是严格地不允许发生的，因为会导致自动结算功能异常。单纯使用目标跟踪或者传统的行人重识别模块是很难适应这样的场景并且消耗运算资源巨大，难以实现方案的量产部署。本发明的行人重识别建库方法、装置、计算机设备和存储介质，利用能够高效分散类间距离收敛类内距离的特征库建库查询机制的介入则能够根据现有的资源增强对特征的利用，从而提高匹配准确性，在有针对性的模型提取特征的基础上，搭配多特征维度的reid 建库算法框架，分担模型的分类运算负担，很大程度上提高匹配准确率和运算效率。
[0089]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0090]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。