基于时空信息的行人重识别聚类方法及装置与流程

1.本发明涉及神经网络领域，特别是涉及一种基于时空信息的行人重识别聚类方法及装置。


背景技术：

2.目前，行人重识别技术主要关注图像上的匹配，而忽略行人在区域内移动所产生的空间和时间的关联，对此，部分研究人员利用行人抓拍图片的时空信息进行建模，统计训练集中所有行人轨迹时空上的分布，从而得到两两摄像头之间同一行人两次出现被抓拍的时间差的分布直方图作为先验信息，与特征相似度一起对行人身份进行辨别。但由于行人轨迹具有很大的不确定性，若直接通过行人重现的时空关系来定义行人行动，在点位较多的情况下其时空分布会愈加趋近随机，且会将行动模式不符合概率的少数人排除于匹配之外。
3.因此，如何在行人重识别处理中考虑时空信息并得到更准确地特征聚类是一个亟待解决的问题。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于时空信息的行人重识别聚类方法及装置，用于解决现有技术中未能在行人重识别处理中考虑时空信息并得到更准确地特征聚类的问题。
5.为实现上述目的及其他相关目的，本发明提供一种基于时空信息的行人重识别聚类方法，包括以下步骤：基于待识别的行人图片集，应用神经网络模型进行特征提取，确定每个行人图片的特征表达；基于所述每个行人图片的特征表达，应用欧几里得距离计算进行相似度匹配，以确定第一特征聚类；基于所述第一特征聚类中的特征表达，应用基于密度的时空聚类算法，确定符合所述时空聚类算法的核心点以及核心点之间的连接边；基于所述核心点和所述连接边，应用图注意力网络，更新所述第一特征聚类的特征表达。基于更新后的所述第一特征聚类的特征表达和预设的特征阈值，进行相似度判断，确定第二特征聚类，所述第二特征聚类表示同一行人的特征。
6.于本发明的一实施例中，所述神经网络模型的损失函数包括交叉熵损失函数和三元组损失函数。
7.于本发明的一实施例中，所述基于所述每个行人图片的特征表达，应用欧几里得距离计算进行相似度匹配，以确定第一特征聚类，包括：基于所述每个行人图片的特征表达，应用欧几里得距离计算公式，确定每两个特征表达之间的相似度；当所述相似度大于第一相似度阈值时，确定所述相似度对应的两个特征表达归属为所述第一特征聚类的一类。
8.于本发明的一实施例中，所述基于所述第一特征聚类中的特征表达，应用基于密度的时空聚类算法，确定符合所述时空聚类算法的核心点以及核心点之间的连接边，包括：基于所述第一特征聚类中的特征表达，应用所述基于密度的时空聚类算法，确定所述特征
表达对应的时间距离矩阵和空间距离矩阵；遍历所述时间距离矩阵中的每个数据点和所述空间距离矩阵中的每个数据点；当第一数据点在预设的时间距离阈值范围内、第二数据点在预设的空间距离阈值范围内，且所述第一数据点和所述第二数据点对应同一特征表达时，记录所述同一特征表达，且计数；当所述计数的结果大于预设的节点阈值时，将所述计数对应的所述同一特征表达确定为符合所述时空聚类算法的核心点；连接每两个核心点形成所述核心点之间的连接边。
9.于本发明的一实施例中，所述基于所述核心点和所述连接边，应用图注意力网络，更新所述第一特征聚类的特征表达，包括：基于所述核心点和所述连接边，构建成聚类图；基于所述聚类图，应用图注意力网络的注意力系数的表达式，确定所述核心点对应的注意力系数；基于所述注意力系数，进行带泄露的线性修正单元的非线性激活和指数归一化处理，确定所述连接边对应的注意力权重；将所述连接边对应的注意力权重，与图注意力网络的权重相乘，再对所述连接边进行指数归一化，更新所述核心点对应的特征表达；基于所述核心点对应的特征表达，更新所述第一特征聚类的特征表达。
10.于本发明的一实施例中，所述注意力系数的表达式为：
11.e
ij
＝concat(hiw，hjw)a，j∈ni12.e
ij
为注意力系数；i表示第i个核心点；j表示与第i个核心点邻接的第j个核心点；hi为核心点i的特征向量，维度为[1，f]；hj为核心点j的特征向量，维度为[1，f]；w为可学习参数，维度为[f，f
′
]；a为可学习参数，维度为[2f
′
，1]；f为大于1的整数，f
′
为大于1的整数，n为核心点总个数；
[0013]
所述注意力权重的表达式为：
[0014][0015]aij
为注意力权重；i表示第i个核心点；j表示与第i个核心点邻接的第j个核心点；leakyrelu(e
ij
)表示使用带泄露的线性修正单元对e
ij
进行非线性激活处理；leakyrelu(e
ik
)表示使用带泄露的线性修正单元对e
ik
进行非线性激活处理；exp(leakyrelu(e
ij
))表示对leakyrelu(e
ij
)进行求指数；exp(leakyrelu(e
ik
))表示对leakyrelu(e
ik
)进行求指数；k表示与第i个核心点邻接的第k个核心点；n为所述核心点总个数；
[0016]
所述特征表达的表达式为：
[0017][0018]h′i为特征表达，i表示第i个核心点；j表示与第i个核心点邻接的第j个核心点；a
ij
为注意力权重；w为可学习参数；hj为核心点j的特征向量；σ表示指数归一化操作。
[0019]
于本发明的一实施例中，所述更新所述第一特征聚类之后，还包括：计算所述更新后的所述第一特征聚类中的特征表达的特征均值；将所述特征均值逐一和未符合所述时空聚类算法的特征表达进行所述欧几里得距离计算，得到相似度集合；获取所述相似度集合中的最大相似度；当所述最大相似度大于第二相似度阈值时，将所述最大相似度对应的未符合所述时空聚类算法中的特征表达加入所述第二特征聚类。
[0020]
对应地，本发明提供一种基于时空信息的行人重识别聚类装置，包括：第一处理模
块，用于基于待识别的行人图片集，应用神经网络模型进行特征提取，确定每个行人图片的特征表达；基于所述每个行人图片的特征表达，应用欧几里得距离计算进行相似度匹配，以确定第一特征聚类；第二处理模块，用于基于所述第一特征聚类中的特征表达，应用基于密度的时空聚类算法，确定符合所述时空聚类算法的核心点以及核心点之间的连接边；第一确定模块，用于基于所述核心点和所述连接边，应用图注意力网络，更新所述第一特征聚类的特征表达；第二确定模块，用于基于更新后的所述第一特征聚类和预设的特征阈值，进行相似度判断，确定第二特征聚类，所述第二特征聚类表示同一行人的特征。
[0021]
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于时空信息的行人重识别聚类方法。
[0022]
本发明提供一种行人重识别聚类系统，包括存储器，用于存储计算机程序；处理器，用于运行所述计算机程序以实现上述的基于时空信息的行人重识别聚类方法。
[0023]
如上所述，本发明的基于时空信息的行人重识别聚类方法及装置，具有以下有益效果：
[0024]
(1)对行人图片对应的时空信息进行利用，大大减弱不符合时空逻辑的误匹配点的影响，提高匹配准确度。
[0025]
(2)图注意力网络的应用，能够将同一行人在抓拍时的不同形态特征给到原节点，大大丰富了节点鲁棒性，以达到更高的匹配精度。
附图说明
[0026]
图1显示为本发明的基于时空信息的行人重识别聚类方法于一实施例中的流程图。
[0027]
图2显示为本发明的基于时空信息的行人重识别聚类方法于一实施例中的神经网络模型图。
[0028]
图3显示为本发明的基于时空信息的行人重识别聚类方法于一实施例中的阶段图。
[0029]
图4显示为本发明的基于时空信息的行人重识别聚类方法于一实施例中的第二特征聚类确定流程图。
[0030]
图5显示为本发明的基于时空信息的行人重识别聚类装置于一实施例中的结构示意图。
[0031]
图6显示为本发明的基于时空信息的行人重识别聚类装置于一实施例中的行人重识别聚类系统图。
[0032]
元件标号说明
[0033]
51
ꢀꢀꢀꢀꢀꢀꢀꢀ
第一处理模块
[0034]
52
ꢀꢀꢀꢀꢀꢀꢀꢀ
第二处理模块
[0035]
53
ꢀꢀꢀꢀꢀꢀꢀꢀ
第一确定模块
[0036]
54
ꢀꢀꢀꢀꢀꢀꢀꢀ
第二确定模块
[0037]
61
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0038]
62
ꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
具体实施方式
[0039]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0040]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0041]
本发明的基于时空信息的行人重识别聚类方法及装置，能够对行人图片对应的时空信息进行利用，大大减弱不符合时空逻辑的误匹配点的影响，提高匹配准确度；同时图注意力网络的应用，能够将同一行人在抓拍时的不同形态特征给到原节点，大大丰富了节点鲁棒性，以达到更高的匹配精度。
[0042]
如图1所示，于本实施例中，本发明的基于时空信息的行人重识别聚类方法包括以下步骤：
[0043]
步骤s1、基于待识别的行人图片集，应用神经网络模型进行特征提取，确定每个行人图片的特征表达；基于所述每个行人图片的特征表达，应用欧几里得距离计算进行相似度匹配，以确定第一特征聚类。
[0044]
具体地，所述神经网络模型的损失函数包括交叉熵损失函数和三元组损失函数。
[0045]
举例来说，如图2所示，于本实施例中，本发明的神经网络模型图。神经网络模型采用的主干网络为残差网络，输入的是宽128高384的三通道彩色行人图片；进一步地，将原残差网络的的最后一层的最大池化步长由2设置为1，以保证特征图和前一层输出的特征图分辨率一致，从而保留行人图片的更多细节信息。在进行模型训练时，除了一般的分类损失即交叉熵损失外，还会在隐含层的输出增加一个三元组损失，以拉近类内距离，拉开类间距离，比如，输入的行人图片集中有多张同一个人和不同人的行人图片，将和待识别的行人图片为同一行人的行人图片作为正样本，不同人的行人图片作为负样本；进行神经网络模型的训练，并在最后输出隐含层特征作为行人图片对应的特征表达。
[0046]
进一步具体地，基于所述每个行人图片的特征表达，应用欧几里得距离计算公式，确定每两个特征表达之间的相似度；当所述相似度大于第一相似度阈值时，确定所述相似度对应的两个特征表达归属为所述第一特征聚类的一类。
[0047]
比如，第一相似度阈值为80，当应用欧几里得距离计算公式确定出两个特征表达之间的相似度大于80时，认为两个特征表达对应的是同一个行人，将这两个特征表达归属为第一特征聚类的一类，从而生成一个初步的聚类。
[0048]
步骤s2、基于所述第一特征聚类中的特征表达，应用基于密度的时空聚类算法，确定符合所述时空聚类算法的核心点以及核心点之间的连接边。
[0049]
具体地，基于所述第一特征聚类中的特征表达，应用所述基于密度的时空聚类算法，确定所述特征表达对应的时间距离矩阵和空间距离矩阵；遍历所述时间距离矩阵中的每个数据点和所述空间距离矩阵中的每个数据点；当第一数据点在预设的时间距离阈值范
围内、第二数据点在预设的空间距离阈值范围内，且所述第一数据点和所述第二数据点对应同一特征表达时，记录所述同一特征表达，且计数；当所述计数的结果大于预设的节点阈值时，将所述计数对应的所述同一特征表达确定为符合所述时空聚类算法的核心点；连接每两个核心点形成所述核心点之间的连接边。
[0050]
举例来说，第一特征聚类中的特征表达都对应有行人图片被抓拍的时间和摄像头位置的记录，根据这些记录计算特征表达对应的时间距离矩阵、空间距离矩阵；时间距离为特征表达对应的2个行人图片的被抓拍时间相减，以秒为单位；空间距离矩阵为特征表达对应的行人在被抓拍时摄像头和行人之间的距离；比如，预设时间距离阈值范围为5米、空间距离阈值范围为20分钟、以及节点阈值为6个；当时间距离矩阵中的第一数据点在5米内，空间距离矩阵中的第二数据点在20分钟内，且第一数据点和第二数据点对应同一特征表达时，记录同一特征表达，且计数；当计数的结果大于6个时，将计数对应所有同一特征表达确定为符合时空聚类算法的核心点；连接每两个核心点形成核心点之间的连接边。
[0051]
步骤s3、基于所述核心点和所述连接边，应用图注意力网络，更新所述第一特征聚类的特征表达。
[0052]
具体地，基于所述核心点和所述连接边，构建成聚类图；基于所述聚类图，应用图注意力网络的注意力系数的表达式，确定所述核心点对应的注意力系数；基于所述注意力系数，进行带泄露的线性修正单元的非线性激活和指数归一化处理，确定所述连接边对应的注意力权重；将所述连接边对应的注意力权重，与图注意力网络的权重相乘，再对所述连接边进行指数归一化，更新所述核心点对应的特征表达；基于所述核心点对应的特征表达，更新所述第一特征聚类的特征表达。
[0053]
其中，所述注意力系数的表达式为：
[0054]eij
＝concat(hiw，hjw)a，j∈ni[0055]eij
为注意力系数；i表示第i个核心点；j表示与第i个核心点邻接的第j个核心点；hi为核心点i的特征向量，维度为[1，f]；hj为核心点j的特征向量，维度为[1，f]；w为可学习参数，维度为[f，f
′
]；a为可学习参数，维度为[2f
′
，1]；f为大于1的整数，f
′
为大于1的整数，n为核心点总个数；
[0056]
所述注意力权重的表达式为：
[0057][0058]aij
为注意力权重；i表示第i个核心点；j表示与第i个核心点邻接的第j个核心点；leakyrelu(e
ij
)表示使用带泄露的线性修正单元对e
ij
进行非线性激活处理；leakyrelu(e
ik
)表示使用带泄露的线性修正单元对e
ik
进行非线性激活处理；exp(leakyrelu(e
ij
))表示对leakyrelu(e
ij
)进行求指数；exp(leakyrelu(e
ik
))表示对leakyrelu(e
ik
)进行求指数；k表示与第i个核心点邻接的第k个核心点；n为所述核心点总个数；
[0059]
所述特征表达的表达式为：
[0060][0061]h′i为特征表达，i表示第i个核心点；j表示与第i个核心点邻接的第j个核心点；a
ij
为注意力权重；w为可学习参数；hj为核心点j的特征向量；σ表示指数归一化操作。
[0062]
通过应用图注意力网络的方式处理核心点和连接边，能够以图的结构传递核心点之间更多的细节信息，使核心点融合其他与之邻接的核心点的信息，从而生成新的更丰富的特征表达。
[0063]
进一步具体地，为了增强更新第一特征聚类的特征表达，可以引入多头注意力进行特征表达，表达式为：
[0064][0065]
其中，h
′i为特征表达，i表示第i个核心点；j表示与第i个核心点邻接的第j个核心点；a
ij
为注意力权重；w为可学习参数；hj为核心点j的特征向量；σ表示指数归一化操作；k＝3，表示多头注意力。
[0066]
步骤s4、基于更新后的所述第一特征聚类的特征表达和预设的特征阈值，进行相似度判断，确定第二特征聚类，所述第二特征聚类表示同一行人的特征。
[0067]
具体地，基于更新后的第一特征聚类的特征表达，应用欧几里得距离计算公式，确定每两个特征表达之间的相似度；当相似度大于特征阈值时，确定相似度对应的两个特征表达归属为第二特征聚类。
[0068]
进一步具体地，在上述步骤确定核心点对应的特征表达之后，还包括：计算所述更新后的所述第一特征聚类中的特征表达的特征均值；将所述特征均值逐一和未符合所述时空聚类算法的特征表达进行所述欧几里得距离计算，得到相似度集合；获取所述相似度集合中的最大相似度；当所述最大相似度大于第二相似度阈值时，将所述最大相似度对应的未符合所述时空聚类算法中的特征表达加入所述第二特征聚类。举例来说，在上述步骤中确定出符合时空聚类算法的核心点后，将未符合时空聚类算法的特征表达保留；在之后基于符合时空聚类算法的核心点确定出核心点对应的特征表达后，先计算这些特征表达的特征均值；将特征均值逐一和未符合时空聚类算法的特征表达进行欧几里得距离计算，得到相似度集合；获取相似度集合中的最大相似度；当最大相似度大于第二相似度阈值时，将最大相似度对应的未符合时空聚类算法中的特征表达加入第二特征聚类。
[0069]
如图3所示，于本实施例中，本发明的阶段图，图中的阶段1对应上述步骤中的s1，对抓拍的行人图片使用神经网络模型进行特征提取，再进行特征的相似度计算，从而生成初步的第一特征聚类；图中的阶段2对应上述步骤中的s2-s4，对第一特征聚类中的核心点，应用注意力网络确定对应的特征表达，再进行相似度判断，从而确定出表示同一行人特征的第二特征聚类，如图4所示，于本实施例中，本发明的第二特征聚类确定流程图。
[0070]
如图5所示，于本实施例中，本发明的基于时空信息的行人重识别聚类装置包括：
[0071]
第一处理模块51，用于基于待识别的行人图片集，应用神经网络模型进行特征提取，确定每个行人图片的特征表达；基于所述每个行人图片的特征表达，应用欧几里得距离计算进行相似度匹配，以确定第一特征聚类；
[0072]
第二处理模块52，用于基于所述第一特征聚类中的特征表达，应用基于密度的时空聚类算法，确定符合所述时空聚类算法的核心点以及核心点之间的连接边；
[0073]
第一确定模块53，用于基于所述核心点和所述连接边，应用图注意力网络，更新所
述第一特征聚类的特征表达；
[0074]
第二确定模块54，用于基于更新后的所述第一特征聚类和预设的特征阈值，进行相似度判断，确定第二特征聚类，所述第二特征聚类表示同一行人的特征。
[0075]
本实施例的基于时空信息的行人重识别聚类装置具体实现的技术特征与实施例1中基于时空信息的行人重识别聚类方法中的各步骤的原理基本相同，方法和装置之间可以通用的技术内容不作重复赘述。
[0076]
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的基于时空信息的行人重识别聚类方法。
[0077]
如图6所示，于本实施例中，本发明的行人重识别聚类系统包括：处理器61及存储器62。
[0078]
所述存储器62用于存储计算机程序。
[0079]
所述存储器62包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
[0080]
所述处理器61与所述存储器62相连，用于执行所述存储器62存储的计算机程序，以使所述电子设备执行上述的基于时空信息的行人重识别聚类方法。
[0081]
优选地，上述的处理器61可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0082]
综上所述，本发明的基于时空信息的行人重识别聚类方法及装置，能够对行人图片对应的时空信息进行利用，大大减弱不符合时空逻辑的误匹配点的影响，提高匹配准确度；同时图注意力网络的应用，能够将同一行人在抓拍时的不同形态特征给到原节点，大大丰富了节点鲁棒性，以达到更高的匹配精度。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0083]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。