一种基于显著区域视频行人再识别方法、系统、设备和存储介质

1.本发明涉及视频行人再识别领域，并且更具体地，涉及一种视频行人再识别检测方法、系统、设备和存储介质。


背景技术：

2.视频中行人再识别技术，主要应用于视频监控等领域。相较于传统的人工识别视频中的行人，视频中行人再识别技术，可以有效提高识别的效率和精度。但是由于视频数据量比较庞大，目前视频行人再识别技术的计算量大、效率不够高、精度有待进一步提高。
3.目前，基于显著区域特征的视频行人再识别技术在计算量的降低方面、效率以及识别精度上均不够理想，存在一定的不足，不能够在识别精度和计算量、效率上达到最优化的效果。基于显著区域特征的视频行人再识别技术在识别精度和效率上存在一定的提升空间。


技术实现要素：

4.为了提高视频行人再识别精度和降低计算量、提高识别效率，本发明提供了一种基于显著区域视频行人再识别方法，所述方法包括：
5.获取目标行人和候选视频中行人的显著区域特征；每个行人显著区域特征包括n个显著区域特征；n为大于等于3的正整数；
6.根据所述目标行人和所述候选视频行人的第1显著区域特征分生成别生成目标行人的第1仿射包特征和所述候选视频行人的第1仿射包特征；
7.计算目标行人仿射包特征与候选视频行人仿射包特征之间的距离，获取第2集合；包括：计算所述目标行人第1仿射包特征和所述候选视频中行人第1仿射包特征之间的距离d1i及其均值d1avg,其中，i＝1
…
m，m是候选视频中行人个数，i表示候选视频中第i个行人；在m个候选视频行人中，满足条件d1i《＝d1avg的所有i构成第1集合；
8.根据第1集合中的i，生成候选视频中第i个行人的第2仿射包特征与所述目标行人的第2仿射包特征，计算两者之间的距离d2i及其均值d2avg,根据d1i，d1avg，d2i以及d2avg计算候选视频中第i个行人与目标行人之间的距离di及其均值davg；
9.根据所述第1集合中的i，满足条件di《＝davg的所有i构成第2集合；根据第2集合中的i，生成候选视频中第i个行人的第3仿射包特征与所述目标行人的第3仿射包特征，计算两者之间的距离d3i；
10.根据所述第2集合中的i，以及d1i，d2i，d3i；计算所述候选视频中第i个行人与所述目标行人的之间的距离为di’；第n显著区域特征与第n个仿射包特征对应，n＝1,2，3；
11.根据第2集合中的i以及所述距离di’排序得到候选视频行人中前rank个行人。
12.优选地，计算目标行人和候选视频中行人的显著区域特征，包括：目标行人图像超像素划分和候选视频中行人的图像超像素划分，背景移除，所述超像素区域显著度计算，显
著超像素区域合并；其中，n个显著区域是行人图像区域中互相不重叠的子区域；每个显著区域的显著度的计算包括：第k个显著区域和其余n-1个显著区域之间的加权距离和得到，权重是所述第k个显著区域像素与行人图像像素之间的比值；其中k＝1
…
n；并按照显著度排序，第1显著区域具有最高显著度。
13.优选地，计算所述目标行人显著区域特征对应的仿射包特征和所述候选视频中行人显著区域特征对应的仿射包特征之间的距离，包括几何距离计算方法、距离学习度量模型和于卷积神经网络的距离计算方法。
14.优选地，基于旋转不变l1范数的r
1-pca算法完成显著区域仿射包特征构建。
15.根据本发明的另一个方面，提供了一种基于显著视频行人检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任意一项基于显著视频行人检测方法的步骤。
16.根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述任意一项基于显著视频行人检测方法的步骤。
17.根据本发明的另一个方面，提供了一种基于显著区域视频行人检测系统，所述系统包括：
18.获取单元，获取目标行人和候选视频中行人的显著区域特征；每个行人显著区域特征包括n个显著区域特征；其中n为大于等于3的正整数；
19.生成单元，根据所述目标行人和所述候选视频行人的第1显著区域特征分生成别生成目标行人的第1仿射包特征和所述候选视频行人的第1仿射包特征；
20.计算单元，计算目标行人仿射包特征与候选视频行人仿射包特征之间的距离，获取第2集合；计算所述目标行人第1仿射包特征和所述候选视频中行人第1仿射包特征之间的距离d1i及其均值d1avg,其中，i＝1
…
m，m是候选视频中行人个数，i表示候选视频中第i个行人；在m个候选视频行人中，满足条件d1i《＝d1avg的所有i构成第1集合；
21.根据第1集合中的i，生成候选视频中第i个行人的第2仿射包特征与所述目标行人的第2仿射包特征，计算两者之间的距离d2i及其均值d2avg,根据d1i，d1avg，d2i以及d2avg计算候选视频中第i个行人与目标行人之间的距离di及其均值davg；
22.根据所述第1集合中的i，满足条件di《＝davg的所有i构成第2集合；根据第2集合中的i，生成候选视频中第i个行人的第3仿射包特征与所述目标行人的第3仿射包特征，计算两者之间的距离d3i；
23.根据所述第2集合中的i，以及d1i，d2i，d3i；计算所述候选视频中第i个行人与所述目标行人的之间的距离为di’；第n显著区域特征与第n个仿射包特征对应，n＝1,2，3；
24.排序单元，根据第2集合中的i以及所述距离di’排序得到候选视频行人中前rank个行人。
25.优选地，获取目标行人和候选视频中行人的显著区域特征，包括：目标行人图像超像素划分和候选视频中行人的图像超像素划分，背景移除，所述超像素区域显著度计算，显著超像素区域合并；其中，n个显著区域是行人图像区域中互相不重叠的子区域；每个显著区域的显著度的计算包括：第k个显著区域和其余n-1个显著区域之间的加权距离和得到，权重是所述第k个显著区域像素与行人图像像素之间的比值；其中k＝1
…
n；并按照显著度
排序，第1显著区域具有最高显著度。
26.优选地，计算所述目标行人显著区域特征对应的仿射包特征和所述候选视频中行人显著区域特征对应的仿射包特征之间的距离，包括几何距离计算方法、距离学习度量模型和于卷积神经网络的距离计算方法。
27.优选地，基于旋转不变l1范数的r
1-pca算法完成显著区域仿射包特征构建。
28.本发明的有益效果在于：本发明获取目标行人和候选视频中行人的显著区域特征；每个行人显著区域特征包括n个显著区域特征；根据所述目标行人和候选视频行人分别所对应的第1显著区域特征生成所述各自的第1显著区域仿射包特征；计算行人第1显著区域仿射包特征与候选视频行人第1显著区域仿射包特征之间的距离；通过距离和距离均值之间的关系筛选符合条件的候选视频行人集合，通过1次筛选获得第1集合，根据第1集合中的i，再次筛选得到第2集合，根据第2集合中的i和距离di’排序得到候选视频行人中前rank个行人。通过距离均值筛选出第1集合和第2集合，这样三次参与计算的候选视频行人逐渐减少，保留参与运算的候选视频行人在距离度量上都是较近的，而且通过多个显著区域特征的计算，可以有效提高视频行人的识别精度，使得筛选出的第2集合中候选行人与目标行人更接近。实现了在计算目标行人和候选视频中行人之间的距离时可以自适应选择显著区域个数，以便在不增加过多计算任务量时，提高视频行人再识别的精度。
附图说明
29.图1为根据本发明实施方式的基于显著区域视频行人检测方法的流程图；
30.图2为根据本发明实施方式的基于显著区域视频行人检测系统的结构示意图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.实施例1
33.本实施例提供一种显著区域视频行人检测方法，请参阅附图1，图1为根据本发明实施方式的基于显著区域视频行人检测方法的流程图。如图1所示一种基于显著区域视频行人检测方法，所述方法包括：
34.s101，获取目标行人和候选视频中行人的显著区域特征；每个行人显著区域特征包括n个显著区域特征；n为大于等于3的正整数；其中，所述目标行人和所述候选视频中行人的每个显著区域特征的计算规则和方法相同；显著区域特征不但包含了行人最显著的特征，而且还保留了显著特征间的精细特征，可以更好的改进行人再识别的性能；
35.以每个超像素区域作为节点构造带权无向图，以相邻超像素区域颜色平均值的欧式距离作为图中边的权值；最后利用基于图的算法合并超像素得到分割结果；最后获取行人显著区域；提取行人显著区域后，采用量化颜色直方图特征表示方法分别构造每个显著区域特征；
36.s102，根据所述目标行人和所述候选视频行人的第1显著区域特征分生成别生成
目标行人的第1仿射包特征和所述候选视频行人的第1仿射包特征；包括根据所述目标行人所对应的第1显著区域特征生成所述目标行人的第1显著区域仿射包特征，和根据所述候选视频中行人所对应的第1显著区域特征生成所述候选视频中行人的第1显著区域仿射包特征；根据显著区域特征基于旋转不变l1范数的r
1-pca算法完成显著区域仿射包特征构建。
37.s103，计算目标行人仿射包特征与候选视频行人仿射包特征之间的距离，获取第2集合；包括：计算所述目标行人第1显著区域特征对应的第1仿射包特征和所述候选视频中行人第1显著区域特征对应的第1仿射包特征之间的距离d1i,其中，i＝1
…
m，m是候选视频中行人个数，i表示候选视频中第i个行人；计算d1i的均值d1avg；在m个候选视频行人中，满足条件d1i《＝d1avg的所有i构建候选视频行人第1集合；
38.根据第1集合中的i，计算候选视频中第i个行人的第2个显著区域特征对应的第2仿射包特征与所述目标行人的第2个显著区域特征对应的第2仿射包特征之间的距离d2i，计算d2i的均值d2avg,计算所述候选视频中第i个行人与目标行人之间的距离di，di＝d1i*w1 d2i*w2,davg＝d1avg*w1 d2avg*w2；其中，wt是权重系数，t＝1,2；wt表示第t个显著区域中像素与第1显著区域和第2显著区域中像素和的比值；
39.根据所述第1集合中的i，满足条件di《＝davg的所有i构建候选视频行人第2集合；根据第2集合中的i，计算所述候选视频中第i个行人的第3个显著区域特征对应的第3仿射包特征与所述目标行人的第3个显著区域特征对应的第3仿射包特征之间的距离d3i；
40.根据所述第2集合中的i，计算所述候选视频中第i个行人与所述目标行人之间的距离为di’＝d1i*a1 d2i*a2 d3i*a3；an是权重系数，n＝1,2，3；an表示第n个显著区域中像素个数与第1显著区域和第2显著区域以及第3显著区域中像素个数和的比值；
41.s104，根据第2集合中的i以及所述距离di’排序得到候选视频行人中前rank个行人。其中，从候选视频行人中识别结果通常表示为与目标行人图像最相似的rank个候选视频行人，即，根据第2集合中的i，以及依据距离di’从小到大排序，前rank个候选视频行人即为识别结果。例如，rank＝1，或5，或10等。
42.优选地，计算目标行人和候选视频中行人的显著区域特征，包括：目标行人图像超像素划分和候选视频中行人的图像超像素划分，背景移除，所述超像素区域显著度计算，显著超像素区域合并；其中，n个显著区域是行人图像区域中互相不重叠的子区域；每个显著区域的显著度的计算包括：第k个显著区域和其余n-1个显著区域之间的加权距离和得到，权重是所述第k个显著区域像素与行人图像像素之间的比值；其中k＝1
…
n；并按照显著度排序，第1显著区域具有最高显著度。
43.优选地，计算所述目标行人显著区域特征对应的仿射包特征和所述候选视频中行人显著区域特征对应的仿射包特征之间的距离，包括几何距离计算方法、距离学习度量模型和于卷积神经网络的距离计算方法。
44.根据本发明的另一个方面，提供了一种基于显著视频行人检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任意一项基于显著视频行人检测方法的步骤。
45.根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述任意一项基于显著视频行人检测方法的步骤。
46.实施例2
47.根据本发明的另一个方面，提供了一种基于显著区域视频行人检测系统系统，如图2所述，所述系统包括获取单元201和生成单元202，计算单元203，排序单元204；
48.获取单元201，获取目标行人和候选视频中行人的显著区域特征；每个行人显著区域特征包括n个显著区域特征；n为大于等于3的正整数；其中，所述目标行人和所述候选视频中行人的每个显著区域特征的计算规则和方法相同；显著区域特征不但包含了行人最显著的特征，而且还保留了显著特征间的精细特征，可以更好的改进行人再识别的性能；
49.以每个超像素区域作为节点构造带权无向图，以相邻超像素区域颜色平均值的欧式距离作为图中边的权值；最后利用基于图的算法合并超像素得到分割结果；最后获取行人显著区域；提取行人显著区域后，采用量化颜色直方图特征表示方法分别构造每个显著区域特征；
50.生成单元202，根据所述目标行人和所述候选视频行人的第1显著区域特征分生成别生成目标行人的第1仿射包特征和所述候选视频行人的第1仿射包特征；包括，根据所述目标行人所对应的第1显著区域特征生成所述目标行人的第1显著区域仿射包特征，和根据所述候选视频中行人所对应的第1显著区域特征生成所述候选视频中行人的第1显著区域仿射包特征；
51.计算单元203，计算目标行人仿射包特征与候选视频行人仿射包特征之间的距离，获取第2集合；包括：计算所述目标行人第1显著区域特征对应的第1仿射包特征和所述候选视频中行人第1显著区域特征对应的第1仿射包特征之间的距离d1i,其中，i＝1
…
m，m是候选视频中行人个数，i表示候选视频中第i个行人；计算d1i的均值d1avg；在m个候选视频行人中，满足条件d1i《＝d1avg的所有i构建候选视频行人第1集合；
52.根据第1集合中的i，计算候选视频中第i个行人的第2个显著区域特征对应的第2仿射包特征与所述目标行人的第2个显著区域特征对应的第2仿射包特征之间的距离d2i，计算d2i的均值d2avg,计算所述候选视频中第i个行人与目标行人之间的距离di，di＝d1i*w1 d2i*w2,davg＝d1avg*w1 d2avg*w2；其中，wt是权重系数，t＝1,2；wt表示第t个显著区域中像素与第1显著区域和第2显著区域中像素和的比值；
53.根据所述第1集合中的i，满足条件di《＝davg的所有i构建候选视频行人第2集合；根据第2集合中的i，计算所述候选视频中第i个行人的第3个显著区域特征对应的第3仿射包特征与所述目标行人的第3个显著区域特征对应的第3仿射包特征之间的距离d3i；
54.根据所述第2集合中的i，计算所述候选视频中第i个行人与所述目标行人之间的距离为di’＝d1i*a1 d2i*a2 d3i*a3；an是权重系数，n＝1,2，3；an表示第n个显著区域中像素个数与第1显著区域和第2显著区域以及第3显著区域中像素个数和的比值；
55.排序单元204，根据第2集合中的i以及所述距离di’排序得到候选视频行人中前rank个行人。其中，从候选视频行人中识别结果通常表示为与目标行人图像最相似的rank个候选视频行人，即，根据第2集合中的i，以及依据距离di’从小到大排序，前rank个候选视频行人即为识别结果。例如，rank＝1，或5，或10等。
56.优选地，获取目标行人和候选视频中行人的显著区域特征，包括：目标行人图像超像素划分和候选视频中行人的图像超像素划分，背景移除，所述超像素区域显著度计算，显著超像素区域合并；其中，n个显著区域是行人图像区域中互相不重叠的子区域；每个显著
区域的显著度的计算包括：第k个显著区域和其余n-1个显著区域之间的加权距离和得到，权重是所述第k个显著区域像素与行人图像像素之间的比值；其中k＝1
…
n；并按照显著度排序，第1显著区域具有最高显著度。
57.优选地，计算所述目标行人显著区域特征对应的仿射包特征和所述候选视频中行人显著区域特征对应的仿射包特征之间的距离，包括几何距离计算方法、距离学习度量模型和于卷积神经网络的距离计算方法。
58.优选地，基于旋转不变l1范数的r
1-pca算法完成显著区域仿射包特征构建。
59.实施例3
60.根据本发明的另一个方面，提供了一种基于显著区域视频行人检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现实施例1中所述的基于显著区域视频行人检测方法的步骤。
61.实施例4
62.根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现实施例1中所述的基于显著区域视频行人检测方法的步骤。
63.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
64.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中所述的基于人机物信息的资产盘点方法的步骤。
65.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
66.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。