异构人像档案数据二次聚合方法、系统、设备及存储介质与流程

1.本发明涉及人像档案数据聚合领域，特别涉及异构人像档案数据二次聚合方法、系统、设备及存储介质。


背景技术：

2.目前，对多家人脸算法厂商提供的人像档案数据进行二次聚合处理的技术方案还比较少，根据了解，目前市场上现有的技术主要包括两种：
3.一种是采用第三方厂商的人脸聚类算法进行全量数据二次结构化和聚类分析的技术，在实施该技术的过程中，发现存在如下问题和缺点：由于引入第三方人脸结构化和人脸聚类算法，算法外购成本增加了；如何保证第三方算法聚合精准度更高，存在一定的技术风险；需要对全量人脸图像数据重新进行二次结构化解析和二次聚类，gpu计算成本增加较大；且缺少对档案数据质量的检测处理。另一种是通过身份证号码实现置信档案的二次聚合技术，在实施该技术的过程中，同样发现存在如下问题和缺点：通过身份证号进行置信档案分析，需要将同一人的多个异构档案进行合并关联；只是简单的将异构档案数据进行关联，并不做档案数据重复性检测、档案质量检测等处理；只适用于置信档案的聚合分析，因为非置信档案没有身份证号，该技术无法适用于非置信档案数据聚合处理。
4.因此，如何以最小的建设成本，实现同一目标区域或不同目标区域的多套人像档案数据的二次聚合关联；解决各地建设过程中出现的多家人像档案数据并存、多家档案数据杂乱不一、质量差等问题；以及为上层实战应用系统提供一份更全、更准、更详细的人像档案数据资源就变得至关重要。


技术实现要素：

5.为实现上述目的，发明人提供了一种异构人像档案数据二次聚合方法，包括获取置信人像档案数据，并进行二次聚合处理，包括以下步骤：
6.s101：获取首家算法厂商的置信人像档案数据；
7.s102：对置信人像档案数据中的每一条档案封面照进行二次置信身份核验，并判断二次置信身份核验结果与原置信身份是否一致，若一致，则继续，若不一致，则将该条档案封面照放入待确认档案库；
8.s103：按置信人创建基础置信档案库，并新增字段信息；
9.s104：对置信人像档案数据中的人像轨迹进行质量检测，并查找非他轨迹数据清理到异常库；
10.s105：获取下一家算法厂商的置信人像档案数据，并执行s102；
11.s106：通过身份证号码查询是否已建档，若未建，则执行s103和s104；
12.s107：若已有同名档案，则执行s104，并进行档案数据比对和合并处理；
13.s108：循环读取下一条置信人像档案数据，并从s106开始执行；
14.s109：调用档案基础关系分析模型，获取附属信息，并刷新置信档案关联基础关系
数据；
15.s110：完成置信档案数据合并。
16.作为本发明的一种优选方式，包括获取非置信人像档案数据，并进行二次聚合处理，包括以下步骤：
17.s201：获取首家算法厂商的非置信人像档案数据；
18.s202：对非置信人像档案数据中的每一条档案封面照进行置信身份核验，若置信成功则跳转s106，否则继续；
19.s203：初始化创建基础非置信档案库，新增字段信息；
20.s204：对非置信人像档案数据中得人像轨迹进行质量检测，并查找非他轨迹数据清理到异常库；
21.s205：获取下一家算法厂商的非置信人像档案数据；
22.s206：按照顺序读取第一条非置信人像档案数据，调用步骤s203进行质量检测处理；
23.s207：通过档案封面照与全库封面照进行1:n，判断是否已建档；
24.s208：若未建档，则执行s203和s204；
25.s209：若已建档，则开始进行档案数据比对和合并处理；
26.s210：循环读取下一条非置信人像档案数据，并从s206开始执行；
27.s211：调用档案基础关系分析模型，获取附属信息，并刷新非置信档案关联基础关系数据；
28.s212，完成非置信档案数据合并处理。
29.作为本发明的一种优选方式，所述新增字段信息包括：新增档案类型、档案厂商id、档案合并时间和/或具有唯一性的视频身份id编码；所述附属信息包括同行关系、常去地、落脚点和/或出行规律。
30.作为本发明的一种优选方式，所述档案数据比对和合并处理包括以下步骤：
31.s301：获取源档案记录及关联人像轨迹数据集合；
32.s302：获取目标档案记录及关联人像轨迹数据集合；
33.s303：循环读取每一条目标档案轨迹数据；
34.s304：通过图片id、抓拍时间、设备id和图片url与源档案轨迹进行重复性判断；
35.s305：若该轨迹数据已存在，则仅新增厂商id，放入重复轨迹库；
36.s306：若不重复，则在源档案关联的轨迹表新插入一条新轨迹记录；
37.s307：完成源档案、目标档案数据的比对和合并处理，返回。
38.为实现上述目的，发明人还提供了一种异构人像档案数据二次聚合系统，包括：
39.档案数据获取模块，用于获取首家厂商的置信人像档案数据；
40.置信身份核验模块，用于对置信人像档案数据中的每一条档案封面照进行二次置信身份核验，并判断二次置信身份核验结果与原置信身份是否一致，若一致，则继续，若不一致，则将该条档案封面照放入待确认档案库；
41.置信档案处理模块，用于按置信人创建基础置信档案库；
42.视频身份id管理模块，用于新增字段信息；
43.档案比对合并模块，用于，
44.对置信人像档案数据中的人像轨迹进行质量检测，并查找非他轨迹数据清理到异常库；
45.获取下一家算法厂商的置信人像档案数据；
46.通过身份证号码查询是否已建档，若未建，则回归置信档案处理模块重新处理，若已有同名档案，则对置信人像档案数据中的人像轨迹进行质量检测，并查找非他轨迹数据清理到异常库后，进行档案数据比对和合并处理；
47.循环读取下一条置信人像档案数据，并通过身份证号码查询是否已建档，进行判断处理；
48.基础关系分析模块，用于调用档案基础关系分析模型，获取附属信息，刷新置信档案关联基础关系数据；
49.数据存储模块，用于完成置信档案数据合并处理后的数据存储。
50.作为本发明的一种优选方式，所述第一获取模块还包括用于获取首家厂商的非置信人像档案数据；
51.所述置信身份核验模块还包括用于对非置信人像档案数据中的每一条档案封面照进行置信身份核验，若置信成功则跳转档案比对合并模块，进行身份证号码查询是否已建档，否则继续；
52.还包括，非置信档案处理模块，用于初始化创建基础非置信档案库；
53.所述视频身份id管理模块，用于新增字段信息；
54.还包括，人脸大库比对模块，用于将非置信人像档案和人脸大库进行比对，并获取身份信息；
55.所述档案比对合并模块，还用于，
56.对非置信人像档案数据中得人像轨迹进行质量检测，并查找非他轨迹数据清理到异常库；
57.获取下一家算法厂商的非置信人像档案数据；
58.按照顺序读取第一条非置信人像档案数据，调用非置信档案处理模块进行质量检测处理；
59.通过档案封面照与全库封面照进行1:n，判断是否已建档；若未建档，则回归非置信档案处理模块重新处理，若已建档，则开始进行档案数据比对、合并处理；
60.循环读取下一条非置信人像档案数据，并调用非置信档案处理模块、视频身份id管理模块、以及档案比对合并模块进行循环处理；
61.所述基础关系分析模块，还用于调用档案基础关系分析模型，获取附属信息，并刷新非置信档案关联基础关系数据；
62.所述数据存储模块，还用于完成非置信档案数据合并处理后的数据存储。
63.作为本发明的一种优选方式，所述新增字段信息包括：新增档案类型、档案厂商id、档案合并时间和/或具有唯一性的视频身份id编码；所述附属信息包括同行关系、常去地、落脚点和/或出行规律。
64.为实现上述目的，发明人还提供了一种异构人像档案数据二次聚合设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互联；
65.所述至少一个处理器调用所述存储器中的所述指令，以使得所述异构人像档案数据二次聚合设备执行上述权利要求1-4中任意一项所述的方法。
66.为实现上述目的，发明人还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-4中任意一项所述方法的步骤。
67.区别于现有技术，上述技术方案所达到的有益效果有：
68.(1)本方案无需新增引入第三方人脸结构化和人脸聚类算法，建设成本比现有近似方案要低很多，即可以有效的降低建设成本；
69.(2)本方案可以兼容适配用于置信和非置信两类档案数据的接入和二次聚合；
70.(3)本方案不但适用于同一区域相同抓拍数据下的多套异构档案数据融合，也可以适用于不同区域不同抓拍数据下的多套异构档案数据融合；
71.(4)方案中在档案二次聚合处理过程中，增加了对档案轨迹数据的质量检测和校准治理，确保档案中的每一条轨迹数据都是精准和不重复的；
72.(5)本方案通过大数据模型分析，对合并档案数据提供丰富的基础关系属性，包括档案目标的同行人员分析、常去地分析和出现规律分析等，为上层视频侦查实战业务提供更丰富的人像档案数据资源。
附图说明
73.图1为具体实施方式所述异构人像档案数据二次聚合方法流程图一；
74.图2为具体实施方式所述异构人像档案数据二次聚合方法流程图二；
75.图3为具体实施方式所述档案数据比对和合并处理流程图；
76.图4为具体实施方式所述异构人像档案数据二次聚合系统框架图；
77.图5为具体实施方式所述异构人像档案数据二次聚合设备结构示意图。
78.附图标记说明：
79.401、处理器；402、电源；403、有线或无线网络接口；404、输入输出接口；405、操作系统；406、数据；407、应用程序；408、存储介质；409、存储器。
具体实施方式
80.为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
81.实施例一：
82.如图1所示，本实施例提供了一种异构人像档案数据二次聚合方法，包括获取置信人像档案数据，并进行二次聚合处理，包括以下步骤：
83.s101：获取首家算法厂商的置信人像档案数据；
84.s102：对置信人像档案数据中的每一条档案封面照进行二次置信身份核验，并判断二次置信身份核验top1结果与原置信身份是否一致，若一致，则继续，若不一致，则将该条档案封面照放入待确认档案库；
85.s103：按置信人创建基础置信档案库，并新增字段信息；
86.s104：对置信人像档案数据中的人像轨迹进行质量检测，并查找非他轨迹数据清理到异常库；
87.s105：获取下一家算法厂商的置信人像档案数据，并执行s102；
88.s106：通过身份证号码查询是否已建档，若未建，则执行s103和s104；
89.s107：若已有同名档案，则执行s104，并进行档案数据比对和合并处理；
90.s108：循环读取下一条置信人像档案数据，并从s106开始执行；
91.s109：调用档案基础关系分析模型，获取附属信息，并刷新置信档案关联基础关系数据；
92.s110：完成置信档案数据合并。
93.如图2所示，在一些实施例中，还包括获取非置信人像档案数据，并进行二次聚合处理，包括以下步骤：
94.s201：获取首家算法厂商的非置信人像档案数据；
95.s202：对非置信人像档案数据中的每一条档案封面照进行置信身份核验，若置信成功则跳转s106，否则继续；
96.s203：初始化创建基础非置信档案库，新增字段信息；
97.s204：对非置信人像档案数据中得人像轨迹进行质量检测，并查找非他轨迹数据清理到异常库；
98.s205：获取下一家算法厂商的非置信人像档案数据；
99.s206：按照顺序读取第一条非置信人像档案数据，调用步骤s203进行质量检测处理；
100.s207：通过档案封面照与全库封面照进行1:n，判断是否已建档；
101.s208：若未建档，则执行s203和s204；
102.s209：若已建档，则开始进行档案数据比对和合并处理；
103.s210：循环读取下一条非置信人像档案数据，并从s206开始执行；
104.s211：调用档案基础关系分析模型，获取附属信息，并刷新非置信档案关联基础关系数据；
105.s212，完成非置信档案数据合并处理。
106.在上述实施例中，新增字段信息包括：新增档案类型、档案厂商id、档案合并时间和/或具有唯一性的视频身份id编码；附属信息包括同行关系、常去地、落脚点和/或出行规律。
107.在上述实施例中，如图3所示，档案数据比对和合并处理包括以下步骤：
108.s301：获取源档案记录及关联人像轨迹数据集合；
109.s302：获取目标档案记录及关联人像轨迹数据集合；
110.s303：循环读取每一条目标档案轨迹数据；
111.s304：通过图片id、抓拍时间、设备id和图片url与源档案轨迹进行重复性判断；
112.s305：若该轨迹数据已存在，则仅新增厂商id，放入重复轨迹库；
113.s306：若不重复，则在源档案关联的轨迹表新插入一条新轨迹记录；
114.s307：完成源档案、目标档案数据的比对和合并处理，返回。
115.实施例二：
116.如图4所示，本实施例还提供了一种异构人像档案数据二次聚合系统，包括：
117.档案数据获取模块，用于获取首家厂商的置信人像档案数据；
118.置信身份核验模块，用于对置信人像档案数据中的每一条档案封面照进行二次置信身份核验，并判断二次置信身份核验结果与原置信身份是否一致，若一致，则继续，若不一致，则将该条档案封面照放入待确认档案库；
119.置信档案处理模块，用于按置信人创建基础置信档案库；
120.视频身份id管理模块，用于新增字段信息；
121.档案比对合并模块，用于，
122.对置信人像档案数据中的人像轨迹进行质量检测，并查找非他轨迹数据清理到异常库；
123.获取下一家算法厂商的置信人像档案数据；
124.通过身份证号码查询是否已建档，若未建，则回归置信档案处理模块重新处理，若已有同名档案，则对置信人像档案数据中的人像轨迹进行质量检测，并查找非他轨迹数据清理到异常库后，进行档案数据比对和合并处理；
125.循环读取下一条置信人像档案数据，并通过身份证号码查询是否已建档，进行判断处理；
126.基础关系分析模块，用于调用档案基础关系分析模型，获取附属信息，刷新置信档案关联基础关系数据；
127.数据存储模块，用于完成置信档案数据合并处理后的数据存储。
128.在上述实施例中，所述第一获取模块还包括用于获取首家厂商的非置信人像档案数据；
129.所述置信身份核验模块还包括用于对非置信人像档案数据中的每一条档案封面照进行置信身份核验，若置信成功则跳转档案比对合并模块，进行身份证号码查询是否已建档，否则继续；
130.还包括，非置信档案处理模块，用于初始化创建基础非置信档案库；
131.所述视频身份id管理模块，用于新增字段信息；
132.还包括，人脸大库比对模块，用于将非置信人像档案和人脸大库进行比对，并获取身份信息；
133.所述档案比对合并模块，还用于，
134.对非置信人像档案数据中得人像轨迹进行质量检测，并查找非他轨迹数据清理到异常库；
135.获取下一家算法厂商的非置信人像档案数据；
136.按照顺序读取第一条非置信人像档案数据，调用非置信档案处理模块进行质量检测处理；
137.通过档案封面照与全库封面照进行1:n，判断是否已建档；若未建档，则回归非置信档案处理模块重新处理，若已建档，则开始进行档案数据比对、合并处理；
138.循环读取下一条非置信人像档案数据，并调用非置信档案处理模块、视频身份id管理模块、以及档案比对合并模块进行循环处理；
139.所述基础关系分析模块，还用于调用档案基础关系分析模型，获取附属信息，并刷新非置信档案关联基础关系数据；
140.所述数据存储模块，还用于完成非置信档案数据合并处理后的数据存储。
141.在上述实施例中，所述新增字段信息包括：新增档案类型、档案厂商id、档案合并时间和/或具有唯一性的视频身份id编码；所述附属信息包括同行关系、常去地、落脚点和/或出行规律。
142.实施例三：
143.如图5所示，本实施例还提供了一种异构人像档案数据二次聚合设备，包括：存储器和至少一个处理器401，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互联；
144.所述至少一个处理器调用所述存储器中的所述指令，以使得所述异构人像档案数据二次聚合设备执行上述实施例中任意一项所述的方法。
145.异构人像档案数据二次聚合设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)和存储器409，一个或一个以上存储应用程序407或数据406的存储介质408。其中，存储器和存储介质可以是短暂存储或持久存储。存储在存储介质的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于单页面应用的优化设备中的一系列指令操作。更进一步地，处理器可以设置为与存储介质通信，在基于单页面应用的优化设备上执行存储介质中的一系列指令操作。
146.基于异构人像档案数据二次聚合设备还可以包括一个或一个以上电源402，一个或一个以上有线或无线网络接口403，一个或一个以上输入输出接口404，和/或，一个或一个以上操作系统405，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图5中示出的异构人像档案数据二次聚合设备结构并不构成对异构人像档案数据二次聚合设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
147.实施例四：
148.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
149.需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。