一种基于多阈值融合的多源异构旅客数据关联方法及系统与流程

本发明涉及数据处理，特别涉及一种基于多阈值融合的多源异构旅客数据关联方法及系统。

背景技术：

1、在口岸旅客管理中，旅客数据分散于多个独立的信息系统之中。例如，旅通系统记录旅客的基本通行信息与通关记录，人脸识别系统采集旅客的人脸图像与识别记录，旅检现场视频智能识别系统持续抓拍旅客通关过程中的面部图像，口岸现场采集设备在查验环节采集旅客的身份与查验信息，关区旅客库维护旅客的历史通关档案与查获记录，快件进口系统记录旅客在快件渠道的收发件信息。上述各系统独立运行，数据格式各异、字段定义不一致、数据完整度参差不齐，形成了多源异构旅客数据。

2、现有技术在将上述多源异构旅客数据进行关联整合时，存在以下问题：传统的数据关联方法主要依赖字段精确匹配，例如姓名和证件号码的完全一致，当不同数据源对同一旅客的记录存在字段缺失、录入误差或格式差异时会匹配失败，导致同一旅客的数据被错误地拆分为多个独立档案。特别是在人脸识别场景下，同一旅客因采集角度、光照条件、设备差异等因素，在不同数据源中的人脸特征可能存在差异，现有技术缺乏有效的机制来识别并纠正此类“同人异档”错误。

技术实现思路

1、本发明的目的在于提出一种基于多阈值融合的多源异构旅客数据关联方法及系统，以解决背景技术中提出的问题。

2、本发明第一方面提出一种基于多阈值融合的多源异构旅客数据关联方法，包括以下步骤：

3、从多个数据源执行数据抽取、实时同步、预处理与标准化，得到标准化旅客数据；

4、对所述标准化旅客数据，以人脸特征码、姓名、性别、出生日期四要素生成唯一识别id，并针对数据缺失情况执行分级处理；

5、以所述唯一识别id为主键，对同一旅客在多个数据源中的数据进行关联聚档，建立旅客通行档案；

6、对已生成的多个旅客通行档案执行多阈值合并判定，当两个档案满足预定合并条件时生成档案合并建议。

7、进一步的改进在于，所述标准化旅客数据包括通行数据、查验数据、查获数据及跨渠道数据；所述建立旅客通行档案包括从通行、查验、查获及跨渠道维度刻画旅客特征。

8、进一步的改进在于，所述数据抽取与实时同步包括：对每个数据源分别配置数据抽取任务，所述数据抽取任务至少包含抽取频率、抽取时间窗口及增量抽取策略；所述预处理与标准化包括：对不同数据源中字段名称不同但语义相同的数据项执行字段映射，对数据格式不一致的数据项执行格式转换，对异常值和空值执行检测与标记。

9、进一步的改进在于，所述以人脸特征码、姓名、性别、出生日期四要素生成唯一识别id的具体方法包括：对含有人脸图像的旅客数据，调用人脸特征提取算法提取人脸特征码；将所述人脸特征码、姓名、性别、出生日期四要素按照预设的编码规则拼接后执行哈希运算，生成固定长度的唯一识别id；所述唯一识别id中预留特定位数用于人工区分同一要素组合下的不同旅客。

10、进一步的改进在于，所述针对数据缺失情况执行分级处理的具体方法包括：根据人脸特征码、姓名、性别、出生日期四要素的齐全程度计算置信度得分，四要素齐全时置信度得分最高，要素每缺失一项置信度得分相应降低。

11、进一步的改进在于，当四要素全部齐全时，将唯一识别id标记为完整级；当四要素中缺失一项时，将唯一识别id标记为部分级并在档案中记录缺失项信息；当四要素中缺失两项时，将唯一识别id标记为低置信度级并记录缺失项信息，该唯一识别id对应的旅客数据在后续关联聚档中仅作为候选数据参与匹配，不直接归入已有档案；当四要素中缺失三项及以上时，将该条旅客数据标记为无效数据并予以清除，不进入关联聚档流程。

12、进一步的改进在于，所述对已生成的多个旅客通行档案执行多阈值合并判定，当两个档案满足预定合并条件时生成档案合并建议，具体包括：设定第一相似度阈值和第二相似度阈值，对于任意两个旅客通行档案，分别计算二者的人脸特征相似度、姓名相似度、性别匹配度及出生日期相似度；

13、当二者姓名完全相同、性别相同、出生日期完全相同但人脸特征相似度低于所述第一相似度阈值时，判定为第一类待合并档案，生成第一合并建议；

14、当二者人脸特征相似度在所述第一相似度阈值以上但姓名、性别、出生日期中存在不完全一致的项目时，判定为第二类待合并档案，生成第二合并建议；

15、当二者人脸特征相似度在所述第二相似度阈值以上且姓名、性别、出生日期中存在缺失项且已知的未缺失项完全一致时，判定为第三类待合并档案，生成第三合并建议。

16、进一步的改进在于，所述方法还包括数据关联的质量评估步骤：对已完成关联聚档的旅客通行档案，计算档案的完整性得分和一致性得分；所述完整性得分根据档案中已关联的数据源数量及各数据源的字段完整度计算；所述一致性得分根据档案内各数据源之间关键字段的匹配程度计算；当档案的完整性得分或一致性得分低于预设阈值时，将该档案标记为低质量档案并推送至人工复核队列。

17、进一步的改进在于，所述多个数据源包括旅通系统、旅检现场视频智能识别系统、人脸识别系统、口岸现场采集设备、关区旅客库以及快件进口系统中的至少两种。

18、本发明第二方面提出一种基于多阈值融合的多源异构旅客数据关联系统，包括：

19、数据处理模块，用于从多个数据源执行数据抽取、实时同步、预处理与标准化，得到标准化旅客数据；

20、标识生成模块，用于对所述标准化旅客数据，以人脸特征码、姓名、性别、出生日期四要素生成唯一识别id，并针对数据缺失情况执行分级处理；

21、聚档模块，用于以所述唯一识别id为主键，对同一旅客在多个数据源中的数据进行关联聚档，建立旅客通行档案；

22、合并判定模块，用于对已生成的多个旅客通行档案执行多阈值合并判定，当两个档案满足预定合并条件时生成档案合并建议。

23、本发明的有益效果为：

24、本发明通过以人脸特征码、姓名、性别、出生日期四要素生成唯一识别id，并针对数据缺失情况设置分级处理规则，四要素齐全时正常生成，部分要素缺失时仍生成并标记缺失项，缺失三项及以上时予以清除，在最大化数据利用率的同时保证了档案构建的可靠性，解决了因数据字段缺失导致无法建立有效档案或档案质量过低的技术问题。

25、本发明通过设定第一相似度阈值和第二相似度阈值，主动识别以下三类可能被错误拆分的情况：身份信息完全相同但人脸特征相似度低于第一阈值、人脸特征相似度在第一阈值以上但身份信息部分不一致、人脸特征相似度在第二阈值以上但身份信息有缺失且已知项一致；并生成档案合并建议供人工审核确认，从机制上解决了人脸识别系统因采集角度、光照条件、设备差异导致同一旅客被误判为多个独立档案的聚类错误问题。

26、本发明通过对接旅通系统、旅检现场视频智能识别系统、人脸识别系统、口岸现场采集设备、关区旅客库及快件进口系统等多个特定数据源，以唯一识别id为主键进行关联聚档，从通行、查验、查获及跨渠道维度建立旅客特征画像，解决了跨渠道旅客数据无法有效关联的技术问题。