一种涉海企业运行监测数据归集方法

本发明属于数据处理，具体是一种涉海企业运行监测数据归集方法。

背景技术：

1、涉海企业的运行监测数据分散存放于登记注册、纳税申报、进出口报关、船舶动态、渔业管理和参保缴费等多个部门的业务系统中。开展海洋经济运行监测时，需要按周期自上述数据源归集数据并按企业主体汇聚，其间必须将同一家企业在不同数据源中的记录识别为同一主体，否则同一主体的数据将被拆分到多条记录中，或者不同主体的数据被错误合并，使按主体汇总的监测结果失真。同一主体在不同数据源中的标识并不一致。部分数据源中统一社会信用代码缺失或者填写错误，部分数据源仍沿用已废止的组织机构代码，企业还会发生更名、迁址和改制，分支机构与母公司在名称上高度相似，渔业管理数据源中渔船所有人与实际经营人也常常不是同一主体。以企业名称精确匹配进行归集时，同一主体因名称的细微差异而被拆分；改用模糊匹配时，名称高度相似的不同主体又被错误合并。

2、公开号为cn113641826a的发明专利申请公开了一种面向多源知识图谱融合的实体对齐方法、装置与系统，该方法提取知识图谱中实体的实体特征并生成实体嵌入矩阵以获取实体表示，依据实体与相邻实体的关系信息增强所述实体表示得到完整实体表示，据以获取最终实体嵌入矩阵并计算损失函数，再采用结合属性的双向全局过滤策略处理损失函数与实体的属性信息以生成迭代正样本集和迭代负样本集，通过样本集对神经网络模型迭代训练，使训练后的模型具有对齐和融合多个知识图谱的能力；其相似度由实体嵌入向量的距离、属性相似度矩阵与属性值相似度矩阵按超参数加权得到，并采用全局对齐从候选集中不放回地选取目标实体以输出对齐实体对。

3、然而，其相似度的加权系数为全局超参数，对同一字段的不同取值一视同仁，而在企业主体归集中，法定代表人姓名等字段的常见取值在名录中大量重复，其相同并不能说明是同一主体，生僻取值的相同则具有很强的指示性，按全局系数加权会在常见取值上产生误合并。其需要预对齐种子数据训练神经网络模型，跨部门业务库归集场景中难以获得足够的人工标注对齐种子，且模型效果依赖超参数整定。其相似度矩阵为两个实体集合的全量矩阵，计算量随主体规模呈平方增长，主体名录达到万级后单周期难以在规定时限内完成。

技术实现思路

1、本发明的目的在于提供一种涉海企业运行监测数据归集方法，以解决跨数据源归集涉海企业运行监测数据时，同一主体因标识不一致而被拆分或者不同主体被错误合并、字段权重与字段取值的区分能力不匹配、依赖预对齐种子数据训练模型、不确定的记录对无法隔离交由人工复核、名录规模增大后比对计算量呈平方增长、重复拉取形成重复数据、以及主体归并后历史数据未同步重挂导致时间序列断裂的问题。

2、为实现上述目的，本发明提供了一种涉海企业运行监测数据归集方法，所述方法包括：

3、s1、配置各数据源的接入接口、增量游标字段和拉取周期，建立涉海企业主体名录表和主体标识变更链表，配置字段证据集合、自动合并阈值和小于所述自动合并阈值的待复核阈值。

4、s2、在每个拉取周期按各数据源的增量游标拉取变更记录，对拉取到的每条变更记录计算内容指纹，所述内容指纹与已归集记录的内容指纹相同时丢弃该变更记录，不同时写入待归集队列。

5、s3、对所述待归集队列中的每条变更记录抽取所述字段证据集合中各字段的取值，按各字段取值在所述主体名录表中的出现次数计算随该出现次数增大而单调减小的区分度，归一化后得到该字段的权重。

6、s4、按分块键自所述主体名录表召回候选主体，逐字段计算该条变更记录与各候选主体的字段相似度并按所述权重加权求和得到匹配得分；最大匹配得分不小于所述自动合并阈值时将该条变更记录归并至匹配得分最大的候选主体即目标主体，介于所述待复核阈值与所述自动合并阈值之间时写入待复核队列，小于所述待复核阈值时新建主体记录。

7、s5、归并时，该条变更记录中的主体标识与所述目标主体的当前标识不一致的，在所述主体标识变更链表中新增一条自该主体标识指向所述当前标识的有向边，并沿所述主体标识变更链表前向遍历，将挂于该有向边起点标识下的历史涉海企业运行监测数据重挂至所述目标主体并重算受影响周期的汇总值。

8、进一步的，所述数据源包括登记注册数据源、纳税申报数据源、进出口报关数据源、船舶动态数据源、渔业管理数据源和参保缴费数据源中的至少两个；所述字段证据集合包括名称规范化串、统一社会信用代码、法定代表人姓名、注册地址规范化串、联系电话和经营范围特征词集合；所述主体名录表存储各主体的当前标识与字段证据取值，所述主体标识变更链表存储由旧标识指向新标识的有向边及其变更类型与变更时点；所述按各数据源的增量游标拉取变更记录的方法包括：

9、所述增量游标字段取各数据源业务表中的记录更新时间戳字段，所述增量游标的初值取所述主体名录表建立时刻；

10、每次拉取的时间窗口的下界为所述增量游标，上界为本次拉取的发起时刻减去预设的写入延迟裕量，所述写入延迟裕量不小于对应数据源的最大事务提交耗时；

11、按预设的单批条数分批拉取，每批拉取成功并完成写入后再拉取下一批，全部批次完成后推进所述增量游标；任一批次拉取失败或者写入失败时，回滚本批次的写入并保持所述增量游标不变；

12、写入所述待归集队列时以所述内容指纹为唯一键，同一内容指纹重复写入时仅保留一条，使同一批次的重复拉取不产生重复记录。

13、进一步的，所述计算内容指纹的方法包括：

14、按预设字段序列将各字段取值归一化后拼接；

15、所述预设字段序列按字段名称的字典序排列，使字段在数据源中的存放顺序不影响所述内容指纹；

16、各字段取值的归一化包括去除首尾空白字符、将全角字符转换为半角字符、将英文字母转换为小写、将空值统一置为预设空值占位符；

17、将归一化后的各字段取值以预设分隔符拼接为指纹输入串，对所述指纹输入串计算安全散列值并取其前16个字节作为所述内容指纹；

18、按所述内容指纹的前2个字节分桶存储于指纹表，比对时仅在对应桶内查找。

19、进一步的，所述名称规范化串的生成方法包括：

20、将企业名称中的全角字符转换为半角字符、繁体字转换为简体字，并去除空格与标点符号；

21、按预设的组织形式后缀表识别并剥离企业名称尾部的组织形式后缀，将剥离出的组织形式后缀映射为组织形式码单独存储；

22、按预设的行政区划名称表识别并剥离企业名称中位于括号内以及位于首部的行政区划名称，将剥离出的行政区划名称映射为地域标记单独存储；

23、对剥离后的剩余字符串按预设的别名词典作同义替换，得到所述名称规范化串。

24、进一步的，所述计算区分度并归一化得到权重的方法包括：

25、计算第m个字段取值的区分度：；其中，表示所述主体名录表中的主体总数，表示第m个字段取值在所述主体名录表中的出现次数，所述出现次数为零时取1；

26、将各字段取值的区分度归一化，得到该条变更记录第m个字段的权重：；其中，m表示该条变更记录中取值非空的字段数量；

27、该条变更记录中取值为空的字段不参与所述归一化且其权重为零，使各条变更记录按其自身实际具备的字段计算权重。

28、进一步的，所述逐字段计算该条变更记录与各候选主体的字段相似度的方法包括：

29、统一社会信用代码字段：先按校验位规则校验该条变更记录中的统一社会信用代码，校验通过且与候选主体的统一社会信用代码完全相同时相似度取1，校验通过但不相同时相似度取0，校验不通过时将该字段视为取值为空，并按所述归一化方式重新计算其余取值非空字段的权重；

30、名称规范化串字段：计算相似度：；其中，表示两个名称规范化串之间的编辑距离，和分别表示两个名称规范化串的长度，表示地域标记一致性系数，两者的地域标记相同或者均为空时取1，不同时取小于1的预设惩罚系数；

31、注册地址规范化串字段：将注册地址规范化串按省级、市级、区县级、乡镇街道级和门牌号五级切分，逐级比对，将相同级别对应的预设级别权重累加作为相似度，所述预设级别权重之和为1且乡镇街道级的级别权重大于其余级别；

32、法定代表人姓名字段和联系电话字段：取值完全相同时相似度取1，否则取0；

33、经营范围特征词集合字段：取两个特征词集合的交集元素个数与并集元素个数之比作为相似度。

34、进一步的，所述按分块键自所述主体名录表召回候选主体的方法包括：

35、配置至少三组分块键，所述分块键包括名称规范化串的前若干个字符与注册地所在区县代码的拼接、联系电话的后若干位、以及法定代表人姓名；

36、为所述主体名录表按各组分块键分别建立倒排索引，索引键为分块键取值，索引值为具有该分块键取值的主体标识集合；

37、对每条变更记录分别计算各组分块键取值，自各倒排索引中取出对应的主体标识集合并求并集，作为该条变更记录的候选主体集合；

38、所述候选主体集合为空时，将该条变更记录的最大匹配得分记为零，据以按所述小于所述待复核阈值的情形在所述主体名录表中新建主体记录。

39、进一步的，所述自动合并阈值和所述待复核阈值的确定方法包括：

40、选取已标注的样本记录对集合，所述样本记录对集合包含标注为同一主体的正样本对和标注为不同主体的负样本对；

41、对所述样本记录对集合中的每一对，按所述权重和所述字段相似度计算匹配得分；

42、在候选阈值上分别统计误合并率和漏合并率，所述误合并率为匹配得分不小于该候选阈值的负样本对占全部负样本对的比例，所述漏合并率为匹配得分小于该候选阈值的正样本对占全部正样本对的比例；

43、取使所述误合并率不大于第一容许值的最小候选阈值作为所述自动合并阈值，取使所述漏合并率不大于第二容许值的最大候选阈值作为所述待复核阈值。

44、进一步的，所述主体标识取统一社会信用代码，统一社会信用代码缺失或者未通过校验位规则校验时取所述名称规范化串与地域标记的组合；所述沿所述主体标识变更链表前向遍历并将历史涉海企业运行监测数据重挂至所述目标主体的方法包括：

45、自所述有向边的起点标识出发，沿所述主体标识变更链表中的有向边逐跳前向遍历至无出边的标识，将遍历路径上除所述无出边的标识外的全部标识确定为待重挂标识集合；

46、所述前向遍历过程中记录已访问标识，再次访问到已访问标识时终止该分支的遍历并输出环路告警，使所述主体标识变更链表中的环路不导致遍历不终止；

47、查询挂于所述待重挂标识集合中各标识下的涉海企业运行监测数据，将其主体标识字段更新为所述目标主体的当前标识，并在重挂记录中保留原主体标识与重挂时点；

48、按被重挂数据的所属周期去重后得到受影响周期清单，对所述受影响周期清单中的每个周期重算汇总值，并将重算前后的汇总值一并留存。

49、进一步的，所述方法还包括：

50、对所述待复核队列中的记录对，接收人工复核结论，所述人工复核结论为同一主体时按步骤s4归并并按步骤s5执行标识变更链维护与历史数据重挂，所述人工复核结论为不同主体时在所述主体名录表中新建主体记录；

51、按预设的评估周期抽取本评估周期内自动归并的记录对送人工复核，统计其中经复核判定为不同主体的记录对占比作为实测误合并率；

52、所述实测误合并率大于所述第一容许值时，按预设步长提高所述自动合并阈值，单个评估周期内的提高量不超过预设的调整上限；所述实测误合并率不大于所述第一容许值且所述待复核队列的记录对数量占本评估周期变更记录总数的比例大于预设的复核负荷上限时，按所述预设步长降低所述待复核阈值，单个评估周期内的降低量不超过所述调整上限；

53、将每次阈值调整的时点、调整前后的阈值取值和触发调整的实测指标一并留存。

54、本发明与现有技术相比，其有益效果是：

55、本发明按各字段取值在主体名录表中的出现次数计算该取值的区分度并据以定权，使常见取值的相同不再被赋予与稀有取值同等的证据强度，从数据本身导出权重而无需人工设定；以自动合并阈值与待复核阈值构成三分支判定，将不确定的记录对隔离至待复核队列而不直接影响归集结果；以分块键倒排索引召回候选主体，使比对次数由与名录规模的平方成正比降为与名录规模成正比，名录规模增大后仍可在拉取周期内完成；以增量游标与内容指纹分别抑制断点重拉与重复写入，使重复拉取不产生重复数据；以主体标识变更链表记录标识变更并沿链前向遍历重挂历史数据、重算受影响周期汇总值，使同一主体的时间序列在归并时点不发生断裂且前后周期可比。