用于科创大数据平台的多源异构数据融合治理方法与流程

本发明涉及数据治理，具体涉及用于科创大数据平台的多源异构数据融合治理方法。

背景技术：

1、现有技术中，科创大数据平台通常通过数据采集、字段映射、名称归一、主体去重和标签计算等方式，对企业主体数据、知识产权数据、科研项目数据、政策兑现数据以及人员成果数据进行融合治理，以形成企业科技画像、创新能力评分、产业链图谱和政策匹配结果。

2、但是，在实际科创数据治理过程中，不同数据源的数据更新时间并不一致。例如，工商主体数据可能已经更新企业更名或股权变更信息，而专利数据库仍保留原申请人名称，科研项目库仍显示原承担单位，政策兑现库又可能按照兑现时的企业名称记录，人员任职成果数据则可能滞后于企业组织关系变化。由此会出现同一科创主体在不同数据源中表现为名称相同但主体编号不同，或者主体编号连续但成果归属对象发生突变的情况。

3、现有融合方法多以统一社会信用代码、企业名称相似度、专利申请人名称、项目承担单位名称等静态字段作为合并依据。当上述字段之间存在部分相同或高度相似时，系统通常直接执行主体归并；当字段不一致时，则将其拆分为不同主体。该方式难以识别由数据入库滞后、成果承接、企业更名、项目转移、专利权利变更或人员兼职交叠共同造成的事件断点。

4、特别是在园区科技企业评价、政策兑现资格复核、科技成果转化推荐等场景中，如果将历史主体的专利、项目或政策记录直接合并至当前主体，会造成企业创新能力评分虚高；如果将实际存在承接关系的数据完全拆分，又会造成企业真实科创资源被遗漏。上述错误通常不表现为单条数据异常，而表现为多个数据源在不同时间窗口内形成的归属错位，因此难以通过常规去重、模糊匹配或人工规则及时发现。

5、因此，亟需一种用于科创大数据平台的多源异构数据融合治理方法，能够在多源数据融合过程中识别因事件发生时间与数据入库时间不一致而形成的数据滞后特征，发现主体连续性与成果归属之间的异常断点，并在未确认承接关系前避免直接合并或直接拆分，从而提高科创主体画像、成果归属判断和数据治理结果的准确性。

技术实现思路

1、本发明的目的是提供一种用于科创大数据平台的多源异构数据融合治理方法，以解决背景技术中不足。

2、为了实现上述目的，本发明提供如下技术方案：用于科创大数据平台的多源异构数据融合治理方法，包括：

3、获取科创大数据平台中的企业主体数据、知识产权数据、科研项目数据、政策兑现数据及人员任职成果数据，并分别提取各数据中的主体名称、主体编号、成果归属对象、事件发生时间、数据入库时间和数据来源类型，生成科创事件单元；

4、根据所述事件发生时间和数据入库时间的差异，确定各科创事件单元的数据滞后特征，并依据所述数据滞后特征生成来源偏移序列；

5、将具有相同或相近主体名称的科创事件单元按所述来源偏移序列排列，识别其中主体编号连续但成果归属对象突变，或者主体名称连续但主体编号突变的事件断点；

6、在识别到所述事件断点时，不直接执行主体合并，而是提取事件断点前后的股权关系、专利权利变更、项目承担关系、人员任职交叠关系，生成承接反证链，并根据承接反证链判断事件断点对应的数据是否属于主体自然延续、主体成果承接或错误挂接；

7、当判断为主体成果承接时，生成隔离融合节点，使所述事件断点前后的数据在检索时关联展示、在科技画像评分时分离计算；

8、当后续接入的新数据补足所述承接反证链中的缺失关系时，解除所述隔离融合节点，并更新对应主体的成果归属和数据治理状态。

9、优选的，所述生成科创事件单元，包括：

10、将同一原始数据中同时存在的多个主体名称或多个成果归属对象，按照一个主体对应一个成果归属关系拆分为多条中间记录；

11、对所述中间记录中的主体名称、主体编号和事件发生时间进行规范化处理，并在主体编号缺失时生成临时主体编号；

12、将规范化后的主体名称、主体编号、成果归属对象、事件发生时间、数据入库时间和数据来源类型封装为科创事件单元。

13、优选的，确定各科创事件单元的数据滞后特征，包括：

14、将同一数据来源类型下事件发生时间相邻的科创事件单元组成参照组，并根据参照组内科创事件单元的事件发生时间和数据入库时间确定源内滞后基线；

15、将每个科创事件单元对应的事件发生时间与数据入库时间的差异，扣除其所属数据来源类型的源内滞后基线，得到经来源自校正的数据滞后特征。

16、优选的，生成来源偏移序列，包括：

17、将主体名称相同或相近的科创事件单元归入同一主体名称集合，其中，相近主体名称通过核心字号一致以及行政区划字段、行业描述字段和组织形式字段中的至少2类字段一致确定；

18、在每个主体名称集合内，分别根据事件发生时间和数据入库时间确定科创事件单元的发生序位和入库序位，并据此标记先发生后入库、后发生先入库或连续追随的偏移状态；

19、根据所述偏移状态和所述数据滞后特征，对科创事件单元重新排列，得到所述来源偏移序列。

20、优选的，识别事件断点，包括：

21、在同一主体名称集合内，按照来源偏移序列依次比对相邻的前置事件单元和后置事件单元；

22、当前置事件单元和后置事件单元满足主体编号连续且成果归属对象突变时，将二者之间的位置标记为第一类事件断点；

23、当前置事件单元和后置事件单元满足主体名称连续且主体编号突变时，将二者之间的位置标记为第二类事件断点。

24、优选的，生成承接反证链，包括：

25、以所述事件断点对应的前置事件单元和后置事件单元为取数边界，读取与前置主体编号、后置主体编号、前置成果归属对象和后置成果归属对象存在直接记载关系的数据记录；

26、从所述数据记录中提取股权关系、专利权利变更、项目承担关系和人员任职交叠关系，并记录各关系的发生时间、关系起点、关系终点和对应成果归属对象；

27、将提取到的关系按照关系类型、发生时间、关系起点、关系终点和对应成果归属对象进行封装，得到承接反证链。

28、优选的，根据承接反证链判断事件断点对应的数据是否属于主体自然延续、主体成果承接或错误挂接，包括：

29、以前置事件单元和后置事件单元为边界，分别构造主体自然延续、主体成果承接和错误挂接3类候选解释，并将承接反证链中的关系分别写入所述3类候选解释；

30、按照各关系的发生时间和关系指向对写入后的关系进行时间门控处理，将发生时间晚于其所解释变化时间或者关系指向脱离事件断点两侧主体的关系标记为不可用关系；

31、在每类候选解释中对未标记为不可用关系的关系进行反事实重放，并根据主体编号变化、主体名称延续和成果归属对象变化能否被解释，记录对应的承接链断裂。

32、优选的，确定判断结果，包括：

33、分别统计主体自然延续、主体成果承接和错误挂接3类候选解释中的承接链断裂数量；

34、选择承接链断裂数量最少且未使用不可用关系参与解释的一类作为事件断点的判断结果；

35、当2类候选解释的承接链断裂数量相同时，优先选择能够解释成果归属对象变化的一类，若仍相同，则保留事件断点的待确认状态且不执行主体合并。

36、优选的，生成隔离融合节点，包括：

37、当判断结果为主体成果承接时，读取用于解释成果归属对象变化的承接路径，并将承接路径对应的承接关系写入隔离融合节点；

38、在隔离融合节点中记录前置主体编号、后置主体编号、前置成果归属对象、后置成果归属对象、事件断点位置、承接关系类型、承接关系发生时间和隔离状态；

39、将前置事件单元关联的历史成果数据保留在前置主体名下，将后置事件单元关联的当前成果数据保留在后置主体名下，并保持原始成果归属对象的主体编号不被改写。

40、优选的，解除所述隔离融合节点并更新对应主体的成果归属和数据治理状态，包括：

41、在隔离融合节点中写入缺失关系清单，并在后续接入新数据时，将新增科创事件单元与所述缺失关系清单中的待确认主体、待确认成果归属对象和待确认关系方向进行比对；

42、当新增科创事件单元中的补充关系满足缺失关系清单中的对应关系项时，将关系项标记为已补足，并将补充关系写入隔离融合节点的承接反证链；

43、当已补足的关系项形成从前置主体指向后置主体并覆盖对应成果归属对象的完整承接路径时，将隔离融合节点的隔离状态更新为解除隔离，并将对应成果标记为已承接转出或已承接转入。

44、在上述技术方案中，本发明提供的技术效果和优点：

45、本发明区别于现有技术中依赖名称相似度、统一社会信用代码或静态字段映射直接合并数据的方式，核心在于先将多源科创数据转换为具有统一时间含义的科创事件单元，再通过事件发生时间与数据入库时间形成数据滞后特征和来源偏移序列。本发明能够把不同数据源因更新周期不一致产生的时间错位显性化，并在主体编号连续但成果归属对象突变、主体名称连续但主体编号突变时识别事件断点，从而避免平台在企业更名、成果承接、项目转移或人员流动场景下误将异常数据直接归并。

46、进一步地，本发明在识别事件断点后，不立即执行主体合并，而是生成承接反证链，并通过主体自然延续、主体成果承接和错误挂接三类候选解释进行时间门控和反事实重放，选择承接链断裂最少的解释结果。由此能够区分“同一主体延续”“不同主体之间成果承接”和“无依据错误挂接”。当判断为成果承接时，通过隔离融合节点实现检索关联展示、画像评分分离计算，既保留数据之间的承接关系，又避免历史专利、项目或政策记录被错误计入当前主体评分，提高科创画像匹配结果的准确性。