一种表格数据实体的确定方法、电子设备及可读存储介质与流程

本技术涉及计算机，尤其涉及一种表格数据实体的确定方法、电子设备及可读存储介质。

背景技术：

1、在知识图谱与数据中台建设中，从原始表格数据到一个良构的本体（ontology）之间，存在高度依赖人工经验的环节：如何从一张张扁平的二维表，识别出真正的实体（objecttype）、属性（property）和关系（linktype）。

2、但是，目前的实体构建方式，由于依赖建模专家的领域经验，新人难以快速上手，需要花费较长时间，导致实体构建效率较低。

技术实现思路

1、本技术提供一种表格数据实体的确定方法、电子设备及可读存储介质，以提高实体构建效率。

2、第一方面，提供一种表格数据实体的确定方法，其可应用于电子设备或相关的组件（如电子设备中的芯片），所述方法包括：

3、对表格数据进行统计，生成实体候选证据；所述实体候选证据包括候选实体、候选主键、候选实体所包含的列、置信度和证据来源中的至少一种；

4、将提示词输入大模型，由所述大模型输出第一实体草案；所述提示词基于所述实体候选证据构造；

5、基于所述实体候选证据对所述第一实体草案进行校验与修复，得到第二实体草案；

6、其中，所述校验与修复包括以下一种或多种：删除所述第一实体草案中不在所述表格数据的列集合内的字段；对不满足主键阈值的主键进行替换或置空；补全未被分配至任何实体的遗漏字段；补建满足置信度条件且未被所述第一实体草案覆盖的遗漏实体。

7、在一种可能的设计中，所述提示词基于所述实体候选证据构造，包括：

8、所述提示词基于所述实体候选证据、为多个所述表格数据构造的字段清单表，以及多个所述表格数据之间的关联关系构造；

9、其中，所述字段清单表中每一列附有数据类型、唯一值数量、总行数、唯一率、空值率、样本值和语义定义中的至少一种。

10、在一种可能的设计中，由所述大模型输出第一实体草案，包括：

11、通过所述大模型中的提取模块输出结构化数据形式的第三实体草案；

12、通过所述大模型中的评判模块输出对所述第三实体草案进行检查得到的问题条目，每条问题条目带有置信度和对应的实体候选证据；

13、通过所述大模型中的仲裁模块综合所述字段清单表、所述第三实体草案和所述问题条目，输出所述第一实体草案。

14、在一种可能的设计中，所述方法还包括：

15、对于高置信度的问题条目，所述仲裁模块结合所述表格数据判断是否采纳所述问题条目；

16、对于中置信度的问题条目，所述仲裁模块独立判断是否采纳所述问题条目；

17、对于低置信度的问题条目，所述仲裁模块驳回所述问题条目；

18、其中，所述问题条目包括以下至少一种：字段被错分到实体、未拆分实体、未合并实体、主键无效、遗漏实体、遗漏字段。

19、在一种可能的设计中，所述方法还包括：

20、基于所述提示词进行预分析，以自然语言的形式输出实体边界分析结论；

21、将所述实体边界分析结论作为上下文输入所述大模型。

22、在一种可能的设计中，所述方法还包括：

23、对所述第一实体草案进行列共现自洽采样，得到所述第一实体草案中每个实体的结构稳定性置信度；

24、其中，所述列共现自洽采样包括：

25、对所述第一实体草案运行多次实体提取，得到所述第一实体草案对应的多次映射，每次所述映射为所述第一实体草案中的列到实体名的映射；

26、统计每个所述实体中的列对在所述多次映射中被分到同一实体的频次，基于所述频次确定所述实体的共现一致性分数；所述实体的结构稳定性置信度基于所述共现一致性分数确定；

27、基于所述实体候选证据对所述第一实体草案进行校验与修复，包括：基于所述实体候选证据，对带有所述共现一致性分数的所述第一实体草案进行校验与修复。

28、在一种可能的设计中，所述方法还包括：

29、当所述共现一致性分数大于或等于第一阈值时，确定结构稳定性置信度等级为高置信度等级；

30、当所述共现一致性分数大于或等于第二阈值且小于所述第一阈值时，确定结构稳定性置信度等级为中置信度等级；

31、当所述共现一致性分数小于所述第二阈值时，确定结构稳定性置信度等级为低置信度等级；

32、其中，对于仅包含单列的实体，确定结构稳定性置信度等级为高置信度等级；

33、基于所述实体候选证据对所述第一实体草案进行校验与修复，包括：基于所述实体候选证据，对带有所述结构稳定性置信度等级的所述第一实体草案进行校验与修复。

34、在一种可能的设计中，所述方法还包括：

35、对所述第二实体草案计算质量评分，所述质量评分基于字段覆盖率、主键质量、幻觉字段惩罚和复杂度惩罚加权得到；

36、输出所述质量评分；所述质量评分按照以下方式计算：

37、所述字段覆盖率为有效已分配列与全部列之比；

38、所述幻觉字段惩罚为幻觉列与已分配列之比；

39、所述主键质量为各实体主键质量得分的均值；

40、所述复杂度惩罚为单实体列数超出预设范围时的惩罚项。

41、在一种可能的设计中，所述方法还包括：

42、记录所述实体候选证据、所述大模型输出的实体草案、所述共现一致性分数、修复条目和所述质量评分中的至少一种，形成审计链路；所述审计链路用于对所述第二实体草案中的任一实体进行回溯。

43、在一种可能的设计中，所述提示词还基于主键约束构造，所述主键约束包括：空值率大于或等于空值率阈值的字段不作为主键。

44、在一种可能的设计中，所述方法还包括以下至少一种失效安全处理：

45、若所述大模型不可用或者所述大模型的输出不可解析，则拒绝输出实体草案并报错；

46、若未确定出满足主键阈值的候选主键，则将主键置空；

47、若存在遗漏字段，则补全所述遗漏字段或将所述遗漏字段标记为待定；

48、若所述实体候选证据中满足置信度条件的候选实体与所述第二实体草案中的实体冲突，则将该候选实体补建为新的实体，并将所述候选实体标记为待人工复核。

49、第二方面，还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上所述的表格数据实体的确定方法。

50、第三方面，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的表格数据实体的确定方法。

51、第四方面，本技术的实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的表格数据实体的确定方法。

52、本技术中，通过对表格数据进行统计生成实体候选证据，并将该实体候选证据既用于构造大模型的提示词、又用于对大模型输出的第一实体草案进行校验与修复，使同一套实体候选证据在输入侧与输出侧被双向使用，使得统计证据的确定性与大模型的语义理解能力得以互补而非割裂，从而实现实体的自动构建，减少对人工建模经验的依赖，提升实体构建的效率。并且，由于校验与修复基于实体候选证据这一确定性统计结果执行，修复过程无需再次调用大模型，修复动作本身是确定性的、可复现的，不会引入新的不确定性。另外，实体候选证据仅生成一次即贯通输入与输出两侧，无需分别构造两套统计逻辑，也避免了两侧口径不一致所导致的误判。