基于本体增强的结构化数据自动分析方法、终端及介质与流程

摘要: 本发明涉及计算机数据处理和知识工程,具体是基于本体增强的结构化数据自动分析方法、终端及介质。背景技术:1、在企业数字化转型过程中,大量高价值数据以csv、exc...
基于本体增强的结构化数据自动分析方法、终端及介质与流程

本发明涉及计算机数据处理和知识工程,具体是基于本体增强的结构化数据自动分析方法、终端及介质。

背景技术:

1、在企业数字化转型过程中,大量高价值数据以csv、excel等独立的“数据孤岛”形式存在。现有的数据分析技术主要面临以下四大瓶颈:

2、1.语义理解自动化程度低:传统方法依赖人工定义规则或正则匹配来识别列含义(如“col_01”代表“用户id”)。面对命名不规范、无意义表头或多义字段(如“price”可能指进价、售价或折扣价),传统etl工具无法自动理解,而直接使用通用大模型进行全量数据推理成本过高且受限于上下文窗口。

3、2.多表关联发现困难:在缺乏外键约束的松散文件群中,自动发现表与表之间的关联键(join keys)极难。现有技术多基于列名精确匹配(如必须都叫“user_id”)。当列名不同(“uid” vs “id”)或数据存在格式差异时,无法自动构建关联,导致无法进行跨表联合分析。

4、3.大模型分析的幻觉风险:生成式ai(aigc)在处理数据分析任务时,常出现“一本正经胡说八道”的现象(即幻觉),捏造数据中不存在的数值或实体。由于缺乏对底层数据的严谨验证机制,其输出结果无法用于严肃的商业决策。

5、4.动态图谱构建能力缺失:传统知识图谱构建需要专家预先定义本体(schema)。面对结构未知的多源数据,缺乏一种能根据数据内容动态生成本体、自动对齐行业标准(如schema.org),并实时响应查询的机制。

技术实现思路

1、为解决现有技术中存在的技术问题,本发明提供了基于本体增强的结构化数据自动分析方法、终端及介质,无需人工定义规则、能够自动对多源异构结构化数据进行高精度语义标注与跨表关联以动态构建知识图谱,并且能够根据查询意图自适应分析,最终通过实体反向验证机制消除大模型幻觉,从而实现高可靠、全自动化的数据分析及智能问答。

2、为实现上述目的,本发明提供如下技术方案:

3、本发明公开一种基于本体增强的结构化数据自动分析方法,包括步骤s1~s6。

4、s1.获取多源结构化数据,并提取结构化数据中各数据表的特征信息;

5、s2.基于特征信息,采用混合语义映射机制对数据表的列进行语义标注,获取对应列的候选本体类及候选本体类的综合得分,并在综合得分满足预设条件时确定最终的语义标签;

6、s3.综合多种关联度评估策略,计算跨表字段对的关联度总分,根据关联度总分建立数据表之间的跨表关联关系;

7、s4.识别各数据表的主键并为数据行生成全局唯一标识符,结合语义标签和跨表关联关系,构建并存储动态知识图谱;

8、s5.接收用户的自然语言查询问题,评估查询问题的模糊程度并匹配自适应分析策略,结合动态知识图谱生成包含关键信息的初步回答;

9、s6.提取初步回答中的关键信息,在动态知识图谱中发起反向查询验证,并根据验证结果输出最终回答。

10、作为上述方案的进一步改进,步骤s2中,所述基于所述特征信息,采用混合语义映射机制对数据表的列进行语义标注的具体过程包括:

11、提取数据表每一列的元数据特征和内容样本特征,拼接生成文本描述;

12、利用预训练语义向量模型将所述文本描述编码为向量,并在预置的标准本体向量库中进行近似最近邻搜索,召回预设数量的候选本体类及对应的相似度评分;

13、构建包含元数据特征、内容样本特征、上下文信息及候选本体类的提示词,输入大语言模型进行逻辑推理,输出最匹配候选本体类对应的置信度评分;

14、对所述相似度评分和所述置信度评分进行加权融合计算综合得分,若所述综合得分超过预设的语义阈值,则将该列标记为对应的本体类。

15、作为上述方案的进一步改进,所述元数据特征包括对应列的列名和数据类型;所述内容样本特征包括对应列中按出现次数降序排列处于预设数量前列的代表性数值,以及随机采样值;所述上下文信息包括同属于一个数据表内的其他列的列名;所述拼接生成文本描述是指将对应列的列名、数据类型、高频值以及随机采样值按照预设的文本模板组合为一段包含完整语义的自然语言描述。

16、作为上述方案的进一步改进,步骤s3具体包括:

17、针对待检测的跨表字段对,并行计算以下关联度指标:

18、按行号比对值的匹配比例计算索引对齐度;

19、计算值集合的交并比获取jaccard集合相似度;

20、构建频率分布直方图并计算余弦相似度获取分布相似度;

21、判断两列语义标签是否属于同一本体属性以获取语义一致性权重;

22、对上述多项关联度指标进行加权求和得到关联度总分,若所述关联度总分超过预设的关联阈值,则判定两字段构成关联键并在图谱中建立连接边。

23、作为上述方案的进一步改进,步骤s4具体包括:

24、分别计算各列的唯一性比例、正则匹配度以及列名关键词匹配度,获取单列的主键综合得分;

25、当单列的主键综合得分低于预设阈值时,遍历字段组合计算联合唯一性,以识别复合主键;

26、按照包含命名空间、表名、行哈希值及主键值的格式为每一行数据生成全局唯一标识符,将表格数据转换为包含实体、属性和关系的三元组存入图数据库,完成动态知识图谱的构建。

27、作为上述方案的进一步改进,步骤s5具体包括:

28、接收用户的自然语言查询问题,分析自然语言查询问题中的限定词特征,计算模糊度分数;

29、基于所述模糊度分数进行分级响应:若为低模糊度,则转换为确定性查询语句直接执行;若为中模糊度,则触发假设补全策略,结合数据分布特征自动补充查询条件,并在回答中申明;若为高模糊度,则触发多场景模拟策略,生成多组假设参数分别计算结果并对比展示;

30、根据解析后的查询意图从动态知识图谱中检索对应的子图数据,将查询问题、子图数据及对应的假设条件输入大语言模型,生成初步回答。

31、作为上述方案的进一步改进,步骤s6具体包括:

32、对生成的初步回答进行解析,提取包含实体标识符和数值指标的关键信息;

33、生成反向查询语句,检查所述实体标识符是否真实存在于所述动态知识图谱的三元组中,以进行存在性验证;

34、检查所述数值指标是否能够通过动态知识图谱中的属性值计算得出,以进行计算一致性验证;

35、当且仅当存在性验证与计算一致性验证均通过时,输出携带数据来源引用的最终回答;若任一验证失败,则拦截当前回答并触发修正或降级策略。

36、作为上述方案的进一步改进,步骤s1具体包括:

37、扫描指定的数据源目录以加载多源结构化文件,并对加载的每个结构化文件进行清洗,剔除其中的全空行与全空列;

38、识别清洗后的结构化文件的表头位置,并统计各数据表的行数、列数以及空值率,以生成表级元数据;

39、将所述表级元数据作为所述特征信息,以供后续进行列语义标注和跨表关联网络构建。

40、本发明还公开一种计算机终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上所述的基于本体增强的结构化数据自动分析方法的步骤。

41、本发明还公开一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时,实现如上所述的基于本体增强的结构化数据自动分析方法的步骤。

42、与现有技术相比,本发明的有益效果是:

43、1、本发明公开的基于本体增强的结构化数据自动分析方法,通过混合语义映射标注多源数据、多策略评估建立跨表关联,进而构建动态知识图谱,并结合自适应分析策略与实体反向查询验证机制,实现了无需人工干预的异构数据自动关联与图谱构建,并有效消除了大模型问答的幻觉问题,提升了数据分析结果的可靠性。

44、2、在数据认知与图谱构建阶段,本发明通过拼接元数据与样本特征进行向量与大模型的加权融合打分,准确识别了不规范字段的真实语义;通过综合计算多项相似度指标,自动挖掘出无外键约束表之间的隐式关联键;并通过多维指标识别主键以生成唯一标识符,实现了在降低全量推理成本的同时,摆脱预定义结构依赖,自动将多源未知结构的表格转换为底层知识图谱的效果。

45、3、在智能交互与验证阶段,本发明通过计算查询问题的模糊度并触发对应的分级响应策略(如确定性查询、假设补全或多场景模拟),适应了用户提问的不确定性;同时,通过提取大模型初步回答中的实体与数值,在图谱中发起反向的存在性与计算一致性双重验证,实现了在模型输出与底层数据间建立严密的校验闭环,拦截脱离事实依据的捏造数据,确保最终结果真实可信的效果。