数据库语义模型自动构建与动态更新方法、系统及介质与流程
本申请属于人工智能领域,特别涉及一种数据库语义模型自动构建与动态更新方法、系统及介质。
背景技术:
1、为了降低数据使用门槛,自然语言问数技术逐渐成为企业数据分析系统的重要交互方式,用户能够通过自然语言直接表达分析需求,并由系统自动生成对应的数据查询语句,从而完成对数据库数据的访问与分析。
2、在现有技术中,自然语言问数系统通常采用自然语言到结构化查询语言sql的转换方式,该技术路线首先对用户输入的自然语言问题进行语义解析,然后结合数据库结构信息生成对应的sql查询语句。为了实现自然语言表达与底层数据结构之间的准确映射,大多数系统需要在数据库结构与自然语言之间构建一层语义模型(semantic layer),通过人工方式维护字段名称、业务语义、同义词及指标定义等信息,以辅助自然语言解析过程。
3、中国专利申请cn115408506a公开了一种自然语言到sql语句的转换方法及系统,通过对用户输入的自然语言进行语义解析,并结合数据库表结构信息进行字段匹配,实现自然语言问题向sql查询语句的自动转换。
4、中国专利申请cn113743142a公开了一种基于自然语言的数据库查询方法及装置,通过对自然语言问题进行分词处理、语义理解以及数据库模式匹配,实现用户自然语言查询请求向数据库查询语句的转换。
5、中国专利申请cn114156842a公开了一种基于语义解析的数据库查询方法及系统,通过对自然语言问题进行语义分析并结合数据库模式信息进行匹配,实现自然语言查询语句到结构化sql语句的转换。
6、上述现有技术虽然能够在不同程度上实现自然语言到sql语句的自动转换,但仍然存在以下技术局限:
7、(1)语义模型构建高度依赖人工配置,通常需要由数据工程师或业务专家逐一配置数据库表与业务实体之间的关系,以及字段与业务语义之间的映射关系,构建成本较高,语义模型当数据库表数量及字段规模较大时,语义建模工作量显著增加,导致系统部署周期较长。
8、(2)当数据库结构发生变化,例如新增数据库表、字段名称变更或字段语义调整时,现有语义模型需要人工同步维护,否则可能导致自然语言解析结果与实际数据库结构不一致,从而影响查询准确性,尤其是在数据库结构频繁调整的场景下,语义模型维护成本较高。
9、(3)不同业务系统之间的数据结构和业务语义存在差异,现有语义模型通常针对特定业务系统或特定数据域进行构建,难以在不同业务场景之间直接复用,从而增加了智能问数系统在多业务系统环境中的部署难度。
10、(4)现有语义模型为静态配置文件,随着业务迭代、用户提问方式多样化,语义解析准确率难以自主提升,长期使用体验持续受限。
11、因此,急需一种能够实现语义模型自动构建、支持动态持续更新、可跨业务复用且具备自主学习能力的语义建模方案。
技术实现思路
1、为解决上述问题,本申请提供了一种数据库语义模型自动构建与动态更新方法、系统及介质,降低了建模成本,还根据数据库结构信息及历史问答数据持续优化语义映射关系,提高模型的语义理解能力和准确率。
2、技术方案如下:
3、一种数据库语义模型自动构建与动态更新方法,包括:
4、获取数据库的表元信息,包括表名、表注释以及表间关联关系,将所述表元信息输入大语言模型进行语义解析,识别业务实体,建立数据库表与业务实体之间的映射关系,作为第一阶段语义模型;
5、读取目标数据库表的字段元数据,包括字段名、字段备注与字段数据类型,将各字段元数据与字段所属数据库表的业务实体信息输入大语言模型进行字段语义解析,识别各字段的业务语义,建立数据库表、数据库字段与业务语义的关联关系,作为第二阶段语义模型;
6、将所述第二阶段语义模型与预先构建的语义知识库中储存的历史语义映射数据进行匹配,并根据匹配结果对所述第二阶段语义模型进行优化,得到第三阶段语义模型;
7、采集历史问答数据,从有效问答样本中提取自然语言表达与数据库字段的语义映射关系,生成语义学习样本,利用所述语义学习样本对所述大语言模型进行训练;
8、根据历史问答数据中语义映射关系的使用频率和正确率,在第三阶段语义模型中动态调整语义映射关系的置信度,并将更新后的语义映射关系同步至所述语义知识库。
9、一种数据库语义模型自动构建与动态更新系统,包括:
10、数据库语义解析模块,用于获取数据库的表元信息,包括表名、表注释以及表间关联关系,将所述表元信息输入大语言模型进行语义解析,识别业务实体,建立数据库表与业务实体之间的映射关系,作为第一阶段语义模型;
11、字段语义扩展模块,用于读取目标数据库表的字段元数据,包括字段名、字段备注与字段数据类型,将各字段元数据与字段所属数据库表的业务实体信息输入大语言模型进行字段语义解析,识别各字段的业务语义,建立数据库表、数据库字段与业务语义的关联关系,作为第二阶段语义模型;
12、语义模型优化模块,用于将所述第二阶段语义模型与预先构建的语义知识库中储存的历史语义映射数据进行匹配,并根据匹配结果对所述第二阶段语义模型进行优化,得到第三阶段语义模型;
13、语义回流学习模块,用于从有效问答样本中提取自然语言表达与数据库字段的语义映射关系,生成语义学习样本,利用所述语义学习样本对所述大语言模型进行训练;
14、动态语义模型更新模块,用于根据历史问答数据中语义映射关系的使用频率和正确率,在第三阶段语义模型中动态调整语义映射关系的置信度,并将更新后的语义映射关系同步至所述语义知识库。
15、基于同一发明构思,本申请还提供一种计算机存储介质,所述计算机存储介质中存储有计算机可执行指令,所述计算机可执行指令执行时实现前述的数据库语义模型自动构建与动态更新方法。
16、与现有技术相比,本申请具有如下优点:
17、自动构建数据库表、数据库字段与业务语义之间的映射关系,相较于传统依赖人工维护字段字典或语义标签的方式,本方法能够在数据库结构变化或新增字段时自动完成语义扩展与更新,显著降低语义模型的配置成本和维护成本,并提高自然语言问数系统对业务表达的理解能力,同时基于语义知识库对语义映射关系进行复用与校正,提升了语义模型的准确性和跨场景部署效率,通过历史问答数据生成有效学习样本来训练大语言模型,使语义模型具备基于真实业务反馈的自学习能力,根据历史问答数据中各语义映射关系的使用频率和正确率,动态调整语义映射关系的权重,提高语义模型的持续优化能力。
18、本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
1.一种数据库语义模型自动构建与动态更新方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,构建语义知识库,包括:
3.根据权利要求1所述的方法,其特征在于,将所述第二阶段语义模型与语义知识库中存储的历史语义映射数据进行匹配,并根据匹配结果对所述第二阶段语义模型进行优化,包括:
4.根据权利要求1所述的方法,其特征在于,所述问答数据包括用户输入的自然语言问句、大语言模型生成的sql查询语句、查询结果以及用户反馈信息。
5.根据权利要求4所述的方法,其特征在于,所述从有效问答样本中提取自然语言表达与数据库字段的语义映射关系,包括:
6.根据权利要求5所述的方法,其特征在于,所述根据所述用户反馈信息和预设的逻辑校验规则,从采集到的问答数据中筛选有效问答样本,包括:
7.根据权利要求1所述的方法,其特征在于,所述根据历史问答数据中语义映射关系的使用频率和正确率,在第三阶段语义模型中动态调整语义映射关系的置信度,包括但不限于:
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
9.一种数据库语义模型自动构建与动态更新系统,其特征在于,所述系统包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令执行时实现权利要求1-8任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com