一种基于机器学习的大语言模型数据库智能管理系统的制作方法
本发明涉及人工智能。更具体地,本发明涉及一种基于机器学习的大语言模型数据库智能管理系统。
背景技术:
1、随着企业数据规模与业务复杂度的不断提升,数据库管理中对异常数据的识别已成为保障数据质量的核心环节。异常数据通常表现为违反数据库模式约束、违背业务规则或存在逻辑不一致的情况,准确识别这些数据对于维持系统稳定运行与业务决策的可靠性至关重要。
2、传统的数据库异常数据识别主要依赖固定的硬性规则,例如通过设置数据范围或格式来拦截明显的数值错误,然而,这种方法难以识别规则范围内的隐蔽性逻辑错误。近年来,现有技术逐渐将大语言模型引入数据库智能管理领域,利用大语言模型强大的语义理解与推理能力,结合历史数据分布与字段间的关联关系,对目标数据进行深度分析,以识别传统规则无法覆盖的复杂业务冲突。
3、但是,现有的大语言模型数据库管理方法在参考历史数据或其他用户数据进行推理时,本质上依赖大多数数据的统计分布特征进行判断。这种机制极易受到历史数据分布偏差的影响,导致群体偏见被不断放大,当少数群体的正常业务行为在数据分布上偏离主流时,往往会被大语言模型误判为异常,从而严重降低异常数据识别的准确性,无法满足复杂业务场景下对高精度数据质量管理的实际需求。
技术实现思路
1、为解决上述现有大语言模型数据库管理易受历史数据偏差影响放大群体偏见,导致少数群体正常数据被误判为异常,降低识别准确性的技术问题,本发明提供了一种基于机器学习的大语言模型数据库智能管理系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
2、获取目标数据以及目标数据对应的上下文数据,利用大语言模型初步识别目标数据中的异常数据,得到包含疑似异常数据字段的初步异常识别结果;
3、将历史业务数据划分为多个历史时段,针对每个历史时段,分别计算其他每一数据字段对疑似异常数据字段的修正约束程度以及独立影响可能性,进而得到各历史时段内其他每一数据字段与疑似异常数据字段的关联强度;
4、基于各历史时段内其他每一数据字段与疑似异常数据字段的关联强度,确定关联强度的时序变化趋势,根据时序变化趋势确定其他每一数据字段与疑似异常数据字段的关联可信度;
5、利用时序变化趋势预测当前时刻其他每一数据字段与疑似异常数据字段的关联强度预测值,综合关联强度预测值和关联可信度,确定其他每一数据字段对疑似异常数据字段的异常评估贡献程度;
6、构建包含疑似异常数据字段、其他每一数据字段及其对应的异常评估贡献程度的二次校验提示文本,利用大语言模型对二次校验提示文本进行语义推理,输出疑似异常数据字段的最终异常判定结果。
7、优选地,所述计算其他每一数据字段对疑似异常数据字段的修正约束程度,包括:
8、针对目标时段,分别以疑似异常数据字段和其他每一数据字段为分类依据对数据点进行分类,得到疑似异常数据字段对应的分类结果和其他每一数据字段对应的分类结果;
9、计算其他每一数据字段的各个类别对疑似异常数据字段的约束程度,并综合得到其他每一数据字段对疑似异常数据字段的综合约束程度;
10、计算其他每一数据字段约束表现对于疑似异常数据字段的可信度,对所述综合约束程度进行修正,得到其他每一数据字段对疑似异常数据字段的修正约束程度。
11、优选地,所述独立影响可能性的获取方法包括:
12、根据所述修正约束程度,筛选出与疑似异常数据字段存在关联表现的数据字段作为待分析数据字段;
13、当存在多个待分析数据字段时,将任意一个待分析数据字段作为当前待分析数据字段,根据其他待分析数据字段对当前待分析数据字段的修正约束程度,以及其他待分析数据字段对疑似异常数据字段的修正约束程度,计算当前待分析数据字段独立影响疑似异常数据字段的可能性:
14、;
15、式中,表示目标时段内当前待分析数据字段独立影响疑似异常数据字段的可能性;表示目标时段内待分析数据字段的种类总数;表示目标时段内第种其他待分析数据字段对当前待分析数据字段的修正约束程度;表示目标时段内第种其他待分析数据字段对疑似异常数据字段的修正约束程度;表示自然指数函数。
16、优选地,所述各历史时段内其他每一数据字段与疑似异常数据字段的关联强度获取方法为:
17、将目标时段内当前待分析数据字段对于疑似异常数据字段的修正约束程度,与目标时段内当前待分析数据字段独立影响疑似异常数据字段的可能性之间的乘积,作为目标时段内当前待分析数据字段与疑似异常数据字段的关联强度。
18、优选地,基于各历史时段内其他每一数据字段与疑似异常数据字段的关联强度,确定关联强度的时序变化趋势,根据时序变化趋势确定其他每一数据字段与疑似异常数据字段的关联可信度,包括:
19、将各历史时段的中心时刻作为时间坐标,利用最小二乘法对所述其他每一数据字段在各历史时段内的关联强度进行线性拟合,得到关联强度拟合直线;
20、根据关联强度拟合直线的斜率值和决定系数,计算得到关联可信度:
21、;
22、式中,表示疑似异常数据字段和第种待分析数据字段的关联可信度;表示第种待分析数据字段对应的关联强度拟合直线的斜率值;为自然指数函数;表示第种待分析数据字段关联强度拟合直线的决定系数。
23、优选地,所述利用时序变化趋势预测当前时刻其他每一数据字段与疑似异常数据字段的关联强度预测值,综合关联强度预测值和关联可信度,确定其他每一数据字段对疑似异常数据字段的异常评估贡献程度,包括:
24、将当前时刻的时间坐标代入关联强度拟合直线的方程中,计算得到当前时刻疑似异常数据字段与待分析数据字段之间的关联强度预测值;
25、将关联强度预测值与关联可信度的乘积,作为待分析数据字段对于疑似异常数据字段的异常评估贡献程度。
26、优选地,所述其他每一数据字段的各个类别对疑似异常数据字段的约束程度满足表达式:
27、;
28、式中,表示目标时段内第种其他数据字段的第个类别对疑似异常数据字段的约束程度;表示目标时段内疑似异常数据字段对应的分类结果的类别总数;表示目标时段内第种其他数据字段的第个类别中,疑似异常数据字段分布最集中的类别所包含的数据点数量;表示目标时段内第种其他数据字段的第个类别中,疑似异常数据字段分布较分散的第个类别所包含的数据点数量,获取方法为:获取目标时段内第种其他数据字段对应的分类结果的第个类别中的所有数据点,作为待分析数据点,统计待分析数据点在疑似异常数据字段对应的分类结果的各个类别中的分布数量,排除分布数量最多的类别,在剩余类别中,将待分析数据点在第个类别中的数据点个数作为的值;表示目标时段内第种其他数据字段的第个类别中包含的数据点总数。
29、优选地,所述计算其他每一数据字段约束表现对于疑似异常数据字段的可信度满足表达式:
30、;
31、式中,表示目标时段内第种其他数据字段的第个类别对于疑似异常数据字段约束表现的可信度;表示目标时段内第种其他数据字段的第个类别对应的数据点中,属于疑似异常数据字段的第个类别的数据点数量;表示目标时段内疑似异常数据字段的第个类别中包含的数据点总数;表示目标时段内第种其他数据字段的第个类别中包含的数据点总数;表示目标时段内的数据点总数;表示目标时段内疑似异常数据字段对应的分类结果的类别总数。
32、优选地,所述获取目标数据以及目标数据对应的上下文数据,包括:
33、获取每一其他企业客户的基础属性数据与历史交易流水,拼接生成每一其他企业客户对应的结构化文本数据;
34、利用文本嵌入模型获取每一其他企业客户的特征向量以及目标数据对应企业客户的特征向量;
35、计算目标数据对应企业客户的特征向量与每一其他企业客户的特征向量之间的余弦相似度,提取余弦相似度最高的多个其他企业客户对应的结构化文本数据作为目标数据对应的上下文数据。
36、本发明的有益效果在于:本发明通过将历史数据按时序划分并计算每一时段内其他数据字段对疑似异常数据字段的约束程度,有效捕捉了关联关系的时序稳定性,降低了局部偶然因素导致的关联判断偏差;本发明进一步评估约束表现的可信度并进行修正,同时计算待分析数据字段独立影响疑似异常数据字段的可能性,降低了其他字段间接影响所形成的关联对异常识别的干扰;最终结合关联强度预测值与关联可信度计算异常评估贡献程度,并以此构建二次校验提示文本输入大语言模型进行推理,动态调整了各数据字段在语义推理中的参考权重,有效降低了历史数据分布偏差和群体偏见对异常识别准确性的干扰,从而准确识别出真实的异常数据,保障了数据库数据质量管理的可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com