一种数据库规范的智能检测方法及装置与流程

本技术实施例涉及数据库管理与人工智能交叉，特别涉及一种数据库规范的智能检测方法及装置。

背景技术：

1、在数据库应用系统的开发与运维实践中，由于开发团队技术水平差异、项目工期压力以及缺乏统一的开发规范约束，大量数据库存在命名规则混乱、数据类型选择失当、索引设计不合理或缺失、字符集配置不一致、字段注释不完整以及敏感数据缺乏保护等规范性缺陷。这些缺陷在系统上线初期可能表现不明显，但随着业务规模扩张和数据量持续增长，将逐步引发性能瓶颈、数据一致性问题以及潜在的安全漏洞，严重威胁系统的稳定运行和数据资产的可信度。

2、具体而言，上述规范性问题所导致的负面影响主要体现在以下方面。其一，元数据治理能力不足，建表人员离职后，缺乏业务负责人绑定和完整注释的数据库表成为难以理解的数据“黑盒”，新入职人员只能通过人工猜测理解字段语义，导致重复表、冗余表大量存在，同一份业务数据被多处存储，数据资产难以有效管理和追溯。其二，数据库性能问题频发，运行过程中出现的慢查询、表锁冲突、索引失效等性能故障常常导致业务中断，且排查和修复周期较长，对业务连续性构成显著威胁。其三，人工智能技术在数据库优化领域的应用受到限制，由于ai（artificial intelligence，人工智能）模型存在生成看似合理但实际错误的建议这一“幻觉”问题，企业普遍不敢将ai模型直接应用于生产环境的数据库优化操作，导致智能化优化技术难以落地。其四，从问题发现、排查、解决到总结的完整闭环中，优化经验高度依赖高级工程师的个人能力，缺乏系统化的知识沉淀和复用机制，致使同类问题在团队内反复出现。

3、此外，现有数据库规范治理工具还存在多数据库适配能力不足、规则扩展性差等突出问题。绝大多数工具仅支持一种或两种主流数据库，对postgresql、oracle、sqlserver等数据库的支持能力有限甚至完全缺失，进而在多数据库混合部署环境下不得不使用多套工具分别检测，无法形成统一的规范治理体系。同时，现有工具的检测规则通常硬编码在程序代码中，新增或修改检测项需要改动代码并重新部署，导致规则维护成本随规则数量增长而急剧上升，难以满足不同行业对数据库规范的差异化定制需求。

技术实现思路

1、本技术的目的旨在至少能解决上述的技术缺陷之一。

2、一方面，本技术实施例提供了一种数据库规范的智能检测方法，该方法包括：

3、获取规则库中与目标数据库类型相匹配的检测规则，并根据与检测规则关联的扫描脚本驱动扫描引擎对目标数据库进行规范查询，得到各规范性问题列表和数据库结构摘要；

4、从经验库中检索与各规范性问题列表相匹配的历史相似案例以及获取各规范性问题列表所命中的规则库检测规则，并将各规范性问题列表、数据库结构摘要、历史相似案例和规则库检测规则输入至大语言模型进行深度推理，得到包含优化建议的智能检测结果，并为每条优化建议组装双证据链，双证据链包括规则证据链和经验证据链；

5、获取智能检测结果对应的多维度人工评分结果，并将智能检测结果和多维度人工评分结果关联存储至经验库，同时根据智能检测结果与多维度人工评分结果对目标数据库进行更新以形成闭环反馈；

6、若多维度人工评分结果不满足预设迭代要求，则重新基于大语言模型进行深度推理，直至得到的多维度人工评分结果满足预设迭代要求后生成最终优化报告并输出。

7、可选的，每条检测规则以结构化json格式进行定义，每条检测规则包含检测条件、关联的扫描脚本和参考标准，扫描引擎采用适配器模式结合spi（serial peripheralinterface，串行外设接口）插件化的机制。

8、可选的，数据库结构摘要以jsonl格式存储于本地文件系统，数据库结构摘要的目录结构包括数据库实例和扫描时间，目录结构包含数据库基本信息文件、表清单文件、字段清单文件、索引清单文件、约束清单文件、运行sql（structured query language，结构化查询语言）快照文件和慢查询日志文件。

9、可选的，经验库中包括各历史案例对应的向量数据，历史相似案例通过下列方式确定：

10、将各规范性问题列表拼接为查询文本，并通过embedding模型生成查询文本对应的查询向量；

11、基于近似最近邻算法从经验库中的向量数据检索出与查询向量对应的各初始历史相似案例，并结合元数据标签对各初始历史相似案例进行过滤，得到各候选历史相似案例；

12、根据预设加权评分条件对各候选历史相似案例进行加权评分处理，得到各候选历史相似案对应的加权分，并基于各候选历史相似案对应的加权分从各候选历史相似案中确定历史相似案例。

13、可选的，大语言模型通过下列方式得到包含优化建议的智能检测结果；

14、对各规范性问题列表进行多维度检测，得到对应的多维度检测结果，多维度检测包括关联字段类型一致性检测、冗余表检测检测、同字段名不同语义检测和外键关系完整性检测；

15、基于sql快照文件和慢查询日志文件将查询模式与数据库结构摘要的表结构进行交叉比对，得到高频join（连接）模式和缺失索引；

16、基于数据库基本信息文件、表清单文件、字段清单文件、索引清单文件和约束清单文件进行风险评估，得到评估结果；

17、根据多维度检测结果、评估结果、高频join模式和缺失索引，结合规则库检测规则和历史相似案例进行业务语义推理，得到包含优化建议的智能检测结果。

18、可选的，规则证据链包含知识编号、规则路径、匹配条件、证据数据和参考标准；经验证据链包含历史相似案例数量、历史采纳率、平均评分和案例摘要。

19、可选的，经验库采用结构化层与向量层的双层架构；结构化层采用关系型数据库来存储经验记录主表和统计聚合表，经验记录主表包括经验标识、关联规则库条目标识、数据库类型、原始问题描述、优化建议、各维度评分、采纳状态和反馈原因字段，统计聚合表包括规则库条目、数据库类型、行业维度聚合累计触发次数、采纳次数、采纳率和平均评分；向量层采用向量数据库的形式存储各历史案例对应的向量数据。

20、可选的，规则库中的检测规则基于预设的种子经验数据确定，每条种子经验数据的评分是根据用户反馈评分和衰减因子确定的，当衰减因子达到预设值时，则对种子经验数据的来源类型自动更新。

21、可选的，多维度人工评分结果是准确性人工评分、建议质量人工评分、证据充分性人工评分、优先级合理性人工评分和业务适用性人工评分的加权平均值，当多维度人工评分结果低于预设分数阈值时，获取人工反馈报告并展示。

22、另一方面，本技术实施例提供了一种数据库规范的智能检测装置，包括：

23、规则检测模块，用于获取规则库中与目标数据库类型相匹配的检测规则，并根据与检测规则关联的扫描脚本驱动扫描引擎对目标数据库进行规范查询，得到各规范性问题列表和数据库结构摘要；

24、模型推理模块，用于从经验库中检索与各规范性问题列表相匹配的历史相似案例以及获取各规范性问题列表所命中的规则库检测规则，并将各规范性问题列表、数据库结构摘要、历史相似案例和规则库检测规则输入至大语言模型进行深度推理，得到包含优化建议的智能检测结果，并为每条优化建议组装双证据链，双证据链包括规则证据链和经验证据链；

25、人工评审模块，用于获取智能检测结果对应的多维度人工评分结果，并将智能检测结果和多维度人工评分结果关联存储至经验库，同时根据智能检测结果与多维度人工评分结果对目标数据库进行更新以形成闭环反馈；

26、数据迭代模块，用于在多维度人工评分结果不满足预设迭代要求时，重新基于大语言模型进行深度推理，直至得到的多维度人工评分结果满足预设迭代要求后生成最终优化报告并输出。

27、再一方面，本技术实施例提供了一种电子设备，包括处理器和存储器：

28、存储器被配置用于存储机器可读指令，指令在由处理器执行时，使得处理器执行一种数据库规范的智能检测方法中的任一项方法。

29、本技术实施例提供的技术方案带来的有益效果至少包括:

30、在本技术中，可以预先配置规则库，然后基于规则库对目标数据库先进一次行规范查询，得到各规范性问题列表和数据库结构摘要，由于该规则库中的检测规则预先把数据库能写规则的问题进行说明，此时可以快速且准确的将部分问题检测出来，然后再基于经验库直接通过大语言模型进行深度推理，将ai模型直接应用于生产环境的数据库优化操作，把写不了规则的问题进行挖掘，实现进一步对各种性能故障进行检测，保证了问题检测的全面性。而且在此过程中由于是基于规则扫描与大语言模型分析的分层协作，此时不再是通过人工猜测理解字段语义，导致重复表、冗余表等问题，不再高度依赖高级工程师的个人能力，既保证了数据资产的有效管理和追溯，又可以快速检测目标数据库的规范问题，进一步的提升检测精度。

31、另外，对于得到的智能检测结果中的优化建议还需要进行多维度人工评分，并将智能检测结果和多维度人工评分结果关联存储至经验库，进而下次遇到类似问题时可以作为约束，保证后续得到的优化建议更加准确且适用。而对应给出的优化建议均包括规则证据链和经验证据链，保证了优化建议有据可查，更加符合实际要求。

32、此外，由于本技术中规则库中的检测规则基于预设的种子经验数据确定的，保证了系统的规则库从第一次使用时起就有丰富的历史数据支撑，并且种子经验的评分会随着真实用户反馈逐步进化，进一步提升了规则库的实际应用性。