基于多智能体协作的数据标准建设方法和系统
本发明涉及数据治理，具体为一种基于多智能体协作的数据标准建设方法和系统。
背景技术：
1、在数据治理框架中，数据标准是确保数据质量、统一性和可操作性的关键要素，为组织内部的数据管理与使用提供了规范性指导和一致性依据。数据标准内容通常包括数据定义、数据格式、编码规则、取值范围以及命名规范等内容，以实现不同系统间数据的互认互通。数据标准的高质量、快速化建立可有效保障数据治理的优质高效实施。
2、在数据标准建设过程中，传统方式主要依赖人工作业与基本工具完成。标准制定人员需要梳理现有数据库字段，结合行业标准与实际情况确定数据字段格式、取值范围等信息。该过程不仅耗时耗力，也受人员专业水平限制。因此，需要研究新兴人工智能技术，特别是大语言模型（large language models, llms）在数据标准建设过程中的应用路径。通过引入大语言模型的自然语言理解、上下文生成与知识推理能力，实现对现有数据资产的自动化识别、归类与语义解析，从而显著提升数据标准制定的效率与质量。
3、目前，基于大语言模型的数据治理仍面临诸多挑战。现有方法更多关注于单一模型的表现优化，忽略了数据标准制定过程“现状评估、参考研究、标准设计”等环节中大语言模型的全面参与，这导致在支持复杂业务流程和应对高度定制化需求方面存在不足。
技术实现思路
1、本发明的目的就在于为了解决上述至少一个技术问题而提供一种基于多智能体协作的数据标准建设方法和系统。
2、第一方面，本发明实施例提供了一种基于多智能体协作的数据标准建设方法，包括：基于数据理解智能体对数据集进行字段扫描与解析，得到字段信息和字段的注意力评分；所述字段信息包括字段的属性信息和语义信息；基于标准制定智能体和所述注意力评分，利用语义一致性评分迭代对齐算法对所述字段信息进行术语标准化处理，将形成高置信共识的字段组归并于初始数据字典的术语映射表，并将无法匹配的字段组作为独立条目写入所述初始数据字典，得到补充之后的数据字典；基于标准评估智能体结合预设评估标准对所述补充之后的数据字典进行合规检测、质量评估和内容优化，得到目标数据标准；其中，所述数据理解智能体、所述标准制定智能体和所述标准评估智能体为基于大语言模型构建的智能体。
3、可选地，基于数据理解智能体对数据集进行字段扫描与解析，得到字段信息和字段的注意力评分，包括：获取数据集的表结构信息；基于大语言模型对所述表结构信息进行语义理解和分析，得到字段信息；基于每个字段的命名规范程度、语义表达程度和是否存在跨系统同名异议，确定每个字段的注意力评分。
4、可选地，基于标准制定智能体和所述注意力评分，利用语义一致性评分迭代对齐算法对所述字段信息进行术语标准化处理，将形成高置信共识的字段组归并于初始数据字典的术语映射表，并将无法匹配的字段组作为独立条目写入所述初始数据字典，得到补充之后的数据字典，包括：基于所述字段信息计算每个字段之间的语义相似度，得到字段相似矩阵；基于大语言模型驱动的语义聚类，依据所述字段相似矩阵将语义相近的字段归并为多个语义组，并为每个语义组生成对应的映射提案，得到当前轮次提案；所述映射提案包括推荐标准名、成员字段、映射置信度和归并理由；基于所述注意力评分计算所述当前轮次提案的语义一致性得分，并基于语义一致性评分迭代对齐算法优化映射提案，直到所述语义一致性得分收敛或达到预设迭代轮次，得到目标字段组；将所述目标字段组中的高置信共识的字段组归并于初始数据字典的术语映射表，并将所述目标字段组中无法匹配的字段组作为独立条目写入所述初始数据字典，得到补充之后的数据字典。
5、可选地，所述字段相似矩阵包括：
6、
7、式中，sij为第i个字段与第j个字段的语义相似度，代表大模型评估两字段的名称相似度，代表大模型评估两字段的数据类型一致性，代表大模型评估两字段的值空间匹配程度，分别为对应的权重值，ci和cj分别为第i个字段和第j个字段。
8、可选地，所述语义一致性得分包括：
9、
10、式中，ct表示第t轮次的语义一致性得分，表示第g个映射提案的置信度，为注意力评分高于预设评分阈值的字段集合，为映射提案的分组个数，c表示字段，为惩罚系数，为预设置信阈值。
11、可选地，基于标准评估智能体结合预设评估标准对所述补充之后的数据字典进行合规检测、质量评估和内容优化，包括：基于大语言模型对预设评估标准进行检测和增强标准评估依据；基于所述标准评估依据判别所述补充之后的数据字典的内容是否符合所述预设评估标准，并对不符合所述预设评估标准的内容进行优化。
12、第二方面，本发明实施例还提供了一种基于多智能体协作的数据标准建设系统，包括：数据理解智能体、标准制定智能体和标准评估智能体；其中，所述数据理解智能体，用于基于大语言模型对数据集进行字段扫描与解析，得到字段信息和字段的注意力评分；所述字段信息包括字段的属性信息和语义信息；所述标准制定智能体，用于基于大语言模型和所述注意力评分，利用语义一致性评分迭代对齐算法对所述字段信息进行术语标准化处理，将形成高置信共识的字段组归并于初始数据字典的术语映射表，并将无法匹配的字段组作为独立条目写入所述初始数据字典，得到补充之后的数据字典；所述标准评估智能体，用于基于大语言模型结合预设评估标准对所述补充之后的数据字典进行合规检测、质量评估和内容优化，得到目标数据标准。
13、可选地，所述数据理解智能体包括：数据连接模块和字段命名语义解析模块；其中，所述数据连接模块，用于获取数据集的表结构信息；所述字段命名语义解析模块，用于基于大语言模型对所述表结构信息进行语义理解和分析，得到字段信息，和基于每个字段的命名规范程度、语义表达程度和是否存在跨系统同名异议，确定每个字段的注意力评分。
14、可选地，所述标准制定智能体，还用于：基于所述字段信息计算每个字段之间的语义相似度，得到字段相似矩阵；基于大语言模型驱动的语义聚类，依据所述字段相似矩阵将语义相近的字段归并为多个语义组，并为每个语义组生成对应的映射提案，得到当前轮次提案；所述映射提案包括推荐标准名、成员字段、映射置信度和归并理由；基于所述注意力评分计算所述当前轮次提案的语义一致性得分，并基于语义一致性评分迭代对齐算法优化映射提案，直到所述语义一致性得分收敛或达到预设迭代轮次，得到目标字段组；将所述目标字段组中的高置信共识的字段组归并于初始数据字典的术语映射表，并将所述目标字段组中无法匹配的字段组作为独立条目写入所述初始数据字典，得到补充之后的数据字典。
15、第三方面，本发明实施例还提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的方法。
16、第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如本发明实施例提供的方法。
17、本发明提供了一种基于多智能体协作的数据标准建设方法和系统，通过数据理解、标准制定与标准评估三个阶段的有机协同，充分发挥大语言模型在自然语言理解、语义推理与知识生成方面的能力，有效提升了数据标准制定的效率与质量，在缩短周期基础上，显著提升了字段命名规范、一致性与约束可控性，缓解了现有技术在支持复杂业务流程和应对高度定制化需求方面存在不足的问题。