一种数据处理方法、电子设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种数据处理方法、电子设备及存储介质。

背景技术：

1、企业在落地数据仓库项目时，需要将业务系统的原始数据表加工成符合监管报送等用途的目标模型，这一过程高度依赖数据架构师和工程师的人工经验，存在效率低、复用性差的问题；现有辅助工具中，基于固定规则的模板只能识别标准化命名字段，对行业内常见的缩写字段难以处理且维护成本高，而近年来引入的大语言模型配合检索增强生成技术的方案，由于检索的是零散文本片段，缺乏字段、表之间的结构化语义关联，导致推理过程不可追溯、解释性差，对行业专业术语理解不足且容易产生错误结果，同时通用数据治理工具不内置行业标准词库和监管字典，无法直接满足行业要求，此外已有的结构化查询语言自动优化方案缺乏对关键业务逻辑区域的强制保护，在生产环境中存在改变业务结果的风险。

技术实现思路

1、本申请提供了一种数据处理方法、电子设备及存储介质，以至少解决相关技术中数据处理依赖人工经验导致效率低且跨机构经验无法复用、规则模板缺乏语义理解能力、检索增强生成架构推理不可追溯且对行业术语理解弱、通用治理工具缺乏行业纵深、以及结构化查询语言自动优化缺乏安全保护机制的问题。

2、本申请提供了一种数据处理方法，数据处理方法包括：接收用户输入数据，并根据用户输入数据确定对应的工作模式；响应于工作模式为从零建模模式或知识迁移模式，获取用户输入数据中的待处理字段，并对待处理字段进行语义拆分获得语义单元序列，其中，语义单元序列包括多个语义单元和多个语义单元之间的排列顺序；将语义单元与预设的标准词库进行匹配获得标准语义，并根据标准语义和多个语义单元之间的排列顺序，生成候选标准编码；将待处理字段与候选标准编码构建为候选映射关系，并在预设的映射知识库中进行查询获得第一查询结果；根据第一查询结果、候选标准编码与待处理字段之间的语义匹配度，计算候选映射关系的映射置信度；根据映射置信度从候选映射关系中确定出目标映射关系；根据用户输入数据确定目标表，并根据目标映射关系确定目标表对应的表间关联关系；根据表间关联关系，生成目标表对应的数据定义语句和查询语言脚本，并对查询语言脚本进行等价校验获得第一校验结果；响应于第一校验结果为成功，执行数据定义语句和查询语言脚本以生成目标表实例。

3、本申请还提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现上述任一种数据处理方法的步骤。

4、本申请还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被处理器执行时实现上述任一种数据处理方法的步骤。

5、通过本申请，根据用户输入数据确定工作模式：在从零建模模式/知识迁移模式下将待处理字段拆分成语义单元序列，将语义单元与标准词库匹配生成候选标准编码，构建候选映射关系并计算映射置信度以确定目标映射关系，进而确定目标表的表间关联关系，生成数据定义语句和查询语言脚本，在校验成功后生成目标表实例；在语言优化模式下通过优化规则库匹配、构造优化前后脚本片段并进行等价校验，经用户确认后应用优化结果。该方案实现了保险数仓建模的自动化与知识复用，提升了字段语义理解的准确性和行业适配性，保证了脚本生成与优化的正确性、可审计性和生产环境安全性。

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述用户输入数据确定对应的工作模式，包括：

4.根据权利要求1-3任一项所述的数据处理方法，其特征在于，所述根据所述第一查询结果、所述候选标准编码与所述待处理字段之间的语义匹配度，计算所述候选映射关系的映射置信度，包括：

5.根据权利要求4所述的数据处理方法，其特征在于，所述根据所述映射置信度从所述候选映射关系中确定出目标映射关系，包括：

6.根据权利要求5所述的数据处理方法，其特征在于，所述根据所述目标映射关系确定所述目标表对应的表间关联关系，包括：

7.根据权利要求6所述的数据处理方法，其特征在于，所述根据所述表间关联关系，生成所述目标表对应的数据定义语句和查询语言脚本，包括：

8.根据权利要求7所述的数据处理方法，其特征在于，所述对所述查询语言脚本进行等价校验获得第一校验结果，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述数据处理方法的步骤。