城轨线网数据处理方法、电子设备及存储介质与流程

本技术涉及数据治理，具体而言，涉及一种城轨线网数据处理方法、电子设备及存储介质。

背景技术：

1、城市轨道交通已进入线网化运营阶段，线网级数据中心作为数据汇聚、处理与服务的核心枢纽，承担着支撑运营调度、客流预测、设备运维、清分结算等关键业务的重要职能。随着线网规模持续扩大和智能化水平不断提升，如何高效、智能、安全地实现线网级数据中心的自动化数据治理，已成为城轨行业数字化转型中亟待解决的关键问题。

2、现有技术中的城轨线网数据中心建设普遍采用数据平台、业务需求以及数据治理开发模式。其中，数据平台提供数据接入、处理和分析能力，数据治理开发则依赖业务盘点及业务需求驱动。

3、然而，现有技术中通常仅能通过人工完成数据标准制定、质量规则配置、数据模型设计等工作，存在规则僵化、过分人工依赖、语义割裂、协同困难以及治理任务碎片化的问题。

技术实现思路

1、本技术的目的在于，针对上述现有技术中的不足，提供一种城轨线网数据处理方法、电子设备及存储介质，以解决现有技术中规则僵化、过分人工依赖、语义割裂、协同困难以及治理任务碎片化的问题。

2、为实现上述目的，本技术实施例采用的技术方案如下：

3、第一方面，本技术一实施例提供了一种城轨线网数据处理方法，所述方法包括：

4、获取用户输入的非结构化需求信息，从所述非结构化需求信息中提取得到数据治理信息，并根据所述数据治理信息以及预先训练得到的中心大模型，确定治理需求语义元组，所述治理需求语义元组包括：业务场景、治理对象、治理指标、量化目标以及隐含约束；

5、根据所述治理对象、所述业务场景以及预先构造得到的全域数据资产目录，确定当前场景特征元组，并由所述中心大模型基于所述当前场景特征元组以及所述治理需求语义元组，生成数据治理方案文档；

6、根据所述非结构化需求信息、所述数据治理方案文档以及所述全域数据资产目录，确定任务编排信息以及数据库操作语句，所述任务编排信息包括：业务语义结构化数据、字段映射推荐信息以及逻辑模型描述信息；

7、根据所述任务编排信息、所述数据库操作语句、所述全域数据资产目录以及所述数据治理方案文档，生成可执行任务包，并执行所述可执行任务包。

8、可选地，所述根据所述治理对象、所述业务场景以及预先构造得到的全域数据资产目录，确定当前场景特征元组，包括：

9、根据所述治理对象，从预先构造得到的全域数据资产目录中匹配得到所述治理对象对应的数据源集合，所述数据源集合包括至少一个数据源；

10、根据所述治理对象以及所述数据源集合，从所述全域数据资产目录中读取得到所述治理对象对应的至少一个元数据信息；

11、根据所述业务场景，从各所述元数据信息中，提取得到当前场景特征元组，所述当前场景特征元组至少包括：数据量级、数据来源、数据变化类型以及安全等级。

12、可选地，所述由所述中心大模型基于所述当前场景特征元组以及所述治理需求语义元组，生成数据治理方案文档，包括：

13、由所述中心大模型基于所述当前场景特征元组以及预先构造得到的治理策略候选池，确定至少一个候选数据治理策略；

14、由所述中心大模型根据所述治理指标、所述量化目标、所述隐含约束，从各候选数据治理策略中，确定出目标数据治理策略；

15、由所述中心大模型根据所述目标数据治理策略以及所述治理需求语义元组，生成数据治理方案文档。

16、可选地，所述根据所述非结构化需求信息、所述数据治理方案文档以及所述全域数据资产目录，确定任务编排信息以及数据库操作语句，包括：

17、对所述非结构化需求信息进行业务语义抽取，得到业务语义结构化数据；

18、根据所述业务语义结构化数据、所述全域数据资产目录以及预先构造得到的行业知识库，确定字段映射推荐信息；

19、根据所述业务语义结构化数据、所述字段映射推荐信息以及所述数据治理方案文档中的目标数据治理策略，确定逻辑模型描述信息以及数据库操作语句。

20、可选地，所述根据所述业务语义结构化数据、所述全域数据资产目录以及预先构造得到的行业知识库，确定字段映射推荐信息，包括：

21、根据所述业务语义结构化数据，生成至少一个查询向量；

22、根据各所述查询向量，从所述全域数据资产目录中检索得到至少一个第一待选字段映射信息；

23、根据各所述查询向量，从所述行业知识库中检索得到至少一个第二待选字段映射信息；

24、由所述中心大模型基于各所述第一待选字段映射信息以及各所述第二待选字段映射信息，生成字段映射推荐信息。

25、可选地，所述根据所述业务语义结构化数据、所述字段映射推荐信息以及所述数据治理方案文档中的目标数据治理策略，确定逻辑模型描述信息以及数据库操作语句，包括：

26、根据所述业务语义结构化数据，确定建模模式，并根据所述建模模式，从预设的多个模板结构中，确定目标逻辑模型描述模板以及目标数据库语句模板；

27、根据所述字段映射推荐信息以及所述数据治理方案文档中的目标数据治理策略，对所述目标逻辑模型描述模板以及目标数据库语句模板进行填充，得到所述逻辑模型描述信息以及所述数据库操作语句。

28、可选地，所述根据所述任务编排信息、所述数据库操作语句、所述全域数据资产目录以及所述数据治理方案文档，生成可执行任务包，包括：

29、由中心大模型根据所述任务编排信息、所述数据库操作语句、所述全域数据资产目录以及所述数据治理方案文档，得到子任务清单以及子任务依赖关系，所述子任务清单包括：至少一个子任务以及各子任务对应的任务描述；

30、获取各子任务对应的脚本模板，由中心大模型根据各子任务对应的任务描述以及各子任务对应的脚本模板，生成各子任务对应的脚本；

31、根据所述任务编排信息、所述数据库操作语句、所述全域数据资产目录以及所述数据治理方案文档，生成配置文件；

32、根据所述子任务清单、所述子任务依赖关系、各子任务对应的脚本以及所述配置文件，生成可执行任务包。

33、可选地，所述执行所述可执行任务包之后，所述方法还包括：

34、获取执行状态以及质量指标；

35、根据所述执行状态、所述质量指标以及所述数据治理方案文档中的目标数据治理策略，确定治理评分；

36、根据所述治理评分以及所述量化目标，确定治理结果；

37、若治理结果为达标，由所述中心大模型生成治理效果报告；

38、若治理结果为不达标，由所述中心大模型根据所述治理评分，对所述可执行任务包进行调整，并重新执行调整后的可执行任务包。

39、第二方面，本技术另一实施例提供了一种城轨线网数据处理装置，所述装置包括：

40、获取模块，用于获取用户输入的非结构化需求信息，从所述非结构化需求信息中提取得到数据治理信息，并根据所述数据治理信息以及预先训练得到的中心大模型，确定治理需求语义元组，所述治理需求语义元组包括：业务场景、治理对象、治理指标、量化目标以及隐含约束；

41、第一确定模块，用于根据所述治理对象、所述业务场景以及预先构造得到的全域数据资产目录，确定当前场景特征元组，并由所述中心大模型基于所述当前场景特征元组以及所述治理需求语义元组，生成数据治理方案文档；

42、第二确定模块，用于根据所述非结构化需求信息、所述数据治理方案文档以及所述全域数据资产目录，确定任务编排信息以及数据库操作语句，所述任务编排信息包括：业务语义结构化数据、字段映射推荐信息以及逻辑模型描述信息；

43、生成模块，用于根据所述任务编排信息、所述数据库操作语句、所述全域数据资产目录以及所述数据治理方案文档，生成可执行任务包，并执行所述可执行任务包。

44、可选地，所述第一确定模块，具体用于：

45、根据所述治理对象，从预先构造得到的全域数据资产目录中匹配得到所述治理对象对应的数据源集合，所述数据源集合包括至少一个数据源；

46、根据所述治理对象以及所述数据源集合，从所述全域数据资产目录中读取得到所述治理对象对应的至少一个元数据信息；

47、根据所述业务场景，从各所述元数据信息中，提取得到当前场景特征元组，所述当前场景特征元组至少包括：数据量级、数据来源、数据变化类型以及安全等级。

48、可选地，所述第一确定模块，具体用于：

49、由所述中心大模型基于所述当前场景特征元组以及预先构造得到的治理策略候选池，确定至少一个候选数据治理策略；

50、由所述中心大模型根据所述治理指标、所述量化目标、所述隐含约束，从各候选数据治理策略中，确定出目标数据治理策略；

51、由所述中心大模型根据所述目标数据治理策略以及所述治理需求语义元组，生成数据治理方案文档。

52、可选地，所述第二确定模块，具体用于：

53、对所述非结构化需求信息进行业务语义抽取，得到业务语义结构化数据；

54、根据所述业务语义结构化数据、所述全域数据资产目录以及预先构造得到的行业知识库，确定字段映射推荐信息；

55、根据所述业务语义结构化数据、所述字段映射推荐信息以及所述数据治理方案文档中的目标数据治理策略，确定逻辑模型描述信息以及数据库操作语句。

56、可选地，所述第二确定模块，具体用于：

57、根据所述业务语义结构化数据，生成至少一个查询向量；

58、根据各所述查询向量，从所述全域数据资产目录中检索得到至少一个第一待选字段映射信息；

59、根据各所述查询向量，从所述行业知识库中检索得到至少一个第二待选字段映射信息；

60、由所述中心大模型基于各所述第一待选字段映射信息以及各所述第二待选字段映射信息，生成字段映射推荐信息。

61、可选地，所述第二确定模块，具体用于：

62、根据所述业务语义结构化数据，确定建模模式，并根据所述建模模式，从预设的多个模板结构中，确定目标逻辑模型描述模板以及目标数据库语句模板；

63、根据所述字段映射推荐信息以及所述数据治理方案文档中的目标数据治理策略，对所述目标逻辑模型描述模板以及目标数据库语句模板进行填充，得到所述逻辑模型描述信息以及所述数据库操作语句。

64、可选地，所述生成模块，具体用于：

65、由中心大模型根据所述任务编排信息、所述数据库操作语句、所述全域数据资产目录以及所述数据治理方案文档，得到子任务清单以及子任务依赖关系，所述子任务清单包括：至少一个子任务以及各子任务对应的任务描述；

66、获取各子任务对应的脚本模板，由中心大模型根据各子任务对应的任务描述以及各子任务对应的脚本模板，生成各子任务对应的脚本；

67、根据所述任务编排信息、所述数据库操作语句、所述全域数据资产目录以及所述数据治理方案文档，生成配置文件；

68、根据所述子任务清单、所述子任务依赖关系、各子任务对应的脚本以及所述配置文件，生成可执行任务包。

69、可选地，所述生成模块，还用于：

70、获取执行状态以及质量指标；

71、根据所述执行状态、所述质量指标以及所述数据治理方案文档中的目标数据治理策略，确定治理评分；

72、根据所述治理评分以及所述量化目标，确定治理结果；

73、若治理结果为达标，由所述中心大模型生成治理效果报告；

74、若治理结果为不达标，由所述中心大模型根据所述治理评分，对所述可执行任务包进行调整，并重新执行调整后的可执行任务包。

75、第三方面，本技术另一实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面任一所述方法的步骤。

76、第四方面，本技术另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述方法的步骤。

77、本技术的有益效果是：通过获取用户输入的非结构化需求信息，从非结构化需求信息中提取得到数据治理信息，并根据数据治理信息以及预先训练得到的中心大模型，确定治理需求语义元组，并根据治理对象、业务场景以及预先构造得到的全域数据资产目录，确定当前场景特征元组，并由中心大模型基于当前场景特征元组以及治理需求语义元组，生成数据治理方案文档，能够自动生成城轨线网数据治理方案，摆脱对专家经验的高度依赖，并根据非结构化需求信息、数据治理方案文档以及全域数据资产目录，确定任务编排信息以及数据库操作语句，并根据任务编排信息、数据库操作语句、全域数据资产目录以及数据治理方案文档，生成可执行任务包，并执行可执行任务包，能够自动消除跨系统、跨部门的数据语义冲突，实现数据标准与模型的智能推荐设计，从而实现数据治理任务的自动化编排与闭环执行，形成问题识别、策略生成、任务执行以及效果验证的自优化治理链路。