基于源节点图模型与字段树结构的动态数据包配置方法及系统与流程

摘要: 本申请涉及数据处理,具体涉及一种基于源节点图模型与字段树结构的动态数据包配置方法及系统。背景技术:1、在工程数字化交付等领域,通常需要将多源异构业务数据按照特定...
基于源节点图模型与字段树结构的动态数据包配置方法及系统与流程

本申请涉及数据处理,具体涉及一种基于源节点图模型与字段树结构的动态数据包配置方法及系统。

背景技术:

1、在工程数字化交付等领域,通常需要将多源异构业务数据按照特定格式进行组装与交付。现有技术中,例如中国专利cn112035091b公开了一种用于页岩气田的敏捷交付管理方法,该方法对于单一对象可通过可视化点选配置生成接口,但对于多个对象的关联交付,仍需技术人员编写sql语句来定义对象间的关联关系及查询逻辑。这种方式虽然在一定程度上降低了门槛,但本质上仍未摆脱对代码或脚本的依赖,当交付数据结构变更或跨项目复用时,仍需修改sql语句并重新部署,导致维护成本较高。此外,在处理具有层级关系的复杂嵌套数据时,传统方案往往采用循环逐行查询子表的方式,容易引发n+1查询性能退化问题,难以满足大数据量场景下的交付时效要求。因此,亟需一种能够将数据结构定义与取数逻辑彻底解耦,且能自动优化关联查询性能的基于源节点图模型与字段树结构的动态数据包配置方法。

技术实现思路

1、针对现有技术存在的数据交付接口配置耦合度高、多表关联查询性能差的问题,本申请旨在提供一种基于源节点图模型与字段树结构的动态数据包配置方法及系统,实现交付接口的零代码化配置与嵌套数据的高性能动态组装。

2、为实现上述目的,本申请采用如下技术方案:

3、一种基于源节点图模型与字段树结构的动态数据包配置方法,包括:

4、根据接口编码加载对应接口的字段树配置、源节点配置和源关系配置;

5、在内存中建立源节点映射表、源关系映射表和字段绑定映射表,并定位根节点;

6、从所述根节点出发,按照所述源关系配置定义的父子结构递归执行取数操作,每个源节点根据自身查询条件和父节点传入的关联参数动态构造sql查询,查询结果以源节点编码为键存入结果集缓存;其中,子节点采用基于父行集合的批量in查询;

7、以所述字段树配置为驱动,根据每个字段的字段类型分发处理,从所述结果集缓存中提取对应数据,递归组装为嵌套json结构;

8、将组装完成的所述嵌套json结构持久化为交付数据包。

9、上述方案通过将输出结构、取数单元与关联关系分离为三个独立配置实体,并在运行时基于源节点图递归取数与字段树驱动组装,实现了交付逻辑与业务代码的彻底解耦,同时利用基于父行集合的批量in查询机制避免了递归过程中的n+1性能问题。

10、作为一种可选实施方式,所述字段树配置用于定义输出的json结构及各字段的数据来源;所述源节点配置用于定义每个取数单元对应的数据库表和查询条件;所述源关系配置用于定义源节点之间的父子关联关系。

11、作为一种可选实施方式,所述每个源节点根据自身查询条件和父节点传入的关联参数动态构造sql查询,包括:收集当前节点需要查询的数据库列,并自动补充关联查询所需的join key列;解析当前源节点的whereconfig配置,将其中的占位符替换为实际的项目信息和接口信息。

12、作为一种可选实施方式,所述子节点采用基于父行集合的批量in查询,包括:从父节点查询结果集合中提取关联字段的所有非空不重复值,构造in参数化条件,连同所述源关系配置中的额外条件一并附加到子节点的where子句中。

13、作为一种可选实施方式,所述根据每个字段的字段类型分发处理,包括:若字段类型为string,从所述结果集缓存中取出对应数据库值;若字段类型为object,取首行作为当前上下文递归组装子字段;若字段类型为array,遍历数据行集逐行递归组装子字段。

14、作为一种可选实施方式,还包括源节点池化机制:源节点与接口解耦为独立资源池,通过中间关联表建立多对多关联,同一源节点被多个接口引用,各接口用各自的源关系配置定义关联方式。

15、作为一种可选实施方式,所述源节点配置还包括whereconfig配置,所述whereconfig配置采用数组对象json格式,支持十种操作符;所述whereconfig配置的值中包含的占位符在运行时替换为实际值。

16、作为一种可选实施方式,还包括sql注入防护机制:对所有用于动态构造sql查询的表名和列名进行正则校验,仅允许字母、数字和下划线组成的标识符;值通过参数化查询传递。

17、作为一种可选实施方式,还包括叶子字段三级值回退机制:叶子字段取值遵循数据库实际值、字段表配置的默认值、null的三级优先级回退机制。

18、本申请动态构建sql的占位符替换,{projectcode}、{projectename}、{interfacecode}等占位符运行时替换为实际值。whereconfig采用数组对象json格式,其中对象属性固定,支持 =、!=、>、>=、<、<=、like、in、between、is null、is not null 十种操作符。

19、此外,本申请还提供了一种基于源节点图模型与字段树结构的动态数据包配置系统,包括存储器和处理器,所述处理器执行所述存储器中存储的计算机程序时实现如上述方案所述的基于源节点图模型与字段树结构的动态数据包配置方法。

20、有益效果:本申请通过将字段树配置、源节点配置和源关系配置分离为三个独立的配置实体,使得输出结构定义、数据取数单元定义和数据关联关系定义彼此解耦,新增或修改交付接口仅需调整配置数据而无需编写代码,显著缩短了交付接口的开发与维护周期。通过构建源节点图并采用基于父行集合的批量in查询机制,在递归取数过程中能够从父节点结果集中提取关联字段的非空不重复值一次性查询所有子行数据,有效避免了传统循环查询导致的n+1性能退化问题,保证了复杂嵌套数据场景下的查询效率。通过以字段树配置为驱动并根据字段类型分发处理,能够自动适配string、object、array等不同数据类型,递归组装出任意深度嵌套的json交付包,满足了多样化交付格式的需求。此外,通过源节点池化机制实现了数据源的跨接口复用,结合占位符替换与sql注入防护机制,进一步提升了系统的通用性、灵活性及安全性。

1.一种基于源节点图模型与字段树结构的动态数据包配置方法,其特征在于,包括:

2.根据权利要求1所述的基于源节点图模型与字段树结构的动态数据包配置方法,其特征在于:所述字段树配置用于定义输出的json结构及各字段的数据来源;所述源节点配置用于定义每个取数单元对应的数据库表和查询条件;所述源关系配置用于定义源节点之间的父子关联关系。

3.根据权利要求2所述的基于源节点图模型与字段树结构的动态数据包配置方法,其特征在于,所述每个源节点根据自身查询条件和父节点传入的关联参数动态构造sql查询,包括:收集当前节点需要查询的数据库列,并自动补充关联查询所需的join key列;解析当前源节点的whereconfig配置,将其中的占位符替换为实际的项目信息和接口信息。

4.根据权利要求3所述的基于源节点图模型与字段树结构的动态数据包配置方法,其特征在于,所述子节点采用基于父行集合的批量in查询,包括:从父节点查询结果集合中提取关联字段的所有非空不重复值,构造in参数化条件,连同所述源关系配置中的额外条件一并附加到子节点的where子句中。

5.根据权利要求4所述的基于源节点图模型与字段树结构的动态数据包配置方法,其特征在于,所述根据每个字段的字段类型分发处理,包括:

6.根据权利要求1所述的基于源节点图模型与字段树结构的动态数据包配置方法,其特征在于,还包括源节点池化机制:源节点与接口解耦为独立资源池,通过中间关联表建立多对多关联,同一源节点被多个接口引用,各接口用各自的源关系配置定义关联方式。

7.根据权利要求6所述的基于源节点图模型与字段树结构的动态数据包配置方法,其特征在于:所述源节点配置还包括whereconfig配置,所述whereconfig配置采用数组对象json格式,支持十种操作符;所述whereconfig配置的值中包含的占位符在运行时替换为实际值。

8.根据权利要求7所述的基于源节点图模型与字段树结构的动态数据包配置方法,其特征在于,还包括sql注入防护机制:对所有用于动态构造sql查询的表名和列名进行正则校验,仅允许字母、数字和下划线组成的标识符;值通过参数化查询传递。

9.根据权利要求1所述的基于源节点图模型与字段树结构的动态数据包配置方法,其特征在于,所述方法还包括构建叶子字段三级值回退机制为:叶子字段取值遵循数据库实际值、字段表配置的默认值、null的三级优先级回退机制。

10.一种基于源节点图模型与字段树结构的动态数据包配置系统,包括存储器和处理器,其特征在于,所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至9中任一项所述的基于源节点图模型与字段树结构的动态数据包配置方法。