一种基于分库分表的动态数据处理方法、系统和装置与流程

技术特征：
1.一种基于分库分表的动态数据处理方法，其特征在于，包括：接收输入数据并将输入数据与对应的模型标识绑定，根据绑定的模型标识以及当前用户标识获取相关数据；根据所述相关数据对输入数据进行效验，保留效验后符合要求的输入数据，并计算分库分表数据；将效验后的输入数据以及所述分库分表数据赋值给实体对象，由该实体对象进行orm，以生成sql；执行生成的sql，将返回的数据绑定到orm对应的实体对象，根据实体对象对应的相关数据对返回的数据进行效验后返回给调用方。2.根据权利要求1所述的基于分库分表的动态数据处理方法，其特征在于，所述相关数据包括模型和模型字段数据以及租户和角色权限数据，所述根据绑定的模型标识以及当前用户标识获取相关数据具体包括：根据绑定的模型标识获取模型和模型字段数据；根据当前用户标识获取当前用户的租户和角色权限数据。3.根据权利要求2所述的基于分库分表的动态数据处理方法，其特征在于，所述根据相关数据对输入数据进行效验，保留符合要求的输入数据，并计算分库分表数据具体包括：根据租户和角色权限数据过滤模型字段数据并用过滤后的模型字段数据对输入数据进行效验，保留效验后符合要求的输入数据；根据模型和模型字段数据以及租户和角色权限数据来计算分库分表数据。4.根据权利要求2所述的基于分库分表的动态数据处理方法，其特征在于，所述实体对象绑定有对应的模型标识并含有分库分表属性以及可扩展的键-值属性。5.根据权利要求4所述的基于分库分表的动态数据处理方法，其特征在于，在所述由该实体对象进行orm，以生成sql的过程中，将分库分表属性和键-值属性展开扁平化，将键-值属性的key、value的层级和分库分表属性的层级保持一致，将所有的分库分表属性和键-值属性的key绑定到sql的字段，将所有分库分表属性的值和键-值属性的value作为sql的参数。6.根据权利要求4所述的基于分库分表的动态数据处理方法，其特征在于，所述根据实体对象对应的相关数据对返回的数据进行效验后返回给调用方具体包括：根据实体对象绑定的模型标识得到对应的相关数据，根据相关数据中的模型和模型字段数据以及租户和角色权限数据来对返回的数据进行效验后返回给调用方。7.根据权利要求1-6任一所述的基于分库分表的动态数据处理方法，其特征在于，所述执行生成的sql具体包括：将生成的sql根据提前配置的分库分表规则路由到不同种类的数据库中执行，并返回数据库中执行后的数据。8.一种基于分库分表的动态数据处理系统，其特征在于，用于实现如权利要求1-7任一所述的基于分库分表的动态数据处理方法，所述系统包括数据建模、访问控制、解释执行服务以及分库分表中间件；所述数据建模提供可视化建模能力，产生模型和模型字段数据，其中包含用于分库分表规则的相关配置数据；
所述访问控制提供可视化租户、角色权限配置能力，产生租户和角色权限数据，用于过滤模型和模型字段数据，租户和部分角色权限数据用于分库分表规则；所述解释执行服务用于获得输入的不同格式数据，并将输入数据与对应的模型标识绑定，根据绑定的模型标识以及当前用户标识获取相关数据；根据相关数据对输入数据进行效验，保留效验后符合要求的输入数据，并计算分库分表数据；将效验后的输入数据以及分库分表数据赋值给实体对象，由该实体对象进行orm，以生成sql；当分库分表中间件返回执行sql后的数据时，将返回的数据绑定到orm对应的实体对象，根据实体对象对应的相关数据对返回的数据进行效验后返回给调用方；所述分库分表中间件用于获取生成的sql，将sql经过分库分表规则路由到不同种类的数据库中执行，并返回数据库中的数据。9.根据权利要求8所述的基于分库分表的动态数据处理系统，其特征在于，所述数据建模、访问控制、解释执行服务以及分库分表中间件通过分离成多个微服务或者合并成一个微服务来提供对应功能，其中当分库分表中间件独立部署时，由该分库分表中间件来连接不同种类的数据库并提供动态的增减数据库连接的功能，实现运行期间接入其他未连接的数据库。10.一种基于分库分表的动态数据处理装置，其特征在于：包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储能被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成权利要求1-7中任一项所述的基于分库分表的动态数据处理方法。

技术总结
本发明涉及一种基于分库分表的动态数据处理方法、系统和装置。其方法部分主要包括：接收输入数据并将输入数据与对应的模型标识绑定，根据绑定的模型标识以及当前用户标识获取相关数据；根据所述相关数据对输入数据进行效验，保留效验后符合要求的输入数据，并计算分库分表数据；将效验后的输入数据以及所述分库分表数据赋值给实体对象，由该实体对象进行ORM，以生成SQL；执行生成的SQL，将返回的数据绑定到ORM对应的实体对象，根据实体对象对应的相关数据对返回的数据进行效验后返回给调用方。本发明可以在不生成代码、不编辑的情况下，动态的适配不同格式数据，无需开发即可适配，提高了开发和运维的效率。提高了开发和运维的效率。提高了开发和运维的效率。


技术研发人员：胡昌华
受保护的技术使用者：烽火通信科技股份有限公司
技术研发日：2022.01.04
技术公布日：2022/5/17