一种基于模型缓存实现的离线仓库实时交互方法与系统与流程

技术特征：
1.一种基于模型缓存实现的离线仓库实时交互方法，其特征在于，包含以下步骤：步骤1：捕获页面的交互操作数据并转换为系统可记录的元数据信息；步骤2：保持最终逻辑一致性对元数据信息进行拆分并存储，得到元数据；步骤3：对元数据中需要缓存处理的建模类元数据进行数据建模得到缓存建模数据；步骤4：基于缓存建模数据对需要缓存处理的计算类元数据进行数据计算得到缓存执行结果数据，并返回至页面展示；步骤5：重复执行步骤1
‑
4，当捕获到页面的交互操作数据中存在离线处理信号时执行步骤6；步骤6：对元数据中需要离线处理的建模类元数据进行数据建模得到离线建模数据；步骤7：基于离线建模数据对需要离线处理的计算类元数据进行数据计算得到离线执行结果数据，并返回至页面展示。2.如权利要求1所述的一种基于模型缓存实现的离线仓库实时交互方法，其特征在于，步骤1中所述页面交互操作数据包含页面代码开发、点击数据处理功能按钮操作；步骤1中的所述数据处理策略包含缓存处理执行策略、离线处理执行策略；步骤2中所述元数据包含建模类元数据、计算类元数据；步骤3中需要缓存处理的所述建模类元数据通过具有快速建模特性的数据库进行数据建模得到所述缓存建模数据；步骤4中对需要缓存处理的计算类元数据进行数据计算的方法包含随机采样、数据摘要、关键段提取、离散抽样中的任一种；步骤6中所述离线建模数据还需进行业务对照处理、语法分析处理、质保测试处理后与所述缓存建模数据保持结果一致；步骤7中对需要离线处理的计算类元数据进行数据计算的方法包含使用tez计算框架或mapreduce计算框架或storm计算框架或spark计算框架进行批数据的计算处理。3.如权利要求2所述的一种基于模型缓存实现的离线仓库实时交互方法，其特征在于，所述页面代码开发包含python计算机编程语言、php计算机编程语言、r计算机编程语言、javascript计算机编程语言、shell计算机编程语言、sql结构化查询语言、java计算机编程语言、golang计算机编程语言的代码块或脚本、二进制文件；所述点击数据处理功能按钮操作按照场景区分包含数据输入、数据探查、数据清洗、数据映射、数据加工、数据脱敏、数据加密、数据输出的操作；按照功能区分包含创建表、清空表、删除表、增加字段列、删除字段列，修改字段列名称、修改字段列类型、修改字段列注释、修改主键字段列、修改索引字段列、修改分区字段列、字段内容处理、表级处理、表间处理的操作；所述建模类元数据信息包含创建表、清空表、删除表、改动表结构操作；所述计算类元数据信息包含字段内容处理操作、表级处理操作、表间处理操作。4.如权利要求3所述的一种基于模型缓存实现的离线仓库实时交互方法，其特征在于，所述改动表结构操作包含对已存在的表结构进行增加字段列、删除字段列，修改字段列名称、修改字段列类型、修改字段列注释、修改主键字段列、修改索引字段列、修改分区字段列；所述字段内容处理操作包含添加缺省值、替换指定内容、字段内容拼接、字段内容运
算、截取指定位置内容、指定内容添加文字、删减指定内容、合并字段内容、分裂字段内容；所述表级处理操作包括过滤、聚合、分组、筛选、限制；所述表间处理操作包括多表关联、交叉连接、多表合并、多表间值运算。5.一种基于模型缓存实现的离线仓库实时交互系统，其特征在于，包含页面交互模块、元数据处理模块、缓存建模模块、缓存计算模块、离线建模模块、离线计算模块；所述页面交互模块用于获取系统页面上发生的页面交互操作数据并按照数据处理策略转化为传输至所述元数据模块的元数据信息，所述页面交互模块还用于获取离线处理信号并传输至所述离线建模模块；所述元数据模块用于将所述元数据信息拆分成建模类元数据、计算类元数据并分别传输至所述缓存建模模块、所述离线建模模块；所述缓存建模模块用于对需要缓存处理的建模类元数据进行数据建模处理得到缓存建模数据，并将需要缓存处理的计算类元数据传输至所述缓存计算模块；所述缓存计算模块用于基于所述缓存建模模块的执行情况对需要缓存处理的计算类元数据进行数据计算处理得到传输至所述页面交互模块、所述元数据模块的缓存执行结果数据；所述离线建模模块用于接收到所述离线处理信号后对需要离线处理的建模类元数据进行数据建模处理得到离线建模数据，并将需要离线处理的计算类元数据传输至所述离线计算模块；所述离线计算模块用于基于所述离线建模模块的执行情况对需要离线处理的计算类元数据进行数据计算处理得到传输至所述页面交互模块、所述元数据模块的离线执行结果数据。6.如权利要求5所述的一种基于模型缓存实现的离线仓库实时交互系统，其特征在于，所述页面交互操作数据包含页面代码开发、点击数据处理功能按钮操作；所述数据处理策略包含缓存处理执行策略、离线处理执行策略；所述元数据包含建模类元数据、计算类元数据；所述建模类元数据通过所述缓存建模模块内置的具有快速建模特性的数据库进行数据建模得到所述缓存建模；对需要缓存处理的所述计算类元数据进行数据计算的方法包含随机采样、数据摘要、关键段提取、离散抽样中的任一种；所述离线建模模块还用于对所述离线建模数据进行业务对照处理、语法分析处理、质保测试处理后与所述缓存建模数据保持结果一致；对需要离线处理的所述计算类元数据进行数据计算的方法包含使用tez计算框架或mapreduce计算框架或storm计算框架或spark计算框架进行批数据的计算处理。7.如权利要求6所述的一种基于模型缓存实现的离线仓库实时交互系统，其特征在于，所述页面代码开发包含python计算机编程语言、php计算机编程语言、r计算机编程语言、javascript计算机编程语言、shell计算机编程语言、sql结构化查询语言、java计算机编程语言、golang计算机编程语言的代码块或脚本、二进制文件；所述点击数据处理功能按钮操作按照场景区分包含数据输入、数据探查、数据清洗、数据映射、数据加工、数据脱敏、数据加密、数据输出的操作；
按照功能区分包含创建表、清空表、删除表、增加字段列、删除字段列，修改字段列名称、修改字段列类型、修改字段列注释、修改主键字段列、修改索引字段列、修改分区字段列、字段内容处理、表级处理、表间处理的操作；所述建模类元数据信息包含创建表、清空表、删除表、改动表结构操作；所述计算类元数据信息包含字段内容处理操作、表级处理操作、表间处理操作。8.如权利要求7所述的一种基于模型缓存实现的离线仓库实时交互系统，其特征在于，所述改动表结构操作包含对已存在的表结构进行增加字段列、删除字段列，修改字段列名称、修改字段列类型、修改字段列注释、修改主键字段列、修改索引字段列、修改分区字段列；所述字段内容处理操作包含添加缺省值、替换指定内容、字段内容拼接、字段内容运算、截取指定位置内容、指定内容添加文字、删减指定内容、合并字段内容、分裂字段内容；所述表级处理操作包括过滤、聚合、分组、筛选、限制；所述表间处理操作包括多表关联、交叉连接、多表合并、多表间值运算。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的方法的步骤。

技术总结
本发明公开了一种基于模型缓存实现的离线仓库实时交互方法与系统，方法包含以下步骤：捕获页面的交互操作数据并转换为系统可记录的元数据信息；对元数据信息进行拆分并存储得到元数据；对元数据中需要缓存处理的建模类元数据进行数据建模得到缓存建模数据；对需要缓存处理的计算类元数据进行数据计算得到缓存执行结果数据并返回至页面展示；重复执行上述步骤直至得到离线处理信号时执行：对元数据中需要离线处理的建模类元数据进行数据建模得到离线建模数据；对需要离线处理的计算类元数据进行数据计算得到离线执行结果数据并返回至页面展示；系统包含页面交互模块、元数据处理模块、缓存建模模块、缓存计算模块、离线建模模块、离线计算模块。离线计算模块。离线计算模块。


技术研发人员：蔡予 谢赟 葛兵 陈大伟
受保护的技术使用者：上海德拓信息技术股份有限公司
技术研发日：2021.08.24
技术公布日：2021/11/5