一种面向企业在线教育高效MPP大数据引擎处理方法与流程

技术特征：
1.一种面向企业在线教育高效mpp大数据引擎处理方法，其特征在于，包括：建立标准快照数据库；预设数据仓库，所述数据仓库内的数据通过更新时间和创建时间获取当天内的新增及变化；根据所述数据仓库将其中的表分为维度表和事实表；将所述数据仓库的线上从库作为快照库，在执行快照之前，进行延迟同步判断验证；以外部表的方式采集数据输入至数据仓库，并从所述快照库内预设类型数据输入至数据仓库，并进行同步；当触发计算业务后，读取对应企业的配置信息，根据不同企业预设不同的计算模板；获取计算模板后，对所述计算模板的参数进行动态替换，生成基于结构化查询语言的执行模板；将企业对应的执行模板和由所述外部表输入的匹配数据输入至所述数据仓库；对数据仓库收到的数据，进行清洗和拉宽，并写入维度表和事实拉宽表；将对应的事实表写入预设的聚合表进行聚合计算。2.如权利要求1所述的一种面向企业在线教育高效mpp大数据引擎处理方法，其特征在于，根据所述数据仓库将其中的表分为维度表和事实表的步骤还包括：所述维度表采用更新时间为晚于或等于前一天的数据采集的开始时刻；所述事实表采用创建时间晚于或等于前一天数据采集的开始时刻且早于当天数据采集的开始时刻。3.如权利要求1所述的一种面向企业在线教育高效mpp大数据引擎处理方法，其特征在于，在执行快照之前，进行延迟同步判断验证的步骤包括：当触发所述数据仓库的主从库延时判断时，若延时没有超过预设条件则继续下一步骤；反之则进行等待，若等待次数超过预设次数，则进行报警；反之等待预设时间后，返回重新进行主从库延时判断。4.如权利要求1所述的一种面向企业在线教育高效mpp大数据引擎处理方法，其特征在于，并从所述快照库内预设类型数据输入至数据仓库，并进行同步的步骤包括：从所述快照库按照日期将全量、增量的数据存储至数据仓库中，并结合ods贴源层更新模式设计的表进行数据同步。5.如权利要求1所述的一种面向企业在线教育高效mpp大数据引擎处理方法，其特征在于，根据不同企业预设不同的计算模板的步骤包括：根据不同企业分别预设无定制项目的公共模板和与对应公司匹配的定制模块。6.如权利要求1所述的一种面向企业在线教育高效mpp大数据引擎处理方法，其特征在于，将对应的事实表写入预设的聚合表进行聚合计算后的步骤还包括：所述外部表获取数据、对数据仓库收到的数据进行清洗和拉宽以及聚合计算三个步骤中任一步骤出现执行错误，均进行报警。7.如权利要求1所述的一种面向企业在线教育高效mpp大数据引擎处理方法，其特征在于，所述数据仓库采用开源数据库starrocks。8.一种面向企业在线教育高效mpp大数据引擎处理系统，其特征在于，包括：前置预设模块，用于建立标准快照数据库；预设数据仓库，所述数据仓库内的数据通过更新时间和创建时间获取当天内的新增及变化；根据所述数据仓库将其中的表分为维度表和事实表；延迟判断模块，用于将所述数据仓库的线上从库作为快照库，在执行快照之前，进行延
迟同步判断验证；数据获取模块，用于以外部表的方式采集数据输入至数据仓库，并从所述快照库内预设类型数据输入至数据仓库，并进行同步；模板预设模块，用于当触发计算业务后，读取对应企业的配置信息，根据不同企业预设不同的计算模板；执行模板生成模块，用于获取计算模板后，对所述计算模板的参数进行动态替换，生成基于结构化查询语言的执行模板；综合数据获取模块，用于将企业对应的执行模板和由所述外部表输入的匹配数据输入至所述数据仓库；数据清洗模块，用于对数据仓库收到的数据，进行清洗和拉宽，并写入维度表和事实拉宽表；结果计算模块，用于将对应的事实表写入预设的聚合表进行聚合计算。9.一种电子设备，其特征在于，包括至少一个处理器、至少一个存储器和数据总线；其中：所述处理器与所述存储器通过所述数据总线完成相互间的通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求1-7任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结
本发明提出了一种面向企业在线教育高效MPP大数据引擎处理方法，涉及大数据引擎技术领域。包括通过编写SQL的方法来完成大数据的分析过程，并通过外部表与消息中间件作为离线和实时数据同步的方式来保证数据的采集时效性和准确性，针对不同的业务场景使用离线和实时方案。通过批流一体的计算实现对数据的清洗、加工、计算得到分析结果。从而实现技术收敛，将服务器成本、技术和运维复杂度降低。将流程缩减、服务组件减少，从而降低技术门槛，而且也只需要一种大数据引擎就能够支撑所有的大数据分析，不在需要引入其他分析引擎，降低维护成本。护成本。护成本。


技术研发人员：赵剑飞 唐湘峰 徐正彬
受保护的技术使用者：深圳市知学云科技有限公司
技术研发日：2022.06.10
技术公布日：2022/10/24