实现海量流量下实时数据报表的方法、装置和计算机设备与流程

技术特征：
1.一种实现海量流量下实时数据报表的方法，其特征在于，所述方法包括：获取业务数据，将所述业务数据存储至分布式键值集群；从所述分布式键值集群中获取动态数据分片，根据动态调度任务和预设的静态数据，对所述动态数据分片进行实时计算，得到实时计算结果；获取hadoop集群中的历史数据，对所述历史数据进行离线计算，得到离线计算结果；根据所述实时计算结果和所述离线计算结果，确定实时数据报表。2.根据权利要求1所述的实现海量流量下实时数据报表的方法，其特征在于，所述获取业务数据包括：通过数据库binlog采集中间件，秒级采集业务系统数据库日志，得到所述业务数据。3.根据权利要求1所述的实现海量流量下实时数据报表的方法，其特征在于，所述将所述业务数据存储至分布式键值集群包括：通过数据库中间件mycat，将所述业务数据存储至消息队列集群；在所述消息队列集群中，对所述业务数据进行预处理；所述预处理包括通过流量控制系统消费所述业务数据，以及将所述业务数据进行数据校验过滤和数据幂等性维持；将处理后的所述业务数据存储至所述分布式键值集群。4.根据权利要求1所述的实现海量流量下实时数据报表的方法，其特征在于，所述根据动态调度任务和预设的静态数据，对所述动态数据分片进行实时计算，得到实时计算结果包括：对所述动态数据分片和所述预设的静态数据进行sql计算，得到数据中间状态；对所述数据中间状态和所述动态调度任务进行计算，得到所述实时计算结果。5.根据权利要求1所述的实现海量流量下实时数据报表的方法，其特征在于，所述获取hadoop集群中的历史数据，对所述历史数据进行离线计算包括：获取所述hadoop集群中的所述历史数据，其中所述历史数据包括全量数据；对所述全量数据进行离线计算，得到历史计算结果。6.根据权利要求1所述的实现海量流量下实时数据报表的方法，其特征在于，所述获取hadoop集群中的历史数据，对所述历史数据进行离线计算包括：获取所述hadoop集群中的所述历史数据，其中所述历史数据包括增量数据；对所述增量数据进行离线计算，得到增量计算结果。7.根据权利要求1所述的实现海量流量下实时数据报表的方法，其特征在于，所述根据所述实时计算结果和所述离线计算结果，确定实时数据报表包括：通过数据库中间件读取所述实时计算结果和所述离线计算结果，生成对应的所述实时数据报表。8.一种实现海量流量下实时数据报表的装置，其特征在于，所述装置包括：获取模块，获取业务数据，将所述业务数据存储至分布式键值集群；动态模块，从所述分布式键值集群中获取动态数据分片，根据动态调度任务和预设的静态数据，对所述动态数据分片进行实时计算，得到实时计算结果；离线模块，获取hadoop集群中的历史数据，对所述历史数据进行离线计算，得到离线计算结果；
生成模块，根据所述实时计算结果和所述离线计算结果，确定实时数据报表。9.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的实现海量流量下实时数据报表方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的实现海量流量下实时数据报表方法的步骤。

技术总结
本申请涉及一种实现海量流量下实时数据报表的方法、装置和计算机设备，其中，该实现海量流量下实时数据报表的方法包括：获取业务数据，将业务数据存储至分布式键值集群，并从分布式键值集群中获取动态数据分片，根据动态调度任务和预设的静态数据，对动态数据分片进行实时计算，得到实时计算结果，进一步地，获取Hadoop集群中的历史数据，对历史数据进行离线计算，得到离线计算结果，从而根据实时计算结果和离线计算结果，确定实时数据报表，通过本申请，解决了无法处理海量数据并生成实时数据报表的问题，实现了在海量流量下生成实时数据报表的有益效果。报表的有益效果。报表的有益效果。


技术研发人员：赵贝贝 李冉
受保护的技术使用者：杭州安恒信息技术股份有限公司
技术研发日：2022.08.30
技术公布日：2022/12/16