数据聚合方法及装置与流程

技术特征：
1.一种数据聚合方法，其特征在于，包括：获取用户预先建立的多个展示页面对应的频道及每个所述频道的频道信息；确定每个所述展示页面中需要展示的各个模块及每个模块对应的各个第三方数据源；注册各个所述第三方数据源至本地，并基于各个所述展示页面的前端渲染逻辑对应的映射规则，将各个所述第三方数据源转成本地的数据源存入预先设置的本地数据库；获取每个所述模块的模块信息及每个所述数据源的数据源信息，并设置各个所述频道、各个所述模块和各个所述数据源之间的上下级关系列表；将所述频道信息、模块信息、数据源信息及所述上下级关系表存入预设的redis缓存中；基于所述上下级关系表，将每个所述频道对应的各个模块添加至该频道下，以及每个所述模块对应的各个数据源添加至该模块下，并生成每个所述频道对应的聚合信息；将所述聚合信息存入所述redis缓存中，完成数据聚合过程。2.根据权利要求1所述的方法，其特征在于，还包括：响应于客户端发送的页面访问指令，确定所述页面访问指令对应的目标展示页面，并获取所述页面访问指令中包含的所述展示页面对应的目标频道的频道信息；基于所述频道信息，确定所述redis缓存中所述目标频道对应的目标聚合信息，经由所述redis缓存获取所述目标聚合信息中的各个目标数据源；将各个所述目标数据源发送至所述客户端，使得所述客户端基于各个所述目标数据源渲染所述目标展示页面。3.根据权利要求2所述的方法，其特征在于，还包括：判断所述redis缓存中是否缓存所述目标频道对应的目标聚合信息；当所述redis缓存中未缓存所述目标频道对应的目标聚合信息时，获取所述redis缓存中存储的所述目标频道对应的目标上下级关系表；基于所述目标上下级关系表，确定与所述目标频道存在上下级关系的各个目标模块及与每个所述目标模块存在上下级关系的各个目标源数据；从所述本地数据库中获取各个目标源数据；基于所述上下级关系表及各个目标源数据，生成所述目标频道对应的目标聚合信息，并将所述目标聚合信息存储至所述redis缓存后，将各个所述目标源数据发送至所述客户端，使得所述客户端基于各个所述目标数据源渲染所述目标展示页面。4.根据权利要求1所述的方法，其特征在于，所述基于各个所述展示页面的前端渲染逻辑对应的映射规则，将各个所述第三方数据源转成本地的数据源存入预先设置的本地数据库，包括：确定每个所述第三方数据源所属的第三方服务器对应的数据结构；确定每个所述第三方服务器对应的数据结构与各个所述展示页面的前端渲染逻辑对应的数据结构是否一致；当任意的第三方服务器对应的数据结构与各个所述展示页面的前端渲染逻辑对应的数据结构不一致时，将所述第三方服务器的第三方数据源按照所述前端渲染逻辑对应的映射规则转成本地的数据源并存入所述本地数据库，其中，转换后的数据源的数据结构与所述前端渲染逻辑对应的数据结构一致。
5.根据权利要求1所述的方法，其特征在于，所述设置各个所述频道、各个所述模块和各个所述数据源之间的上下级关系列表，包括：获取每个所述频道信息中包含的频道id、每个所述模块信息中包含的模块id以及每个所述数据源信息中包含的数据源id；基于每个所述展示页面中需要展示的各个模块及每个模块对应的各个数据源，确定每个所述频道与多个模块之间的关联关系及每个所述模块与多个数据源之间的关联关系；对于每个所述频道，将所述频道的频道id与该频道关联的各个模块的模块id关联，生成所述频道对应的模块id列表；对于每个所述模块，将所述模块的模块id与该模块关联的各个数据源的数据源id关联，生成所述模块对应的数据源id列表；基于每个所述频道对应的模块id列表及每个所述模块对应的数据源表id列表，生成各个所述频道、各个所述模块和各个所述数据源之间的上下级关系列表。6.一种数据聚合装置，其特征在于，包括：第一获取单元，用于获取用户预先建立的多个展示页面对应的频道及每个所述频道的频道信息；第一确定单元，用于确定每个所述展示页面中需要展示的各个模块及每个模块对应的各个第三方数据源；第一存储单元，用于注册各个所述第三方数据源至本地，并基于各个所述展示页面的前端渲染逻辑对应的映射规则，将各个所述第三方数据源转成本地的数据源存入预先设置的本地数据库；设置单元，用于获取每个所述模块的模块信息及每个所述数据源的数据源信息，并设置各个所述频道、各个所述模块和各个所述数据源之间的上下级关系列表；第二存储单元，用于将所述频道信息、模块信息、数据源信息及所述上下级关系表存入预设的redis缓存中；生成单元，用于基于所述上下级关系表，将每个所述频道对应的各个模块添加至该频道下，以及每个所述模块对应的各个数据源添加至该模块下，并生成每个所述频道对应的聚合信息；第三存储单元，用于将所述聚合信息存入所述redis缓存中，完成数据聚合过程。7.根据权利要求6所述的装置，其特征在于，还包括：第二获取单元，用于响应于客户端发送的页面访问指令，确定所述页面访问指令对应的目标展示页面，并获取所述页面访问指令中包含的所述展示页面对应的目标频道的频道信息；第二确定单元，用于基于所述频道信息，确定所述redis缓存中所述目标频道对应的目标聚合信息，经由所述redis缓存获取所述目标聚合信息中的各个目标数据源；第一发送单元，用于将各个所述目标数据源发送至所述客户端，使得所述客户端基于各个所述目标数据源渲染所述目标展示页面。8.根据权利要求7所述的装置，其特征在于，还包括：判断单元，用于判断所述redis缓存中是否缓存所述目标频道对应的目标聚合信息；第三获取单元，用于当所述redis缓存中未缓存所述目标频道对应的目标聚合信息时，
获取所述redis缓存中存储的所述目标频道对应的目标上下级关系表；第三确定单元，用于基于所述目标上下级关系表，确定与所述目标频道存在上下级关系的各个目标模块及与每个所述目标模块存在上下级关系的各个目标源数据；第四获取单元，用于从所述本地数据库中获取各个目标源数据；第二发送单元，用于基于所述上下级关系表及各个目标源数据，生成所述目标频道对应的目标聚合信息，并将所述目标聚合信息存储至所述redis缓存后，将各个所述目标源数据发送至所述客户端，使得所述客户端基于各个所述目标数据源渲染所述目标展示页面。9.根据权利要求6所述的装置，其特征在于，所述第一存储单元，包括：第一确定子单元，用于确定每个所述第三方数据源所属的第三方服务器对应的数据结构；第二确定子单元，用于确定每个所述第三方服务器对应的数据结构与各个所述展示页面的前端渲染逻辑对应的数据结构是否一致；第一存储子单元，用于当任意的第三方服务器对应的数据结构与各个所述展示页面的前端渲染逻辑对应的数据结构不一致时，将所述第三方服务器的第三方数据源按照所述前端渲染逻辑对应的映射规则转成本地的数据源并存入所述本地数据库，其中，转换后的数据源的数据结构与所述前端渲染逻辑对应的数据结构一致。10.根据权利要求6所述的装置，其特征在于，所述设置单元，包括：第一获取子单元，用于获取每个所述频道信息中包含的频道id、每个所述模块信息中包含的模块id以及每个所述数据源信息中包含的数据源id；第三确定子单元，用于基于每个所述展示页面中需要展示的各个模块及每个模块对应的各个数据源，确定每个所述频道与多个模块之间的关联关系及每个所述模块与多个数据源之间的关联关系；第一生成子单元，用于对于每个所述频道，将所述频道的频道id与该频道关联的各个模块的模块id关联，生成所述频道对应的模块id列表；第二生成子单元，用于对于每个所述模块，将所述模块的模块id与该模块关联的各个数据源的数据源id关联，生成所述模块对应的数据源id列表；第三生成子单元，用于基于每个所述频道对应的模块id列表及每个所述模块对应的数据源表id列表，生成各个所述频道、各个所述模块和各个所述数据源之间的上下级关系列表。

技术总结
本发明提供一种数据聚合方法及装置，该方法包括：获取展示页面对应的频道及频道信息；确定需要展示的模块及其对应的第三方数据源；注册第三方数据源至本地，基于前端渲染逻辑对应的映射规则，将第三方数据源转成本地的数据源存入本地数据库；获取模块信息及数据源信息，设置频道、模块和数据源之间的上下级关系列表；将频道信息、模块信息、数据源信息及上下级关系表存入Redis缓存中；基于上下级关系表，将模块添加至频道下，数据源添加至模块下，生成聚合信息；将聚合信息存入Redis缓存。应用该方法，可以对数据进行聚合，后续请求数据时可以直接从Redis缓存获取数据源，避免通过多个服务器获取数据源导致返回数据的时间不一致。服务器获取数据源导致返回数据的时间不一致。服务器获取数据源导致返回数据的时间不一致。


技术研发人员：郑雄飞
受保护的技术使用者：湖南快乐阳光互动娱乐传媒有限公司
技术研发日：2022.04.21
技术公布日：2022/7/15