一种混合架构的数据仓库系统及实现方法与流程

1.本技术涉及数据仓库技术领域，尤其涉及一种混合架构的数据仓库系统及实现方法。


背景技术：

2.随着企业业务规模的增长和数字化转型的快速发展，为了实现内部统一的数据存储及分析，普遍实施了以teradata、greenplum等为代表的中高端数据仓库系统项目，通过汇总内部各系统的数据，并根据数据标准化要求，进行清洗、转换，最终统一存储用于行内数据统计与分析。对内优化管理提高业务，对外可以数据合作价值释放，成为企业数据资产管理中枢，提供高效的各种数据服务。近几年大数据的概念逐渐流行起来，同时针对大数据的存储、处理和分析技术也得到了迅速的发展，例如hadoop等开源大数据项目。
3.但大数据技术也存在其局限性，例如hadoop技术在超大文件、流数据处理、分布处理等方面具有较大优势，但在低延迟数据访问、数据多次写入、大量小文件处理的支持上还存在较大缺陷。在进行数据仓库项目的建设选型中，采取传统数据仓库技术难以支持大数据的处理，而采取hadoop等大数据技术又在传统数据应用支持上存在缺陷。


技术实现要素：

4.针对现有技术的上述不足，本发明提供一种混合架构的数据仓库系统及实现方法，以解决上述技术问题。
5.第一方面，本技术提供了一种混合架构的数据仓库系统，系统包括：实时数据仓库，用于通过基于内存的数据仓库存储预设系统在第一时间段内生成的实时业务数据；获取预设结构化数据，基于预设检测逻辑，检测实时业务数据是否异常；历史数据仓库，用于通过预设关系型数据仓库存储预设系统在第二时间段内生成的预设结构化数据；根据预设处理逻辑处理预设结构化数据；其中，第二时间段大于第一时间段，预设结构化数据包含实时业务数据；归档数据仓库，用于通过预设大数据数据仓库存储预设系统在第三时间段内生成的预设非结构化数据，以及存储预设结构化数据；其中，第三时间段大于第二时间段；数据总线，用于接收预设系统上传的预设结构化数据或预设非结构化数据；通过预设查询界面获取数据查询指令，展示数据查询指令对应的预设结构化数据或预设非结构化数据。
6.进一步地，实时数据仓库包括数据存储层；数据存储层，用于通过redis数据库获取预设系统在第一时间段内生成的实时业务数据；通过mysql数据库从历史数据仓库中获取当日预设结构化数据。
7.进一步地，实时数据仓库还包括应用层；应用层至少包括：数据服务池模块、事务处理模块、批处理模块、sql适配器；数据服务池模块，用于通过预设检测逻辑组件检测实时业务数据是否异常；事务处理模块，用于在检测到实时业务数据异常时，启动数据回滚；批处理模块，用于基于当日预设结构化数据，核对实时业务数据；sql适配器，用于封装对基于内存的数据仓库的访问。
8.进一步地，数据服务池模块还包括参数配置单元；参数配置单元，用于通过后端界面获取预设检测逻辑组件对应的配置参数。
9.进一步地，历史数据仓库包括：数据转换模块、数据处理模块、etl调度模块；数据转换模块，用于向预设系统下发数据标准化规则，以使预设系统向预设数据标准接口上传已标准化处理的预设结构化数据；数据处理模块，用于基于etl预设结构化数据调度至预设ods数据贴源层；进而通过预设ods数据贴源层、预设dwd明细层、预设dws汇总层、预设ads应用服务层处理预设结构化数据。
10.第二方面，本技术提供了一种混合架构的数据仓库实现方法，方法包括：通过基于内存的数据仓库存储预设系统在第一时间段内生成的实时业务数据；获取预设结构化数据，基于预设检测逻辑，检测实时业务数据是否异常；通过预设关系型数据仓库存储预设系统在第二时间段内生成的预设结构化数据；根据预设处理逻辑处理预设结构化数据；其中，第二时间段大于第一时间段，预设结构化数据包含实时业务数据；通过预设大数据数据仓库存储预设系统在第三时间段内生成的预设非结构化数据，以及存储预设结构化数据；其中，第三时间段大于第二时间段；接收预设系统上传的预设结构化数据或预设非结构化数据；通过预设查询界面获取数据查询指令，展示数据查询指令对应的预设结构化数据或预设非结构化数据。
11.进一步地，基于预设检测逻辑，检测实时业务数据是否异常，具体包括：通过预设检测逻辑组件检测实时业务数据是否异常。
12.进一步地，在基于预设检测逻辑，检测实时业务数据是否异常之后，方法还包括：在检测到实时业务数据异常时，启动数据回滚。
13.本领域技术人员能够理解的是，本发明至少具有如下有益效果：为了在数据时间范围、数据访问性能、访问方式支持、数据类型支持等不同的情况下依然运行，本系统设置了实时数据仓库、历史数据仓库和归档数据仓库。本技术公开的实时数据仓库采用基于内存的数据仓库，采集较短时间段内的数据，能够支持数据的实时更新和实时访问，利用基于内存的数据仓库高效的内存计算技术，实现了实时汇总、整合处理，同时可以支持高频读写的应用访问场景。历史数据仓库包括关系型数据仓库，采集稍长时间段内的数据，能够为经营分析和管理决策提供全方位、多角度、深层次的数据支持，满足分析型应用需求。归档数据仓库主要存储长时间段内的数据，采用大数据数据库，除满足基本的数据归档和查询需求外，还可支持后续对非结构化数据及大数据处理的扩展。数据总线定位为针对外围应用系统访问实时、历史、归档数据仓库的数据查询服务，通过统一的接口服务，实现外围应用对跨系统、跨周期数据的查询。数据总线提供查询服务，满足高并发、小数据量的查询（例如，查询实时数据仓库中的数据）；满足大数据量的查询（例如，查询归档数据仓库中的数据）。
附图说明
14.下面参照附图来描述本公开的部分实施例，附图中：图1是本技术实施例提供的一种混合架构的数据仓库系统内部结构示意图。
15.图2是本技术实施例提供的一种混合架构的数据仓库实现方法流程图。
具体实施方式
16.本领域技术人员应当理解的是，下文所描述的实施例仅仅是本公开的优选实施例，并不表示本公开仅能通过该优选实施例实现，该优选实施例仅仅是用于解释本公开的技术原理，并非用于限制本公开的保护范围。基于本公开提供的优选实施例，本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例，仍应落入到本公开的保护范围之内。
17.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
18.下面通过附图对本技术实施例提出的技术方案进行详细的说明。
19.图1为本技术实施例提供的一种混合架构的数据仓库系统。如图1所示，本技术实施例提供的系统，主要包括实时数据仓库110、历史数据仓库120、归档数据仓库130和数据总线140。
20.关于短期数据：系统通过实时数据仓库110进行数据的实时更新、实时汇总、整合处理。具体地，通过基于内存的数据仓库存储预设系统在第一时间段内生成的实时业务数据；获取预设结构化数据，基于预设检测逻辑，检测实时业务数据是否异常。
21.需要说明的是，基于内存的数据仓库可以为redis数据库。第一时间段范围可以为1天-7天。
22.此外，在检测实时业务数据是否异常之前，实时数据仓库110通过数据存储层存储实时业务数据，获得预设结构化数据。具体存储实时业务数据和获取预设结构化数据的过程可以为：数据存储层通过redis数据库获取预设系统在第一时间段内生成的实时业务数据；通过mysql数据库从历史数据仓库120中获取当日预设结构化数据，以进行当时数据对比。需要说明的是预设结构化数据包含的实时业务数据。作为示例地，实时数据仓库110还包括应用层；应用层还包括批处理模块；通过批处理模块获得实时数据仓库110中的当日预设结构化数据，以核对当日的实时业务数据。
23.其中，“基于预设检测逻辑，检测实时业务数据是否异常”可以具体为：应用层还包括：数据服务池模块；数据服务池模块能够通过预设检测逻辑组件检测实时业务数据是否异常；需要说明的是，预设检测逻辑组件中包含预设检测逻辑，预设检测逻辑的具体内容可由本领域技术人员根据实际情况确定。在实际情况改变时，可以通过数据服务池模块预设的参数配置单元中的后端界面获取预设检测逻辑组件对应的配置参数，达到修改预设检测逻辑的目的。
24.此外，应用层还包括：事务处理模块、sql适配器；事务处理模块，用于在检测到实时业务数据异常时，启动数据回滚。以便于恢复正常数据。sql适配器，用于封装对基于内存的数据仓库的访问，以便于随时调用数据仓库中的数据。
25.关于中期数据：系统中的历史数据仓库120通过预设关系型数据仓库存储预设系统在第二时间段内生成的预设结构化数据；根据预设处理逻辑处理预设结构化数据；其中，第二时间段大于第一时间段，预设结构化数据包含实时业务数据。
26.需要说明的是，预设结构化数据可为预设具有商业价值的基础数据，以便于根据预设处理逻辑对有商业价值的数据进行存储、整合和加工处理。第二时间段具体范围可以为1天-3年。
27.其中，“根据预设处理逻辑处理预设结构化数据”可以具体为：通过历史数据仓库120中的数据转换模块向预设系统下发数据标准化规则，以使预设系统向预设数据标准接口上传已标准化处理的预设结构化数据；历史数据仓库120中的数据处理模块基于etl预设结构化数据调度至预设ods数据贴源层；进而通过预设ods数据贴源层、预设dwd明细层、预设dwd汇总层、预设ads应用服务层处理预设结构化数据。
28.关于长期数据：系统中的归档数据仓库130通过预设大数据数据仓库存储预设系统在第三时间段内生成的预设非结构化数据，以及存储预设结构化数据。
29.需要说明的是，预设大数据数据仓库可以为通过该hadoop等大数据平台搭建的数据仓库。第三时间段的范围至少为3年。预设非结构化数据可由本领域技术人员根据实际情况确定。
30.关于短期数据、中期数据和长期数据的获取等调度操作：通过数据总线140接收预设系统上传的预设结构化数据或预设非结构化数据；通过预设查询界面获取数据查询指令，展示数据查询指令对应的预设结构化数据或预设非结构化数据。
31.除此之外，本技术实施例还提供了一种混合架构的数据仓库实现方法，如图2所示，本技术实施例提供的方法，主要包括以下步骤：步骤210、通过基于内存的数据仓库存储预设系统在第一时间段内生成的实时业务数据；获取预设结构化数据，基于预设检测逻辑，检测实时业务数据是否异常。
32.基于预设检测逻辑，检测实时业务数据是否异常，具体包括：通过预设检测逻辑组件检测实时业务数据是否异常。
33.在基于预设检测逻辑，检测实时业务数据是否异常之后，方法还包括：在检测到实时业务数据异常时，启动数据回滚。
34.步骤220、通过预设关系型数据仓库存储预设系统在第二时间段内生成的预设结构化数据；根据预设处理逻辑处理预设结构化数据。
35.其中，第二时间段大于第一时间段，预设结构化数据包含实时业务数据。
36.步骤230、通过预设大数据数据仓库存储预设系统在第三时间段内生成的预设非结构化数据，以及存储预设结构化数据。
37.其中，第三时间段大于第二时间段。
38.步骤240、接收预设系统上传的预设结构化数据或预设非结构化数据；通过预设查询界面获取数据查询指令，展示数据查询指令对应的预设结构化数据或预设非结构化数据。
39.至此，已经结合前文的多个实施例描述了本公开的技术方案，但是，本领域技术人员容易理解的是，本公开的保护范围并不仅限于这些具体实施例。在不偏离本公开技术原理的前提下，本领域技术人员可以对上述各个实施例中的技术方案进行拆分和组合，也可以对相关技术特征作出等同的更改或替换，凡在本公开的技术构思和/或技术原理之内所做的任何更改、等同替换、改进等都将落入本公开的保护范围之内。