1.本技术属于互联网数据处理
技术领域：
：，尤其涉及一种数据处理方法、装置、计算机可读介质及计算机程序产品。
背景技术：
：：2.当今互联网金融时代，数据急剧膨胀，扩容需求强烈，随着数据量越来越大以及多源数据采集的不断完善，金融汇聚起海量结构化、半结构化和非结构化数据，已无法低成本地解决大规模分布式数据处理的挑战。3.同时，随着数据量不断增大，数据来源逐渐丰富，基于数据的应用系统也在不断更新换代，对底层it需求一直在快速增长，传统it(internettechnology，互联网技术)建设模式和架构无法满足需求。技术实现要素：4.有鉴于此，本技术提供一种数据处理方法、装置、计算机可读介质及计算机程序产品，通过提供并实现一种混合数据仓库架构，来应对扩容难度大、性能慢、数据合规要求严、安全维护成本高等问题。5.具体方案如下：6.一种数据处理方法，所述方法包括：7.利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据；8.将贴源数据加载至所述混合数据仓库架构中的第二数据仓库，由所述第二数据仓库对贴源数据进行加工处理，并将加工结果数据传输至所述第一数据仓库；9.利用所述第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务；10.其中，所述第一数据仓库的数据存储性能和基于所存储数据的数据服务性能分别高于所述第二数据仓库的数据存储性能和数据服务性能，所述第一数据仓库的计算性能低于所述第二数据仓库的计算性能。11.可选的，所述利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据，包括：12.利用所述第一数据仓库采集数据源中的数据，对采集的数据进行解析，并对解析得到的数据进行数据贴源存储，得到贴源数据。13.可选的，所述将贴源数据加载至所述混合数据仓库架构中的第二数据仓库，包括：14.将贴源数据写入目标表结构的数据表，并将所述数据表存放至指定目录；15.通过预设的数据加载模块从所述指定目录加载所述数据表至所述第二数据仓库；其中，所述目标表结构为与所述第一数据仓库中数据文件的数据结构相匹配的表结构。16.可选的，所述由所述第二数据仓库对加载的贴源数据进行加工处理，包括：17.基于所述第二数据仓库提供的数据仓库逻辑模型和数据仓库物理模型，对加载的贴源数据进行加工处理；18.其中，所述数据仓库逻辑模型用于进行数据及数据间关联描述，所述数据仓库物理模型用于对数据分层加工链路及数据库表结构进行描述。19.可选的，所述基于所述第二数据仓库提供的数据仓库逻辑模型和数据仓库物理模型，对加载的贴源数据进行加工处理，包括：20.基于所述数据仓库物理模型提供的数据分层加工链路上各数据分层的功能，对加载的贴源数据进行加工处理；21.其中，加工处理过程中，基于所述数据仓库逻辑模型及所述数据仓库物理模型提供的数据库表结构，进行数据分层加工链路上不同层之间的字段映射与数据库表关联关系确定。22.可选的，所述数据分层加工链路上的各个数据分层包括：第二基础主题层、第二汇总共享层和第二应用数据层；23.所述第二基础主题层用于按照主题将加载的贴源数据进行分类整合；24.所述第二汇总共享层用于根据业务需求提炼汇总整合模型层输出的数据；25.所述第二应用数据层用于对所述汇总共享层输出的数据进行应用级重组与加工处理。26.可选的，所述第一数据仓库的数据分层包括第一基础主题层、第一汇总共享层和第一应用数据层；27.所述将加工结果数据传输至所述第一数据仓库，包括：28.通过预设的数据下传模块：29.将所述第二数据仓库的第二基础主题层产生的加工结果数据下传至所述第一数据仓库的第一基础主题层；30.将所述第二数据仓库的第二汇总共享层产生的加工结果数据下传至所述第一数据仓库的第一汇总共享层；31.将所述第二数据仓库的第二应用数据层产生的加工结果数据下传至所述第一数据仓库的第一应用数据层。32.可选的，所述利用所述第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务，包括：33.在所述第一数据仓库的所述第一基础主题层、所述第一汇总共享层和所述第一应用数据层对应存储分别接收的加工结果数据；34.通过所述第一数据仓库中与所述第一基础主题层、所述第一汇总共享层和所述第一应用数据层相连的数据接口层，对外提供数据服务。35.一种数据处理装置，所述装置包括：36.数据获取单元，用于利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据；37.数据加载单元，用于将贴源数据加载至所述混合数据仓库架构中的第二数据仓库；38.加工处理单元，用于在所述第二数据仓库对贴源数据进行加工处理；39.数据下传单元，用于将加工结果数据传输至所述第一数据仓库；40.数据存储与数据服务单元，用于利用所述第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务；41.其中，所述第一数据仓库的数据存储性能和基于所存储数据的数据服务性能分别高于所述第二数据仓库的数据存储性能和数据服务性能，所述第一数据仓库的计算性能低于所述第二数据仓库的计算性能。42.一种计算机可读介质，其上存储有计算机程序，所述计算机程序包含用于执行如上文任一项所述的方法的程序代码。43.一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，所述计算机程序包含用于执行如上文任一项所述的方法的程序代码。44.综上所述，本技术提供的数据处理方法、装置、计算机可读介质及计算机程序产品，利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据，将贴源数据加载至混合数据仓库架构中的第二数据仓库对其进行加工处理，并将加工结果数据传输至第一数据仓库，在第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务；其中，第一数据仓库的数据存储与服务性能高于第二数据仓库，第一数据仓库的计算性能低于第二数据仓库。45.可见，本技术提出了一种基于第一、第二数据仓库的混合数据仓库架构，并使用第一数据仓库承载该混合数据仓库架构的数据存储和数据服务功能，使用第二数据仓库承载该混合数据仓库架构的高复杂性的数据计算功能，通过融合不同方面分别各具性能优势的多种数据仓库，并充分发挥各仓库体系的优势功能，有效解决了扩容难度大、性能慢、数据类型多样数据难挖掘、数据合规要求严、安全维护成本高等问题。附图说明46.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。47.图1是本技术提供的数据处理方法的流程示意图；48.图2是本技术提供的基于hadoop-mpp的混合数据仓库架构的一个示例性业务流程；49.图3是本技术提供的数据处理装置的组成结构图。具体实施方式50.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。51.当今互联网金融时代，传统it建设模式和架构无法满足需求，存在扩容难度大、性能慢、数据合规要求严、安全维护成本高等问题。除此之外，申请人发现，金融等行业有海量的结构化、半结构化及非结构化数据，半、非结构化数据汇聚到一起形成难以挖掘的“暗数据”，如何更有效的利用好这些数据也成为金融等行业面临的一大难题。52.由此，本技术提供一种数据处理方法、装置、计算机可读介质及计算机程序产品，通过提出并实现一种混合数据仓库架构，解决上述各方面问题。53.参见图1所示的数据处理方法流程图，本技术提供的数据处理方法包括以下处理流程：54.步骤101、利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据。55.本技术实施例提出一种混合数据仓库架构，该混合数据仓库架构包括第一数据仓库和第二数据仓库。56.其中，第一数据仓库的数据存储性能和基于所存储数据的数据服务性能分别高于第二数据仓库的数据存储性能和数据服务性能，第一数据仓库的计算性能低于第二数据仓库的计算性能。57.在该混合数据仓库架构的工作运转过程中，使用第一数据仓库承载该架构的数据存储和数据服务功能，使用第二数据仓库承载该架构的高复杂性的数据计算功能以用于数据加工，也就是说，尽可能避免使用第一、第二数据仓库的不具备性能优势的功能，有针对性的对第一数据仓库与第二数据仓库各自的优势功能进行融合，来形成混合数据仓库架构的完整工作流程所需的功能，以充分发挥第一、第二数据仓库各自的优势功能。58.应能理解，第一数据仓库在其数据存储与基于所存储数据的数据服务功能中，会涉及一些运算处理(如sql组装、转换、查询等)，而第二数据仓库在其对数据的加工计算处理过程中，仍需要一定的存储能力(如缓存加载的贴源数据及加工链路路径上的相关中间数据等)，但这些均是两数据仓库体系的各自性能能够承载的。59.另外，可选的，第一数据仓库的服务器节点扩充能力高于第二数据仓库，且第一数据仓库可以处理结构化、半结构化及非结构化的数据，第一数据仓库的这些功能均融合应用在混合数据仓库架构中。60.实际应用中，还可以根据需要进一步在混合数据仓库架构的第一数据仓库和/或第二数据仓库端按需设计一种或多种各种所需的扩展功能。61.应用本技术时，可以但不限于以hadoop的数据仓库架构为原型，按本技术中混合数据仓库架构的需求经过一系列功能调整得到第一数据仓库；可以但不限于以mpp(massivelyparallelprocessing)的数据仓库架构为原型，按本技术中混合数据仓库架构的需求经过一系列功能调整得到第二数据仓库。62.其中，hadoop的服务器节点可扩展能力强，可处理非结构化的数据，数据量支持10p以上，但其系统管理、开发维护成本高，对关系型数据的操作效率不如mpp。63.hadoop体系的组成部分包括文件存储系统、数据采集系统、分析计算系统、任务调度系统，其中：文件存储系统将海量数据根据大小切分为固定大小的文件块，存储在由大量廉价机器组成的分布式物理集群上的datanode，通过元数据管理namenode来管理hdfs(分布式文件系统)上数据的操作。数据采集系统将数据从传统的数据库、队列以及五花八门的存储，移动到hadoop体系或者其他的数据处理框架的存储中。分析计算系统可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为mapreduce任务进行运行。任务调度系统主要是在计算任务数量级以及数仓建立起来后，日常的数据处理可能会依赖于不同的处理逻辑，形成业务上的流程。64.mpp数据库是一款sharednothing架构的分布式并行结构化数据库集群，具备高性能、高可用、高扩展性。mpp对处理关系型sql的效率高，支持事务性数据处理，但服务器节点扩充能力有限。65.mpp主要不同于hadoop体系的是，mpp架构，会充分利用每台机器的物理资源，包括存储、cpu、内存等。具体利用每台机器的资源并行计算，最终将结果返回。每台机器的资源是独立的，无共享。而hadoop体系则是将多台机器的资源共享起来，例如磁盘、cpu、内存。另外，最近几年的mpp架构在存储上基本采用的都是列存(或者列存是一个可选项)，列存在巨量数据上具有更好的压缩性能，同时在olap(onlineanalyticalprocessing，在线分析处理)通常只需关心某几列的分析中，会具有更好的性能表现。以及在计算上，mpp架构会选择向量化的计算引擎，利用cpu的simd(单指令多数据流)指令集加速整个计算的速度，使得速度更快。66.本技术实施例在第一数据仓库端进行多数据源(如，传统的数据库、队列以及其他存储)数据的采集，对采集的数据进行解析，并使用第一数据仓库提供的分布式文件系统对解析得到的数据进行贴源存储，得到贴源数据。其中，对所采集数据的解析处理，包括但不限于对所采集数据进行解压、转码、解密。67.示例性的，以下以hadoop、mpp为例，提供混合数据仓库架构的组成结构，其中，该基于hadoop-mpp的混合数据仓库架构主要包括5大模块：68.11)基于hadoop的文件采集模块；69.12)hadoop到mpp的数据加载模块(hadoop2mpp)；70.13)数据仓库模型模块；71.14)大数据调度模块；72.15)mpp到hadoop的数据下传模块(mpp2hadoop)。73.基于hadoop的文件采集模块，可以用于对oltp(on-linetransactionprocessing，联机事务处理过程)系统的文件进行解压、转码、解密，并使用hadoop的分布式文件系统对文件进行数据贴源存储，以保留oltp系统清洗后的拉链、切片数据，例如，通过贴源数据时点类数据具体保留最近7天全量截面、每月月末全量截面等。74.该基于hadoop的文件采集模块，属于混合数据仓库架构中第一数据仓库端提供的功能，本步骤101中，相应可通过第一数据仓库端的该基于hadoop的文件采集模块，进行多数据源数据采集及解压、转码、解密，并在此基础上通过第一数据仓库的分布式文件系统进行数据贴源存储。75.步骤102、将贴源数据加载至所述混合数据仓库架构中的第二数据仓库，由第二数据仓库对贴源数据进行加工处理，并将加工结果数据传输至所述第一数据仓库。76.之后，通过建立与第一数据仓库中数据文件的数据结构相匹配的目标表结构的方式，将贴源数据加载至第二数据仓库端。77.其中，具体可将贴源数据写入目标表结构的数据表，并将数据表存放至指定目录，之后通过预设的数据加载模块从该指定目录加载贴源数据的数据表至第二数据仓库，以此实现第二数据仓库对第一数据仓库中贴源数据的加载。78.以基于hadoop-mpp的混合数据仓库架构为例，预设的数据加载模块可以是该架构中的hadoop到mpp的数据加载模块，通过该模块将orc格式的hive文件(hadoop中存储的文件)，写入mpp数据库。在实际应用中，可以先通过一定方式如createtable方式，建立与orc格式文件相匹配的表结构，之后在hadoop端将orc格式数据文件写入该表结构的数据表、放置至特定的ftp(文件传输协议，filetransferprotocal)目录，并通过数据加载模块执行loaddatainfile方法，实现orc格式文件到mpp的加载。79.本技术预先进行了混合架构中数据仓库的模型设计，数据仓库的模型包括数据仓库逻辑模型和数据仓库物理模型。其中，数据仓库逻辑模型用于进行数据及数据间关联描述，数据仓库物理模型用于对数据分层加工链路及数据库表结构进行描述。数据仓库物理模型中的数据分层包括基础主题层(整合模型层，m层)、汇总共享层(汇总共性层、c层)和应用数据层(计量指标层，e层)。80.第一/第二数据仓库分别维护对应的数仓逻辑模型及数据分层结构。81.其中，第一数据仓库的数据分层包括第一基础主题层、第一汇总共享层和第一应用数据层，第二数据仓库的数据分层包括第二基础主题层、第二汇总共享层和第二应用数据层，且第二数据仓库匹配有对应于各个分层的数据分层加工链路，该加工链路为各个分层上的加工处理功能所形成的链路，具体的，第二基础主题层用于按照主题将加载的贴源数据进行分类整合，第二汇总共享层用于根据业务需求提炼汇总整合模型层输出的数据，第二应用数据层用于对汇总共性层输出的数据进行应用级重组与加工处理。第一数据仓库则仅保留其数据分层结构，不在自身数据仓库端进行数据的加工处理，相应不为其数据分层结构匹配对应的加工链路。82.在将贴源数据从第一数据仓库加载至第二数据仓库后，可基于第二数据仓库提供的数据仓库逻辑模型和数据仓库物理模型，对加载的贴源数据进行加工处理，进一步，具体可基于数据仓库物理模型提供的数据分层加工链路上各数据分层的功能，对加载的贴源数据进行加工处理。其中，加工处理过程中，基于第二数据仓库的数据仓库逻辑模型及数据仓库物理模型提供的数据库表结构，进行数据分层加工链路上不同层之间的字段映射与数据库表关联关系确定。83.仍以基于hadoop-mpp的混合数据仓库架构为例，具体可在其数据仓库模型模块，提供第一、第二数据仓库各自需具备的数据仓库模型功能。其中，在基于hadoop-mpp的混合数据仓库架构中，当设计与开发/构建该数据仓库模型模块时，首先进行数仓逻辑模型设计和数仓物理模型设计，再根据模型设计结果，进行模型与数据源的映射关系确定，以及进行数据仓库建表及对应脚本(如etl脚本)的开发。示例性的，其进一步的模型设计、建表及相关脚本开发过程包括：84.21)数据仓库逻辑模型设计：通过收集研究oltp系统产品资料、问卷调查、业务技术调研访谈，了解oltp系统下传数据业务含义，以er(entity-relationship，实体-关系)、3nf(第三范式)建模理论为指导，结合数据字典平台对oltp系统实体、关系的技术定义，参考数仓概要模型所定义的模型要素(实体名称、属性、取值范围与规则、数据类型)，设计数仓的逻辑模型。85.22)数据仓库逻辑模型设计：明确数据分层加工链路，按照数据加工特性，划分为整合模型层(m层)、汇总共性层(c层)、计量指标层(e层)形成数据仓库主要数据加工链路及数据层次；结合mpp数据库数据分片原理、分片表复制表最佳实践、数据访问特性、数据业务相似性等因素，合理构建数据仓库物理模型，设计相关库表结构，并完成从oltp系统下传结构到数据湖贴源、数据仓库m层/c层/e层加工链路上各层字段映射与主要表关联关系确定，以及将相关信息保存至etl开发工具中，方便etl代码生成引擎生成etl脚本及批量程序调度流程。86.23)数据仓库建表及etl脚本实现：依据etl脚本生成引擎，根据建模过程中的模型映射关系、数据分层加工设计、以及抽象后的结构映射模板、算法模板，生成m/c/e层etl脚本及批量调度流程，开发复杂表加工etl程序，实现分层加工链路上m/c/e层数据加工处理，完成数据入仓和数据整合加工。87.同时，针对大数据调度模块的构建，可使用调度引擎配置数据仓库中etl程序流程(依据仓库加工表的业务优先级、数据加工依赖关系、数据加工顺序)，并根据程序运行规则生成执行计划(执行计划包括数据抽取、清洗、转换、装载过程)，按法人机构划分数据集群逻辑实例，分实例调度每日批量，建立日期切换以及批量节点运行状态管理机制，合理设计数据仓库etl工作流，保证批量调度数据加工的正确性，同时满足上层业务数据时效性，支持跨工作流引擎查询批量运行状态。88.步骤103、利用第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务。89.第二数据仓库的数据分层中的第二基础主题层、第二汇总共享层和第二应用数据层，与第一数据仓库的数据分层中的第一基础主题层、第一汇总共享层和第一应用数据层，分别按一对一关系对接。90.当第二数据仓库在其数据分层加工链路上基于各分层功能进行数据加工，并产生对应的加工结果数据后，通过预设的数据下传模块，将各数据分层的结果数据对应下传至第一数据仓库的相应分层，即，具体通过数据下传模块，将第二数据仓库的第二基础主题层产生的加工结果数据下传至第一数据仓库的第一基础主题层，将第二数据仓库的第二汇总共享层产生的加工结果数据下传至第一数据仓库的第一汇总共享层，并将第二数据仓库的第二应用数据层产生的加工结果数据下传至第一数据仓库的第一应用数据层。91.第一数据仓库相应在其第一基础主题层、第一汇总共享层和第一应用数据层对应存储各自接收的加工结果数据，并通过第一数据仓库中的数据接口层，对外提供数据服务。该数据接口层同时与第一基础主题层、第一汇总共享层和第一应用数据层相连，以基于各个层所存储的数据向外提供数据服务，供外部系统或用户按需查询。92.在基于hadoop-mpp的混合数据仓库架构中，上述预设的数据下传模块即为mpp到hadoop的数据下传模块，相应可基于该模块将mpp数据仓库中各数据分层的加工结果数据，下传至hadoop数据仓库中的相对应数据层。例如，在mpp中的m/c/e层相关表当日批量加工完成后，直接通过mpp到hadoop数据下传模块，将相关数据按txtfile格式写入hadoop中的hdfs。93.结合参见图2，基于hadoop-mpp的混合数据仓库架构的一个示例性业务流程具体包括:94.31)数仓hadoop部分，每日获取oltp源系统批量下传文件并加载入贴源数据层；95.32)数仓mpp部分，按需使用hadoop2mpp数据加载模块，从数仓hadoop部分将hadoop中的数据文件加载至mpp，即将hadoop部分中的贴源数据层数据加载至mpp的基础主题层；96.33)数仓mpp基础主题层依据数仓模型设计和数仓分层设计策略，完成数仓明细数据整合加工，并按照从基础主题层到汇总共享层、再到应用数据层的链路对数据进行逐层汇总整合加工及标准化计算。97.34)数仓mpp通过mpp2hadoop数据下传模块，将其基础主题层、汇总共享层、应用数据层的加工结果即时同步到数仓hadoop；98.35)数仓hadoop中各层的结果数据，通过数据接口层对外提供数据服务。99.可见，本技术提出了一种基于第一、第二数据仓库的混合数据仓库架构，并使用第一数据仓库承载该混合数据仓库架构的数据存储和数据服务功能，使用第二数据仓库承载该混合数据仓库架构的高复杂性的数据计算功能，通过融合不同方面分别各具性能优势的多种数据仓库，并充分发挥各仓库体系的优势功能，有效解决了扩容难度大、性能慢、数据类型多样数据难挖掘、数据合规要求严、安全维护成本高等问题。100.对应于上述的数据处理方法，本技术还提供一种数据处理装置，该装置的组成结构如图3所示，包括：101.数据获取单元10，用于利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据；102.数据加载单元20，用于将贴源数据加载至所述混合数据仓库架构中的第二数据仓库；103.加工处理单元30，用于在所述第二数据仓库对贴源数据进行加工处理；104.数据下传单元40，用于将加工结果数据传输至所述第一数据仓库；105.数据存储与数据服务单元50，用于利用所述第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务；106.其中，所述第一数据仓库的数据存储性能和基于所存储数据的数据服务性能分别高于所述第二数据仓库的数据存储性能和数据服务性能，所述第一数据仓库的计算性能低于所述第二数据仓库的计算性能。107.在一实施方式中，数据获取单元10，具体用于：利用所述第一数据仓库采集数据源中的数据，对采集的数据进行解析，并对解析得到的数据进行数据贴源存储，得到贴源数据。108.在一实施方式中，数据加载单元20，在将贴源数据加载至所述混合数据仓库架构中的第二数据仓库时，具体用于：109.将贴源数据写入目标表结构的数据表，并将所述数据表存放至指定目录；110.通过预设的数据加载模块从所述指定目录加载所述数据表至所述第二数据仓库；其中，所述目标表结构为与所述第一数据仓库中数据文件的数据结构相匹配的表结构。111.在一实施方式中，加工处理单元30，在第二数据仓库对加载的贴源数据进行加工处理时，具体用于：112.基于所述第二数据仓库提供的数据仓库逻辑模型和数据仓库物理模型，对加载的贴源数据进行加工处理；113.其中，所述数据仓库逻辑模型用于进行数据及数据间关联描述，所述数据仓库物理模型用于对数据分层加工链路及数据库表结构进行描述。114.在一实施方式中，加工处理单元30，在基于所述第二数据仓库提供的数据仓库逻辑模型和数据仓库物理模型，对加载的贴源数据进行加工处理时，具体用于：基于所述数据仓库物理模型提供的数据分层加工链路上各数据分层的功能，对加载的贴源数据进行加工处理；115.其中，加工处理过程中，基于所述数据仓库逻辑模型及所述数据仓库物理模型提供的数据库表结构，进行数据分层加工链路上不同层之间的字段映射与数据库表关联关系确定。116.在一实施方式中，所述数据分层加工链路上的各个数据分层包括：第二基础主题层、第二汇总共享层和第二应用数据层；117.所述第二基础主题层用于按照主题将加载的贴源数据进行分类整合；118.所述第二汇总共享层用于根据业务需求提炼汇总整合模型层输出的数据；119.所述第二应用数据层用于对所述汇总共享层输出的数据进行应用级重组与加工处理。120.在一实施方式中，第一数据仓库的数据分层包括第一基础主题层、第一汇总共享层和第一应用数据层；121.数据下传单元40，在将加工结果数据传输至第一数据仓库时，具体用于：122.将所述第二数据仓库的第二基础主题层产生的加工结果数据下传至所述第一数据仓库的第一基础主题层；123.将所述第二数据仓库的第二汇总共享层产生的加工结果数据下传至所述第一数据仓库的第一汇总共享层；124.将所述第二数据仓库的第二应用数据层产生的加工结果数据下传至所述第一数据仓库的第一应用数据层。125.在一实施方式中，数据存储与数据服务单元50，具体用于：126.在所述第一数据仓库的所述第一基础主题层、所述第一汇总共享层和所述第一应用数据层对应存储分别接收的加工结果数据；127.通过所述第一数据仓库中与所述第一基础主题层、所述第一汇总共享层和所述第一应用数据层相连的数据接口层，对外提供数据服务。128.对于本技术实施例提供的数据处理装置而言，由于其与上文方法实施例提供的数据处理方法相对应，所以描述的比较简单，相关相似之处请参见上文方法实施例的说明即可，此处不再详述。129.本技术还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序包含用于执行如上文方法实施例提供的数据处理方法的程序代码。130.在本技术的上下文中，计算机可读介质(机器可读介质)可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。131.需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。132.上述计算机可读介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。133.本技术还提供一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，所述计算机程序包含用于执行如上文方法实施例提供的数据处理方法的程序代码。134.特别地，根据本技术的实施例，上文各参考流程图描述的过程可以被实现为计算机软件程序。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从rom被安装。在该计算机程序被处理装置执行时，执行本技术实施例的方法中限定的上述功能。135.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。136.为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。137.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。138.最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。139.以上所述仅是本技术的优选实施方式，应当指出，对于本
技术领域：
：的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。当前第1页12当前第1页12
技术领域：
：，尤其涉及一种数据处理方法、装置、计算机可读介质及计算机程序产品。
背景技术：
：：2.当今互联网金融时代，数据急剧膨胀，扩容需求强烈，随着数据量越来越大以及多源数据采集的不断完善，金融汇聚起海量结构化、半结构化和非结构化数据，已无法低成本地解决大规模分布式数据处理的挑战。3.同时，随着数据量不断增大，数据来源逐渐丰富，基于数据的应用系统也在不断更新换代，对底层it需求一直在快速增长，传统it(internettechnology，互联网技术)建设模式和架构无法满足需求。技术实现要素：4.有鉴于此，本技术提供一种数据处理方法、装置、计算机可读介质及计算机程序产品，通过提供并实现一种混合数据仓库架构，来应对扩容难度大、性能慢、数据合规要求严、安全维护成本高等问题。5.具体方案如下：6.一种数据处理方法，所述方法包括：7.利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据；8.将贴源数据加载至所述混合数据仓库架构中的第二数据仓库，由所述第二数据仓库对贴源数据进行加工处理，并将加工结果数据传输至所述第一数据仓库；9.利用所述第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务；10.其中，所述第一数据仓库的数据存储性能和基于所存储数据的数据服务性能分别高于所述第二数据仓库的数据存储性能和数据服务性能，所述第一数据仓库的计算性能低于所述第二数据仓库的计算性能。11.可选的，所述利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据，包括：12.利用所述第一数据仓库采集数据源中的数据，对采集的数据进行解析，并对解析得到的数据进行数据贴源存储，得到贴源数据。13.可选的，所述将贴源数据加载至所述混合数据仓库架构中的第二数据仓库，包括：14.将贴源数据写入目标表结构的数据表，并将所述数据表存放至指定目录；15.通过预设的数据加载模块从所述指定目录加载所述数据表至所述第二数据仓库；其中，所述目标表结构为与所述第一数据仓库中数据文件的数据结构相匹配的表结构。16.可选的，所述由所述第二数据仓库对加载的贴源数据进行加工处理，包括：17.基于所述第二数据仓库提供的数据仓库逻辑模型和数据仓库物理模型，对加载的贴源数据进行加工处理；18.其中，所述数据仓库逻辑模型用于进行数据及数据间关联描述，所述数据仓库物理模型用于对数据分层加工链路及数据库表结构进行描述。19.可选的，所述基于所述第二数据仓库提供的数据仓库逻辑模型和数据仓库物理模型，对加载的贴源数据进行加工处理，包括：20.基于所述数据仓库物理模型提供的数据分层加工链路上各数据分层的功能，对加载的贴源数据进行加工处理；21.其中，加工处理过程中，基于所述数据仓库逻辑模型及所述数据仓库物理模型提供的数据库表结构，进行数据分层加工链路上不同层之间的字段映射与数据库表关联关系确定。22.可选的，所述数据分层加工链路上的各个数据分层包括：第二基础主题层、第二汇总共享层和第二应用数据层；23.所述第二基础主题层用于按照主题将加载的贴源数据进行分类整合；24.所述第二汇总共享层用于根据业务需求提炼汇总整合模型层输出的数据；25.所述第二应用数据层用于对所述汇总共享层输出的数据进行应用级重组与加工处理。26.可选的，所述第一数据仓库的数据分层包括第一基础主题层、第一汇总共享层和第一应用数据层；27.所述将加工结果数据传输至所述第一数据仓库，包括：28.通过预设的数据下传模块：29.将所述第二数据仓库的第二基础主题层产生的加工结果数据下传至所述第一数据仓库的第一基础主题层；30.将所述第二数据仓库的第二汇总共享层产生的加工结果数据下传至所述第一数据仓库的第一汇总共享层；31.将所述第二数据仓库的第二应用数据层产生的加工结果数据下传至所述第一数据仓库的第一应用数据层。32.可选的，所述利用所述第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务，包括：33.在所述第一数据仓库的所述第一基础主题层、所述第一汇总共享层和所述第一应用数据层对应存储分别接收的加工结果数据；34.通过所述第一数据仓库中与所述第一基础主题层、所述第一汇总共享层和所述第一应用数据层相连的数据接口层，对外提供数据服务。35.一种数据处理装置，所述装置包括：36.数据获取单元，用于利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据；37.数据加载单元，用于将贴源数据加载至所述混合数据仓库架构中的第二数据仓库；38.加工处理单元，用于在所述第二数据仓库对贴源数据进行加工处理；39.数据下传单元，用于将加工结果数据传输至所述第一数据仓库；40.数据存储与数据服务单元，用于利用所述第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务；41.其中，所述第一数据仓库的数据存储性能和基于所存储数据的数据服务性能分别高于所述第二数据仓库的数据存储性能和数据服务性能，所述第一数据仓库的计算性能低于所述第二数据仓库的计算性能。42.一种计算机可读介质，其上存储有计算机程序，所述计算机程序包含用于执行如上文任一项所述的方法的程序代码。43.一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，所述计算机程序包含用于执行如上文任一项所述的方法的程序代码。44.综上所述，本技术提供的数据处理方法、装置、计算机可读介质及计算机程序产品，利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据，将贴源数据加载至混合数据仓库架构中的第二数据仓库对其进行加工处理，并将加工结果数据传输至第一数据仓库，在第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务；其中，第一数据仓库的数据存储与服务性能高于第二数据仓库，第一数据仓库的计算性能低于第二数据仓库。45.可见，本技术提出了一种基于第一、第二数据仓库的混合数据仓库架构，并使用第一数据仓库承载该混合数据仓库架构的数据存储和数据服务功能，使用第二数据仓库承载该混合数据仓库架构的高复杂性的数据计算功能，通过融合不同方面分别各具性能优势的多种数据仓库，并充分发挥各仓库体系的优势功能，有效解决了扩容难度大、性能慢、数据类型多样数据难挖掘、数据合规要求严、安全维护成本高等问题。附图说明46.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。47.图1是本技术提供的数据处理方法的流程示意图；48.图2是本技术提供的基于hadoop-mpp的混合数据仓库架构的一个示例性业务流程；49.图3是本技术提供的数据处理装置的组成结构图。具体实施方式50.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。51.当今互联网金融时代，传统it建设模式和架构无法满足需求，存在扩容难度大、性能慢、数据合规要求严、安全维护成本高等问题。除此之外，申请人发现，金融等行业有海量的结构化、半结构化及非结构化数据，半、非结构化数据汇聚到一起形成难以挖掘的“暗数据”，如何更有效的利用好这些数据也成为金融等行业面临的一大难题。52.由此，本技术提供一种数据处理方法、装置、计算机可读介质及计算机程序产品，通过提出并实现一种混合数据仓库架构，解决上述各方面问题。53.参见图1所示的数据处理方法流程图，本技术提供的数据处理方法包括以下处理流程：54.步骤101、利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据。55.本技术实施例提出一种混合数据仓库架构，该混合数据仓库架构包括第一数据仓库和第二数据仓库。56.其中，第一数据仓库的数据存储性能和基于所存储数据的数据服务性能分别高于第二数据仓库的数据存储性能和数据服务性能，第一数据仓库的计算性能低于第二数据仓库的计算性能。57.在该混合数据仓库架构的工作运转过程中，使用第一数据仓库承载该架构的数据存储和数据服务功能，使用第二数据仓库承载该架构的高复杂性的数据计算功能以用于数据加工，也就是说，尽可能避免使用第一、第二数据仓库的不具备性能优势的功能，有针对性的对第一数据仓库与第二数据仓库各自的优势功能进行融合，来形成混合数据仓库架构的完整工作流程所需的功能，以充分发挥第一、第二数据仓库各自的优势功能。58.应能理解，第一数据仓库在其数据存储与基于所存储数据的数据服务功能中，会涉及一些运算处理(如sql组装、转换、查询等)，而第二数据仓库在其对数据的加工计算处理过程中，仍需要一定的存储能力(如缓存加载的贴源数据及加工链路路径上的相关中间数据等)，但这些均是两数据仓库体系的各自性能能够承载的。59.另外，可选的，第一数据仓库的服务器节点扩充能力高于第二数据仓库，且第一数据仓库可以处理结构化、半结构化及非结构化的数据，第一数据仓库的这些功能均融合应用在混合数据仓库架构中。60.实际应用中，还可以根据需要进一步在混合数据仓库架构的第一数据仓库和/或第二数据仓库端按需设计一种或多种各种所需的扩展功能。61.应用本技术时，可以但不限于以hadoop的数据仓库架构为原型，按本技术中混合数据仓库架构的需求经过一系列功能调整得到第一数据仓库；可以但不限于以mpp(massivelyparallelprocessing)的数据仓库架构为原型，按本技术中混合数据仓库架构的需求经过一系列功能调整得到第二数据仓库。62.其中，hadoop的服务器节点可扩展能力强，可处理非结构化的数据，数据量支持10p以上，但其系统管理、开发维护成本高，对关系型数据的操作效率不如mpp。63.hadoop体系的组成部分包括文件存储系统、数据采集系统、分析计算系统、任务调度系统，其中：文件存储系统将海量数据根据大小切分为固定大小的文件块，存储在由大量廉价机器组成的分布式物理集群上的datanode，通过元数据管理namenode来管理hdfs(分布式文件系统)上数据的操作。数据采集系统将数据从传统的数据库、队列以及五花八门的存储，移动到hadoop体系或者其他的数据处理框架的存储中。分析计算系统可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为mapreduce任务进行运行。任务调度系统主要是在计算任务数量级以及数仓建立起来后，日常的数据处理可能会依赖于不同的处理逻辑，形成业务上的流程。64.mpp数据库是一款sharednothing架构的分布式并行结构化数据库集群，具备高性能、高可用、高扩展性。mpp对处理关系型sql的效率高，支持事务性数据处理，但服务器节点扩充能力有限。65.mpp主要不同于hadoop体系的是，mpp架构，会充分利用每台机器的物理资源，包括存储、cpu、内存等。具体利用每台机器的资源并行计算，最终将结果返回。每台机器的资源是独立的，无共享。而hadoop体系则是将多台机器的资源共享起来，例如磁盘、cpu、内存。另外，最近几年的mpp架构在存储上基本采用的都是列存(或者列存是一个可选项)，列存在巨量数据上具有更好的压缩性能，同时在olap(onlineanalyticalprocessing，在线分析处理)通常只需关心某几列的分析中，会具有更好的性能表现。以及在计算上，mpp架构会选择向量化的计算引擎，利用cpu的simd(单指令多数据流)指令集加速整个计算的速度，使得速度更快。66.本技术实施例在第一数据仓库端进行多数据源(如，传统的数据库、队列以及其他存储)数据的采集，对采集的数据进行解析，并使用第一数据仓库提供的分布式文件系统对解析得到的数据进行贴源存储，得到贴源数据。其中，对所采集数据的解析处理，包括但不限于对所采集数据进行解压、转码、解密。67.示例性的，以下以hadoop、mpp为例，提供混合数据仓库架构的组成结构，其中，该基于hadoop-mpp的混合数据仓库架构主要包括5大模块：68.11)基于hadoop的文件采集模块；69.12)hadoop到mpp的数据加载模块(hadoop2mpp)；70.13)数据仓库模型模块；71.14)大数据调度模块；72.15)mpp到hadoop的数据下传模块(mpp2hadoop)。73.基于hadoop的文件采集模块，可以用于对oltp(on-linetransactionprocessing，联机事务处理过程)系统的文件进行解压、转码、解密，并使用hadoop的分布式文件系统对文件进行数据贴源存储，以保留oltp系统清洗后的拉链、切片数据，例如，通过贴源数据时点类数据具体保留最近7天全量截面、每月月末全量截面等。74.该基于hadoop的文件采集模块，属于混合数据仓库架构中第一数据仓库端提供的功能，本步骤101中，相应可通过第一数据仓库端的该基于hadoop的文件采集模块，进行多数据源数据采集及解压、转码、解密，并在此基础上通过第一数据仓库的分布式文件系统进行数据贴源存储。75.步骤102、将贴源数据加载至所述混合数据仓库架构中的第二数据仓库，由第二数据仓库对贴源数据进行加工处理，并将加工结果数据传输至所述第一数据仓库。76.之后，通过建立与第一数据仓库中数据文件的数据结构相匹配的目标表结构的方式，将贴源数据加载至第二数据仓库端。77.其中，具体可将贴源数据写入目标表结构的数据表，并将数据表存放至指定目录，之后通过预设的数据加载模块从该指定目录加载贴源数据的数据表至第二数据仓库，以此实现第二数据仓库对第一数据仓库中贴源数据的加载。78.以基于hadoop-mpp的混合数据仓库架构为例，预设的数据加载模块可以是该架构中的hadoop到mpp的数据加载模块，通过该模块将orc格式的hive文件(hadoop中存储的文件)，写入mpp数据库。在实际应用中，可以先通过一定方式如createtable方式，建立与orc格式文件相匹配的表结构，之后在hadoop端将orc格式数据文件写入该表结构的数据表、放置至特定的ftp(文件传输协议，filetransferprotocal)目录，并通过数据加载模块执行loaddatainfile方法，实现orc格式文件到mpp的加载。79.本技术预先进行了混合架构中数据仓库的模型设计，数据仓库的模型包括数据仓库逻辑模型和数据仓库物理模型。其中，数据仓库逻辑模型用于进行数据及数据间关联描述，数据仓库物理模型用于对数据分层加工链路及数据库表结构进行描述。数据仓库物理模型中的数据分层包括基础主题层(整合模型层，m层)、汇总共享层(汇总共性层、c层)和应用数据层(计量指标层，e层)。80.第一/第二数据仓库分别维护对应的数仓逻辑模型及数据分层结构。81.其中，第一数据仓库的数据分层包括第一基础主题层、第一汇总共享层和第一应用数据层，第二数据仓库的数据分层包括第二基础主题层、第二汇总共享层和第二应用数据层，且第二数据仓库匹配有对应于各个分层的数据分层加工链路，该加工链路为各个分层上的加工处理功能所形成的链路，具体的，第二基础主题层用于按照主题将加载的贴源数据进行分类整合，第二汇总共享层用于根据业务需求提炼汇总整合模型层输出的数据，第二应用数据层用于对汇总共性层输出的数据进行应用级重组与加工处理。第一数据仓库则仅保留其数据分层结构，不在自身数据仓库端进行数据的加工处理，相应不为其数据分层结构匹配对应的加工链路。82.在将贴源数据从第一数据仓库加载至第二数据仓库后，可基于第二数据仓库提供的数据仓库逻辑模型和数据仓库物理模型，对加载的贴源数据进行加工处理，进一步，具体可基于数据仓库物理模型提供的数据分层加工链路上各数据分层的功能，对加载的贴源数据进行加工处理。其中，加工处理过程中，基于第二数据仓库的数据仓库逻辑模型及数据仓库物理模型提供的数据库表结构，进行数据分层加工链路上不同层之间的字段映射与数据库表关联关系确定。83.仍以基于hadoop-mpp的混合数据仓库架构为例，具体可在其数据仓库模型模块，提供第一、第二数据仓库各自需具备的数据仓库模型功能。其中，在基于hadoop-mpp的混合数据仓库架构中，当设计与开发/构建该数据仓库模型模块时，首先进行数仓逻辑模型设计和数仓物理模型设计，再根据模型设计结果，进行模型与数据源的映射关系确定，以及进行数据仓库建表及对应脚本(如etl脚本)的开发。示例性的，其进一步的模型设计、建表及相关脚本开发过程包括：84.21)数据仓库逻辑模型设计：通过收集研究oltp系统产品资料、问卷调查、业务技术调研访谈，了解oltp系统下传数据业务含义，以er(entity-relationship，实体-关系)、3nf(第三范式)建模理论为指导，结合数据字典平台对oltp系统实体、关系的技术定义，参考数仓概要模型所定义的模型要素(实体名称、属性、取值范围与规则、数据类型)，设计数仓的逻辑模型。85.22)数据仓库逻辑模型设计：明确数据分层加工链路，按照数据加工特性，划分为整合模型层(m层)、汇总共性层(c层)、计量指标层(e层)形成数据仓库主要数据加工链路及数据层次；结合mpp数据库数据分片原理、分片表复制表最佳实践、数据访问特性、数据业务相似性等因素，合理构建数据仓库物理模型，设计相关库表结构，并完成从oltp系统下传结构到数据湖贴源、数据仓库m层/c层/e层加工链路上各层字段映射与主要表关联关系确定，以及将相关信息保存至etl开发工具中，方便etl代码生成引擎生成etl脚本及批量程序调度流程。86.23)数据仓库建表及etl脚本实现：依据etl脚本生成引擎，根据建模过程中的模型映射关系、数据分层加工设计、以及抽象后的结构映射模板、算法模板，生成m/c/e层etl脚本及批量调度流程，开发复杂表加工etl程序，实现分层加工链路上m/c/e层数据加工处理，完成数据入仓和数据整合加工。87.同时，针对大数据调度模块的构建，可使用调度引擎配置数据仓库中etl程序流程(依据仓库加工表的业务优先级、数据加工依赖关系、数据加工顺序)，并根据程序运行规则生成执行计划(执行计划包括数据抽取、清洗、转换、装载过程)，按法人机构划分数据集群逻辑实例，分实例调度每日批量，建立日期切换以及批量节点运行状态管理机制，合理设计数据仓库etl工作流，保证批量调度数据加工的正确性，同时满足上层业务数据时效性，支持跨工作流引擎查询批量运行状态。88.步骤103、利用第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务。89.第二数据仓库的数据分层中的第二基础主题层、第二汇总共享层和第二应用数据层，与第一数据仓库的数据分层中的第一基础主题层、第一汇总共享层和第一应用数据层，分别按一对一关系对接。90.当第二数据仓库在其数据分层加工链路上基于各分层功能进行数据加工，并产生对应的加工结果数据后，通过预设的数据下传模块，将各数据分层的结果数据对应下传至第一数据仓库的相应分层，即，具体通过数据下传模块，将第二数据仓库的第二基础主题层产生的加工结果数据下传至第一数据仓库的第一基础主题层，将第二数据仓库的第二汇总共享层产生的加工结果数据下传至第一数据仓库的第一汇总共享层，并将第二数据仓库的第二应用数据层产生的加工结果数据下传至第一数据仓库的第一应用数据层。91.第一数据仓库相应在其第一基础主题层、第一汇总共享层和第一应用数据层对应存储各自接收的加工结果数据，并通过第一数据仓库中的数据接口层，对外提供数据服务。该数据接口层同时与第一基础主题层、第一汇总共享层和第一应用数据层相连，以基于各个层所存储的数据向外提供数据服务，供外部系统或用户按需查询。92.在基于hadoop-mpp的混合数据仓库架构中，上述预设的数据下传模块即为mpp到hadoop的数据下传模块，相应可基于该模块将mpp数据仓库中各数据分层的加工结果数据，下传至hadoop数据仓库中的相对应数据层。例如，在mpp中的m/c/e层相关表当日批量加工完成后，直接通过mpp到hadoop数据下传模块，将相关数据按txtfile格式写入hadoop中的hdfs。93.结合参见图2，基于hadoop-mpp的混合数据仓库架构的一个示例性业务流程具体包括:94.31)数仓hadoop部分，每日获取oltp源系统批量下传文件并加载入贴源数据层；95.32)数仓mpp部分，按需使用hadoop2mpp数据加载模块，从数仓hadoop部分将hadoop中的数据文件加载至mpp，即将hadoop部分中的贴源数据层数据加载至mpp的基础主题层；96.33)数仓mpp基础主题层依据数仓模型设计和数仓分层设计策略，完成数仓明细数据整合加工，并按照从基础主题层到汇总共享层、再到应用数据层的链路对数据进行逐层汇总整合加工及标准化计算。97.34)数仓mpp通过mpp2hadoop数据下传模块，将其基础主题层、汇总共享层、应用数据层的加工结果即时同步到数仓hadoop；98.35)数仓hadoop中各层的结果数据，通过数据接口层对外提供数据服务。99.可见，本技术提出了一种基于第一、第二数据仓库的混合数据仓库架构，并使用第一数据仓库承载该混合数据仓库架构的数据存储和数据服务功能，使用第二数据仓库承载该混合数据仓库架构的高复杂性的数据计算功能，通过融合不同方面分别各具性能优势的多种数据仓库，并充分发挥各仓库体系的优势功能，有效解决了扩容难度大、性能慢、数据类型多样数据难挖掘、数据合规要求严、安全维护成本高等问题。100.对应于上述的数据处理方法，本技术还提供一种数据处理装置，该装置的组成结构如图3所示，包括：101.数据获取单元10，用于利用混合数据仓库架构中的第一数据仓库获取数据源中的数据，得到贴源数据；102.数据加载单元20，用于将贴源数据加载至所述混合数据仓库架构中的第二数据仓库；103.加工处理单元30，用于在所述第二数据仓库对贴源数据进行加工处理；104.数据下传单元40，用于将加工结果数据传输至所述第一数据仓库；105.数据存储与数据服务单元50，用于利用所述第一数据仓库存储加工结果数据，并基于存储的加工结果数据对外提供数据服务；106.其中，所述第一数据仓库的数据存储性能和基于所存储数据的数据服务性能分别高于所述第二数据仓库的数据存储性能和数据服务性能，所述第一数据仓库的计算性能低于所述第二数据仓库的计算性能。107.在一实施方式中，数据获取单元10，具体用于：利用所述第一数据仓库采集数据源中的数据，对采集的数据进行解析，并对解析得到的数据进行数据贴源存储，得到贴源数据。108.在一实施方式中，数据加载单元20，在将贴源数据加载至所述混合数据仓库架构中的第二数据仓库时，具体用于：109.将贴源数据写入目标表结构的数据表，并将所述数据表存放至指定目录；110.通过预设的数据加载模块从所述指定目录加载所述数据表至所述第二数据仓库；其中，所述目标表结构为与所述第一数据仓库中数据文件的数据结构相匹配的表结构。111.在一实施方式中，加工处理单元30，在第二数据仓库对加载的贴源数据进行加工处理时，具体用于：112.基于所述第二数据仓库提供的数据仓库逻辑模型和数据仓库物理模型，对加载的贴源数据进行加工处理；113.其中，所述数据仓库逻辑模型用于进行数据及数据间关联描述，所述数据仓库物理模型用于对数据分层加工链路及数据库表结构进行描述。114.在一实施方式中，加工处理单元30，在基于所述第二数据仓库提供的数据仓库逻辑模型和数据仓库物理模型，对加载的贴源数据进行加工处理时，具体用于：基于所述数据仓库物理模型提供的数据分层加工链路上各数据分层的功能，对加载的贴源数据进行加工处理；115.其中，加工处理过程中，基于所述数据仓库逻辑模型及所述数据仓库物理模型提供的数据库表结构，进行数据分层加工链路上不同层之间的字段映射与数据库表关联关系确定。116.在一实施方式中，所述数据分层加工链路上的各个数据分层包括：第二基础主题层、第二汇总共享层和第二应用数据层；117.所述第二基础主题层用于按照主题将加载的贴源数据进行分类整合；118.所述第二汇总共享层用于根据业务需求提炼汇总整合模型层输出的数据；119.所述第二应用数据层用于对所述汇总共享层输出的数据进行应用级重组与加工处理。120.在一实施方式中，第一数据仓库的数据分层包括第一基础主题层、第一汇总共享层和第一应用数据层；121.数据下传单元40，在将加工结果数据传输至第一数据仓库时，具体用于：122.将所述第二数据仓库的第二基础主题层产生的加工结果数据下传至所述第一数据仓库的第一基础主题层；123.将所述第二数据仓库的第二汇总共享层产生的加工结果数据下传至所述第一数据仓库的第一汇总共享层；124.将所述第二数据仓库的第二应用数据层产生的加工结果数据下传至所述第一数据仓库的第一应用数据层。125.在一实施方式中，数据存储与数据服务单元50，具体用于：126.在所述第一数据仓库的所述第一基础主题层、所述第一汇总共享层和所述第一应用数据层对应存储分别接收的加工结果数据；127.通过所述第一数据仓库中与所述第一基础主题层、所述第一汇总共享层和所述第一应用数据层相连的数据接口层，对外提供数据服务。128.对于本技术实施例提供的数据处理装置而言，由于其与上文方法实施例提供的数据处理方法相对应，所以描述的比较简单，相关相似之处请参见上文方法实施例的说明即可，此处不再详述。129.本技术还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序包含用于执行如上文方法实施例提供的数据处理方法的程序代码。130.在本技术的上下文中，计算机可读介质(机器可读介质)可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。131.需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。132.上述计算机可读介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。133.本技术还提供一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，所述计算机程序包含用于执行如上文方法实施例提供的数据处理方法的程序代码。134.特别地，根据本技术的实施例，上文各参考流程图描述的过程可以被实现为计算机软件程序。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从rom被安装。在该计算机程序被处理装置执行时，执行本技术实施例的方法中限定的上述功能。135.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。136.为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。137.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。138.最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。139.以上所述仅是本技术的优选实施方式，应当指出，对于本
技术领域：
：的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
