一种银行数据湖数据处理方法、装置、系统和介质与流程

1.本技术涉及计算机技术领域，特别涉及一种银行数据湖数据处理方法、装置、系统和介质。


背景技术：

2.数据湖(data lake)是一个以原始格式存储数据的存储库或系统，它按原样存储数据，而无需事先对数据进行结构化处理。与传统的数据架构要求整合、面向主题、固定分层等特点不同，数据湖为银行全员独立参与数据运营和应用创新提供了极大的灵活性。
3.传统的数据湖由于事先没有科学规划，导致数据质量和可用性越来越差，因此，如何提高数据湖数据的质量，是本领域需要解决的技术问题。


技术实现要素：

4.有鉴于此，提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
5.本技术的目的在于提供一种银行数据湖数据处理方法、装置、系统和介质，可以提高数据湖数据的质量。
6.为实现上述目的，本技术有如下技术方案：
7.第一方面，本技术实施例提供了一种银行数据湖数据处理方法，包括：
8.获取银行数据湖待入湖数据；
9.根据所述银行数据湖待入湖数据的数据标签，判断所述银行数据湖待入湖数据的类型；
10.当所述银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据；
11.根据所述银行当前实时交易对所述实时银行数据湖待入湖交易数据进行修改，并存储入所述银行数据湖内。
12.在一种可能的实现方式中，还包括：
13.当所述银行数据湖待入湖数据的类型包括监控类数据时，根据银行当前实时监控查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖监控数据；
14.将所述实时银行数据湖待入湖监控数据分发给银行监控类应用调用。
15.在一种可能的实现方式中，还包括：
16.当所述银行数据湖待入湖数据的类型包括分析类数据时，根据银行分析类应用的启动信号，加载所述银行数据湖待入湖数据中的与所述银行分析类应用对应的银行数据湖待入湖分析数据；
17.将所述银行数据湖待入湖分析数据发送至所述银行分析类应用调用，并返回所述银行分析类应用调用的结果。
18.在一种可能的实现方式中，所述根据所述银行数据湖待入湖数据的数据标签，判断所述银行数据湖待入湖数据的类型，包括：
19.将所述银行数据湖待入湖数据的数据标签与预设标签类型逐一比对，根据比对结果得到所述银行数据湖待入湖数据的类型。
20.第二方面，本技术实施例提供了一种银行数据湖数据处理装置，包括：
21.获取单元，用于获取银行数据湖待入湖数据；
22.判断单元，用于根据所述银行数据湖待入湖数据的数据标签，判断所述银行数据湖待入湖数据的类型；
23.第一查找单元，用于当所述银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据；
24.修改单元，用于根据所述银行当前实时交易对所述实时银行数据湖待入湖交易数据进行修改，并存储入所述银行数据湖内。
25.在一种可能的实现方式中，还包括：
26.第二查找单元，用于当所述银行数据湖待入湖数据的类型包括监控类数据时，根据银行当前实时监控查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖监控数据；
27.分发单元，用于将所述实时银行数据湖待入湖监控数据分发给银行监控类应用调用。
28.在一种可能的实现方式中，还包括：
29.加载单元，用于当所述银行数据湖待入湖数据的类型包括分析类数据时，根据银行分析类应用的启动信号，加载所述银行数据湖待入湖数据中的与所述银行分析类应用对应的银行数据湖待入湖分析数据；
30.发送单元，用于将所述银行数据湖待入湖分析数据发送至所述银行分析类应用调用，并返回所述银行分析类应用调用的结果。
31.在一种可能的实现方式中，所述判断单元，具体用于：
32.将所述银行数据湖待入湖数据的数据标签与预设标签类型逐一比对，根据比对结果得到所述银行数据湖待入湖数据的类型。
33.第三方面，本技术实施例提供了一种银行数据湖数据处理系统，包括：
34.存储器，用于存储计算机程序；
35.处理器，用于执行所述计算机程序时实现如上述所述银行数据湖数据处理方法的步骤。
36.第四方面，本技术实施例提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述所述银行数据湖数据处理方法的步骤。
37.与现有技术相比，本技术实施例具有以下有益效果：
38.本技术实施例提供了一种银行数据湖数据处理方法、装置、系统和介质，可应用于
大数据领域或金融领域。该方法包括：获取银行数据湖待入湖数据，根据银行数据湖待入湖数据的数据标签，判断银行数据湖待入湖数据的类型；当银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的银行数据湖待入湖数据，得到银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据；根据银行当前实时交易对实时银行数据湖待入湖交易数据进行修改，并存储入银行数据湖内。从而可以对待入湖数据进行自动处理，根据数据类型的不同进行科学规划，提高了银行数据湖的数据质量和可用性。
附图说明
39.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
40.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
41.图1示出了一种传统的数据平台的架构示意图；
42.图2示出了本技术实施例提供的一种数据湖装置的示意图；
43.图3示出了本技术实施例提供的一种数据湖分区详情的示意图；
44.图4示出了本技术实施例提供的一种数据湖节点部署的示意图；
45.图5示出了本技术实施例提供的一种数据管理工具模块的示意图；
46.图6示出了本技术实施例提供的一种数据湖交易类应用的示意图；
47.图7示出了本技术实施例提供的一种数据湖监控类应用的示意图；
48.图8示出了本技术实施例提供的一种数据湖分析类应用的示意图；
49.图9示出了本技术实施例提供的一种银行数据湖数据处理装置的示意图；
50.图10示出了本技术实施例提供的一种银行数据湖数据处理方法的流程图。
具体实施方式
51.需要说明的是，本发明提供的一种银行数据湖数据处理方法、装置、系统和介质可应用于大数据领域或金融领域。上述仅为示例，并不对本发明提供的一种银行数据湖数据处理方法、装置、系统和介质的应用领域进行限定。
52.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
53.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
54.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单
元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
55.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
56.正如背景技术中的描述，经申请人研究发现，数据湖(data lake)是一个以原始格式存储数据的存储库或系统，它按原样存储数据，而无需事先对数据进行结构化处理。其本质上是一种数据管理的思路，利用低成本技术来捕捉、提炼和探索大规模、长期的原始数据存储的方法与技术。数据湖可存储任何种类的数据，高质量、高效率地存储数据，更快速、更廉价地处理数据，将建模应用问题丢给最终开发者。
57.与传统的数据架构要求整合、面向主题、固定分层等特点不同，数据湖为银行全员独立参与数据运营和应用创新提供了极大的灵活性，并可优先确保数据的低时延、高质量和高可用，给运营商数据架构优化提供了很好的参考思路。
58.举例来说，参见图1所示，为一种传统的以数据为中心的处理架构(存储计算一体化，如主流mpp(大规模平行处理器，massively parallel processor)、hive(数据仓库工具)和分布式计算厂商产品)，好处是计算效率高、技术成熟，缺点也很明显，如灵活性不足，使得数据应用适用于少数人，这也制约了原生数据提供者向平台提供的积极性，进而导致数据的质量、数据的全面性都得不到很好的保障。
59.具体的，传统的数据平台可以包括：企业级数据平台。企业级数据平台可以包括应用层、汇总层、中间层、整合层和采集层。
60.其中，采集层主要可以采集进行数据校验处理，在进行数据采集时可以进行感知数据采集，然后将采集的感知数据进行多级数据汇集后可以直接跨过中间层进行原生数据采集。在进行数据采集时还可以进行生产系统数据采集，可以计算非结构化数据进行非结构化生产数据采集。同时，也可以向统一模型转换，在模型已统一的前提下进行原生数据采集到统一模型副本库中。
61.整合层可以进行数据清洗、转换和整合，中间层可以进行数据关联建模，汇总层进行基础宽表，应用层按需计算和呈现最终数据。
62.传统的数据湖从数据的系统归属上看，其数据可分为面向人、财、物管理类的管理支撑数据，面向客户和产品的营销及客户服务的业务支撑数据，和面向产品和网络功能及运营服务的运营支撑数据，三者之间既相对松耦合，又有着紧密的协作关系。
63.由于事先没有科学规划，数据存在着模型标准不统一，即便通过数据副本的模式进行整合汇聚，也存在转换不专业和数据失真等问题。异域节点相互之间会冗余存储对方数据，而建模和主数据又不同，跨域之间数据的关联整合非常复杂，跨域、跨省的端到端应用困难。平台数据不够实时，数据经过多级采集汇聚，处理环节多，采集周期长。网络相关海量数据跨省传输，占用大量带宽，数据时延较大。平台的灵活性不足，平台和应用互锁，形成恶性循环企业级数据平台难以满足生产系统数据应用需求，生产系统就没有动力将自身数据和应用迁入数据平台，进而数据平台的数据质量和可用性越来越差。
64.因此，如何提高数据湖数据的质量，是本领域需要解决的技术问题。
65.为了解决以上技术问题，本技术实施例提供了一种银行数据湖数据处理方法、装置、系统和介质，可应用于大数据领域或金融领域。该方法包括：获取银行数据湖待入湖数据，根据银行数据湖待入湖数据的数据标签，判断银行数据湖待入湖数据的类型；当银行数
据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的银行数据湖待入湖数据，得到银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据；根据银行当前实时交易对实时银行数据湖待入湖交易数据进行修改，并存储入银行数据湖内。从而可以对待入湖数据进行自动处理，根据数据类型的不同进行科学规划，提高了银行数据湖的数据质量和可用性。
66.示例性方法
67.参见图10所示，为本技术实施例提供的一种银行数据湖数据处理方法的流程图，包括：
68.s101：获取银行数据湖待入湖数据。
69.在本技术实施例中，当需要处理或管理银行数据湖的数据时，可以首先进行获取银行数据湖待入湖数据。
70.具体的，可以基于数据全生命周期，通过统一数据存储，统一数据管理，统一数据标准，统一标识各项数据，完善数据治理机制，构建科学的高质量、低延迟、高可用的数据湖装置。
71.参见图2所示，为本技术实施例提供的一种数据湖装置的架构示意图，包括：运营支撑系统、业务支撑系统和管理支撑系统，可以从运营支撑系统、业务支撑系统和管理支撑系统中进行数据采集。
72.当数据采集之后可以进行数据统一管理与存储，参见图2所示，数据湖存储环境可以包括业务支撑系统数据、运营支撑系统数据和管理支撑系统数据，即将三者不同系统的数据分别进行对应存储。
73.数据湖应用环境可以调用数据湖存储环境中的数据。具体的，数据湖应用环境可以包括数据服务平台、数据共享平台和数据分析计算环境。数据分析计算环境中可以包括多个实时数据应用和多个非实时数据应用。例如可以包括实时数据应用paas(platform as a service，平台即服务)，非实时数据应用paas。此外，本技术实施例提供的数据湖装置中还可以包括数据安全和平台调度模块。
74.本技术实施例基于企业级数据全生命周期过程，调整现有分析型数据湖建设思路，将其数据与应用解耦，强调原生数据入湖，并与全企业生产系统模型和主数据标准化协同推进，兼顾层次化的传统数据架构和扁平化的数据湖架构的优点，schema on read读时模式和schema on write写时模式并存，统一支撑企业实时、准实时和离线数据应用快速创新，是银行实现以数据为中心it架构转型的有效途径。
75.数据湖作为银行数据存储和访问的唯一出口，成为所有it系统共享的基础设施，统一存储全企业it和网络数据，通过开放架构支撑智慧运营，并可作为it系统集约化演进的纽带。
76.且本技术实施例统一存储管理支撑系统、业务支撑系统、运营支撑系统及物联网平台的实时、历史、在线、离线数据，全企业的原生数据只存储一份在逻辑统一的分布式数据湖内，原生数据与生产系统数据模型标准和主数据一致，新it系统/网元平台的生产数据直接使用数据湖存储。
77.同时，本技术实施例所有入湖数据的目录、元数据、数据应用及数据质量、数据标准、数据安全必须统一管理。数据模型标准和主数据动态维护，数据质量集中治理，原生系
统的数据问题溯源处理，生产系统建设者全程参与数据管理，责任权利保持一致。
78.生产系统管理部门负责辖内系统模型和主数据的标准化；数据湖统一管理生产系统的数据模型及主数据；暂未进行标准化的生产系统数据模型，由对应系统的管理部门负责数据模型的转换和运营，协调推进生产系统数据标准进程。
79.本技术实施例提供数据统一采集、实时订阅分发框架，支撑实时/准实时数据、离线数据的采集。各网元/平台数据采集能力以组件方式纳入数据湖，分专业采集、预处理加工，海量实时数据可靠近网络近源部署前置采集模块。非网络类数据(如管理支撑系统、业务支撑系统、运营支撑系统流程等)，初期以副本采集方式汇聚入湖，远期直接以服务交互方式入湖。
80.此外，本技术实施例数据应用环境与数据存储环境分离，按应用计算的网络带宽需要就近部署。提供统一的服务化访问、小批量数据订阅、数据分析计算云平台环境。基于云平台环境，应用开发者可自行整合数据、构建应用，数据存储、数据整合、平台组件、数据应用间相互解耦，建设的进程不会相互制约。
81.参见图3所示，为本技术实施例提供的又一种数据湖装置的架构示意图，秉承统一数据存储，统一数据管理，统一数据标准，统一标识各项数据，完善数据治理机制的策略。
82.首先，数据资源目录为数据湖提供智能化数据管理能力，建立全生命周期数据目录。然后统一标识各项数据，完善数据治理机制，管理数据湖数据的生产加工流程，对各项数据生成和使用过程进行跟踪记录，支撑数据的应用和溯源，是数据湖方案顺利实施的关键要素。最后还需要加强数据标准的全生命周期流程以及数据标准的元数据及数据质量问题收集、自动稽核、问题溯源、影响分析及跟踪处理等数据管理能力。
83.具体的，如图3所示，可以分为生产数据区、原生数据区、数据整合区和数据汇总区；生产数据区可以包括关系数据、非关系数据、文件和数据流等，原生数据区可以包括管理支撑系统数据、业务支撑系统数据、运营支撑系统数据和感知数据等原生存储数据；数据整合区可以包括数据整合、关联、建模等加工处理后的数据；数据汇总区可以包括数据按业务和应用共用的需求加工计算后的数据。
84.然后可以把数据汇总到paas云平台，paas云平台可以包括交易型paas云平台、实时大数据paas云平台和非实时大数据paas云平台。paas云平台可以直接与数据湖的各类应用进行对接，例如交易型应用、实时分析应用和非实时分析应用。
85.在本技术实施例中，可以自动识别数据格式和模式，构建统一的数据目录，并为客户提供所选数据的中央视图。这使得客户很容易跨越各种数据存储，检索和管理所有数据，而不必手动搬运它们。当客户从数据目录中标识出数据源(例如一个数据库表)和数据目标(例如一个数据仓库)时，数据湖将匹配相应的模式，生成可定制、可重用、可移植、可共享的数据转换代码。数据湖的数据目录功能让客户可以轻松使用装置工具来直接处理和查询数据湖上的数据，提高了企业的开发效率。
86.本技术实施例提供的数据湖装置是基于银行海内外监管不一的情况，整合、汇总海外数据监管要求，数据湖云节点采用1 n模式部署，统一管理、控制和调度节点环境，兼顾全网统一和个性化应用需求。1 n模式中的“1”支撑全网应用，“n”支撑国内省行辖内应用和海外行国内应用，并作为创新基地，有条件、数据量大、应用丰富的省可选择建设n分区。分区节点内可按照应用范围(全局需求、特定需求)、地域归属(集团、省)、数据层次(整合、汇
总)、数据分级(普通、密级)等进一步分区存储，具体部署图如图4。
87.参见图4所示，首先进行集中管理和统一调度，云化分布式部署，可以在总部整合汇总数据云节点；总部整合汇总数据云节点可以分别与a省整合汇总数据云节点与海外a信息中心整合汇总数据云节点连接；为了实现分省/分海外信息中心与源系统的就近部署，可以将a省原生数据湖云节点分别和a省整合汇总数据云节点和总部整合汇总数据云节点连接；b省原生数据湖云节点和总部整合汇总数据云节点连接；集团原生数据湖云节点与总部整合汇总数据云节点连接；海外a信息中心原生数据湖云节点分别和海外a信息中心整合汇总数据云节点连接与总部整合汇总数据云节点连接。
88.此外，a省原生数据湖云节点还和多个a省生产数据云节点之间分别连接；b省原生数据湖云节点还和多个b省生产数据云节点之间分别连接；集团原生数据湖云节点还和多个集团生产数据云节点之间分别连接；海外a信息中心原生数据湖云节点还和多个海外x行生产数据云节点之间分别连接；这些生产数据云节点还分别和各个具体的生产应用相连接。
89.针对不同业务数据类型可以分别作不同的入湖管理，以满足各方对数据湖数据的需求。
90.在本技术实施例中，数据湖的实施，需要实现模型和主数据标准的动态维护以及数据的集中治理，避免数据湖成为数据墓地。而数据来源众多，数据管理需要依赖于多方的密切合作以及数据标准管理、目录/元数据管理、应用/服务管理、质量等管理及海量数据探索分析等高效的管理工具。参见图5所示，该模块针对数据采集、数据存储(生产数据、原生数据、整合数据、汇总数据)、数据应用、数据服务、数据分发共享等环节构建端到端的安全管控体系。对涉及用户行为特征及关键信息的敏感数据进行统一处理，脱敏后提供给应用使用；不管是敏感数据还是非敏感数据，所有数据的直接访问均在数据湖的管理范围内进行，具体措施包括数据应用环境、服务访问环境、共享分发环境、数据存储环境统一管控，需要经过统一的对象和属性等的鉴权才能访问数据，数据不出数据湖(即数据访问不出台)，只能使用服务化方式或经过鉴权认证的数据共享分发方式进行数据访问。同时需要对大数据安全事件具备闭环管控能力，增强数据安全事件快速分析能力，提升安全事件发生后的应对处置效率。
91.具体的，包括大数据湖应用开发者、企业数据管理和专业数据管理；依次进行数据治理和建立数据管理制度；企业数据管理包括数据管理委员会和数据中心，专业数据管理包括财务管理、风险管理、经营分析和运营管理；具体的，可以包括数据质量管理、数据架构管理、数据操作管理、主数据管理和元数据管理。
92.s102：根据所述银行数据湖待入湖数据的数据标签，判断所述银行数据湖待入湖数据的类型。
93.在本技术实施例中，可以根据银行数据湖待入湖数据的数据标签，判断银行数据湖待入湖数据的类型。具体的，可以根据数据湖数据类型的不同，分别进行设计，以保证不同数据类型的数据需求应用与数据湖数据分离。
94.可选的，银行数据湖待入湖数据的类型可以包括交易类数据、实时监控类数据和分析类数据。在一种可能的实现方式中，可以通过数据服务平台、数据共享平台及统一数据应用环境按需支持交易类、实时监控类、分析类应用。
95.因此，作为本技术实施例数据湖数据处理方法的第一步，本装置首先要分析确定所需入湖管理的数据是属于哪一类应用的数据。
96.在一种可能的实现方式中，可以将银行数据湖待入湖数据的数据标签与预设标签类型逐一比对，根据比对结果得到银行数据湖待入湖数据的类型。
97.s103：当所述银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据。
98.s104：根据所述银行当前实时交易对所述实时银行数据湖待入湖交易数据进行修改，并存储入所述银行数据湖内。
99.在本技术实施例中，当银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的银行数据湖待入湖数据，得到银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据。
100.然后，可以根据银行当前实时交易对实时银行数据湖待入湖交易数据进行修改，并存储入银行数据湖内。
101.具体的，参见图6所示，可以对实时银行数据湖待入湖交易数据进行数据增、删、改和查等数据服务功能，可以将存储的银行数据湖内的实时银行数据湖待入湖交易数据提供给交易类应用。
102.在一种可能的实现方式中，本技术实施例提供的方法还可以包括：
103.当银行数据湖待入湖数据的类型包括监控类数据时，根据银行当前实时监控查找对应的银行数据湖待入湖数据，得到银行数据湖待入湖数据中的实时银行数据湖待入湖监控数据，将实时银行数据湖待入湖监控数据分发给银行监控类应用调用。
104.具体的，参见图7所示，当银行数据湖待入湖数据的类型包括监控类数据时，可以根据实时监控类应用的数据订阅选择数据服务，并将数据存储中的以及数据采集中的实时银行数据湖待入湖监控数据进行数据共享，并将数据分发给实时监控类应用调用。
105.在一种可能的实现方式中，本技术实施例提供的方法还可以包括：
106.当银行数据湖待入湖数据的类型包括分析类数据时，根据银行分析类应用的启动信号，加载银行数据湖待入湖数据中的与银行分析类应用对应的银行数据湖待入湖分析数据；将银行数据湖待入湖分析数据发送至银行分析类应用调用，并返回银行分析类应用调用的结果。
107.具体的，参见图8所示，可以从数据存储中加载银行数据湖待入湖数据中的与银行分析类应用对应的银行数据湖待入湖分析数据，将银行数据湖待入湖分析数据发送至银行分析类应用调用具体可以包括进行数据应用、数据处理和数据加载等操作，并可以将分析类应用进行数据应用的结果返回。
108.本技术实施例提供了一种银行数据湖数据处理方法，可应用于大数据领域或金融领域。该方法包括：获取银行数据湖待入湖数据，根据银行数据湖待入湖数据的数据标签，判断银行数据湖待入湖数据的类型；当银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的银行数据湖待入湖数据，得到银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据；根据银行当前实时交易对实时银行数据湖待入湖交易数据进行修改，并存储入银行数据湖内。从而可以对待入湖数据进行自动处理，根据数据类
型的不同进行科学规划，提高了银行数据湖的数据质量和可用性。
109.本技术实施例所构建的基于数据全生命周期，高质量、低延迟、高可用的数据湖装置，在管理体系上统一数据存储，统一数据管理，统一数据标准，统一标识各项数据，完善数据治理机制，重点管理数据湖数据的生产加工流程，对各项数据生成和使用过程进行跟踪记录，支撑数据的应用和溯源，加强数据标准的全生命周期流程以及数据标准的元数据及数据质量问题收集、自动稽核、问题溯源、影响分析及跟踪处理等数据管理能力。在不影响数据所有者或用户的情况下自动生成采用爬虫的方式生成数据目录，从哪些数据及如何分区存储、数据湖如何分布式部署、纷繁复杂的现有it系统数据如何入湖、数据和应用能否分离、数据湖与现有各类数据平台的演进关系等角度出发进行数据湖建设和管理。
110.示例性装置
111.参见图9所示，为本技术实施例提供的一种银行数据湖数据处理装置的示意图，包括：
112.获取单元901，用于获取银行数据湖待入湖数据；
113.判断单元902，用于根据所述银行数据湖待入湖数据的数据标签，判断所述银行数据湖待入湖数据的类型；
114.第一查找单元903，用于当所述银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据；
115.修改单元904，用于根据所述银行当前实时交易对所述实时银行数据湖待入湖交易数据进行修改，并存储入所述银行数据湖内。
116.在一种可能的实现方式中，还包括：
117.第二查找单元，用于当所述银行数据湖待入湖数据的类型包括监控类数据时，根据银行当前实时监控查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖监控数据；
118.分发单元，用于将所述实时银行数据湖待入湖监控数据分发给银行监控类应用调用。
119.在一种可能的实现方式中，还包括：
120.加载单元，用于当所述银行数据湖待入湖数据的类型包括分析类数据时，根据银行分析类应用的启动信号，加载所述银行数据湖待入湖数据中的与所述银行分析类应用对应的银行数据湖待入湖分析数据；
121.发送单元，用于将所述银行数据湖待入湖分析数据发送至所述银行分析类应用调用，并返回所述银行分析类应用调用的结果。
122.在一种可能的实现方式中，所述判断单元，具体用于：
123.将所述银行数据湖待入湖数据的数据标签与预设标签类型逐一比对，根据比对结果得到所述银行数据湖待入湖数据的类型。
124.本技术实施例提供了一种银行数据湖数据处理装置，可应用于大数据领域或金融领域。应用该装置的方法包括：获取银行数据湖待入湖数据，根据银行数据湖待入湖数据的数据标签，判断银行数据湖待入湖数据的类型；当银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的银行数据湖待入湖数据，得到银行数据湖待
入湖数据中的实时银行数据湖待入湖交易数据；根据银行当前实时交易对实时银行数据湖待入湖交易数据进行修改，并存储入银行数据湖内。从而可以对待入湖数据进行自动处理，根据数据类型的不同进行科学规划，提高了银行数据湖的数据质量和可用性。
125.在上述实施例的基础上，本技术实施例提供了一种银行数据湖数据处理系统，包括：
126.存储器，用于存储计算机程序；
127.处理器，用于执行所述计算机程序时实现如上述银行数据湖数据处理方法的步骤。
128.在上述实施例的基础上，本技术实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述银行数据湖数据处理方法的步骤。
129.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
130.上述计算机可读介质可以是上述系统中所包含的；也可以是单独存在，而未装配入该系统中。
131.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
132.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于器件实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
133.以上所述仅是本技术的优选实施方式，虽然本技术已以较佳实施例披露如上，然而并非用以限定本技术。任何熟悉本领域的技术人员，在不脱离本技术技术方案范围情况下，都可利用上述揭示的方法和技术内容对本技术技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本技术技术方案的内容，依据本技术的
技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本技术技术方案保护的范围内。