一种多功能数据管理平台的制作方法

1.本发明涉及数据管理技术领域，具体涉及一种多功能数据管理平台。


背景技术：

2.目前银行业在营销获客、智能风控方面需要依赖外部数据引入，众多的外部数据服务供应商提供数据服务可能采用不同的接口技术，如通信协议、报文格式、认证方式等。银行各业务条线在购买不同供应商的外部数据时，需要数据使用系统针对供应商的接口规范进行定制化开发和对接。银行业务系统需要查询外部数据时，一般通过发起单笔或限量批量查询请求来一次性获得结果数据。但是，这种数据使用方式主要存在如下局限性：
3.第一，引入不同的外部数据服务，需要分别进行定制化接口开发，导致外部数据引入实施周期长，无法满足业务快速发展的诉求。
4.第二、银行内不同业务系统自行与外部供应商进行开发对接，可能导致同一个数据服务接口在多个业务系统内重复开发，造成重复的建设成本，同时带来极大的运维压力。
5.第三、数据服务供应商以单笔或限量批量查询请求提供数据结果，各业务系统通过api使用外部数据后，数据未能存储落地或仅能碎片化存储在各自系统内，难以进行二次利用，无法实现数据共享，更无法与内部数据融合利用，难以实现外部数据的后评价分析。目前多数外部数据供应商按查询笔数来收取费用，而银行信贷业务审批流程一般需要多个业务系统分别审批，审批过程中可能会多次发起相同的外部数据查询请求，这种业务场景下需要支付重复的查询费用来购买相同的外部数据。
6.第四、外部数据供应商的服务连续性、稳定性、数据质量等参差不齐，单一的数据服务供应商难以满足银行7*24小时业务连续性要求。


技术实现要素：

7.本发明的目的在于提供一种多功能数据管理平台，以解决现有的数据管理方式中存在的对接周期长、复用率低、无法实现数据共享及服务稳定性无法满足业务需求的问题。
8.为了克服上述现有技术中的缺陷，本发明提供了一种多功能数据管理平台，包括：
9.内部请求处理模块，用于接收内部业务系统的数据查询请求，并将数据处理结果对应的报文返回给内部业务系统；
10.外部接口处理模块，用于将对外查询请求转发至外部数据供应商，接收外部数据供应商返回的报文并进行报文解析；
11.微服务模块，用于为所述查询请求提供响应的查询服务及缓存服务；
12.数据存储模块，用于存储所述查询服务及所述微服务模块产生的数据。
13.进一步地，所述多功能数据管理平台，还包括：
14.hadoop离线批处理平台，用于接收所述数据存储模块的数据，进行数据分层、主题化整合操作，并将生成数据同步至bi数据分析平台。
15.进一步地，所述微服务模块，包括：
16.单笔查询接口服务，用于负责单笔查询接口整个查询流程，包括请求解析、返回报文封装、数据有效性检查及数据内容整合；
17.批量查询接口服务，用于负责批量接口整个查询流程，包括读写批量数据请求文件、统筹查本地、外发结果及外发请求数据去重。
18.进一步地，所述微服务模块，还包括：
19.单笔推送接口服务，用于负责对请求数据报文的解析，数据有效性检查及数据映射整理；
20.批量推送接口服务，用于负责读写内部请求处理模块传入的批量查询请求文件，将数据解析。
21.进一步地，所述单笔查询接口服务、所述批量查询接口服务、所述单笔推送接口服务及所述批量推送接口服务还用于，将各自生成的数据放入消息队列，待缓存服务回写redis、elasticsearch。
22.进一步地，所述微服务模块，还包括：
23.缓存服务，用于通过消息队列获取数据，根据接口对数据做映射加工处理；
24.监控日志服务，用于通过获消息队列获取日志。
25.进一步地，所述微服务模块，还包括：
26.配置中心服务，用于负责接收配置刷新请求，读取系统中的应用配置，通过消息总线通知其它所有服务拉取配置；
27.应用管理服务，用于负责收集所有其它服务的运行信息。
28.进一步地，所述微服务模块，还包括：接口web开发服务等，用于通过web 页面做接口配置化管理。
29.进一步地，所述内部请求处理模块，还用于：
30.对所述查询请求进行权限控制、数据供应商返回报文解析、字段校验、接口业务逻辑处理、请求响应统计及费用统计操作，并生成对应的数据处理结果。
31.进一步地，所述查询请求包括指定查询接口、查询条件及查询方向。
32.相对于现有技术，本发明的有益效果在于：
33.1)统一外部数据管理出入口，统一内部业务系统对接标准，避免各业务系统分别开发，分别对接外部数据供应商，重复功能开发，便于外部数据接入、查询、成效分析、退出等全生命周期管理。
34.2)实现外部数据标准化存储，屏蔽不同数据供应商的接口差异，支持不同接口的数据结构、数据取值标准化，提供实时的格式转换及共享存储、共享查询能力，有效降低外部数据查询成本。
35.3)支持多家供应商接口间按优先级、主备关系的自动切换，避免单一供应商带来的服务连续性风险；
36.4)外部数据落地存储，使得数据具备批量加工分析的价值，作为内数据的有效补充，成为客户画像的重要数据来源，满足不同的业务场景的数据分析需求。
附图说明
37.为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作
简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明某一实施例提供的一种多功能数据管理平台的架构示意图；
39.图2是本发明某一实施例提供的外部数据整合存储与共享查询方案中的数据层级划分逻辑示意图；
40.图3是本发明某一实施例提供的外部数据接口资产情况的界面显示图；
41.图4是本发明某一实施例提供的外部数据客户主题特征分析的界面显示图；
42.图5是本发明某一实施例提供的多功能数据管理平台运行的流程图。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.应当理解，文中所使用的步骤编号仅是为了方便描述，不作为对步骤执行先后顺序的限定。
45.应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
46.术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
47.术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
48.请参阅图1，本发明某一实施例提供了一种多功能数据管理平台，包括：
49.内部请求处理模块，用于接收内部业务系统的数据查询请求，并将数据处理结果对应的报文返回给内部业务系统；
50.外部接口处理模块，用于将对外查询请求转发至外部数据供应商，接收外部数据供应商返回的报文并进行报文解析；
51.微服务模块，用于为所述查询请求提供响应的查询服务及缓存服务；
52.数据存储模块，用于存储所述查询服务及所述微服务模块产生的数据。
53.进一步地，所述多功能数据管理平台，还包括：
54.hadoop离线批处理平台，用于接收所述数据存储模块的数据，进行数据分层、主题化整合操作，并将生成数据同步至bi数据分析平台。
55.需要说明的是，基于现有数据服务中存在的各种问题，如周期长、复用率低、无法实现数据共享及连续性稳定性参差不齐的问题。本发明的目的是利用大数据和应用云容器技术，构建统一引入、统一存储、统一服务的外部数据管理平台，避免各业务系统重复建设。基于afa4j(java)架构，采用平台化、服务化思想，可实现应用解耦、服务组件化，通讯与应用分离等，实现外部数据统一接入、统一提供查询服务，有效缩短外部数据引入的技术实施周期，达到快速支持业务的目的。基于springclound微服务架构，利用eureka注册发现组
件、kafka消息队列、redis缓存、elasticsearch快速查询等技术实现外部数据的实时共享存储和共享查询功能，使得引入的外部数据具备二次利用的条件，可有效降低外部数据的购买成本。存储逻辑上实现不同接口的统一标准化，查询逻辑上实现同类数据接口按优先级(主备)查询控制，允许同类数据查询请求在多家供应商中进行实时服务切换，规避强依赖单一数据供应商的风险，有效保障业务流程的连续性、稳定性。基于hadoop分布式平台，利用集群mapreduce、spark的大数据批量计算能力，采用hdfs低成本存储，实现内外部数据的批量处理、主题化整合、质量分析、价值挖掘等，为业务部门提供有效的数据支撑能力，为外部数据的引入、退出提供决策依据。
56.具体地，如图1所示，图1提供了本发明实施例的主要系统架构，下面对各部件功能进行说明：
57.1、内部请求处理模块：
58.作为内部业务系统的统一对接模块，接收内部业务系统的数据查询请求，对查询请求进行权限控制、数据供应商返回报文解析、字段校验、接口业务逻辑处理、请求响应统计、费用统计等，并返回结果数据报文给业务系统。
59.2、外部接口处理模块：
60.将对外查询请求转发至外部数据供应商，接收外部数据供应商返回的报文并进行报文数据解析等。
61.3、微服务模块：
62.微服务层包含了查询服务和缓存服务，其服务描述如下表所示：
63.表1微服务模块的各服务类型
64.65.[0066][0067]
4、数据存储：
[0068]
通过redis写入共享nas盘的数据文件，用于批量同步到hadoop离线批处理平台。
[0069]
5、hadoop离线批处理平台：
[0070]
接收数据存储模块的数据，进行数据分层、主题化整合操作，并将生成数据同步至bi数据分析平台。
[0071]
本发明实施例基于这五个模块，实现了统一外部数据管理出入口，统一内部业务系统对接标准，避免各业务系统分别开发，分别对接外部数据供应商，重复功能开发，便于外部数据接入、查询、成效分析、退出等全生命周期管理。
[0072]
在某一实施例中，提供了外部数据整合存储与共享查询方案：查询请求统一受理、统一授权认证、统一请求标准，保证数据查询请求的安全性和合法性。避免各业务系统各自为政，重复建设，便于外部数据查询统计。
[0073]
外部数据供应商通常以多种形式提供数据服务，afa4j平台针对供应商不同的通讯协议、加密机制、数据格式等，通过配置化模板开发适配，实现第三方数据接口的快速对接。
[0074]
利用微服务架构，将不同接口类型进行服务化划分，共划分成单笔查询接口服务、批量查询接口服务、单笔推送接口服务、批量推送接口服务四类主体接口服务，并按照业务服务流程，构建缓存服务、监控日志服务、配置中心服务、应用管理服务、接口web开发服务等。主体接口服务主要实现查询逻辑判断，可支持已查询的数据结果实时标准化处理，实时存储在本地，重复的查询请求可支持优先查本地、强制法外查询、强制查本地等多种查询逻辑。对于优先查本地的请求，应用服务会先从本地elasticsearch查询是否有符合条件的结果数据，如有则直接返回给内部请求处理模块(再返回内部业务系统)，否则转发请求至外部接口处理模块(再转发请求至外部数据供应商)。从外部数据供应商获取到的所有结果数据，均会进行标准化处理，包括报文字段标准化以及字段取值标准化，实现不同供应商的数据可统一格式存放，屏蔽各供应商的接口差异，保证数据存储标准统一。因不同的外部数据供应商在数据准确性、数据完整性、数据更新及时性、数据服务稳定性、数据收费标准等方面的表现情况不一，业务部门为保证外部数据服务的有效性和连续性，会采用同类外部数据引入多家供应商的方案，因此系统支持同类数据的查询请求在多家供应商中实时切换，切换顺序可根据业务部门预设的优先级规则执行，当某个请求经逻辑判断后需要发外查询时，系统会自动选择优先级高的供应商，并构造符合对应接口规范的请求报文并发送。接收到外部供应商返回的报文后，系统可自动判断查询结果是否有效(查询失败或查无数据)，无效则会自动选择优先级次高的供应商进行请求发送，直到查询结果有效或者候选供应商查询完毕为止。供应商的优先级规则可支持置信度参数、时间段参数等不同的维度策略。
[0075]
在某一个实施例中，给出了应用层、汇总层、整合层、缓冲层级实时区的色功能，如图2所示。其中，从外部数据供应商查得的每一笔数据，每天增量同步至大数据批处理hadoop平台，数据经结构化(由json数据格式解析成结构化表形式)、数据清洗标准化等处理过程后，按数仓行业规范进行数据分层模型整合加工，划分成缓冲层、整合层、汇总层、应用层共4个数据层级。在汇总层，会对所有已引入的外部数据按照不同的查询主体(个人客户/企业客户)分别进行主题整合，包括属性主题、行为主题、信用报告主题、评分主题、公社税主题、名单主题等。外部数据的主题化整合，使得具有业务关联性的数据项以较统一的数据表形式存储，并将业务频繁执行的共性逻辑进行抽象处理，形成数据中间层，为应用层的个性化业务场景提供直接的数据加工来源。同时利用大数据hdfs的低成本存储，保存超过2年的外部数据查询明细、超过半年的主题整合结果，使得应用层的外部数据具备时序变化特征，支持趋势分析预测类的业务场景。整合后的数据可批量同步至bi分析平台，业务部门可对将内外部数据进行融合加工和分析。通过bi分析工具，业务人员可将通过简单拖拉方式进行数据报表加工及仪表盘制作，可快速建立全行外部数据资产情况视图、外部数据客户画像视图，为外部数据质量监控、后评价分析、高价值客户挖掘等场景提供数据基础。其中外部数据后评价体系中涉及的数据准确性、数据完整性(数据覆盖率、数据填充率)、数据
更新及时性、服务稳定性(响应时效、服务连续性)等方面的质量指标，均可通过底层数据加工获得，反向为业务部门提供外部数据供应商选型提供决策依据，形成良好的闭环管理过程。其中，外部数据接口资产情况与外部数据客户主题特征分析的界面图分别如图3、4所示。
[0076]
在某一个实施例中，给出了本发明提供的多功能数据管理平台的系统运行基本流程，如图5所示。具体地，以单笔查询请求为例，数据流向过程为：
[0077]
1)行内业务系统发起外部数据查询请求，指定查询接口、查询条件、查询方向(优先查本地/强制发外/强制查本地)；
[0078]
2)内部请求处理模块接收到业务系统的查询请求，并进行报文解析，权限验证，参数校验后，请求转发至微服务网关模块；
[0079]
3)网关模块负责请求/结果报文转发；
[0080]
4)单笔查询服务模块根据查询方向参数，确定是否从本地查询，若参数值为“优先查本地”，则会从本地elasticsearch查询引擎中按条件查询结果，若存在有效(符合查询条件，且数据在有效期范围内)查询结果，则将结果数据按报文格式从网关返回至内部请求处理模块，并由内部请求处理模块将报文封装成响应报文，传送至业务系统。若参数值为“强制查本地”，则会从本地elasticsearch 查询引擎中按条件查询结果，若存在有效结果，则将结果数据返回。若不存在查询结果，则按“查无数据”返回。若参数值为“强制发外”，则会直接将查询请求报文封装成发外报文，传送至外部接口处理模块。
[0081]
5)外部接口处理模块接收到外发查询请求后，会进行报文加密并转发至外部数据供应商，当外部数据供应商返回结果(加密)报文后，外部接口处理模块负责将报文进行解密解析处理，并将结果报文经网关后转发至单笔查询服务模块。
[0082]
6)单笔查询服务模块接收到结果报文后，进行数据标准化处理，标准化后的结果数据传输至内部请求处理模块，并异步写入kafka消息队列；
[0083]
7)缓存模块负责从kafka消息队列中消费数据，并将数据写入(新增或更新) elasticsearch和redis。缓存模块定期再将redis中的数据持久化写入共享nas文件中；
[0084]
8)每天设置定时任务，将nas文件同步至大数据批处理hadoop平台，并在hadoop进行数据分层、主题化整合，以及同步至bi数据分析平台；
[0085]
9)每天设置定时任务，将elasticsearch上的过期失效数据进行清理，每份数据的有效期定义由业务部门提供。
[0086]
本发明实施例提供的方法，能够实现外部数据标准化存储，屏蔽不同数据供应商的接口差异，支持不同接口的数据结构、数据取值标准化，提供实时的格式转换及共享存储、共享查询能力，有效降低外部数据查询成本。同时，支持多家供应商接口间按优先级、主备关系的自动切换，避免单一供应商带来的服务连续性风险；外部数据落地存储，使得数据具备批量加工分析的价值，作为内数据的有效补充，成为客户画像的重要数据来源，满足不同的业务场景的数据分析需求。
[0087]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。