外部数据管理系统及方法与流程

1.本发明涉及计算机技术领域，尤其是涉及一种外部数据管理系统及方法。


背景技术：

2.随着互联网数据规模的不断增长，金融行业的各个金融机构存储并积累了大量的外部数据。外部数据是指非业务采集、非自身积累、非人行征信的客户数据，此类数据通常由权威机构、金融科技公司、互联网公司等数据供应商，在客户授权的情况进行采集，经过加工后形成可以反映用户信用、还款能力、还款意愿、行为特征等特性的客户数据。
3.由于外部数据来源广泛、整合度不高，数据处理加工等技术手段各不相同，因此各数据供应商供应的外部数据存在差异。由于外部数据数量巨大，使用传统的文件管理系统，检索文件速度慢，用户体验差。因此，如何实现对外部数据有效管理，以提高对外部数据的检索速度是亟待解决的问题。


技术实现要素：

4.本发明的目的在于提供一种外部数据管理系统及方法，以提高对外部数据的检索速度。
5.第一方面，本发明实施例提供了一种外部数据管理系统，包括：sql配置模块，用于将用户在sql编辑页面上编辑的sql脚本保存至数据库中；数据加工模块，用于通过定时任务从数据库中拉取sql脚本，并通过执行sql脚本对来自数据供应商的外部数据进行数据加工，得到加工数据；数据落库模块，用于将加工数据存储至以数据标识为表名的数据表中；其中，数据标识与供应商接口对应；数据查询模块，用于通过查询请求报文，调用与查询请求报文中的目标数据标识对应的目标供应商接口，在与目标数据标识对应的目标数据表中进行数据查询，得到查询结果。
6.进一步地，上述外部数据管理系统还包括网关处理模块，网关处理模块用于：接收业务系统发送的原始请求报文，原始请求报文携带有目标数据标识；根据原始请求报文的请求方式，确定目标处理组件对象；通过目标处理组件对象，将原始请求报文的请求参数组装成内部参数，并发起查询请求。
7.进一步地，上述网关处理模块还用于：对组装后的原始请求报文进行报文消息的加密处理，并根据加密处理后的原始请求报文，发起查询请求。
8.进一步地，上述网关处理模块还用于：对加密处理后的原始请求报文进行报文格式转换，得到查询请求报文，并发起处理查询请求报文的查询请求。
9.进一步地，上述网关处理模块还用于：接收目标供应商接口返回的携带有查询结果的原始响应报文；对原始响应报文进行响应参数构造，并向业务系统返回目标响应报文。
10.进一步地，上述外部数据管理系统还包括供应商计费对账模块，供应商计费对账
模块用于：进行供应商接口调用的日志记录，并根据日志记录，生成可视化的计费报表。
11.进一步地，上述外部数据管理系统还包括监控告警模块，监控告警模块用于：通过skywalking监控组件和flink流式计算框架，进行接口调用的统计监控，并当监控到接口状态异常时，进行预设方式的告警。
12.第二方面，本发明实施例还提供了一种外部数据管理方法，应用于第一方面的外部数据管理系统，该外部数据管理方法包括：将用户在sql编辑页面上编辑的sql脚本保存至数据库中；通过定时任务从数据库中拉取sql脚本；通过执行sql脚本对来自数据供应商的外部数据进行数据加工，得到加工数据；将加工数据存储至以数据标识为表名的数据表中；其中，数据标识与供应商接口对应；通过查询请求报文，调用与查询请求报文中的目标数据标识对应的目标供应商接口，在与目标数据标识对应的目标数据表中进行数据查询，得到查询结果。
13.进一步地，在通过查询请求报文，调用与查询请求报文中的目标数据标识对应的目标供应商接口的步骤之前，上述外部数据管理方法还包括：接收业务系统发送的原始请求报文，原始请求报文携带有目标数据标识；根据原始请求报文的请求方式，确定目标处理组件对象；通过目标处理组件对象，将原始请求报文的请求参数组装成内部参数，并发起查询请求。
14.进一步地，在上述在与目标数据标识对应的目标数据表中进行数据查询，得到查询结果的步骤之后，上述外部数据管理方法还包括：接收目标供应商接口返回的携带有查询结果的原始响应报文；对原始响应报文进行响应参数构造；向业务系统返回目标响应报文。
15.本发明实施例提供的外部数据管理系统及方法中，外部数据管理系统包括：sql配置模块，用于将用户在sql编辑页面上编辑的sql脚本保存至数据库中；数据加工模块，用于通过定时任务从数据库中拉取sql脚本，并通过执行sql脚本对来自数据供应商的外部数据进行数据加工，得到加工数据；数据落库模块，用于将加工数据存储至以数据标识为表名的数据表中；其中，数据标识与供应商接口对应；数据查询模块，用于通过查询请求报文，调用与查询请求报文中的目标数据标识对应的目标供应商接口，在与目标数据标识对应的目标数据表中进行数据查询，得到查询结果。这样在外部数据落库时，能够通过定时任务进行多次页面化的sql数据加工，并将加工数据存储至以数据标识为表名的数据表中，进而可以基于查询请求报文中的数据标识，进行快速数据查询，实现了对外部数据的有效管理，提高了对外部数据的检索速度。
附图说明
16.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前
提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例提供的一种外部数据管理系统的应用场景示意图；图2为本发明实施例提供的一种外部数据管理系统的结构示意图；图3为本发明实施例提供的一种数据可视化加工流程图；图4为本发明实施例提供的一种接口监控告警的流程示意图；图5为本发明实施例提供的一种外部数据管理方法的流程示意图。
具体实施方式
18.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.目前使用传统的文件管理系统进行外部数据管理时，存在检索文件速度慢，用户体验差的问题。基于此，本发明实施例提供的一种外部数据管理系统及方法，可以提高对外部数据的检索速度，提升用户体验。
20.为便于对本实施例进行理解，首先对本发明实施例所公开的一种外部数据管理系统进行详细介绍。
21.参见图1所示的一种外部数据管理系统的应用场景示意图，外部数据管理系统的上游系统为业务系统，下游系统为数据供应商，其中，业务系统为银行内部的系统，可以包括数据系统平台、签章系统、征信系统和支付系统等；数据供应商为银行外部的系统，可以包括人行征信系统、人行支付系统和行内签章系统等，每个数据供应商可以包括与供应商产品对应的多个供应商接口。
22.外部数据管理系统可以作为业务发展的数据源对接平台、供应商产品的统一接口对接平台，可以对业务系统暴露dubbo接口，提供统一数据查询服务。业务系统可以向外部数据管理系统发送查询请求，外部数据管理系统通过调用相应的供应商接口进行数据查询，并返回查询结果给业务系统。
23.参见图2所示的一种外部数据管理系统的结构示意图，本发明实施例提供的外部数据管理系统包括：sql配置模块202，用于将用户在sql编辑页面上编辑的sql脚本保存至数据库中；数据加工模块204，用于通过定时任务从数据库中拉取sql脚本，并通过执行sql脚本对来自数据供应商的外部数据进行数据加工，得到加工数据；数据落库模块206，用于将加工数据存储至以数据标识为表名的数据表中；其中，数据标识与供应商接口对应，数据标识可以是供应商产品类型标识，对于供应商产品类型，个人三要素信息（姓名、身份证号、银行卡号）为一个供应商产品类型；数据查询模块208，用于通过查询请求报文，调用与查询请求报文中的目标数据标识对应的目标供应商接口，在与目标数据标识对应的目标数据表中进行数据查询，得到查询结果。
24.这样在外部数据落库时，能够通过定时任务进行多次页面化的sql数据加工，并将加工数据存储至以数据标识为表名的数据表中，进而可以基于查询请求报文中的数据标
识，进行快速数据查询，实现了对外部数据的有效管理，提高了对外部数据的检索速度。
25.本发明实施例提供的外部数据管理系统提供统一接入的能力，该外部数据管理系统还包括与数据查询模块连接的网关处理模块，网关处理模块用于：接收业务系统发送的原始请求报文，原始请求报文携带有目标数据标识；根据原始请求报文的请求方式，确定目标处理组件对象；通过目标处理组件对象，将原始请求报文的请求参数组装成内部参数，并发起查询请求。
26.原始请求报文的请求参数中设定的请求类型字段决定请求方式，请求方式是根据不同的开发场景来确定它在哪一个网关系统上来开发的。每个请求方式都有相对应的处理组件对象，请求方式与处理组件对象是key-value的对应关系，请求方式是key，处理组件对象为value。
27.进一步地，上述网关处理模块还用于：接收目标供应商接口返回的携带有查询结果的原始响应报文；对原始响应报文进行响应参数构造，并向业务系统返回目标响应报文。
28.供应商接口也可以称为网关接口，统一入口方式指：网关接口根据不同的参数类型实现不同系统之间不同方法的调用，第一个参数是泛型入参（即方法入参），方法会根据不同的网关接口决定入参类型，第二参数为不同网关接口响应报文的类（即接口响应参数），方法会根据不同的网关响应装换响应报文，第三个参数为交易码，决定调用注册网关的路由，第四个参数为交易类型（自定义），方法会先判断该参数是否有效，再进行实际的网关接口调用。
29.为便于理解，本发明实施例提供了如表1所示的接口请求参数和如表2所示的接口响应参数。
30.表1
序号对象key值描述是否必填是否加密对应字段类型备注1input方法入参ynt动态灵活类型2r方法出参类型ynclass不同系统响应会自动转化为该类3prcscd交易码ynstring统一分配4jiaoyilx交易类型ynstring交易类型
表2
序号对象key值描述是否必填是否加密对应字段类型备注1flag请求状态标识ynstring请求状态标识2code响应码ynstring响应码3msg响应描述ynstring响应描述4data不同系统响应报文体ynt根据不同系统响应报文格式转化
为了保证数据的一致性和安全性，外部数据管理系统与供应商接口交互时可以对报文进行加解密操作。基于此，上述网关处理模块还用于：对组装后的原始请求报文进行报文消息的加密处理，并根据加密处理后的原始请求报文，发起查询请求。供应商接口需要先对加密的报文消息进行解密，才能进行相应查询。同样的，目标供应商接口返回的原始响应报文中的查询结果也是加密的，外部数据管理系统需要先对加密的查询结果进行解密，再向业务系统返回携带未加密的查询结果的目标响应报文。
31.一些业务系统的请求报文是xml格式，需要调用的一些供应商接口的响应报文可能是json格式；或者一些业务系统的请求报文是json格式，需要调用的一些供应商接口的响应报文可能是xml格式，因此存在通讯的差异，故外部数据管理系统还可以提供报文转化
功能，可以进行xml和json报文格式之间的相互转化。基于此，上述网关处理模块还用于：对加密处理后的原始请求报文进行报文格式转换，得到查询请求报文，并发起处理查询请求报文的查询请求。同样的，网关处理模块还用于对解密处理后的响应报文进行报文格式转换，得到目标响应报文，并返回给业务系统。
32.本发明实施例提供的外部数据管理系统可以实现数据可视化加工，参见图3所示的一种数据可视化加工流程图，管理后台提供供应商数据查询sql（structured query language，结构化查询语言）配置页面（即sql编辑页面），用户编辑的sql脚本保存至数据库中（即sql脚本落库），可以通过定时任务拉取sql脚本，以及并行异步执行sql脚本，即查询数据并生成加工数据，将加工数据写入至数据库中（即落入数据仓表中）；统一数据查询接口根据数据标识查询数据仓内容，该标识即为表名，进行动态sql路由，即数据路由至不同的数据表中进行查询；之后响应查询结果。编辑一次sql脚本，可以通过定时任务多次执行，并且可以在sql编辑页面上看到记录的任务执行数据，比如任务成功/失败、跑了几次等。
33.本发明实施例提供的外部数据管理系统还可以进行供应商接口的调用计费和可视化运营管理，即提供供应商接口调用的计费看板和落库数据的可视化查询。基于此，上述外部数据管理系统还包括供应商计费对账模块，供应商计费对账模块用于：进行供应商接口调用的日志记录，日志记录可以包括状态、响应数据、计费状态，并根据日志记录，生成可视化的计费报表。
34.具体实现时，供应商接口调用会记录每次调用记录，并且基于供应商、产品、查询状态进行落库，管理后台提供可视化计费报表（计费报表可以包括接口账单和/或供应商对账单）给到业务进行对账。在业务侧的页面上可以显示有计费查询按钮，可以通过点击计费查询按钮查看计费情况。
35.本发明实施例提供的外部数据管理系统还提供上下游接口调用的健康度监控和告警能力。基于此，上述外部数据管理系统还包括监控告警模块，监控告警模块用于：通过skywalking监控组件和flink流式计算框架，进行接口调用的统计监控，并当监控到接口状态异常时，进行预设方式的告警。
36.预设方式可以根据实际需求设置，例如预设方式包括邮件和短信。可以借助skywalking监控组件和flink流式计算框架实现系统接口上下游异常调用统计监控，并在接口异常状态进行邮件、短信等多渠道告警。其中，skywalking是一个分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器(docker、k8s、mesos)架构而设计。
37.为了便于理解，参见图4所示的一种接口监控告警的流程示意图，可以通过接口调用日志切面记录系统接口调用（业务系统接口调用）和供应商接口调用的调用日志，调用日志可以包括“接口类型”（如1/2/3），以及“接口状态”（如f/s/n）;调用日志进入缓存队列，并统计近n分钟成功/失败次数，接口状态异常时，通过发送队列向email服务器、sms运营商进行邮件、短信的告警。
38.本发明实施例还提供了一种外部数据管理方法，应用于上述的外部数据管理系统，参见图5所示的一种外部数据管理方法的流程示意图，该外部数据管理方法主要包括如下步骤s502~步骤s510：步骤s502，将用户在sql编辑页面上编辑的sql脚本保存至数据库中。
39.步骤s504，通过定时任务从数据库中拉取sql脚本。
40.步骤s506，通过执行sql脚本对来自数据供应商的外部数据进行数据加工，得到加工数据。
41.步骤s508，将加工数据存储至以数据标识为表名的数据表中；其中，数据标识与供应商接口对应。
42.步骤s510，通过查询请求报文，调用与查询请求报文中的目标数据标识对应的目标供应商接口，在与目标数据标识对应的目标数据表中进行数据查询，得到查询结果。
43.本发明实施例提供的外部数据管理方法，在外部数据落库时，能够通过定时任务进行多次页面化的sql数据加工，并将加工数据存储至以数据标识为表名的数据表中，进而可以基于查询请求报文中的数据标识，进行快速数据查询，实现了对外部数据的有效管理，提高了对外部数据的检索速度。
44.进一步地，在上述步骤s510之前，上述外部数据管理方法还包括：接收业务系统发送的原始请求报文，原始请求报文携带有目标数据标识；根据原始请求报文的请求方式，确定目标处理组件对象；通过目标处理组件对象，将原始请求报文的请求参数组装成内部参数，并发起查询请求。
45.进一步地，为了保证数据的一致性和安全性，在将原始请求报文的请求参数组装成内部参数之后，上述外部数据管理方法还包括：对组装后的原始请求报文进行报文消息的加密处理，并根据加密处理后的原始请求报文，发起查询请求。
46.进一步地，为了实现报文格式的一致性，上述根据加密处理后的原始请求报文，发起查询请求的步骤可以通过如下方式实现：对加密处理后的原始请求报文进行报文格式转换，得到查询请求报文，并发起处理查询请求报文的查询请求。
47.进一步地，在上述步骤s510之后，上述外部数据管理方法还包括：接收目标供应商接口返回的携带有查询结果的原始响应报文；对原始响应报文进行响应参数构造；向业务系统返回目标响应报文。
48.进一步地，上述外部数据管理方法还包括：进行供应商接口调用的日志记录，并根据日志记录，生成可视化的计费报表。
49.进一步地，上述外部数据管理方法还包括：通过skywalking监控组件和flink流式计算框架，进行接口调用的统计监控，并当监控到接口状态异常时，进行预设方式的告警。
50.本实施例所提供的外部数据管理方法，其实现原理及产生的技术效果和前述外部数据管理系统实施例相同，为简要描述，外部数据管理方法实施例部分未提及之处，可参考前述外部数据管理系统实施例中相应内容。
51.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
52.在本技术所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
53.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
54.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
55.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。