内核数据处理软件的数据采集方法、装置、介质及设备与流程

1.本技术实施例涉及金融数据采集技术领域，尤其涉及内核数据处理软件的数据采集方法、装置、介质及设备。


背景技术：

2.随着银行金融系统的迅速发展，对接的外部系统也越来越多，每个系统提供的接口文件种类、数据格式十分繁杂。
3.传统托管系统虽然可以通过数据采集系统自动将文件数据保存至数据库，但由于对接系统过多，每个接口都需要进行代码的开发。
4.对于每个接口都需要开发一套解析代码，代码的可读性低，跨系统数据采集效率低。


技术实现要素：

5.本技术实施例提供了一种内核数据处理软件的数据采集方法、装置、介质及设备，以提高了跨系统数据的采集效率。
6.第一方面，本技术实施例提供了内核数据处理软件的数据采集方法，该方法包括：
7.通过前置扫描器对至少一个端口进行数据接收行为的扫描；
8.如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
9.通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
10.在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
11.将所述目标数据文件进行存储。
12.第二方面，本技术实施例提供了内核数据处理软件的数据采集装置，该装置包括：
13.扫描单元，用于通过前置扫描器对至少一个端口进行数据接收行为的扫描；
14.目标数据获取单元，用于如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
15.作业流程识别单元，用于通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
16.目标数据处理单元，用于在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
17.目标数据文件存储单元，用于将所述目标数据文件进行存储。
18.第三方面，本技术实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术实施例所述的内核数据处理软件的数据采集方法。
19.第四方面，本技术实施例提供了一种设备，包括存储器，处理器及存储在存储器上
并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本技术实施例所述的内核数据处理软件的数据采集方法。
20.本技术实施例所提供的技术方案，通过前置扫描器对至少一个端口进行数据接收行为的扫描，如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将目标数据传输至前置采集模块进行处理，通过前置采集模块识别目标数据对应的作业流程，并根据作业流程的配置信息运行作业流程对应的数据处理程序，在数据处理程序的运行过程中，调用内核数据处理软件，对目标数据进行处理，以产生目标数据文件；将目标数据文件进行存储。本技术方案，可以基于前置采集模块调用内核数据处理软件对目标数据进行处理，提供了更加便捷的操作接口，提高了跨系统数据的采集效率。
附图说明
21.图1是本技术实施例一提供的内核数据处理软件的数据采集方法的流程图；
22.图2是本技术实施例一提供的内核数据处理软件的数据采集处理的示意图；
23.图3是本技术实施例一提供的作业流程开发的示意图；
24.图4是本技术实施例二提供的内核数据处理软件的数据采集装置的结构示意图；
25.图5是本技术实施例四提供的一种设备的结构示意图。
具体实施方式
26.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部结构。
27.在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
28.实施例一
29.图1是本技术实施例一提供的内核数据处理软件的数据采集方法的流程图，本实施例可适用于对复杂业务场景下繁杂多样数据进行采集处理的情况，例如，金融系统通常涉及的业务多，数据多样。该方法可以由本技术实施例所提供的内核数据处理软件的数据采集装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于用于数据处理的服务器或集群平台等设备中，例如数据采集平台。
30.如图1所示，所述内核数据处理软件的数据采集方法包括：
31.s110、通过前置扫描器对至少一个端口进行数据接收行为的扫描；
32.其中，端口可以是指外部服务器端口，用于数据采集平台与外界业务服务器通讯交流。端口可以是物理端口，也可以是虚拟端口。例如，端口可以是http协议端口、文件目录端口等。优选的，端口可以是文件目录端口。
33.在本方案中，数据接收行为可以是指外部服务器端口接收到数据的动作。
34.在本实施例中，前置扫描器可以是扫描小程序，安装在外部服务器的端口，用于定
时监测端口的数据接收行为。
35.s120、如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
36.在本方案中，目标数据可以是指金融系统存储的不同类型的数据。例如，目标数据可以是贷款数据、养老金数据以及职业年金数据等。其中，目标数据的格式类型可以是文本格式数据或excel格式数据。目标数据可以包括业务名称、业务id、业务值以及业务时间等内容。相同类型的目标数据的内容也可能不同。例如，目标数据包括业务名称、业务id以及业务值，目标数据的内容可以是业务名称
‑
业务id
‑
业务值、业务id()业务名称()业务值()或者业务名称业务值业务id，即以
“‑”
、“()”或空格来间隔。
37.在本实施例中，前置扫描器定时扫描外部服务器端口，若监测到外部服务器的端口的数据接收行为，则获取外部服务器端口接收到的目标数据，将目标数据存储到服务器共享盘中，并通知前置采集模块基于服务器共享盘获取目标数据。
38.s130、通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
39.在本实施例中，作业流程可以是指对目标数据进行处理的流程。例如，作业流程可以包括导出目标数据、识别目标数据、清洗目标数据、转换目标数据以及输出目标数据等流程。其中，目标数据的作业流程是预先配置的。不同目标数据对应的作业流程不同。
40.其中，作业流程的配置信息可以是指对目标数据进行作业处理的环节、顺序等信息。不同作业流程的配置信息不同，具体配置信息可以根据目标数据进行预先设置。
41.s140、在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件。
42.在本实施例中，内核数据处理软件可以是预先配置在前置采集模块用于对目标数据进行处理的软件。
43.其中，目标数据文件可以是指后缀名为.job格式的数据文件。
44.在本方案中，可以利用内核数据处理软件对目标数据进行导出、识别、清洗或者转换等处理，将目标数据处理成统一格式的目标数据文件。
45.在本技术方案中，可选的，所述内核数据处理软件为开源etl程序，例如所述开源etl程序为kettle程序；
46.相应的，在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件包括：
47.在所述数据处理程序的运行过程中，调用所述开源etl程序的至少一个数据处理子程序，对所述目标数据进行处理，以产生目标数据文件；其中，所述数据处理子程序包括下述至少一个：加密子程序、鉴权子程序、导出子程序、识别子程序、清洗子程序、转换子程序、归档管理子程序以及输出子程序。
48.其中，开源etl(extraction
‑
transformation
‑
loading，数据抽取、转换、加载)程序可以用于将数据抽取到临时中间层进行清洗、转换以及集成。kettle(kde extraction,transportation,transformation and loading environmen)最早是一个开源的etl工具，支持跨平台运行。
49.在本实施例中，加密子程序可以是用于对目标数据进行加密处理的程序；鉴权子
程序可以是用于对目标数据权限进行鉴别的程序；导出子程序可以是用于将目标数据从前置采集系统导出到内核数据处理软件中的程序；识别子程序可以是用于识别目标数据的特征信息的程序；清洗子程序可以是用于对目标数据中的异常数据进行处理的程序；转换子程序可以是指用于对目标数据的内容格式进行转换的程序；归档子程序可以是用于将目标数据进行统一归档处理；输出子程序可以是用于将目标数据输出到数据库中的程序。
50.图2是本技术实施例一提供的内核数据处理软件的数据采集处理的示意图。如图2所示，前置扫描器获取外部服务器端口接收到的目标数据，将目标数据存储到服务器共享盘中，并通知前置采集模块基于服务器共享盘获取目标数据，并调用内核数据处理软件，对目标数据进行加密、导出、识别、清洗、转换、归档或者输出等处理，产生目标数据文件。
51.通过调用开源etl程序的数据处理子程序，对目标数据进行处理，可以将目标数据转换成统一格式的目标数据文件，不需要额外进行代码的开发，降低了开发成本，实现了目标数据的统一归档管理。
52.在本技术方案中，可选的，各所述作业流程包括一个或多个作业环节，所述作业环节由所述开源etl程序的数据处理子程序实现，或由所述前置采集模块中的自定义作业环节代码实现。
53.在本实施例中，作业环节可以是指作业流程的子过程。例如，作业环节可以包括加密、导出、识别、清洗、转换、归档以及输出等环节。不同作业流程包括的作业环节不同。例如，作业流程1包括作业环节a和作业环节b，作业流程2包括作业环节a。
54.通过调用开源etl程序的数据处理子程序，对目标数据进行处理，可以将目标数据转换成统一格式的目标数据文件，不需要额外进行代码的开发，降低了开发成本。
55.在本技术方案中，可选的，所述作业环节包括下述至少一个：加密、鉴权、导出、识别、清洗、转换以及输出。
56.其中，加密和鉴权作业环节可以基于前置采集模块中的自定义作业环节代码实现。导出、识别、清洗、转换、归档以及输出作业环节可以基于开源etl程序的数据处理子程序实现。
57.示例性的，图3是本技术实施例一提供的作业流程开发的示意图。如图3所示，以kettle中的作业为基础，根据不同的作业流程在kettle中配置对应作业环节对目标数据进行处理，可以得到.job格式的目标数据文件，并将.job文件通过前置采集模块导入至kettle资源库。
58.在本方案中，获得目标数据后，由前置采集模块识别该目标数据对应的作业流程，并运行该作业流程对应的数据处理程序对目标数据进行处理。在本技术方案中，可选的，预置的作业流程包括下述至少一个：
59.贷款数据作业流程；
60.养老金数据作业流程；
61.职业年金作业流程。
62.在本实施例中，贷款数据作业流程可以是指用于对贷款数据进行处理的流程。养老金数据作业流程可以是指用于对养老金数据进行处理的流程。职业年金作业流程可以是指用于对职业年金数据进行处理的流程。
63.通过预先配置作业流程，可以基于作业流程对目标数据进行处理，提升了金融数
据的统一性。
64.在本技术方案中，可选的，通过所述前置采集模块识别所述目标数据对应的作业流程包括：
65.通过所述前置采集模块，根据所述目标数据的特征信息识别对应的作业流程；其中，所述特征信息包括下述至少一个：接收端口、接收端口所对应的外部业务系统、所述目标数据的格式类型、所述目标数据的数据名称。
66.其中，接收端口可以是指获取目标数据的端口。例如，接收端口可以是贷款端口、养老金端口或者职业年金端口等。
67.通过根据目标数据的特征信息识别目标数据对应的作业流程，可以基于预先设置的作业流程对目标数据进行处理，提高了目标数据的处理效率。
68.在本技术方案中，可选的，所述作业流程的配置信息包括下述至少一项：作业流程所包括的作业环节、作业环节的顺序、以及作业环节的处理参数。
69.其中，作业环节的顺序可以是指作业环节的排序。例如，作业流程包括作业环节a和作业环节b，则作业环节的顺序可以是作业环节a
‑
作业环节b，或者作业环节b
‑
作业环节a。
70.在本方案中，作业环节的处理参数可以是指配置作业环节的参数。例如，处理参数可以是步骤名称、数据库连接、目标表、提交记录数据量等参数。
71.通过对作业流程的配置信息进行确定，可以根据作业流程的配置信息运行作业流程对应的数据处理程序，实现目标数据的处理，提升了金融数据的统一性。
72.s150、将所述目标数据文件进行存储。
73.在本方案中，将目标数据文件通过前置采集模块导入到数据库中进行存储。
74.在本技术方案中，可选的，所述方法还包括：
75.在所述数据处理程序的运行过程中，通过日志处理模块采集所述数据处理程序和内核数据处理软件的处理过程参数，以形成采集日志；
76.其中，所述采集日志的内容包括下述至少一项：数据名称、数据id、数据作业时间和数据作业环节。
77.在本方案中，可以将预先确定的日志组件替换内核数据处理软件中的日志组件，在前置采集模块中建立作业监控页面，将通过日志处理模块采集的数据处理程序和内核数据处理软件的处理过程参数在作业监控页面上进行显示。
78.通过构建采集日志，可以优化内核数据处理软件的日志管理，且可以方便查看内核数据处理软件执行的过程。
79.本技术实施例所提供的技术方案，通过前置扫描器对至少一个端口进行数据接收行为的扫描，如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将目标数据传输至前置采集模块进行处理，通过前置采集模块识别目标数据对应的作业流程，并根据作业流程的配置信息运行作业流程对应的数据处理程序，在数据处理程序的运行过程中，调用内核数据处理软件，对目标数据进行处理，以产生目标数据文件；将目标数据文件进行存储。本技术方案，可以基于前置采集模块调用内核数据处理软件对目标数据进行处理，提供了更加便捷的操作接口，提高了跨系统数据的采集效率，实现了目标数据的统一归档管理。
80.实施例二
81.图4是本技术实施例提供的内核数据处理软件的数据采集装置的结构示意图，如图4所示，内核数据处理软件的数据采集装置包括：
82.扫描单元410，用于通过前置扫描器对至少一个端口进行数据接收行为的扫描；
83.目标数据获取单元420，用于如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
84.作业流程识别单元430，用于通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
85.目标数据处理单元440，用于在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
86.目标数据文件存储单元450，用于将所述目标数据文件进行存储。
87.在本技术方案中，可选的，所述内核数据处理软件为开源etl程序，所述开源etl程序为kettle程序；
88.目标数据处理单元440，具体用于：
89.在所述数据处理程序的运行过程中，调用所述开源etl程序的至少一个数据处理子程序，对所述目标数据进行处理，以产生目标数据文件；其中，所述数据处理子程序包括下述至少一个：加密子程序、鉴权子程序、导出子程序、识别子程序、清洗子程序、转换子程序以及输出子程序。
90.在本技术方案中，可选的，各所述作业流程包括一个或多个作业环节，所述作业环节由所述开源etl程序的数据处理子程序实现，或由所述前置采集模块中的自定义作业环节代码实现。
91.在本技术方案中，可选的，所述作业环节包括下述至少一个：加密、鉴权、导出、识别、清洗、转换以及输出。
92.在本技术方案中，可选的，预置的作业流程包括下述至少一个：
93.贷款数据作业流程；
94.养老金数据作业流程；
95.职业年金作业流程。
96.在本技术方案中，可选的，作业流程识别单元430，具体用于：
97.通过所述前置采集模块，根据所述目标数据的特征信息识别对应的作业流程；其中，所述特征信息包括下述至少一个：接收端口、接收端口所对应的外部业务系统、所述目标数据的格式类型、所述目标数据的数据名称。
98.在本技术方案中，可选的，所述作业流程的配置信息包括下述至少一项：作业流程所包括的作业环节、作业环节的顺序、以及作业环节的处理参数。
99.在本技术方案中，可选的，所述装置还包括：
100.采集日志形成单元，用于在所述数据处理程序的运行过程中，通过日志处理模块采集所述数据处理程序和内核数据处理软件的处理过程参数，以形成采集日志；
101.其中，所述采集日志的内容包括下述至少一项：数据名称、数据id、数据作业时间和数据作业环节。
102.上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有
益效果。
103.实施例三
104.本技术实施例还提供一种包含计算机可执行指令的介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种内核数据处理软件的数据采集方法，该方法包括：
105.通过前置扫描器对至少一个端口进行数据接收行为的扫描；
106.如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
107.通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
108.在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
109.将所述目标数据文件进行存储。
110.介质——任何的各种类型的存储器设备或存储设备。术语“介质”旨在包括：安装介质，例如cd
‑
rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。介质可以还包括其它类型的存储器或其组合。另外，介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多介质。介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
111.当然，本技术实施例所提供的一种包含计算机可执行指令的介质，其计算机可执行指令不限于如上所述的内核数据处理软件的数据采集操作，还可以执行本技术任意实施例所提供的内核数据处理软件的数据采集方法中的相关操作。
112.实施例四
113.本技术实施例提供了一种设备，该设备中可集成本技术实施例提供的内核数据处理软件的数据采集装置。图5是本技术实施例四提供的一种设备的结构示意图。如图5所示，本实施例提供了一种设备500，其包括：一个或多个处理器520；存储装置510，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器520执行，使得所述一个或多个处理器520实现本技术实施例所提供的内核数据处理软件的数据采集方法，该方法包括：
114.通过前置扫描器对至少一个端口进行数据接收行为的扫描；
115.如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
116.通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
117.在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
118.将所述目标数据文件进行存储。
119.当然，本领域技术人员可以理解，处理器520还实现本技术任意实施例所提供的内
核数据处理软件的数据采集方法的技术方案。
120.图5显示的设备500仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
121.如图5所示，该设备500包括处理器520、存储装置510、输入装置530和输出装置540；设备中处理器520的数量可以是一个或多个，图5中以一个处理器520为例；设备中的处理器520、存储装置510、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线550连接为例。
122.存储装置510作为一种计算机可读介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本技术实施例中的内核数据处理软件的数据采集方法对应的程序指令。
123.存储装置510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
124.输入装置530可用于接收输入的数字、字符信息或语音信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏、扬声器等设备。
125.本技术实施例提供的设备，可以达到基于前置采集模块调用内核数据处理软件对目标数据进行处理，提供更加便捷的操作接口，提高跨系统数据的采集效率的目的。
126.上述实施例中提供的内核数据处理软件的数据采集装置、介质及设备可执行本技术任意实施例所提供的内核数据处理软件的数据采集方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的内核数据处理软件的数据采集方法。
127.注意，上述仅为本技术的较佳实施例及所运用技术原理。本领域技术人员会理解，本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由所附的权利要求范围决定。