内核数据处理软件的数据采集方法、装置、介质及设备与流程

技术特征：
1.内核数据处理软件的数据采集方法，其特征在于，包括：通过前置扫描器对至少一个端口进行数据接收行为的扫描；如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；将所述目标数据文件进行存储。2.根据权利要求1所述的方法，其特征在于，所述内核数据处理软件为开源etl程序，所述开源etl程序为kettle程序；相应的，在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件包括：在所述数据处理程序的运行过程中，调用所述开源etl程序的至少一个数据处理子程序，对所述目标数据进行处理，以产生目标数据文件；其中，所述数据处理子程序包括下述至少一个：加密子程序、鉴权子程序、导出子程序、识别子程序、清洗子程序、转换子程序、归档子程序以及输出子程序。3.根据权利要求2所述的方法，其特征在于，各所述作业流程包括一个或多个作业环节，所述作业环节由所述开源etl程序的数据处理子程序实现，或由所述前置采集模块中的自定义作业环节代码实现。4.根据权利要求3所述的方法，其特征在于，所述作业环节包括下述至少一个：加密、鉴权、导出、识别、清洗、转换、归档以及输出。5.根据权利要求1所述的方法，其特征在于，预置的作业流程包括下述至少一个：贷款数据作业流程；养老金数据作业流程；职业年金作业流程。6.根据权利要求1所述的方法，其特征在于，通过所述前置采集模块识别所述目标数据对应的作业流程包括：通过所述前置采集模块，根据所述目标数据的特征信息识别对应的作业流程；其中，所述特征信息包括下述至少一个：接收端口、接收端口所对应的外部业务系统、所述目标数据的格式类型、所述目标数据的数据名称。7.根据权利要求1所述的方法，其特征在于，所述作业流程的配置信息包括下述至少一项：作业流程所包括的作业环节、作业环节的顺序、以及作业环节的处理参数。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述数据处理程序的运行过程中，通过日志处理模块采集所述数据处理程序和内核数据处理软件的处理过程参数，以形成采集日志；其中，所述采集日志的内容包括下述至少一项：数据名称、数据id、数据作业时间和数据作业环节。9.一种内核数据处理软件的数据采集装置，其特征在于，包括：
扫描单元，用于通过前置扫描器对至少一个端口进行数据接收行为的扫描；目标数据获取单元，用于如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；作业流程识别单元，用于通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；目标数据处理单元，用于在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；目标数据文件存储单元，用于将所述目标数据文件进行存储。10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1
‑
8中任一项所述的内核数据处理软件的数据采集方法。11.一种设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1
‑
8中任一项所述的内核数据处理软件的数据采集方法。

技术总结
本申请实施例公开了一种内核数据处理软件的数据采集方法、装置、介质及设备。该方法包括：通过前置扫描器对至少一个端口进行数据接收行为的扫描；如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将目标数据传输至前置采集模块进行处理；通过前置采集模块识别目标数据对应的作业流程，并根据作业流程的配置信息运行作业流程对应的数据处理程序；在数据处理程序的运行过程中，调用内核数据处理软件，对目标数据进行处理，以产生目标数据文件；将目标数据文件进行存储。本技术方案，提供了更加便捷的操作接口，提高了跨系统数据的采集效率以及实现了目标数据的统一归档管理。一归档管理。一归档管理。


技术研发人员：顾安乐 潘子阳
受保护的技术使用者：上海浦东发展银行股份有限公司
技术研发日：2021.07.12
技术公布日：2021/10/23