一种应用于Kettle的运行监控方法及其系统与流程

一种应用于kettle的运行监控方法及其系统
技术领域
1.本发明属于运行监控技术领域，具体涉及一种应用于kettle的运行监控方法及其系统。


背景技术：

2.kettle是一款基于java语言开发的可视化编程开源etl工具,支持单机、集群方式部署。数据处理简化为流程控制和数据转换。其优点为：基于java开发、开源、跨平台以及社区支持，支持分布式集群方式部署，主从架构，插件架构扩展性好, 支持的扩展插件：作业、转换、分区、数据库，全面的数据访问支持（支持多个数据库, 如果非默认支持，还可以通过插件扩展），方便易用的图形用户界面，支持多种编程语言自定义转换逻辑，支持自定义失败处理步骤，可视化编程。但是其同时存在一些缺点：集群模式采用主从结构，不具备自动切换主从的功能。所以一旦主节点宕机，整个系统不可用，对网络要求高，节点之间需要不断的传输数据，kettle缺乏必要的数据异常处理和监控运维等管理功能服务，实际测试中经常出现一些莫名异常，调试比较困难，散装载重数据无法查找出错误明细。
3.基于以上缺点，导致需要对kettle文件进行实时的监控，保证其运行的稳定性、可靠性，但是kettle本身的监控功能却非常弱，无法获取执行文件的运行状况和具体的异常情况，如果一个转换文件不使用集群执行，也不会被监控，并且该监控的获取的数据来取内存，在关闭证书服务器后，监控数据消失，之前的监控信息也会丢失，导致监控系统失去功能。


技术实现要素：

4.为了解决现有技术存在的监控功能弱、无法获取文件的运行状况和具体的异常情况，以及监控系统实用性低的问题，提出一种应用于kettle的运行监控方法及其系统。
5.本发明所采用的技术方案为：一种应用于kettle的运行监控方法，包括如下步骤：获取kettle文件并识别kettle文件类别；根据kettle文件类别及其运行情况，生成并存储对应的日志文件；提取并分析日志文件，得到并显示监控数据。
6.进一步地，kettle文件类别包括转换文件和作业文件。
7.进一步地，同一个kettle文件的转换文件与作业文件之间设置有链接关系。
8.进一步地，转换文件的日志文件包括：转换日志 、步骤日志、运行日志、通道日志以及指标日志；转换日志包括转换名称、开始时间、结束时间以及执行状态；步骤日志包括转换运行的各步骤信息；运行日志包括转换文件的运行信息；通道日志包括转换文件输出的通道信息。
9.进一步地，作业文件的日志文件包括：作业日志、作业项日志以及日志通道日志；作业日志包括作业的开始时间、结束时间以及执行状态；作业项日志包括作业的项目运行情况；日志通道日志包括日志文件占用的通道信息。
10.进一步地，作业文件的日志文件的生成，包括如下步骤：获取当前的作业文件的所有组件；根据组件的设置方式得到作业的执行路线；若当前的作业文件的执行线路为并行执行，则生成每个并行执行线路的日志文件，设置同样的时间标识，并存储至对应的数据库中；若当前的作业文件的执行线路为串行执行，则生成每个串行执行线路的日志文件，根据执行线路的串行顺序设置连续的时间标识，并存储至对应的数据库中。
11.进一步地，提取并分析日志文件，得到并显示监控数据，包括如下步骤：提取kettle文件的日志文件；提取日志文件的执行状态、上次执行时间、执行历史以及运行状态；若运行情况存在异常，则发送异常通知；根据日志文件的执行状态、上次执行时间、执行历史以及运行状态生成并显示监控数据。
12.一种应用于kettle的运行监控系统，应用于运行监控方法，包括文件识别模块、日志生成模块、日志提取模块、日志分析模块、主控模块以及存储模块，文件识别模块的探针设置于kettle工具的文件存储目录，且文件识别模块与日志生成模块连接，日志生成模块的探针设置于kettle引擎处，且日志生成模块与存储模块连接，主控模块分别与文件识别模块、日志生成模块、日志提取模块和日志分析模块连接，日志提取模块分别与存储模块和日志分析模块连接。
13.进一步地，还包括人机交互模块，人机交互模块与主控模块连接；人机交互模块包括键入设备和显示设备，键入设备和显示设备均与主控模块连接。
14.进一步地，存储模块设置有kettle文件数据库、转换文件对应的日志文件数据库、作业文件对应的日志文件数据库以及异常通知数据库。
15.本发明的有益效果为：1）本发明提供的应用于kettle的运行监控方法，通过提取kettle文件的日志文件并对日志文件进行分析，实现了kettle文件的运行状况和具体的异常情况的监控，最后可视化显示监控数据，提高了监控的实用性和实时性，避免了运行中的各自异常发生导致的数据丢失或处理终端。
16.2）本发明提供的应用于kettle的运行监控系统，通过探针实时采集kettle文件的运行情况，并生成对应的日志文件，kettle文件无论是否通过集群运行都能实现对其的监控，提高了系统的实用性。
17.本发明的其他有益效果将在具体实施方式中进一步进行说明。
附图说明
18.图1是本发明中应用于kettle的运行监控方法的方法流程图。
19.图2是本发明中应用于kettle的运行监控系统的结构框图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.实施例1：如图1所示，本实施例提供一种应用于kettle的运行监控方法，包括如下步骤：获取kettle文件并识别kettle文件类别；根据kettle文件类别及其运行情况，生成并存储对应的日志文件；提取并分析日志文件，得到并显示监控数据。
22.作为优选，kettle文件类别包括转换文件和作业文件，同一个kettle文件的转换文件与作业文件之间设置有链接关系。
23.作为优选，转换文件的日志文件包括：转换日志 、步骤日志、运行日志、通道日志以及指标日志；转换日志包括转换名称、开始时间、结束时间以及执行状态；步骤日志包括转换运行的各步骤信息；运行日志包括转换文件的运行信息；通道日志包括转换文件输出的通道信息。
24.作为优选，作业文件的日志文件包括：作业日志、作业项日志以及日志通道日志；作业日志包括作业的开始时间、结束时间以及执行状态；作业项日志包括作业的项目运行情况；日志通道日志包括日志文件占用的通道信息。
25.作为优选，作业文件的日志文件的生成，包括如下步骤：获取当前的作业文件的所有组件；根据组件的设置方式得到作业的执行路线；若当前的作业文件的执行线路为并行执行，则生成每个并行执行线路的日志文件，设置同样的时间标识，并存储至对应的数据库中；若当前的作业文件的执行线路为串行执行，则生成每个串行执行线路的日志文件，根据执行线路的串行顺序设置连续的时间标识，并存储至对应的数据库中。
26.作为优选，提取并分析日志文件，得到并显示监控数据，包括如下步骤：提取kettle文件的日志文件；提取日志文件的执行状态、上次执行时间、执行历史以及运行状态；若运行情况存在异常，则发送异常通知；根据日志文件的执行状态、上次执行时间、执行历史以及运行状态生成并显示监控数据。
27.本发明提供的应用于kettle的运行监控方法，通过提取kettle文件的日志文件并对日志文件进行分析，实现了kettle文件的运行状况和具体的异常情况的监控，最后可视化显示监控数据，提高了监控的实用性和实时性，避免了运行中的各自异常发生导致的数据丢失或处理终端。
28.实施例2：本实施例为基于实施例1的技术方案的改进，其与实施例1的区别在于：如图2所示，一种应用于kettle的运行监控系统，应用于运行监控方法，包括文件识别模块、日志生成模块、日志提取模块、日志分析模块、主控模块以及存储模块，文件识别模块的探针设置于kettle工具的文件存储目录，且文件识别模块与日志生成模块连接，日志生成模块的探针设置于kettle引擎处，且日志生成模块与存储模块连接，主控模块分别与文件识别模块、日志生成模块、日志提取模块和日志分析模块连接，日志提取模块分别与存储模块和日志分析模块连接。
29.文件识别模块识别即将运行的kettle文件的文件类型，并将识别结果发送至日志生成模块，日志生成模块根据kettle文件的文件类型和具体的运行情况生成对应的日志文件，并将日志文件存储至存储模块对应的数据库中，日志提取模块根据用户的查询信息或自动在数据库中提取对应的日志文件，日志分析模块对日志文件进行分析得到对应的监控数据。
30.作为优选，还包括人机交互模块，人机交互模块与主控模块连接；人机交互模块包括键入设备和显示设备，键入设备和显示设备均与主控模块连接；用户通过键入设备输入查看信息，提取对应的日志信息生成对应的监控数据显示在显示设备上，便于用户实时观察文件的运行情况。
31.作为优选，存储模块设置有kettle文件数据库、转换文件对应的日志文件数据库、作业文件对应的日志文件数据库以及异常通知数据库。
32.本发明提供的应用于kettle的运行监控系统，通过探针实时采集kettle文件的运行情况，并生成对应的日志文件，kettle文件无论是否通过集群运行都能实现对其的监控，提高了系统的实用性。
33.本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。