历史数据清理系统及方法与流程

1.本发明涉及数据清理技术领域，具体地说是历史数据清理系统及方法。


背景技术：

2.数据库中存储有大量的历史数据，基于业务需求，需要对历史数据进行请清理。目前大多数方案都存在紧耦合性的问题，测试和使用相对繁琐，测试和更新成本比较高。
3.如何自动准确的清理数据库中的历史数据，是需要解决的技术问题。


技术实现要素：

4.本发明的技术任务是针对以上不足，提供历史数据清理系统及方法，来解决如何自动准确的清理数据库中的历史数据的技术问题。
5.第一方面，本发明的一种历史数据清理系统，包括：
6.历史任务模块，所述历史任务模块与数据库交互，并通过历史任务界面与用户交互，用于基于数据库字典分析历史数据，并将历史数据抽取为历史清理服务，所述历史清理服务用于清理历史数据并返回执行结果；
7.定时任务模块，所述定时任务模块与所述历史任务模块交互，并通过定时任务界面与用户交互，用于对为历史清理服务配置定时任务，所述定时任务用于定义对应历史清理服务的执行周期，所述历史清理服务用于基于对应的定时任务清理历史数据、并向定时任务模块返回执行结果，所述定时任务模块通过执行日志记录所述执行结果，并通过所述定时任务界面展示执行结果。
8.作为优选，所述历史任务模块与所述定时任务模块与rest接口的方式交互或者以dubbo服务的方式交互。
9.作为优选，所述历史任务模块对应有历史任务配置文件，所述历史任务界面为web界面；
10.通过修改历史任务配置文件并启动web程序的方式，启动并运行所述历史任务模块；
11.所述定时任务模块对应有定时任务配置文件，所述定时任务界面为web界面；
12.通过修改定时任务配置文件并启动web程序的方式，启动并运行所述定时任务模块。
13.作为优选，所述历史任务模块用于基于维度将历史数据抽取为不同的历史清理服务，所述历史清理任务用于将对应维度的历史数据进行清理；
14.所述维度包括时间和属性。
15.作为优选，对于每个定时任务，所述定时任务模块用于配置对应的测试任务，所述测试任务用于测试所述定时任务和对应的历史清理任务是否适配，包括测试定时任务中配置的参数是否与对应历史清理任务的执行适配。
16.第二方面，本发明的一种历史数据清理方法，应用于如第一方面任一项所述的一
种历史数据清理系统，所述方法包括如下步骤：
17.通过历史任务模块调用数据库，并基于数据库字典分析历史数据，将历史数据抽取为历史清理服务，所述历史清理服务用于清理历史数据并返回执行结果；
18.对于每个历史清理服务，通过定时任务模块为所述历史清理服务配置对应的定时任务，所述定时任务用于定义对应历史清理服务的执行周期；
19.历史数据清理服务基于对应的定时任务清理历史数据，并向定时任务模块返回执行结果，通过执行日志记录所述执行结果，并通过定时任务界面展示所述执行结果。
20.作为优选，通过修改历史任务配置文件并启动web程序的方式，启动并运行历史任务模块；
21.通过修改定时任务配置文件并启动web程序的方式，启动并运行定时任务模块。
22.作为优选，基于维度将历史数据抽取为不同的历史清理服务，所述历史清理任务用于将对应维度的历史数据进行清理；
23.所述维度包括时间和属性。
24.作为优选，所述方法还包括如下步骤：
25.对于每个定时任务，通过定时任务模块配置对应的测试任务，所述测试任务用于测试所述定时任务和所述历史清理任务是否适配，包括测试定时任务中配置的参数是否与对应历史清理任务的执行适配；
26.对于每个历史清理服务，通过定时任务模块为所述历史清理服务配置对应的定时任务后，基于对应的测试任务测试所述定时任务和所述历史清理任务是否适配，如果是，所述历史清理服务基于所述定时任务清理对应的历史数据并向定时模块返回执行结果，如果否，通过定时任务模块重新配置定时任务。
27.本发明的历史数据清理系统及方法具有以下优点：
28.1、通过历史任务模块将清理历史数据抽取成服务，对于每个历史清理服务，通过定时任务模块配置对应的定时任务以定义历史清理任务的执行周期，基于该定时任务，通过历史清理服务可自动、周期性的对历史数据进行清理，从而达到自动、准确清理的效果；
29.2、历史清理任务执行后生成的执行结果通过执行日志记录，并进行展示，便于后续查看；
30.3、对于每个定时任务，配置对应的测试任务以测试定时任务与历史清理服务的适配，提高了效率。
附图说明
31.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.下面结合附图对本发明进一步说明。
33.图1为实施例2一种历史数据清理方法的流程框图。
具体实施方式
34.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
35.本发明实施例提供历史数据清理系统及方法，用于解决如何自动准确的清理数据库中的历史数据的技术问题。
36.实施例1：
37.本发明一种历史数据清理系统，包括历史任务模块和定时任务模块，历史任务模块与定时任务模块与rest接口的方式交互或者以dubbo服务的方式交互。
38.历史任务模块与数据库交互，并通过历史任务界面与用户交互，用于基于数据库字典分析历史数据，并将历史数据抽取为历史清理服务，历史清理服务用于清理历史数据并返回执行结果。
39.该历史任务模块对应有历史任务配置文件，历史任务界面为web界面；通过修改历史任务配置文件并启动web程序的方式，启动并运行所述历史任务模块。
40.作为具体实施，历史任务模块用于基于维度将历史数据抽取为不同的历史清理服务，历史清理任务用于将对应维度的历史数据进行清理；维度包括时间和属性等。例如，按照时间维度将历史抽取为历史清理服务，执行历史清理服务时，基于选定的时间界点对历史进行清理。或者，按照数据的属性(比如异常数据)将历史数据抽取为历史清理服务，执行历史清理服务时，基于选定的属性(如异常数据)对历史数据进行清理。
41.定时任务模块与历史任务模块交互，并通过定时任务界面与用户交互，用于对为历史清理服务配置定时任务，定时任务用于定义对应历史清理服务的执行周期，历史清理服务用于基于对应的定时任务清理历史数据、并向定时任务模块返回执行结果，定时任务模块通过执行日志记录执行结果，并通过定时任务界面展示执行结果。
42.该定时任务模块对应有定时任务配置文件，定时任务界面为web界面；通过修改定时任务配置文件并启动web程序的方式，启动并运行定时任务模块。
43.本实施例的系统，工作流程为：
44.(1)通过历史任务模块调用数据库，并基于数据库字典分析历史数据，将历史数据抽取为历史清理服务，所述历史清理服务用于清理历史数据并返回执行结果；
45.(2)对于每个历史清理服务，通过定时任务模块为所述历史清理服务配置对应的定时任务，所述定时任务用于定义对应历史清理服务的执行周期；
46.(3)历史数据清理服务基于对应的定时任务清理历史数据，并向定时任务模块返回执行结果，通过执行日志记录所述执行结果，并通过定时任务界面展示所述执行结果。
47.作为改进，对于每个定时任务，定时任务模块用于配置对应的测试任务，测试任务用于测试定时任务和对应的历史清理任务是否适配，包括测试定时任务中配置的参数是否与对应历史清理任务的执行适配。
48.改进后系统工作流程为：
49.(1)通过历史任务模块调用数据库，并基于数据库字典分析历史数据，将历史数据抽取为历史清理服务，所述历史清理服务用于清理历史数据并返回执行结果；
50.(2)对于每个历史清理服务，通过定时任务模块为历史清理服务配置对应的定时
任务，定时任务用于定义对应历史清理服务的执行周期；
51.(3)对于每个定时任务，通过定时任务模块配置对应的测试任务，基于测试任务测试定时任务和对应历史清理任务是否适配，如果是，历史清理服务基于定时任务清理对应的历史数据并向定时模块返回执行结果，如果否，通过定时任务模块重新配置定时任务，执行步骤(3)。
52.实施例2：
53.本发明一种历史数据清理方法，应用于实施例1公开的一种历史数据清理系统，该方法包括如下步骤：
54.s100、通过历史任务模块调用数据库，并基于数据库字典分析历史数据，将历史数据抽取为历史清理服务，所述历史清理服务用于清理历史数据并返回执行结果；
55.s200、对于每个历史清理服务，通过定时任务模块为历史清理服务配置对应的定时任务，定时任务用于定义对应历史清理服务的执行周期；
56.s300、历史数据清理服务基于对应的定时任务清理历史数据，并向定时任务模块返回执行结果，通过执行日志记录所述执行结果，并通过定时任务界面展示所述执行结果。
57.作为具体实施，步骤s100中，历史任务模块用于基于维度将历史数据抽取为不同的历史清理服务，历史清理任务用于将对应维度的历史数据进行清理；维度包括时间和属性等。例如，按照时间维度将历史抽取为历史清理服务，执行历史清理服务时，基于选定的时间界点对历史进行清理。或者，按照数据的属性(比如异常数据)将历史数据抽取为历史清理服务，执行历史清理服务时，基于选定的属性(如异常数据)对历史数据进行清理。
58.其中，通过修改历史任务配置文件并启动web程序的方式，启动并运行历史任务模块；通过修改定时任务配置文件并启动web程序的方式，启动并运行定时任务模块。
59.作为改进，基于定时任务执行历史清理服务时，测试定时任务与历史i清理服务是否适配，即测试定时任务中参数是否适合历史清理服务。
60.具体操作为：对于每个定时任务，通过定时任务模块配置对应的测试任务，基于测试任务测试定时任务和对应历史清理任务是否适配，如果是，历史清理服务基于定时任务清理对应的历史数据并向定时模块返回执行结果，如果否，通过定时任务模块重新配置定时任务。
61.该改进后的方法为：
62.s100、通过历史任务模块调用数据库，并基于数据库字典分析历史数据，将历史数据抽取为历史清理服务，所述历史清理服务用于清理历史数据并返回执行结果；
63.s200、对于每个历史清理服务，通过定时任务模块为所述历史清理服务配置对应的定时任务，所述定时任务用于定义对应历史清理服务的执行周期；
64.s300、对于每个定时任务，通过定时任务模块配置对应的测试任务，基于测试任务测试定时任务和对应历史清理任务是否适配，如果是，历史清理服务基于定时任务清理对应的历史数据并向定时模块返回执行结果，如果否，通过定时任务模块重新配置定时任务，并执行步骤s300。
65.上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。