数据存储管理方法、系统、存储介质和电子设备与流程

1.本发明涉及数据存储管理技术领域，具体地，涉及一种数据存储管理方法、数据存储管理系统、存储介质和电子设备。


背景技术：

2.随着经济社会快速发展，人们的学习、工作和生活中所涉及到的数据越来越多，而数据必须以某种格式记录在计算机内部或外部的存储介质上，因此对存储介质上的数据的管理是数据应用的前提。
3.在持续运行的业务系统中，数据会逐日递增，存储设备(如硬盘、闪存)中的数据越来越多，需要对业务系统的数据进行整理、清除等操作，否则业务系统会不堪重负。传统方法可能需要对数据进行人工判断、手动处理、或是开发多套管理软件分别对业务系统中的不同业务数据进行管理，这些操作过程复杂、耗时，严重影响了业务系统的运行，同时，人力资源和软件资源也存在浪费现象。例如，某些业务系统往往需要定期对系统存储情况进行人工分析、判断、清理等操作，当出现人工未及时处理的情况时，往往导致业务系统的存储系统出现超负荷，无法接收外部新的数据输入，也无法生成新的信息数据，导致业务无法正常运行，受到严重影响。又或是针对数据逐日递增的情况，为不同的业务分别开发了不同的数据存储管理软件，而在这些存储管理软件中，有些处理步骤是相同的，因此也势必造成了直接和间接的浪费。


技术实现要素：

4.本发明实施例旨在提供一种数据存储管理方法、数据存储管理系统、存储介质和电子设备，以解决现有技术中的数据存储管理方法存在上述问题。
5.为此，本发明实施例提供一种数据存储管理方法，包括如下步骤：针对每一类数据存储管理需求，确定与其匹配的数据存储管理接口的配置信息，所述配置信息包括触发条件、跳出条件及其他相关信息；
6.根据每一类数据存储管理需求所对应的配置信息中的触发条件和跳出条件设置逻辑分析流程，所述逻辑分析流程用于判断被管理路径下存储的数据是否满足配置信息中的触发条件或跳出条件以及该执行何种相应的操作；
7.针对实际应用中的待管理路径，根据特定数据存储管理需求选定匹配的逻辑分析流程，并根据所述特定管理需求对逻辑分析流程中的配置信息进行调整，得到与所述待管理路径匹配的特定数据存储管理流程；
8.将所有待管理路径所匹配的特定数据存储管理流程进行融合后得到数据存储管理策略集，所述数据存储管理策略集适用于各类数据存储管理需求。
9.可选地，上述的数据存储管理方法中，所述针对每一类数据存储管理需求，确定与其匹配的数据存储管理接口的配置信息，所述配置信息包括触发条件、跳出条件及其他相关信息的步骤中：
10.所述数据存储管理需求包括数据删除、数据备份、数据迁移、数据记录查询和更新；
11.所述触发条件包括：存储路径水线触发条件、数据文件生命期触发条件、数据文件大小触发条件以及自定义触发条件。
12.可选地，上述的数据存储管理方法中，所述针对每一类数据存储管理需求，确定与其匹配的数据存储管理接口的配置信息，所述配置信息包括触发条件、跳出条件及其他相关信息的步骤中：
13.所述数据接口以xml格式文件记录，所述xml格式文件中的trigger_policy项用于表示触发条件；其中：high_line和low_line项分别用于表示被管理路径的最高水线和最低水线；high_life_cycle和low_life_cycle项分别用于表示被管理路径中数据的业务生命周期天数和异常生命周期天数；del_policy项表明了删除数据的一个策略,，按天删除还是按照文件进行删除；monitor_proc项用于监控被管理路径是否运行相关联程序。
14.可选地，上述的数据存储管理方法中，所述针对每一类数据存储管理需求，确定与其匹配的数据存储管理接口的配置信息，所述配置信息包括触发条件、跳出条件及其他相关信息的步骤中还包括：
15.针对每一类数据存储管理需求，根据其匹配的数据存储管理接口的xml格式文件生成可视化交互界面，所述可视化交互界面中显示数据存储管理需求的配置信息。
16.可选地，上述的数据存储管理方法中，针对实际应用中的待管理路径，根据特定数据存储管理需求选定匹配的逻辑分析流程，并根据所述特定管理需求对逻辑分析流程中的配置信息进行调整，得到与所述待管理路径匹配的特定数据存储管理流程的步骤中：
17.在所述可视化操作界面上对所述逻辑分析流程中的配置信息进行调整。
18.可选地，上述的数据存储管理方法中，还包括如下步骤：
19.生成个性化数据存储管理需求的接收端口，所述个性化数据存储管理需求接收端口用于接收新增数据存储管理需求以及与所述新增数据存储管理需求匹配的数据存储管理接口的配置信息。
20.可选地，上述的数据存储管理方法中，针对实际应用中的待管理路径，根据特定数据存储管理需求选定匹配的逻辑分析流程，并根据所述特定管理需求对逻辑分析流程中的配置信息进行调整，得到与所述待管理路径匹配的特定数据存储管理流程的步骤中，还包括：
21.配置特定数据存储管理需求的数据存储管理模式，所述数据存储管理模式包括全自动数据存储管理模式及单次数据存储管理模式；所述全自动数据存储管理模式中以固定周期对所述待管理路径中的数据进行自动管理。
22.本发明实施例还提供一种数据存储管理系统，包括：
23.数据接口配置单元，用于针对每一类数据存储管理需求，确定与其匹配的数据存储管理接口的配置信息，所述配置信息包括触发条件、跳出条件及其他相关信息；
24.逻辑分析单元，用于根据每一类数据存储管理需求所对应的配置信息中的触发条件和跳出条件设置逻辑分析流程，所述逻辑分析流程用于判断被管理路径下存储的数据是否满足配置信息中的触发条件或跳出条件以及该执行何种相应的操作；
25.特定路径管理设置单元，用于针对实际应用中的待管理路径，根据特定数据存储
管理需求选定匹配的逻辑分析流程，并根据所述特定管理需求对逻辑分析流程中的配置信息进行调整，得到与所述待管理路径匹配的特定数据存储管理流程；
26.管理流程融合单元，用于将所有待管理路径所匹配的特定数据存储管理流程进行融合后得到数据存储管理策略集，所述数据存储管理策略集适用于各类数据存储管理需求。
27.本发明实施例还提供一种存储介质，所述存储介质中存储有程序指令，计算机读取所述程序指令后执行以上任一方案所述的数据存储管理方法。
28.本发明实施例还提供一种电子设备，包括至少一个处理器和至少一个存储器，至少一个存储器中存储有程序指令，至少一个处理器读取所述程序指令后执行以上任一方案所述的数据存储管理方法。
29.本发明实施例提供的上述技术方案与现有技术相比，至少具有如下技术效果：能够满足不同的数据存储管理需求以及实现多种平台特性的数据存储管理，具有灵活的重构特性、可扩展的数据存储管理策略，进一步地，其还具有统一的交互界面，能够满足用户对于数据存储管理方面的日益增多的各类需求。
附图说明
30.图1为本发明一个实施例所述数据存储管理方法的流程图；
31.图2为本发明另一个实施例的数据接口的xml格式文件示意图；
32.图3为针对某一数据存储管理需求的逻辑分析流程示意图；
33.图4为本发明一个实施例所述数据存储管理方法的内部执行序列图；
34.图5为本发明一个实施例所述数据存储管理系统的结构框图；
35.图6为本发明一个实施例所述执行数据存储管理方法的电子设备的硬件连接关系示意图。
具体实施方式
36.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。其中，术语“第一位置”和“第二位置”为两个不同的位置。
38.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可
以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
39.本发明一个实施例提供一种数据存储管理方法，所述数据存储管理方法可用于构建数据存储管理系统，应用于数据存储管理系统中，如图1所示，包括如下步骤：
40.s101：针对每一类数据存储管理需求，确定与其匹配的数据存储管理接口的配置信息，所述配置信息包括触发条件、跳出条件及其他相关信息，所述其他相关信息可以包括数据的文件类型、数据存储管理的优先级等。具体地，在对多个业务系统的数据存储管理需求进行充分调研的基础上，得出已有的数据存储管理需求，从而得到适合多种数据存储管理需求的数据存储管理接口，作为数据存储管理系统的原始输入和基础。所述数据存储管理需求包括数据删除、数据备份、数据迁移、数据记录查询和更新；所述触发条件包括：存储路径水线触发条件、数据文件生命期触发条件、数据文件大小触发条件以及自定义触发条件。
41.本方案中，如图2所示，所述数据存储管理接口以xml格式文件记录，xml的根节点为datalife。所述xml格式文件中的storage项及其子项用于表示被管理路径的路径信息；所述xml格式文件中的globalsetting项用于表示被管理路径的配置信息；所述xml格式文件中的root项表示被管理路径的根路径；所述xml格式文件中的trigger_policy项表示不同管理需求所对应的触发条件；high_line和low_line项分别用于表示被管理路径的最高水线和最低水线；high_life_cycle和low_life_cycle项分别用于表示被管理路径中数据的业务生命周期天数和异常生命周期天数；del_policy项表明了删除数据的一个策略，按天删除还是按照文件进行删除；monitor_proc项用于表示监控程序，监控被管理路径是否运行相关联程序，如存在多个，用“；”分开；single_manager_soft和manager_soft项分别表明了统一界面是调用单次执行程序还是调用自动监控程序；start_time和intervals项分别表明管理程序自动启动的开始时间和间隔时间。
42.dirsetting规定了需要管理的根路径下子路径的参数配置，可递归遍历。当dirsetting为非叶子节点时，relative_path项表明了要管理的路径的根路径下的子路径，不可缺少；其他配置参数可从globalsetting节点继承。当dirsetting为叶子节点时，relative_path项也不可缺少，object_type表明了管理对象的类型是文件还是文件夹；object_filter表明了管理对象的部分过滤信息，当为*时，表明针对所有文件或文件夹；priority表明了执行删除、备份等操作时的优先级；high_life_cycle和low_life_cycle可从上一节点继承，也可重新描述。
43.s102：根据每一类数据存储管理需求所对应的配置信息中的触发条件和跳出条件设置逻辑分析流程，所述逻辑分析流程用于判断被管理路径下存储的数据是否满足配置信息中的触发条件或跳出条件以及该执行何种相应的操作。
44.本步骤中，可以按照指定的数据存储管理接口所配置的触发条件、跳出条件及其他相关配置信息，设置逻辑分析流程。针对特定的数据存储管理需求的可移植的数据存储管理的逻辑分析流程，其输入为已设计好的数据存储管理接口所规定的配置信息及实际状态信息。逻辑分析流程主要体现针对数据存储管理需求的各种逻辑判断及分析，实现判断与分析的各种模块均可扩展。当被管理路径下存储的数据的分析结果满足数据接口所规定
的触发条件时，立即调用与数据存储管理需求相对应的数据存储管理操作所对应的指定操作。当然，设计者也可以自行开发特有的判断分析模块和操作模块，也可以将自行开发的判断分析模块和操作模块加入到已有的数据接口和逻辑分析流程中，实现数据存储管理的可扩展功能，供整个平台的不同用户使用。本步骤中，针对特定数据存储管理需求，采用可扩展、可移植的python语言开发相应的逻辑分析流程。具体地，参考图3和图4所示的流程，可以包括如下流程：
45.步骤1)：输入xml格式的数据存储管理接口文件，解析xml文件。
46.步骤2)：对管理需求中的根路径进行逻辑判断分析，判断是否满足触发条件，若是则进入步骤3)，否则直接结束逻辑分析流程。
47.步骤3)：遍历子路径，获取某一子路径对应的配置信息和状态信息。
48.步骤4)：按照管理需求对根路径下的某一子路径进行分析，当逻辑分析流程识别到数据存储管理接口文件中的触发条件时，启动逻辑判断及分析，根据判断分析结果确定执行何种操作。
49.步骤5)：操作结束后，进行逻辑判断，判断是否满足跳出条件。
50.步骤6)：终止循环判断，数据存储管理过程结束。
51.s103：针对待管理路径，根据特定数据存储管理需求选定匹配的逻辑分析流程，并根据所述特定管理需求对逻辑分析流程中的配置信息进行优化调整，得到与所述待管理路径匹配的特定数据存储管理流程。
52.本步骤中，根据特定的管理路径的不同数据存储管理需求，对逻辑分析流程中的触发条件或跳出条件及其他配置信息参数进行优化调整。例如，用户可按照磁盘水线对待管理路径进行管理，可按照单个路径大小限制对其进行管理，还可按照路径下不同数据的生命周期对其进行管理等。用户仅需结合自身管理路径的需求，选择对应的逻辑分析流程及并对参数进行优化调整，配置信息将自动保存在xml文件中。针对同一管理路径，用户可随时根据自己的需求进行逻辑分析流程和配置参数的优化调整。
53.s104：将所有待管理路径所匹配的特定数据存储管理流程进行融合后得到数据存储管理策略集，所述数据存储管理策略集适用于各类数据存储管理需求。
54.以上方案所提供的数据存储管理方法，设计者只要按照特定的数据存储管理需求对设计好的逻辑分析流程的参数进行配置，就可以扩展新的数据存储管理功能。无需开发多套数据存储管理系统，上述通用功能可以提供与所有的数据存储管理需求相适应的数据存储管理策略，数据存储管理方法还可以对不同平台的管理目标进行监控或处理操作。
55.进一步地，上述方案中，在步骤s103之前还包括如下步骤：针对每一类数据存储管理需求，根据其匹配的数据存储管理接口的xml格式文件生成可视化交互界面，所述可视化交互界面中显示数据存储管理需求的配置信息。步骤s103中可以通过在所述可视化操作界面上对所述逻辑分析流程中的配置信息进行优化调整。具体地，可以包括：
56.(1)在统一交互界面的文本框输入需要配置的信息，配置的参数根据特定的管理路径及对应的存储管理需求而定，也可对已有的配置信息进行调整优化。
57.(2)点击保存后，系统会自动判断输入参数的合法性，确定无误后会将变化内容自动保存在对应xml格式的配置文件中。本方案中，结合java语言和跨平台的apache技术，用户按照数据存储管理接口文件开发统一的跨平台自适应交互界面，显示xml格式的数据接
口的各种配置参数信息。用户也可以根据过滤条件选择感兴趣的信息或查看关注的某一管理路径的全部信息。当xml接口文件的根节点信息发生变化时，交互界面也可自适应进行自动更新显示。此外，用户还需开发统一可扩展框架，包含不同管理策略程序均需的基本操作和功能，如xml文件的解析，数据的删除、备份及迁移、数据库的查询及更新等。通过本方案，用户无需开发多个人工交互界面，统一的交互界面可实时显示xml管理接口文件的信息，用户只需要在人工交互界面上对参数进行优化确认即可。具备支持各种配置参数查询、添加、修改、保存、删除的功能、具备触发和停止逻辑分析流程启动的功能、且具备查看逻辑分析流程运行状态等的功能。本步骤中，用户还可以开发统一可扩展框架，包含不同数据存储管理方法所需的基本操作和功能，包括：可读取xml文件，反馈不同数据存储管理方法统一的配置参数信息，反馈的信息以数据字典的形式保存；可对管理路径内的文件或文件夹等进行的删除、备份及迁移等操作；在对管理路径内数据进行操作时，如有需要同步更新数据库信息时，需进行相应的数据查询及更新操作等；编写供管理过程中所有的模块调用的统一的日志生成器，保证用户快速识别和更好地使用日志中关键信息；可扩展框架也支持随时将其它新的基本功能加入其中，供所有用户调用，大大节约了各种成本开销。
58.进一步地，上述方法还可以包括如下步骤：
59.s105:生成个性化数据存储管理需求接收端口，所述个性化数据存储管理需求接收端口用于接收新增数据存储管理需求以及与所述新增数据存储管理需求匹配的数据接口的配置信息。
60.随着用户对数据存储管理的精细化要求越来越多，可能会出现新增数据存储管理需求，因此本步骤中通过提供个性化数据存储管理需求接收端口的方式，能够随时接受用户通过该端口输入的新增数据存储管理需求以及与所述新增数据存储管理需求匹配的数据接口的配置信息，由此后续能生成与上述新增数据存储管理需求对应的逻辑分析流程。
61.优选地，以上方法还可以包括如下步骤：
62.s106：配置特定数据存储管理需求的数据存储管理模式，所述数据存储管理模式包括全自动数据存储管理模式及单次数据存储管理模式；所述全自动数据存储管理模式为以固定周期对所述待管理路径中的数据进行自动管理。
63.在通常情况下，在明确了逻辑分析流程中的各项配置参数信息后，可选择将不同平台、不同数据存储管理需求的管理路径全部作为待管理路径进行监控，采用本发明上述方法的逻辑分析流程会自动根据配置信息，定时或在规定的间隔时间内自动触发数据存储管理方法对所有的管理路径进行监控和操作；而在应急情况下，用户可以在统一的交互界面上明确各种配置参数信息后选择单次执行一次监控及处理操作，数据存储管理方法会立刻执行一次监控和处理操作，以满足特定情况下的应急需求。所有监控和处理操作的过程均会将关键节点的判断分析结果和操作写入相应的日志中，达到可追溯的目的。具体地：
64.用户针对不同的管理路径，仅需要在界面上选择将要采用的是一般情况下的全自动监控及处理还是应急情况下的一次监控及处理。多个管理路径需同时监控及处理时也将采用多进程的方式，相互之间互不影响。
65.(1)通常情况下的管理流程如下：
66.1)已进行好各项参数配置后，用户在统一交互界面上点击“自动监控及处理”按钮。
67.2)解析管理路径相应的xml配置参数信息。
68.3)根据解析的xml配置参数信息，生成监控队列，触发定时装置；
69.4)定时装置在规定时刻或在规定的间隔时间内启动管理策略程序判断是否满足触发条件，满足条件时开始递归遍历所有子路径，完成步骤s102相关的剩余操作。不满足条件时，程序跳出，并给出不满足条件的提示信息，记入日志文件中。
70.(2)存储管理一次执行的功能的流程为：
71.1)已进行好各项配置后，用户在界面上点击“立刻执行”按钮；
72.2)解析管理路径相应的xml配置参数信息。
73.3)根据解析的xml配置参数信息，自动调用对应的管理策略模块，判断是否满足触发条件，满足条件时开始递归遍历所有子路径，完成步骤s102相关的剩余操作，不满足条件时，程序跳出，并给出不满足条件的提示信息，记入日志文件中。
74.由此可见，本发明以上实施例提供的数据存储管理方法是由一系列子任务(不同的逻辑分析路程、通用功能实现方法及统一交互界面等)有机组合而成的。
75.本发明以上实施例中的方案，为满足不同业务系统数据存储管理需求，实现数据存储管理系统可快速扩展构建的要求，设计了数据存储管理系统的数据接口文件，引入工作流机制来最大化系统数据存储管理流程的灵活性与可扩展性。数据存储管理的处理流程用xml格式文件进行描述，在运行任务时动态加载，因此可以在数据存储管理流程中实现数据存储管理方法程序的“热插拔”。同时，同一管理策略也可给不同的管理路径使用，互不影响。且本实施例以上方案还提供了统一的跨平台人工交互界面，用户只需要按照指定接口文件进行配置参数的修改即可，不用开发整个流程所有的功能模块及人工交互界面等，大大节约了开发时间和难度。而且扩展的逻辑分析流程无需修改其他逻辑分析流程执行过程中任何一个配置参数和功能模块，大大提高了整个系统的稳定性和可靠性。
76.本发明的一些实施例中还提供一种数据存储管理系统，如图5所示，所述系统可以包括：
77.数据接口配置单元101，用于针对每一类数据存储管理需求，确定与其匹配的数据存储管理接口的配置信息，所述配置信息包括触发条件、跳出条件及其他相关信息；逻辑分析单元102，用于根据每一类数据存储管理需求所对应的配置信息中的触发条件和跳出条件设置逻辑分析流程，所述逻辑分析流程用于判断被管理路径下存储的数据是否满足配置信息中的触发条件或跳出条件以及该执行何种相应的操作；特定路径管理设置单元103，用于针对实际应用中的待管理路径，根据特定数据存储管理需求选定匹配的逻辑分析流程，并根据所述特定管理需求对逻辑分析流程中的配置信息进行调整，得到与所述待管理路径匹配的特定数据存储管理流程；管理流程融合单元104，用于将所有待管理路径所匹配的特定数据存储管理流程进行融合后得到数据存储管理策略集，所述数据存储管理策略集适用于各类数据存储管理需求。以上方案用于解决目前数据存储管理系统中管理策略不易扩展、且不能跨平台管理以及管理策略配置参数不能通过统一的人机交互界面修改的问题。
78.本发明一些实施例提供一种存储介质，可以为计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)，所述存储介质中存储有程序指令，计算机读取所述程序指令后执行以上任一技术方案所述的数据存储管理方法。
79.图6是本实施例提供的执行数据存储管理方法的电子设备的硬件结构示意图，该
设备包括：一个或多个处理器201以及存储器202，图6中以一个处理器201为例。执行充电信息处理方法的设备还可以包括：输入装置203和输出装置204。处理器201、存储器202、输入装置203和输出装置204可以通过总线或者其他方式连接，图6中以通过总线连接为例。存储器202作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器201通过运行存储在存储器202中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的数据存储管理方法。
80.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。