一种数据活性评估方法及装置与流程

1.本技术涉及数据处理技术领域，具体而言，涉及一种数据活性评估方法及装置。


背景技术：

2.在企业业务不断变化的过程中，企业配置系统内的业务配置数据呈现爆炸式增长，随着数据量的不断激增，给存储系统带来巨大压力。通过进行数据活性评估，能够提升企业的管理效率和资源合理利用率。现有的数据活性评估方法，通常通过基于数据的访问频次来评估该数据的数据活性。然而，在实践中发现，现有方法仅凭访问频次来评估数据活性，评估不精准，为企业进行数据管理提供了不可靠的决策依据。


技术实现要素：

3.本技术实施例的目的在于提供一种数据活性评估方法及装置，能够对数据进行数据活性评估，评估准确，从而有利于优化数据管理，为企业进行数据管理提供了可靠的决策依据。
4.本技术实施例第一方面提供了一种数据活性评估方法，包括：
5.获取待评估数据；
6.根据所述待评估数据之间的血缘关系，构建数据调用关系链；
7.根据预设评估周期和所述数据调用关系链，确定与所述待评估数据对应的数据活跃度；
8.根据预设的活性等级区间和所述数据活跃度对所述待评估数据的数据活性进行评估，得到评估结果。
9.在上述实现过程中，先获取待评估数据；再根据待评估数据之间的血缘关系，构建数据调用关系链；然后根据预设评估周期和数据调用关系链，确定与待评估数据对应的数据活跃度；最后根据预设的活性等级区间和数据活跃度对待评估数据的数据活性进行评估，得到评估结果，从而实现对数据进行数据活性评估，评估准确，从而有利于优化数据管理，为企业进行数据管理提供了可靠的决策依据。
10.进一步地，所述根据预设的活性等级区间和所述数据活跃度对所述待评估数据的数据活性进行评估，得到评估结果的步骤之后，所述方法还包括：
11.根据所述待评估数据、数据活跃度和所述评估结果，生成数据资产热力图。
12.进一步地，所述根据预设的活性等级区间和所述数据活跃度对所述待评估数据的数据活性进行评估，得到评估结果的步骤包括：
13.将所述待评估数据中数据活跃度处于第一区间的数据的评估结果确定为热数据；
14.将所述待评估数据中数据活跃度处于第二区间的数据的评估结果确定为温数据；其中，所述第二区间的区间下限不小于所述第一区间的区间上限；
15.将所述待评估数据中数据活跃度处于第三区间的数据的评估结果确定为冷数据；其中，所述第三区间的区间下限不小于所述第二区间的区间上限；
16.将所述待评估数据中数据活跃度处于第四区间的数据的评估结果确定为冰数据；其中，所述第四区间的区间下限不小于所述第三区间的区间上限；所述活性等级区间包括所述第一区间、所述第二区间、所述第三区间以及所述第四区间。
17.进一步地，所述方法还包括：
18.获取所述待评估数据在多个历史评估周期内的历史评估结果，并计算所述历史评估结果和所述评估结果的算术平均值；
19.根据所述算术平均值生成所述待评估数据的数据活性分析报告；
20.根据所述数据活性分析报告，对所述待评估数据进行数据迁移、销毁或管理处理。
21.进一步地，所述数据活性分析报告至少包括数据表、数据活跃度、物理存储空间大小、数据表创建时间以及数据表所属业务中的一种或多种。
22.本技术实施例第二方面提供了一种数据活性评估装置，所述数据活性评估装置包括：
23.获取单元，用于获取待评估数据；
24.构建单元，用于根据所述待评估数据之间的血缘关系，构建数据调用关系链；
25.确定单元，用于根据预设评估周期和所述数据调用关系链，确定与所述待评估数据对应的数据活跃度；
26.评估单元，用于根据预设的活性等级区间和所述数据活跃度对所述待评估数据的数据活性进行评估，得到评估结果。
27.在上述实现过程中，获取单元先获取待评估数据；构建单元再根据待评估数据之间的血缘关系，构建数据调用关系链；然后确定单元根据预设评估周期和数据调用关系链，确定与待评估数据对应的数据活跃度；最后评估单元根据预设的活性等级区间和数据活跃度对待评估数据的数据活性进行评估，得到评估结果，从而实现对数据进行数据活性评估，评估准确，从而有利于优化数据管理，为企业进行数据管理提供了可靠的决策依据。
28.进一步地，所述数据活性评估装置还包括：
29.计算单元，用于获取所述待评估数据在多个历史评估周期内的历史评估结果，并计算所述历史评估结果和所述评估结果的算术平均值；
30.所述生成单元，还用于根据所述算术平均值生成所述待评估数据的数据活性分析报告；
31.数据处理单元，用于根据所述数据活性分析报告，对所述待评估数据进行数据迁移、销毁或管理处理。
32.本技术实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例第一方面中任一项所述的数据活性评估方法。
33.本技术实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例第一方面中任一项所述的数据活性评估方法。
附图说明
34.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使
用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
35.图1为本技术实施例提供的一种数据活性评估方法的流程示意图；
36.图2为本技术实施例提供的一种数据活性评估装置的结构示意图；
37.图3为本技术实施例提供的一种数据调用关系链的示意图。
具体实施方式
38.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
39.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
40.实施例1
41.请参看图1，图1为本技术实施例提供了一种数据活性评估方法的流程示意图。其中，该数据活性评估方法包括：
42.s101、获取待评估数据。
43.本技术实施例中，该方法应用于在数据生命周期的管理场景中，通过数据活性评估为数据生命周期管理提供相关决策。
44.本技术实施例中，数据生命周期是指科学数据自身在生命周期各阶段的状态、特征与规律。数据全生命周期管理模型的目标是优化数据管理，提高效率，降低成本，以提供适合最终用户使用的数据产品，满足预期的质量要求。
45.s102、根据待评估数据之间的血缘关系，构建数据调用关系链。
46.本技术实施例中，基于大数据，数据爆发性增长，海量的、各种类型的数据在快速产生。数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系，这种数据之间的关系，称之为数据的血缘关系。
47.本技术实施例中，数据的血缘关系还包含了一些特有的特征：归属性、多源性、可追溯性以及层次性。其中，归属性表示特定的数据归属特定的组织或者个人。多源性表示同一个数据可以有多个来源(多个父亲)。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。可追溯性表示数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。层次性表示数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。
48.本技术实施例中，根据数据的血缘关系，能够绘制出整个数据调用的关系，为生命周期判定提供基础，其中，数据调用关系链如图3所示。
49.如图3所示，父级数据节点(如上图，父表abde)的活性等于自身的调用次数加上所有子节点的调用次数。举例：比如上图中父表b的活性＝父节点自身的调用次数 子节点的d调用次数 节点f的调用次数。
50.本技术实施例中，通过构建如图3所示的数据调用关系链，能够实现数据血缘关系的可视化，从而能够实现数据溯源、评估数据价值、数据质量评估以及为数据归档、销毁提
供参考决策。
51.本技术实施例中，可以根据数据调用关系链，追踪数据的来龙去脉，从而追踪数据的来源以及数据处理过程。
52.本技术实施例中，可以根据数据调用关系链，评估数据价值，评价维度包括数据受众、数据更新量级、数据更新频次等，对此本技术实施例不作限定。
53.本技术实施例中，可以根据数据调用关系链，评估数据质量，可以方便的看到数据清洗的标准清单，这个清单反映了对数据质量的要求。
54.s103、根据预设评估周期和数据调用关系链，确定与待评估数据对应的数据活跃度。
55.本技术实施例中，预设评估周期可以为一年、一月等，可以为预先设置，对此本技术实施例不作限定。
56.本技术实施例中，可以通过数据活性评估模型评估对待评估数据的数据活性进行评估，得到评估结果。
57.s104、根据预设的活性等级区间和数据活跃度对待评估数据的数据活性进行评估，得到评估结果。
58.本技术实施例中，预设的活性等级区间划分为四个区间，具体包括第一区间、第二区间、第三区间以及第四区间，可以为预先设置，对此本技术实施例不作限定。
59.本技术实施例中，可以将活性等级划分为4个区间，分别为：热、温、冷、冰。如活跃度周、月、年、两年等，对此本技术实施例不作限定。
60.本技术实施例中，第一区间可以为一周内，第二区间可以为大于一周且小于一月，第三区间可以为大于一月且小于一年，第四区间可以为大于一年且小于两年等，对此本技术实施例不作限定。
61.本技术实施例中，当数据活跃度在第一区间内时，可以确定为热数据，当数据活跃度在第二区间内时，可以确定为温数据；当数据活跃度在第三区间内时，可以确定为冷数据；当数据活跃度在第三区间内时，可以确定为冰数据。
62.作为一种可选的实施方式，根据预设的活性等级区间和数据活跃度对待评估数据的数据活性进行评估，得到评估结果的步骤包括：
63.将待评估数据中数据活跃度处于第一区间的数据的评估结果确定为热数据；
64.将待评估数据中数据活跃度处于第二区间的数据的评估结果确定为温数据；
65.将待评估数据中数据活跃度处于第三区间的数据的评估结果确定为冷数据；
66.将待评估数据中数据活跃度处于第四区间的数据的评估结果确定为冰数据；
67.在上述实施方式中，第二区间的区间下限不小于第一区间的区间上限；第四区间的区间下限不小于第三区间的区间上限；第三区间的区间下限不小于第二区间的区间上限。
68.在上述实施方式中，活性等级区间包括第一区间、第二区间、第三区间以及第四区间。
69.本技术实施例中，在数据治理过程中，数据表可能有几万张，通过数据资产标签进行数据周期的标定进而进行数据分层工作量较大，提供一种技术层面方法进行数据冷热判别。
70.本技术实施例中，在数据治理中，实施本方法能较快高效进行数据表的分析，通过判别后数据的迁移，有效节省存储成本。
71.在步骤s104之后，还包括以下步骤：
72.s105、根据待评估数据、数据活跃度和评估结果，生成数据资产热力图。
73.本技术实施例中，还可以结合待评估数据的数据地图和数据资产活性生成数据资产热力图，更加直观地呈现核心数据资产的分布和流向。
74.本技术实施例中，数据地图包括数据及数据的链路关系。
75.本技术实施例中，通过数据冷热判别的数据资产热力图，能够为数据业务的使用人员提供直观的认识，有助于对数据价值的挖掘。
76.s106、获取待评估数据在多个历史评估周期内的历史评估结果，并计算历史评估结果和评估结果的算术平均值。
77.s107、根据算术平均值生成待评估数据的数据活性分析报告。
78.本技术实施例中，可以对待评估数据进行多个预设评估周期的数据活性评估，得到每个预设评估周期的评估结果，然后可以根据评估结果的算术平均值，计算该待评估数据的评估平均值，然后根据评估平均值生成数据活性分析报告，为数据迁移销毁管理提供决策。
79.本技术实施例中，数据活性分析报告至少包括数据表、数据活跃度、物理存储空间大小、数据表创建时间以及数据表所属业务中的一种或多种，对此本技术实施例不作限定。
80.s108、根据数据活性分析报告，对待评估数据进行数据迁移、销毁或管理处理。
81.本技术实施例中，可以根据数据活性报告能够对待评估数据进行数据迁移、销毁或管理处理，比如：对冷冰数据选择进行销毁、迁移到低成本存储设备，并记录数据迁移记录等，对此本技术实施例不作限定。
82.本技术实施例中，结合数据分析报告，给数据管理员的决策建议比如：业务重要度低且数据冷且数据量大的直接删除或者其它冷数据及温数据迁移到低成本存储设备等，对此本技术实施例不作限定。
83.本技术实施例中，实施本实施例提供的方法，能够实现it支撑自动化管理。通过数据资产全生命周期管理，可视化呈现to数据活性较低的数据资产，自动出具数据活性分析报告，列示超过12个月的冰冻的数据清单，根据处理结果，统计释放的存储空间、节约的成本以及提升的效率，并绘制相应的变化趋势图。通过数据资产目录系统展示每一项数据资产的活性，以便于数据资产管理人员以及数据使用人员决策。
84.本技术实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
85.在本技术实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
86.可见，实施本实施例所描述的数据活性评估方法，能够对数据进行数据活性评估，评估准确，从而有利于优化数据管理，为企业进行数据管理提供了可靠的决策依据。
87.实施例2
88.请参看图2，图2为本技术实施例提供的一种数据活性评估装置的结构示意图。如图2所示，该数据活性评估装置包括：
89.获取单元310，用于获取待评估数据；
90.构建单元320，用于根据待评估数据之间的血缘关系，构建数据调用关系链；
91.确定单元330，用于根据预设评估周期和数据调用关系链，确定与待评估数据对应的数据活跃度；
92.评估单元340，用于根据预设的活性等级区间和数据活跃度对待评估数据的数据活性进行评估，得到评估结果。
93.作为一种可选的实施方式，该数据活性评估装置还包括：
94.生成单元350，用于在根据预设的活性等级区间和数据活跃度对待评估数据的数据活性进行评估，得到评估结果之后，根据待评估数据、数据活跃度和评估结果，生成数据资产热力图。
95.作为一种可选的实施方式，评估单元340，具体用于将待评估数据中数据活跃度处于第一区间的数据的评估结果确定为热数据；以及将待评估数据中数据活跃度处于第二区间的数据的评估结果确定为温数据；以及将待评估数据中数据活跃度处于第三区间的数据的评估结果确定为冷数据；以及将待评估数据中数据活跃度处于第四区间的数据的评估结果确定为冰数据；其中，第二区间的区间下限不小于第一区间的区间上限；第三区间的区间下限不小于第二区间的区间上限；第四区间的区间下限不小于第三区间的区间上限；活性等级区间包括第一区间、第二区间、第三区间以及第四区间。
96.作为一种可选的实施方式，该数据活性评估装置还包括：
97.计算单元360，用于获取待评估数据在多个历史评估周期内的历史评估结果，并计算历史评估结果和评估结果的算术平均值；
98.生成单元350，还用于根据算术平均值生成待评估数据的数据活性分析报告；
99.数据处理单元370，用于根据数据活性分析报告，对待评估数据进行数据迁移、销毁或管理处理。
100.本技术实施例中，数据活性分析报告至少包括数据表、数据活跃度、物理存储空间大小、数据表创建时间以及数据表所属业务中的一种或多种，对此本技术实施例不作限定。
101.本技术实施例中，对于数据活性评估装置的解释说明可以参照实施例1中的描述，对此本实施例中不再多加赘述。
102.可见，实施本实施例所描述的数据活性评估装置，能够对数据进行数据活性评估，评估准确，从而有利于优化数据管理，为企业进行数据管理提供了可靠的决策依据。
103.本技术实施例提供了一种电子设备，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行本技术实施例1中的数据活性评估方法。
104.本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本技术实施例1中的数据活性评估方法。
105.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执
行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
106.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
107.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
108.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
109.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
110.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。