一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据管理方法、装置、计算机设备和存储介质与流程

2022-09-14 22:39:44 来源:中国专利 TAG:


1.本技术涉及数据处理技术领域,特别涉及一种数据管理方法、装置、计算机设备和存储介质。


背景技术:

2.在利用数据仓库工具进行数据提取、转化和加载等操作时,一般会涉及到数据标签信息。标签信息存储可以按纵表格式存储,方便扩展新标签以及减少数据冗余。然而在实际应用过程中,如果用户想要查看单个对象的信息,并且单个对象的信息又较多,直接读取纵表查看可能会出现纵表较长,用户需要滑动表格才能观察全部信息,用户体验较差。


技术实现要素:

3.本技术的旨在至少一定程度解决现有技术的问题,提供一种数据管理方法、装置、计算机设备和存储介质,通过将纵表转化为横表进行存储,能够方便查看全部信息,用户体验较好。
4.本技术实施例的技术方案如下:
5.第一方面,本技术提供了一种数据管理方法,应用于数据管理系统,所述方法包括:
6.获取预存储的非标准纵表,所述非标准纵表包括多个产品编码以及与所述多个产品编码逐一对应的多个第一标签名;
7.将所述非标准纵表中的第一标签名作为第一标签值,从预设的第一配置表中获取与所述第一标签值匹配的第二标签名;
8.建立所述产品编码、所述第二标签名和所述第一标签值的第一映射关系;
9.根据所述第一映射关系将所述非标准纵表进行标准化,得到目标标准纵表;
10.将所述目标标准纵表进行横表转化,得到目标横表。
11.根据本技术的一些实施例,在所述将所述目标标准纵表进行横表转化,得到目标横表之前,所述方法还包括:
12.获取预存储的第一标准纵表,所述第一标准纵表包括所述多个产品编码,每个产品编码对应有至少一个第三标签名,每个所述第三标签名对应有一个第二标签值;
13.对应的,所述根据所述第一映射关系将所述非标准纵表进行标准化,得到目标标准纵表,包括:
14.根据所述第一映射关系将所述非标准纵表进行标准化,得到第二标准纵表;
15.将所述第一标准纵表和所述第二标准纵表进行合并处理,得到合并的第三标准纵表;
16.将所述第三标准纵表作为所述目标标准纵表。
17.根据本技术的一些实施例,所述将所述目标标准纵表进行横表转化,得到目标横表,包括:
18.建立所述第三标准纵表对应的所述产品编码、所述第三标签名和所述第二标签值的第二映射关系;
19.将所述产品编码作为所述目标横表的列标签;
20.根据所述第二标签名和所述第三标签名,确定目标横表的行标签;
21.根据所述第一映射关系、所述第二映射关系和所述列标签,确定所述行标签对应的目标横表的第三标签值,得到所述目标横表,其中,所述第三标签值基于所述第一标签值和所述第二标签值得到。
22.根据本技术的一些实施例,所述将所述目标标准纵表进行横表转化,得到目标横表,还包括:
23.对所述行标签进行分类,得到分类结果;
24.根据所述分类结果,选择属于同一类别的所述行标签对应的所述列标签;
25.根据所述第一映射关系和所述第二映射关系,确定与所述列标签对应的所述第三标签值,得到多个所述目标横表,其中,所述目标横表的数量与所述分类结果的数量对应。
26.根据本技术的一些实施例,在所述将所述目标标准纵表进行横表转化,得到目标横表之后,所述方法还包括:
27.获取所述非标准纵表的第一扩展信息,所述第一扩展信息包括第一扩展标签名;
28.将所述第一扩展标签名作为第一扩展标签值,从所述预设的第二配置表中获取与所述第一扩展标签值匹配的第二扩展标签名;
29.根据所述第一扩展标签值和所述第二扩展标签名,对所述目标横表进行扩展,得到扩展的目标横表。
30.根据本技术的一些实施例,所述根据所述第一扩展标签值和所述第二扩展标签名,对所述目标横表进行扩展,得到扩展的目标横表,包括:
31.根据所述第二扩展标签名的所属类别,确定第一待扩展的目标横表;
32.将所述第二扩展标签名作为所述第一待扩展的目标横表的行标签;
33.在所述第一待扩展的目标横表中添加所述行标签和与所述行标签对应的所述第一扩展标签值,得到所述扩展的目标横表。
34.根据本技术的一些实施例,在所述将所述目标标准纵表进行横表转化,得到目标横表之后,所述方法还包括:
35.获取所述目标标准纵表的第二扩展信息,所述第二扩展信息包括第三扩展标签名和与第三扩展标签名对应的第二扩展标签值;
36.根据所述第三扩展标签名的所属类别,确定第二待扩展的目标横表;
37.将所述第三扩展标签名作为所述第二待扩展的目标横表的行标签;
38.在所述第二待扩展的目标横表中添加所述行标签和所述行标签对应的所述第二扩展标签值,得到所述扩展的目标横表。
39.第二方面,本技术提供了一种数据管理装置,应用于数据管理系统,包括:
40.数据获取模块,用于获取预存储的非标准纵表,所述非标准纵表包括多个产品编码以及与所述多个产品编码逐一对应的多个第一标签名;
41.标签处理模块,用于将所述非标准纵表中的第一标签名作为第一标签值,从预设的第一配置表中获取与所述第一标签值匹配的第二标签名;
42.关系映射模块,用于建立所述产品编码、所述第二标签名和所述第一标签值的第一映射关系;
43.标准化处理模块,用于根据所述第一映射关系将所述非标准纵表进行标准化,得到目标标准纵表;
44.表转化处理模块,用于将所述目标标准纵表进行横表转化,得到目标横表。
45.第三方面,本技术提供了一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被一个或多个所述处理器执行时,使得一个或多个所述处理器执行如上第一方面描述的任一项所述方法的步骤。
46.第四方面,本技术还提供了一种计算机可读存储介质,所述存储介质可被处理器读写,所述存储介质存储有计算机指令,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如上第一方面描述的任一项所述方法的步骤。
47.本技术实施例所提供的技术方案具有如下的有益效果:
48.本技术实施例提出一种数据管理方法、装置、计算机设备和存储介质,该数据管理方法应用于数据管理系统,该方法首先获取预存储的非标准纵表,非标准纵表包括多个产品编码以及与多个产品编码逐一对应的多个第一标签名;将非标准纵表中的第一标签名作为第一标签值,从预设的第一配置表中获取与第一标签值匹配的第二标签名;建立产品编码、第二标签名和第一标签值的第一映射关系,通过建立第一映射关系,能够将产品编码、第二标签名和第一标签值进行关联;根据第一映射关系将非标准纵表进行标准化,得到目标标准纵表,有利于后续进行横表转化;将目标标准纵表进行横表转化,得到目标横表。上述实施例通过将纵表转化为横表进行存储,能够方便查看全部信息,用户体验较好。
附图说明
49.图1是本技术的一个实施例提供的数据管理方法的流程示意图;
50.图2是图1中步骤s140的一个子步骤流程示意图;
51.图3是图1中步骤s150的一个子步骤流程示意图;
52.图4是图1中步骤s150的另一个子步骤流程示意图;
53.图5是本技术的另一个实施例提供的数据管理方法的流程示意图;
54.图6是图1中步骤s230的一个子步骤流程示意图;
55.图7是本技术的另一个实施例提供的数据管理方法的流程示意图;
56.图8是本技术的一个实施例提供的数据管理装置的结构示意图;
57.图9是本技术实施例提供的计算机设备的结构示意图。
具体实施方式
58.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本技术,并不用于限定本技术。
59.需要说明的是,除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的,不是旨在限制本技术。
60.首先,对本技术中涉及的若干名词进行解析:
61.分布式系统基础架构(hadoop):用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。hadoop实现了一个分布式文件系统(distributed file system),其中一个组件是基于分布式计算的分布式文件系统(hadoop distributed file system,hdfs)。hdfs有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。hadoop的框架最核心的设计就是:hdfs和编程模型(mapreduce)。hdfs为海量的数据提供了存储,而mapreduce则为海量的数据提供了计算。
62.数据仓库工具(hive):hive是基于hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供结构化查询语言(structured query language,sql)查询功能,能将sql语句转变成mapreduce任务来执行。hive的优点是学习成本低,可以通过类似sql语句实现快速mapreduce统计,使mapreduce变得更加简单,而不必开发专门的mapreduce应用程序。hive十分适合对数据仓库进行统计分析。为数据操作提供了良好的伸缩性和可扩展性。
63.基于此,本技术实施例提供了一种数据管理方法、装置、计算机设备和存储介质,该数据管理方法应用于数据管理系统,该方法首先获取预存储的非标准纵表,非标准纵表包括多个产品编码以及与多个产品编码逐一对应的多个第一标签名;将非标准纵表中的第一标签名作为第一标签值,从预设的第一配置表中获取与第一标签值匹配的第二标签名;建立产品编码、第二标签名和第一标签值的第一映射关系,通过建立第一映射关系,能够将产品编码、第二标签名和第一标签值进行关联;根据第一映射关系将非标准纵表进行标准化,得到目标标准纵表,有利于后续进行横表转化;将目标标准纵表进行横表转化,得到目标横表。上述实施例通过将纵表转化为横表进行存储,能够方便查看全部信息,用户体验较好。
64.需要说明的是,数据管理方法能够应用于数据管理系统,也可以应用于分布式计算中对数据的管理。该数据管理方法可以应用于对保险数据的管理,也可以用于对医疗数据的管理,其他数据的管理也同样适用,这里不作赘述。该方法可以将存储的纵表格式转化为横表的存储形式,也可以直接存储为横表,不仅方便模型搭建,并且有利于信息查看。
65.本技术实施例可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
66.下面参照附图,对本技术实施例提供的数据管理方法、装置、计算机设备和存储介质进行说明。
67.参见图1,图1示出了本技术实施例提供的一种数据管理方法的流程示意图。上述
方法包括但不限于有步骤s110、步骤s120、步骤s130、步骤s140和步骤s150。
68.步骤s110,获取预存储的非标准纵表,非标准纵表包括多个产品编码以及与多个产品编码逐一对应的多个第一标签名。
69.可以理解的是,非标准纵表可以有多个,也可以有一个。非标准纵表包括多个产品编码以及与多个产品编码逐一对应的多个第一标签名,示例性地,多个产品编码可以为p1和p2等,这里不作赘述。每一个产品编码对应有多个第一标签名,示例性地,产品编码p1对应的第一标签名可以为男性和养老险等,产品编码p2对应的第一标签名可以为女性和医疗险等,这里不作赘述。其中,第一标签名为与产品编码对应的标签名称,标签名称根据预设的规则定义,标签名称是枚举型值。通过获取非标准纵表有利于后续将纵表转化为横表。
70.步骤s120,将非标准纵表中的第一标签名作为第一标签值,从预设的第一配置表中获取与第一标签值匹配的第二标签名。
71.可以理解的是,将非标准纵表中的第一标签名作为第一标签值,示例性地,第一标签名为男性,将男性作为第一标签值。预设的第一配置表为定义好的配置表,该配置表中包含了自定义的标签名,从预设的第一配置表中获取与第一标签值匹配的第二标签名,示例性地,从预设的第一配置表中获取与男性匹配的第二标签名性别。通过上述标签名与标签值的转化,有利于后续进行纵表转横表。
72.需要说明的是,第二标签名为标签的名称,可以是标签名的一个大类;第一标签值为标签名对应的具体值;第一配置表包括有标签名对应的大类和小类,示例性地,配置表包含有性别大类和男性、女性小类。
73.步骤s130,建立产品编码、第二标签名和第一标签值的第一映射关系。
74.可以理解的是,由上述步骤s110和步骤s120可得,一个具体的产品编码可以对应多个标签名,每一个标签名对应一个标签值,将产品编码与第二标签名和第一标签值形成依次对应关系,得到第一映射关系,有利于后续纵表转化成横表。其中,第一映射关系表示产品编码、第二标签名和第一标签值之间的对应关系,能够通过产品编码和第二标签名得到唯一的一个第一标签值。
75.步骤s140,根据第一映射关系将非标准纵表进行标准化,得到目标标准纵表。
76.可以理解的是,根据产品编码、第二标签名和第一标签值之间的对应关系,将非标准纵表转化成标准纵表,得到目标标准纵表。通过将非标准纵表进行标准化,有利于后续实现非标准纵表与标准纵表结合转化成横表。
77.在一些实施例中,在将目标标准纵表进行横表转化,得到目标横表之前,数据管理方法还包括:
78.获取预存储的第一标准纵表,第一标准纵表包括多个产品编码,每个产品编码对应有至少一个第三标签名,每个第三标签名对应有一个第二标签值;
79.可以理解的是,第一标准纵表可以有多个,也可以有一个。第一标准纵表包括多个产品编码,每个产品编码对应有至少一个第三标签名,每个第三标签名对应有一个第二标签值。示例性地,多个产品编码可以为p3和p4等,这里不作赘述。每一个产品编码对应有至少一个第三标签名,示例性地,产品编码p3对应的第三标签名可以为佣金率等,产品编码p4对应的第三标签名可以为补贴率等,这里不作赘述。其中,第一标准纵表为标准纵表,标准纵表均包括产品编码、标签名和标签值字段。通过获取标准纵表有利于后续将标准纵表转
化为横表。
80.参考图2,根据第一映射关系将非标准纵表进行标准化,得到目标标准纵表,包括:
81.步骤s141,根据第一映射关系将非标准纵表进行标准化,得到第二标准纵表。
82.可以理解的是,根据产品编码、第二标签名和第一标签值之间的对应关系,将非标准纵表的产品编码作为第二标准纵表的产品编码,将第二标签名作为第二标准纵表的标签名,将第一标签值作为第二标准纵表的标签值,得到第二标准纵表。上述得到的第二标准纵表符合标准纵表的格式,通过将非标准纵表进行标准化,有利于后续实现非标准纵表与标准纵表结合转化成横表。
83.步骤s142,将第一标准纵表和第二标准纵表进行合并处理,得到合并的第三标准纵表。
84.可以理解的是,可以对第一标准纵表和第二标准纵表进行并集操作,该操作结构不包括重复行,因此,得到的合并的第三标准纵表不存在重复行;也可以对第一标准纵表和第二标准纵表进行全并集操作,该操作结果包括重复行,因此,得到的第三标准纵表存在重复行。其中,第三标准纵表符合标准纵表的格,将两个标准纵表进行合并,有利于后续实现两个纵表转化为一个横表。
85.需要说明的是,可以对两个以上标准纵表进行并集处理,也可以对两个以上标准纵表进行全并集处理,处理过程与上述两个纵表合并类似,这里不作赘述。通过多个纵表进行合并,有利于后续实现多个纵表转化为一个横表。
86.步骤s143,将第三标准纵表作为目标标准纵表。
87.可以理解的是,将第三标准纵表作为目标标准纵表,也可以将第一标准纵表作为目标标准纵表,还可以将第二标准纵表作为目标标准纵表,有利于后续进行统一的纵表转横表处理。
88.步骤s150,将目标标准纵表进行横表转化,得到目标横表。
89.可以理解的是,根据上述步骤s143,利用hive工具将目标标准纵表进行横表转化,可以将第一标准纵表转化成目标横表,也可以将非标准纵表转化为第二标准纵表,然后将第二标准纵表转化成目标横表,还可以将通过第一标准纵表和第二标准纵表合并得到的第三标准纵表进行横表转化,得到目标横表。通过上述标准纵表转化为目标横表,能够实现将一个纵表转化为横表或者将多个纵表转化为横表。
90.需要说明的是,根据步骤s143,合并的第三标准纵表可能具有重复的记录,在将第三标准纵表作为目标标准纵表进行横表转化时,需将重复的记录删除,值保留重复记录中的一条,减少数据的冗余。
91.参考图3,将目标标准纵表进行横表转化,得到目标横表,包括:
92.步骤s151,建立第三标准纵表对应的产品编码、第三标签名和第二标签值的第二映射关系。
93.可以理解的是,在第三标准纵表中,一个具体的产品编码可以对应多个标签名,每一个标签名对应一个标签值,将产品编码与第三标签名和第二标签值形成依次对应关系,得到第二映射关系,有利于将纵表转化成横表。其中,第二映射关系表示产品编码、第三标签名和第二标签值之间的对应关系,能够通过产品编码和第三标签名得到唯一的一个第二标签值。
94.步骤s152,将产品编码作为目标横表的列标签。
95.可以理解的是,在将标准纵表转化为横表的过程中,在纵表的存储中,可能存在多个重复的产品编码,此时,对纵表中的多个重复的产品编码进行去重,只保留重复产品编码中的一个,将去重后的产品编码作为目标横表的列标签,由于目标横表中每个列标签是唯一的,将产品编码作为目标横表的主键。通过上述过程得到了目标横表的列标签,有利于后续根据列标签完成目标横表的转化处理。
96.步骤s153,根据第二标签名和第三标签名,确定目标横表的行标签。
97.可以理解的是,在将标准纵表转化为横表的过程中,由上述步骤s130和步骤s151可得产品编码对应的有多个标签名,可以表示为多个第二标签名和多个第三标签名,若为一个标准纵表转化为横表,根据列标签,选择列标签对应的第二标签名,作为目标横表的行标签;若为两个合并的标准纵表转化为横表,根据列标签,选择列标签对应的第三标签名作为目标横表的行标签。通过上述过程得到了目标横表的行标签,有利于后续根据行标签完成目标横表的转化处理。
98.步骤s154,根据第一映射关系、第二映射关系和列标签,确定行标签对应的目标横表的第三标签值,得到目标横表,其中,第三标签值基于第一标签值和第二标签值得到。
99.可以理解的是,第三标签值为标签名对应的具体值,第三标签值可以表示为第一标签值,也可以表示为第二标签值。首先根据第二映射关系和列标签得到行标签对应的第三标签名,然后根据行标签、列标签和第二映射关系,确定第三标签名对应的第三标签值,此时第三标签值表示为第二标签值;还可以先根据第一映射关系和列标签得到行标签对应的第二标签名,然后根据行标签、列标签以及第一映射关系,确定第二标签名对应的第三标签值,此时第三标签值表示为第一标签值。利用hive工具选择相应的行标签、列标签和第三标签值存储,得到目标横表。通过上述步骤将纵表转化为横表,有利于全部信息的展示,提高用户体验。
100.需要说明的是,利用hive工具得到的目标横表,目标横表中的行标签与标签值按照键值对的方式存储,通过键值对的键(行标签)能够快速查询对应的值(标签值)。
101.参考图4,将目标标准纵表进行横表转化,得到目标横表,还包括:
102.步骤s155,对行标签进行分类,得到分类结果。
103.可以理解的是,行标签由各个标签名组成,由于一个产品编码可能对应有多个标签名,对各个标签名进行分类,可以通过专家手动对标签名进行分类,也可以采用分类算法进行分类,这里不作赘述,得到分类结果。通过对行标签进行分类,有利于后续实现转换成的目标横表为分类后的横表。
104.步骤s156,根据分类结果,选择属于同一类别的行标签对应的列标签。
105.可以理解的是,根据分类结果,多个标签名已归为一类,选择该同一类别下各个标签名对应列标签,即产品编号,有利于后续完成同类别的目标横表的转换处理。
106.步骤s157,根据第一映射关系和第二映射关系,确定与列标签对应的第三标签值,得到多个目标横表,其中,目标横表的数量与分类结果的数量对应。
107.可以理解的是,通过步骤s156和步骤s157得到了分类后的行标签和列标签,结合第一映射关系和第二映射关系,得到与列标签对应的第三标签值,第三标签值可以表示为第一标签值,也可以表示为第二标签值。根据第一映射关系、列标签和行标签,得到产品编
码和标签名对应的第一标签值;根据第二映射关系、列标签和行标签,得到产品编码和标签名对应的第二标签值,利用hive工具选择相应的行标签、列标签和行标签对应的第三标签值存储,得到目标横表,目标横表的数量与分类结果的数量对应,得到多个目标小横表。上述过程能够按照标签名进行分类,转化成不同类别的目标横表,满足用户对同一类别信息的查看,提高用户体验。
108.在一些实施例中,在将目标标准纵表进行横表转化,得到目标横表之后,参考图5,数据管理方法还包括:
109.步骤s210,获取非标准纵表的第一扩展信息,第一扩展信息包括第一扩展标签名。
110.可以理解的是,当对转化得到的目标横表进行新的行标签扩展时,根据非标准纵表的格式进行扩展,首先获取非标准纵表的第一扩展信息,第一扩展信息包含了扩展新的行标签及其对应的信息,第一扩展信息包括第一扩展标签名,第一扩展标签名为标签名称。通过获取第一扩展信息,方便后续进行目标横表的扩展处理。
111.步骤s220,将第一扩展标签名作为第一扩展标签值,从预设的第二配置表中获取与第一扩展标签值匹配的第二扩展标签名。
112.可以理解的是,将非标准纵表中的第一扩展标签名作为第一扩展标签值,预设的第二配置表为定义好的配置表,该配置表中包含了自定义的标签名,从预设的第二配置表中获取与第一扩展标签值匹配的第二扩展标签名。通过上述标签名与标签值的转化,有利于后续进行目标横表的扩展处理。
113.需要说明的是,第二扩展标签名为标签的名称,可以是标签名的一个大类;第一扩展标签值为标签名对应的具体值;第二配置表包括有标签名对应的大类和小类,标签名和标签值通过字典的方式存储,能够通过标签名的键找到与标签名对应的标签值。
114.还需要说明的是,在得到第一扩展信息后,对目标横表进行扩展,首先需更改第一配置表,通过专家对第一扩展标签名进行合理定义,得到第二扩展标签名,在第一配置表中添加第二扩展标签名和第一扩展标签名(即第一扩展标签值)信息,得到预设的第二配置表。通过上述对配置表进行更新,有利于后续进行标签转换处理。
115.步骤s230,根据第一扩展标签值和第二扩展标签名,对目标横表进行扩展,得到扩展的目标横表。
116.可以理解的是,通过步骤s210和步骤s220得到第一扩展标签值和第二扩展标签名,根据第一扩展标签值和第二扩展标签名对目标横表进行扩展,得到扩展的目标横表。通过对目标横表进行扩展能够对横表进行更新,当出现新的标签时,扩展更新目标横表,使目标横表的信息更丰富。
117.参考图6,根据第一扩展标签值和第二扩展标签名,对目标横表进行扩展,得到扩展的目标横表,包括:
118.步骤s231,根据第二扩展标签名的所属类别,确定第一待扩展的目标横表。
119.可以理解的是,根据步骤s155可得对行标签进行了分类,并得到分类结果,判断第二扩展标签名对应分类结果的类别,由于类别与目标横表相对应,通过类别能够得到第一待扩展的目标横表。其中,第一待扩展的目标横表为需要进行扩展操作的目标横表,通过确定第一待扩展的目标横表,有利于后续对相应的横表进行扩展处理。
120.需要说明的是,当所有的行标签在一个目标横表中,将该唯一的目标横表为第一
待扩展的目标横表。
121.步骤s232,将第二扩展标签名作为第一待扩展的目标横表的行标签。
122.可以理解的是,根据得到的目标横表,目标横表中已存在行标签,将扩展信息按照目标横表的格式进行转化,将第二扩展标签名作为第一待扩展的目标横表的行标签,与待扩展的目标横表的格式对应,方便后续进行扩展处理。
123.步骤s233,在第一待扩展的目标横表中添加行标签和与行标签对应的第一扩展标签值,得到扩展的目标横表。
124.可以理解的是,根据步骤s231和步骤s232得到需要扩展的目标横表以及目标横表的行标签,从第二配置表中获取行标签对应的第一扩展标签值,利用hive工具在第一待扩展的目标横表中添加行标签和第一扩展标签值,得到扩展的目标横表。其中,第一扩展标签值是利用hive根据行标签提取的标签值。上述步骤实现了对目标横表的扩展,能够灵活扩展标签,操作简单。
125.在一些实施例中,在将目标标准纵表进行横表转化,得到目标横表之后,参考图7,数据管理方法还包括:
126.步骤s240,获取目标标准纵表的第二扩展信息,第二扩展信息包括第三扩展标签名和与第三扩展标签名对应的第二扩展标签值。
127.可以理解的是,当对转化得到的目标横表进行新的行标签扩展时,根据目标标准纵表的格式进行扩展,首先获取目标标准纵表的第二扩展信息,第二扩展信息包含了扩展的行标签及其对应的信息,第二扩展信息包括第三扩展标签名和与第三扩展标签名对应的第二扩展标签值,第三扩展标签名为标签名称,第二扩展标签值为标签名称对应的具体值。通过获取第二扩展信息,方便后续进行目标横表的扩展处理。
128.步骤s250,根据第三扩展标签名的所属类别,确定第二待扩展的目标横表。
129.可以理解的是,根据步骤s155可得对行标签进行了分类,并得到分类结果,判断第三扩展标签名对应分类结果的类别,由于类别与目标横表相对应,通过类别能够得到第二待扩展的目标横表。其中,第二待扩展的目标横表为需要进行扩展操作的目标横表,通过确定第二待扩展的目标横表,有利于后续对相应的横表进行扩展处理。
130.需要说明的是,当所有的行标签在一个目标横表中,将该唯一的目标横表为第二待扩展的目标横表。
131.步骤s260,将第三扩展标签名作为第二待扩展的目标横表的行标签。
132.可以理解的是,根据得到的目标横表,目标横表中已存在行标签,将扩展信息按照目标横表的格式进行转化,将第三扩展标签名作为第二待扩展的目标横表的行标签,将第二扩展标签值作为与行标签对应的标签值,与待扩展的目标横表的格式对应,方便后续进行扩展处理。
133.需要说明的是,将第三扩展标签名和第三扩展标签名对应的第二扩展标签值添加到第二配置表中,通过字典的方式存储,即可以通过第三扩展标签名查找第二扩展标签值。当出现新的标签时,更新第一配置表,使配置表中的信息更丰富。
134.步骤s270,在第二待扩展的目标横表中添加行标签和行标签对应的第二扩展标签值,得到扩展的目标横表。
135.可以理解的是,根据步骤s250和步骤s260得到需要扩展的目标横表以及目标横表
的行标签,从第二配置表中获取行标签对应的第扩展标签值,利用hive工具在第二待扩展的目标横表中添加行标签和第二扩展标签值,得到扩展的目标横表。上述步骤实现了对目标横表的扩展,能够灵活扩展标签,操作简单。
136.需要说明的是,上述步骤s210至步骤s270能够将非标准纵表格式的扩展信息添加至对应的目标横表中,也能够将目标标准纵表格式的扩展信息添加至对应的目标横表中,不同扩展信息形式皆能够对目标横表灵活扩展,应用范围较广。
137.还需要说明的是,当数据管理系统预存储的表为横表时,首先将第一扩展信息和第二扩展信息按照预设的配置表进行标签名和标签值的转换,利用转换得到的标签名和标签值直接对存储的横表进行扩展,得到扩展的横表。扩展的横表包含较丰富的信息,有利于用户对数据的查看。
138.还需要说明的是,进行横表转化后,还可以利用hive工具对横表的记录进行增加、删除、修改和查询等操作,利用hive进行上述操作时,按照键值对的形式进行查询,操作简单。还可以对横表进行创建和删除操作,这里不作赘述。hive可以存储、查询和分析存储在hadoop中的大规模数据,从而实现大规模数据的管理。
139.参考图8,本技术实施例提供了数据管理装置100,该装置100包括利用数据获取模块110获取预存储的非标准纵表,非标准纵表包括多个产品编码以及与多个产品编码逐一对应的多个第一标签名;利用标签处理模块120将非标准纵表中的第一标签名作为第一标签值,从预设的第一配置表中获取与第一标签值匹配的第二标签名;通过关系映射模块130建立产品编码、第二标签名和第一标签值的第一映射关系;采用标准化处理模块140根据第一映射关系将非标准纵表进行标准化,得到目标标准纵表;通过表转化处理模块150将目标标准纵表进行横表转化,得到目标横表。通过上述设计,该装置通过将纵表转化为横表进行存储,能够方便查看全部信息,用户体验较好。
140.需要说明的是,数据获取模块110与标签处理模块120连接,标签处理模块120与关系映射模块130连接,关系映射模块130与标准化处理模块140连接,标准化处理模块140与表转化处理模块150连接。上述数据管理方法作用于数据管理装置100,该数据管理装置100应用于数据管理系统,该装置100不仅可以实现将数据按照横表存储,还可以将纵表转化为横表进行存储,能够方便查看全部信息。
141.本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
142.图9示出了本技术实施例提供的计算机设备500。该计算机设备500可以是服务器或者终端,该计算机设备500的内部结构包括但不限于:
143.存储器510,用于存储程序;
144.处理器520,用于执行存储器510存储的程序,当处理器520执行存储器510存储的程序时,处理器520用于执行上述的数据管理方法。
145.处理器520和存储器510可以通过总线或者其他方式连接。
146.存储器510作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序,如本发明任意实施例描述的数据管理方法。处理器520通过运行存储在存储器510中的非暂态软件程序以及指令,从而实现上述的数据管理方法。
147.存储器510可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储执行上述的数据管理方法。此外,存储器510可以包括高速随机存取存储器,还可以包括非暂态存储器,比如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器510可选包括相对于处理器520远程设置的存储器,这些远程存储器可以通过网络连接至该处理器520。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
148.实现上述的数据管理方法所需的非暂态软件程序以及指令存储在存储器510中,当被一个或者多个处理器520执行时,执行本发明任意实施例提供的数据管理方法。
149.本技术实施例还提供了一种计算机可读存储介质,存储有计算机可执行指令,计算机可执行指令用于执行上述的数据管理方法。
150.在一实施例中,该存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个控制处理器520执行,比如,被上述计算机设备500中的一个处理器520执行,可使得上述一个或多个处理器520执行本发明任意实施例提供的数据管理方法。
151.以上所描述的实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
152.本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
153.应当理解,在本技术中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:只存在a,只存在b以及同时存在a和b三种情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
154.本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或
者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
155.以上是对本发明的较佳实施进行了具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的。共享条件下还可作出种种等同的变形或替换,这些等同的变形或替换均包括在本发明权利要求所限定的范围内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献