一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据存储、查询方法、装置、计算机设备及存储介质与流程

2021-10-24 08:49:00 来源:中国专利 TAG:计算机 数据存储 装置 实施 方法


1.本发明实施例涉及计算机技术领域,尤其涉及一种数据存储、查询方法、装置、计算机设备及存储介质。


背景技术:

2.随着互联网技术的迅速发展,大数据时代已经到来,面对着无时无刻都在产生的庞大数据,如何存储与查询是每个企业都将面临的问题。
3.如今,常见的大数据存储与查询的方式是elasticsearch hbase,elasticsearch提供快速的索引,而hbase存储真实的数据。在现有技术中,对于elasticsearch集群,通常按照时间来建索引,对于数据量少的且增量比较少的数据,只需要建立一张索引表即可实现快速索引;对于数据量较大的表,可以按照周期建立索引表,比如按月建表、十天、七天、三天、一天等来建表,具体建表周期需要根据实际的数据量以及使用的索引数量来建。在查询的时候,一般情况下,都会根据时间范围来进行查询,这样我们可以按照查询的时间来获取需要查询的索引表,从而进行查询。
4.但是,对于某些类型的海量数据,即使按照天来建立索引表也会使得索引分片过于庞大,在进行多个索引表查询时,过大的索引分片往往会拖慢整体的查询速度。


技术实现要素:

5.本发明实施例提供一种数据存储、查询方法、装置、计算机设备及存储介质,以实现多元化的存储方式,提高索引表的稳定性。
6.第一方面,本发明实施例提供了一种数据的存储方法,包括:
7.根据目标数据的数据特征,确定与目标数据匹配的分类属性和建表频率;根据目标数据在所述分类属性下的各可选属性值和所述建表频率,在索引服务器中建立与目标数据匹配的多个索引表;
8.在检测到有目标数据存储在与索引服务器匹配的数据库中的目标存储位置时,根据当前存储的目标数据在所述分类属性下的属性值以及数据生成时间,定位目标索引表;
9.将当前存储的目标数据中的各索引字段、以及该所述目标存储位置,对应存储于所述目标索引表中。
10.第二方面,本发明实施例还提供了一种数据的查找方法,其特征在于,包括:
11.响应于对待查目标数据的查询请求,获取所述待查目标数据在预设分类属性下的属性值,以及所述待查目标数据的数据生成时间;
12.根据获取的所述属性值和所述数据生成时间,在索引服务器中定位与所述待查目标数据匹配的待查索引表;
13.根据所述待查索引表中存储的各索引字段,对所述待查目标数据进行查找,获取与所述待查目标数据对应的目标存储位置;
14.在与所述索引服务器匹配的数据库中的所述目标存储位置,获取所述待查目标数
据,作为与所述查询请求匹配的查询结果。
15.第三方面,本发明实施例还提供了一种数据的存储装置,该装置包括:
16.索引表建立模块,用于根据目标数据的数据特征,确定与目标数据匹配的分类属性和建表频率;根据目标数据在所述分类属性下的各可选属性值和所述建表频率,在索引服务器中建立与目标数据匹配的多个索引表;
17.目标索引表定位模块,用于在检测到有目标数据存储在与索引服务器匹配的数据库中的目标存储位置时,根据当前存储的目标数据在所述分类属性下的属性值以及数据生成时间,定位目标索引表;
18.信息存储模块,用于将当前存储的目标数据中的各索引字段、以及该所述目标存储位置,对应存储于所述目标索引表中。
19.第四方面,本发明实施例还提供了一种数据的查找装置,该装置包括:
20.信息获取模块,用于响应于对待查目标数据的查询请求,获取所述待查目标数据在预设分类属性下的属性值,以及所述待查目标数据的数据生成时间;
21.待查索引表定位模块,用于根据获取的所述属性值和所述数据生成时间,在索引服务器中定位与所述待查目标数据匹配的待查索引表;
22.目标存储位置获取模块,用于根据所述待查索引表中存储的各索引字段,对所述待查目标数据进行查找,获取与所述待查目标数据对应的目标存储位置;
23.待查目标数据获取模块,用于在与所述索引服务器匹配的数据库中的所述目标存储位置,获取所述待查目标数据,作为与所述查询请求匹配的查询结果。
24.第五方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:
25.一个或多个处理器;
26.存储装置,用于存储一个或多个程序,
27.当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任一实施例所述的数据的存储方法或数据的查找方法。
28.第六方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如本发明任一实施例所述的数据的存储方法或数据的查找方法。
29.本发明实施例的技术方案,通过根据目标数据的数据特征所确定的分类属性和建表频率,在索引服务器中建立与目标数据匹配的多个索引表,并当检测到目标数据存储在相应的目标存储位置时对目标索引表进行定位,再将目标数据中的各索引字段以及目标存储位置,对应存储于目标索引表中,可实现根据目标数据的特征进行分类存储,最大程度的实现了索引表数量和索引表大小的折中,进而大大降低了索引表的查找时间以及索引表的查找消耗,达到多元化的存储方式,在提高了索引表的稳定性的同时,提高了数据查找效率。
附图说明
30.图1是本发明实施例一中的一种数据的存储方法的流程图;
31.图2是本发明实施例二中的一种数据的存储方法的流程图;
32.图3是本发明实施例三中的一种数据的查找方法的流程图;
33.图4是本发明实施例四中的一种数据的存储装置的结构示意图;
34.图5是本发明实施例五中的一种数据的查找装置的结构示意图;
35.图6是本发明实施例六中的一种计算机设备的结构示意图。
具体实施方式
36.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
37.实施例一
38.图1为本发明实施例一提供的数据的存储方法的流程图,本实施例可适用于根据目标数据的特征,将针对目标数据的索引表进行分类存储的情况,该方法可以由数据的存储装置来执行,该装置可采用硬件和/或软件的方式实现,并一般可以集成在具有数据存储功能的计算机设备中,例如,终端或者服务器等,所述方法具体包括如下步骤:
39.s110、根据目标数据的数据特征,确定与目标数据匹配的分类属性和建表频率;根据目标数据在所述分类属性下的各可选属性值和所述建表频率,在索引服务器中建立与目标数据匹配的多个索引表。
40.其中,目标数据指的是将要进行数据存储的数据,具体是指进行数据统计分析时所需的,用于描述设定特性的数据,例如,用户行为数据,终端计算耗时数据等。一般来说,目标数据包括有一个或者多个数据属性,例如,当待存储的目标数据为用户在使用一项或者多项应用软件时所生成的具有购买行为的用户行为数据时,该目标数据所包括的数据属性可以为:数据源(例如,应用软件a,或者应用软件b等)、终端操作系统类型(android或者ios)、生成该目标数据的操作用户的身份标识以及所在地域等。
41.数据特征指的是目标数据的相关特征,例如,目标数据的大小或目标数据的类型等,可依据该数据特征对目标数据进行分类。
42.分类属性指的是根据数据特征所确定的,可对目标数据有分类依据的属性,可选的,该分类属性为目标数据所包含的数据属性中的一项。例如,目标数据的来源或生成该目标数据的操作用户的id(identity document,身份标识)等。本实施例对此不进行限制。
43.目标数据的分类属性进行划分时需要根据常用业务应用场景来细化,比如一种目标数据可以细分为三类分类属性,每种类型占比1/3左右,若是不进行分类存储,那么每次都会在全量数据中查找符合条件的数据,分类后就只需要在总量1/3的数据中查找,在保证查询结果不变的情况下,使得查询的效率大大提升。
44.其中,可选属性值指的是分类属性下的各具体属性值。具体的,若按目标数据的id属性对目标数据进行地域分类,则可选属性值可为北京、天津、上海或国外等具体地域。
45.如前所述,索引表是指为了对数据库中存储的目标数据进行加快查询而建立的数据表,该数据表中存储有目标数据中的多个常用的索引字段的字段值,并同时存储有目标数据在实际数据库中的存储位置。
46.针对目标数据所建立的每个索引表都需要设置在一个索引分片中,该索引分片中包含的数据项越多,索引查询的效率越低,基于此,发明人创造性的提出对该索引表进行有效的拆分,以实现最优的查询效率,本领域技术人员可以理解的是,如果一个索引表中包含
有100个数据项,需要将该索引表拆分为2个新索引表,则每个新索引表中均包含50个数据项时,会达到最优的拆分效果,或者说查询效率。
47.相应的,在本实施例中,需要探寻一种最优的索引表拆分方式,以保证每个新索引表中包括的数据项尽可能的均衡。
48.也即,在本实施例中,需要在目标数据所包含的全部数据属性中,选出一个最合理的分类属性,以实现在基于该分类属性的多个可选属性值为目标数据建立多个索引表时,不同索引表所包含的索引信息最均衡,拆表效果最优。
49.建表频率指的是按照时间划分索引表时,每个索引表中所存储目标数据的时间跨度,例如,建表频率可以为每隔一天建立一个索引表(每个索引表中存储有一天内所生成的目标数据),可以为每隔三天建立一个索引表(每个索引表中存储有连续三天所生成的目标数据),也可以每隔一周建立一个索引表等。
50.具体的建表频率也可根据实际业务最常查询的时间范围来划分,比如业务一般查询最近一周的数据,则可以建立以七天为周期的表,每张表存储7天数据,这样的好处就是当查询近七天的数据时,最多查询1张索引表,就能获取七天内的数据;若是按照一天一张索引表来存储,在查询时就需要查询7张索引表,两相比较,查询的索引表数量减少了70%,使得查询时的效率大大提高。本实施例对此不进行限制。
51.可以理解的是,建表频率越高,每个索引表中所存储的目标数据的时间跨度越小,该索引表中包含的数据项也越少,针对该索引表的查询效率越高。但是,这样操作会大大增加针对该目标数据所建立的索引表的数量,当该数量很大时,也会大大降低索引表的查询效率,因此,需要选择一个合理的建表频率,以保证查询效率最优。
52.在本实施例中,在合理确定出分类属性以及建表频率后,可以基于上述两项信息,在索引服务器中建立与目标数据对应的多个索引表。
53.例如,在确定分类属性为数据源,而该数据源仅对应两个可选属性值,应用软件a和应用软件b,同时,确定建表频率为1天后,可以每一天在索引数据库中分别建立分别数据源为应用软件a以及数据源为应用软件b的两张索引表。
54.s120、在检测到有目标数据存储在与索引服务器匹配的数据库中的目标存储位置时,根据当前存储的目标数据在所述分类属性下的属性值以及数据生成时间,定位目标索引表。
55.可以理解的是,每当有目标数据进行入库存储时,为了保证该目标数据能够被有效查询得到,需要同步在索引服务器存储的索引表中,同步增加与该目标数据对应的索引项。
56.其中,目标存储位置指的是目标数据在与索引服务器匹配的数据库中所存储的位置。
57.目标索引表指的是,根据目标数据的属性值以及数据生成时间,在多个索引表中定位得到的索引表。
58.s130、将当前存储的目标数据中的各索引字段、以及该所述目标存储位置,对应存储于所述目标索引表中。
59.具体的,当检测到有目标数据存储在与索引服务器匹配的数据库中的目标存储位置时,将目标数据的索引字段及目标数据的存储位置记录进根据目标数据的属性值以及数
据生成时间,在多个索引表中定位得到的目标索引表。
60.本发明实施例的技术方案,通过根据目标数据的数据特征所确定的分类属性和建表频率,在索引服务器中建立与目标数据匹配的多个索引表,并当检测到目标数据存储在相应的目标存储位置时对目标索引表进行定位,再将目标数据中的各索引字段以及目标存储位置,对应存储于目标索引表中,可实现根据目标数据的特征进行分类存储,最大程度的实现了索引表数量和索引表大小的折中,进而大大降低了索引表的查找时间以及索引表的查找消耗,达到多元化的存储方式,在提高了索引表的稳定性的同时,提高了数据查找效率。
61.实施例二
62.图2为本发明实施例二提供的数据的存储方法的流程图。本实施例以上述实施例为基础进行细化,将根据目标数据的数据特征,确定与目标数据匹配的分类属性,具体为:对历史存储的多项目标数据进行采样,获取设定数量的第一目标数据,所述目标数据包括多个数据属性,每个数据属性对应至少两个属性值;统计每个数据属性在不同属性值下的第一目标数据的数量值,并根据各所述数量值,筛选得到数量值均衡分布的目标数据属性,作为所述分类属性。
63.相应的,将根据目标数据的数据特征,确定与目标数据匹配的建表频率,具体为:获取在预设历史时间区间内存储的全部第二目标数据,并按照预设的多个时间跨度,将所述历史时间区间划分为与每个时间跨度分别对应的多个子区间;根据各第二目标数据的数据生成时间,统计得到每个时间跨度下的每个子区间中包括的第二目标数据的数量值;根据各所述数量值,筛选得到数量值均衡分布的目标时间跨度,并根据所述目标时间跨度,确定目标数据匹配的建表频率。
64.如图2所示,该方法包括以下具体步骤:
65.s210、对历史存储的多项目标数据进行采样,获取设定数量的第一目标数据,所述目标数据包括多个数据属性,每个数据属性对应至少两个属性值。
66.其中,设定数量指的是在历史存储中获取的目标数据数量。第一目标数据指的是在历史存储中获取的设定数量的目标数据。
67.在本实施例中,可以在历史存储的全部目标数据中,按照预设的采样规则,采样得到设定数量(例如,1000或者10000等)的目标数据(也即,第一目标数据),以根据该第一目标数据中各数据属性的属性值分布,选取最优的分类属性。
68.其中,该采样规则可以根据实际情况进行预设,例如,全时间区间内的随机采样,或者,也可以将全时间区间划分为多个小时间区间后,在每个小时间区间内,随机采样得到固定数量的目标数据等,本实施例对此并不进行限制。
69.s220、统计每个数据属性在不同属性值下的第一目标数据的数量值,并根据各所述数量值,筛选得到数量值均衡分布的目标数据属性,作为所述分类属性。
70.由于由数量值不均衡分布的目标数据属性建立的索引表,在数据查询时可能会出现某一索引表数据量大,某一索引表数据量小的情况,使得查询性能不能达到最好。因此,筛选出数量值均衡分布的目标数据属性,可使数据查询时索引表的稳定性提高,查询性能达到最好。
71.具体的,目标数据中的一项数据属性为数据来源,该数据来源对应两个可选的属
性值,应用软件a和应用软件b。进而,可以在全部第一目标数据中,确定出数据来源为应用软件a的第一目标数据的数据量1,并确定出数据来源为应用软件b的第一目标数据的数据量2。
72.通过比较数据量1和数据量2之间的差异值,或者差异百分比(差异值/第一目标数据总量),确定在数据来源这一数据属性之下,数据量1和数据量2之间是否数量值均衡分布。
73.具体的,可以预先设定一个差异值门限,或者差异百分比门限,当确定与同一数据属性的多个属性值的数量值的差异值或者差异百分比未超过对应的差异值门限,或者差异百分比门限时,确定该数据属性为目标数据属性。
74.进一步的,如果筛选得到数量值均衡分布的目标数据属性的数量为多个,则可以在全部目标数据属性中,筛选得到数据量分布最均衡(差异值最小,或者说差异百分比最小)的目标数据属性,作为分类属性。
75.可选的,在针对每个数据属性,统计不同属性值下的第一目标数据的数量值之前,还可以包括:
76.获取与每个数据属性分别对应的属性值个数;在全部数据属性中,滤除属性值个数超过预设个数阈值的超项数据属性,以放弃对所述超项数据属性的统计处理。
77.其中,预设个数阈值指的是预先设定的,用于对每个数据属性分别对应的属性值个数进行评估的数值。
78.示例性的,获取与每个数据属性分别对应的属性值个数,如果某数据属性的属性值个数超过预设个数阈值,则滤除该数据属性,不将其作为索引表的建立依据,仅考虑属性值个数为超过预设个数阈值的数据属性,以使索引表的稳定性提高。
79.如前所述,当目标数据的索引表数量过大时,在进行索引表查询时,也会带来很大的查找消耗,因此,不能不限制的基于分类属性的属性值,增加索引表数量。因此当目标数据的某一项数据属性包括的属性值(例如,地域属性的属性值)很多时,即使目标数据在该数据属性下的数据量分布最均衡,也不会使用该数据属性拆分索引表。
80.具体的,该预设个数阈值可以根据索引服务器的实际计算性能或者现有的经验数据进行预设,本实施例对此并不进行限制。
81.s230、获取在预设历史时间区间内存储的全部第二目标数据,并按照预设的多个时间跨度,将所述历史时间区间划分为与每个时间跨度分别对应的多个子区间。
82.其中,第二目标数据指的是在历史存储中获取的预设历史时间区间内的目标数据。
83.按照预设的多个时间跨度,将所述历史时间区间划分为与每个时间跨度分别对应的多个子区间指的是,按照不同的时间跨度将历史时间区间划分为与不同的时间跨度所对应的各个子区间。示例性的,假设历史区间为一个月,现有三种不同的时间跨度,分别为一天、一周和一个月,则若按天划分,可将历史时间区间划分为30个子区间;若按周划分,可将历史时间区间划分为4个子区间;若按月划分,可将历史时间区间划分为1个子区间。本实施例对此不进行限制。
84.s240、根据各第二目标数据的数据生成时间,统计得到每个时间跨度下的每个子区间中包括的第二目标数据的数量值。
85.s250、根据各所述数量值,筛选得到数量值均衡分布的目标时间跨度,并根据所述目标时间跨度,确定目标数据匹配的建表频率。
86.由于不同数据长度的索引表在查询数据时所花费的时间不同,数据量越大所花费的查询时间则越长,因此为均衡各个索引表的查询时间,本实施例筛选出数量值均衡分布的目标时间跨度,将其作为建表频率的标准,以使索引表的性能稳定。
87.具体的,将一个月内存储的目标数据按照一周的时间跨度进行划分,划分后时间跨度分别对应四个子区间a、b、c、d。进而,可以在全部第二目标数据中,确定出子区间a的第二目标数据的数据量1、子区间b的第二目标数据的数据量2、子区间c的第二目标数据的数据量3和子区间d的第二目标数据的数据量4。
88.数据量1、数据量2、数据量3和数据量4之间的差异值,或者差异百分比(差异值/第一目标数据总量),确定在该时间跨度之下,数据量1、数据量2、数据量3和数据量4之间是否数量值均衡分布。
89.可选的,根据各所述数量值,筛选得到数量值均衡分布的目标时间跨度,包括:
90.如果根据各所述数量值,筛选得到数量值均衡分布的至少两个备选时间跨度,则分别获取与每个备选时间跨度分别对应的子区间个数,以及与每个备选时间跨度对应的各子区间中包括的第二目标数据的数量均值;根据各所述子区间个数以及各所述数量均值,计算得到与每个备选时间跨度分别对应的查找消耗指标,查找消耗指标与数量均值和子区间个数均呈正比;获取查找消耗指标最小的备选时间跨度,作为所述目标时间跨度。
91.其中,查找消耗指标指的是,用于评估在备选时间跨度中查询数据时所消耗时间的指标。一般与各备选时间跨度中子区间个数以及数量均值成正比,查找消耗指标越小则证明对应备选时间跨度的设置越合理。示例性的,所述查找消耗指标可以为t=ax by,其中,x为各备选时间跨度中子区间个数;y为各备选时间跨度中子区间数量均值;a、b为调整参数,用于指示各备选时间跨度中子区间个数以及数量均值之间的平衡关系,本实施例对此不进行限制。
92.s260、根据目标数据在所述分类属性下的各可选属性值和所述建表频率,在索引服务器中建立与目标数据匹配的多个索引表。
93.s270、在检测到有目标数据存储在与索引服务器匹配的数据库中的目标存储位置时,根据当前存储的目标数据在所述分类属性下的属性值以及数据生成时间,定位目标索引表。
94.s280、将当前存储的目标数据中的各索引字段、以及该所述目标存储位置,对应存储于所述目标索引表中。
95.本实施例未尽详细解释之处请参见前述实施例,在此不再赘述。
96.本实施例的技术方案,通过对历史存储的多项目标数据进行采样获取设定数量的第一目标数据,通过对预设历史时间区间内存储的目标数据进行采样获取第二目标数据,并筛选出数量值均衡的第一目标数据以及第二目标数据,根据数量值均衡的第一目标数据所对应的数据属性以及数量值均衡的第二目标数据所对应的目标跨度时间,确定了与目标数据匹配的分类属性与建表频率,最大程度的实现了索引表数量和索引表大小的折中,进而大大降低了索引表的查找时间以及索引表的查找消耗,达到多元化的存储方式,在提高了索引表的稳定性的同时,提高了数据查找效率。
97.实施例三
98.图3为本发明实施例三提供的数据的查找方法的流程图,本实施例可适用于对数据库中存储的数据进行快速查找的情况,该方法可以由数据的查找装置来执行,该装置可采用硬件和/或软件的方式实现,并一般可以集成在具有数据查找功能的计算机设备中,例如,终端或者服务器等,所述方法具体包括如下步骤:
99.s310、响应于对待查目标数据的查询请求,获取所述待查目标数据在预设分类属性下的属性值,以及所述待查目标数据的数据生成时间。
100.其中,待查目标数据指的是将要在数据库中查询获取的目标数据。
101.预设分类属性指的是预先设定的,与目标数据匹配的分类属性。
102.数据生成时间指的是待查目标数据生成的时间。
103.s320、根据获取的所述属性值和所述数据生成时间,在索引服务器中定位与所述待查目标数据匹配的待查索引表。
104.其中,索引服务器指的用于存储索引表的服务器。
105.待查索引表指的是与待查目标数据匹配的,按照分类属性和建表频率建立的,并通过分类属性的属性值和建表频率的时间区间定位的待查索引表。
106.s330、根据所述待查索引表中存储的各索引字段,对所述待查目标数据进行查找,获取与所述待查目标数据对应的目标存储位置。
107.s340、在与所述索引服务器匹配的数据库中的所述目标存储位置,获取所述待查目标数据,作为与所述查询请求匹配的查询结果。
108.具体的,当获取到待查目标数据的查询请求时,根据待查目标数据的属性值和数据生成时间,在索引服务器中定位与待查目标数据相匹配的索引表,再根据索引表中的索引字段查找出待查目标数据的存储位置,并根据该存储位置在数据库中获取待查目标数据。
109.本实施例的技术方案,通过利用待查目标数据所对应的待查索引表,可对待查目标数据在数据库中的目标存储位置进行定位,进而获取待查目标数据,在数据查找过程中提升了查询的速度,进而提升了业务系统的响应速度。
110.实施例四
111.图4为本发明实施例四提供的一种数据的存储装置的结构示意图,该装置可以执行上述各实施例中涉及到的数据的存储方法。该装置可采用软件和/或硬件的方式实现,如图4所示,所述数据的存储装置具体包括:索引表建立模块410、目标索引表定位模块420、信息存储模块430。
112.其中,索引表建立模块410,用于根据目标数据的数据特征,确定与目标数据匹配的分类属性和建表频率;根据目标数据在所述分类属性下的各可选属性值和所述建表频率,在索引服务器中建立与目标数据匹配的多个索引表;
113.目标索引表定位模块420,用于在检测到有目标数据存储在与索引服务器匹配的数据库中的目标存储位置时,根据当前存储的目标数据在所述分类属性下的属性值以及数据生成时间,定位目标索引表;
114.信息存储模块430,用于将当前存储的目标数据中的各索引字段、以及该所述目标存储位置,对应存储于所述目标索引表中。
115.本发明实施例的技术方案,通过根据目标数据的数据特征所确定的分类属性和建表频率,在索引服务器中建立与目标数据匹配的多个索引表,并当检测到目标数据存储在相应的目标存储位置时对目标索引表进行定位,再将目标数据中的各索引字段以及目标存储位置,对应存储于目标索引表中,可实现根据目标数据的特征进行分类存储,最大程度的实现了索引表数量和索引表大小的折中,进而大大降低了索引表的查找时间以及索引表的查找消耗,达到多元化的存储方式,在提高了索引表的稳定性的同时,提高了数据查找效率。
116.可选的,索引表建立模块410可具体包括第一目标数据获取单元和分类属性确定单元;
117.其中,第一目标数据获取单元,用于对历史存储的多项目标数据进行采样,获取设定数量的第一目标数据,所述目标数据包括多个数据属性,每个数据属性对应至少两个属性值;
118.分类属性确定单元,用于统计每个数据属性在不同属性值下的第一目标数据的数量值,并根据各所述数量值,筛选得到数量值均衡分布的目标数据属性,作为所述分类属性。
119.可选的,所述数据的存储装置还包括数据属性预处理模块,用于在针对每个数据属性,统计不同属性值下的第一目标数据的数量值之前,获取与每个数据属性分别对应的属性值个数;在全部数据属性中,滤除属性值个数超过预设个数阈值的超项数据属性,以放弃对所述超项数据属性的统计处理。
120.可选的,索引表建立模块410还可具体包括第二目标数据获取单元、第二目标数据数量值统计单元和建表频率确定单元。
121.其中,第二目标数据获取单元,用于获取在预设历史时间区间内存储的全部第二目标数据,并按照预设的多个时间跨度,将所述历史时间区间划分为与每个时间跨度分别对应的多个子区间;
122.第二目标数据数量值统计单元,用于根据各第二目标数据的数据生成时间,统计得到每个时间跨度下的每个子区间中包括的第二目标数据的数量值;
123.建表频率确定单元,用于根据各所述数量值,筛选得到数量值均衡分布的目标时间跨度,并根据所述目标时间跨度,确定目标数据匹配的建表频率。
124.可选的,建表频率确定单元可具体用于如果根据各所述数量值,筛选得到数量值均衡分布的至少两个备选时间跨度,则分别获取与每个备选时间跨度分别对应的子区间个数,以及与每个备选时间跨度对应的各子区间中包括的第二目标数据的数量均值;根据各所述子区间个数以及各所述数量均值,计算得到与每个备选时间跨度分别对应的查找消耗指标,查找消耗指标与数量均值和子区间个数均呈正比;获取查找消耗指标最小的备选时间跨度,作为所述目标时间跨度。
125.本发明实施例所提供的数据的存储装置可执行本发明任意实施例所提供的数据的存储方法,具备执行方法相应的功能模块和有益效果。
126.实施例五
127.图5为本发明实施例五提供的一种数据的查找装置的结构示意图,该装置可以执行上述各实施例中涉及到的数据的查找方法。该装置可采用软件和/或硬件的方式实现,如
图5所示,所述数据的查找装置具体包括:信息获取模块510、待查索引表定位模块520、目标存储位置获取模块530、待查目标数据获取模块540。
128.其中,信息获取模块510,用于响应于对待查目标数据的查询请求,获取所述待查目标数据在预设分类属性下的属性值,以及所述待查目标数据的数据生成时间;
129.待查索引表定位模块520,用于根据获取的所述属性值和所述数据生成时间,在索引服务器中定位与所述待查目标数据匹配的待查索引表;
130.目标存储位置获取模块530,用于根据所述待查索引表中存储的各索引字段,对所述待查目标数据进行查找,获取与所述待查目标数据对应的目标存储位置;
131.待查目标数据获取模块540,用于在与所述索引服务器匹配的数据库中的所述目标存储位置,获取所述待查目标数据,作为与所述查询请求匹配的查询结果。
132.本实施例的技术方案,通过利用待查目标数据所对应的待查索引表,可对待查目标数据在数据库中的目标存储位置进行定位,进而获取待查目标数据,在数据查找过程中提升了查询的速度,进而提升了业务系统的响应速度。
133.本发明实施例所提供的数据的查找装置可执行本发明任意实施例所提供的数据的查找方法,具备执行方法相应的功能模块和有益效果。
134.实施例六
135.图6为本发明实施例六提供的一种计算机设备的结构示意图,如图6所示,该计算机设备包括处理器610、存储器620、输入装置630和输出装置640;计算机设备中处理器610的数量可以是一个或多个,图6中以一个处理器610为例;计算机设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接,图6中以通过总线连接为例。
136.存储器620作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的数据的存储方法对应的程序指令/模块(例如,数据的存储装置中的引表建立模块410、目标索引表定位模块420、信息存储模块430)或本发明实施例中的数据的查找方法对应的程序指令/模块(例如,数据的查找装置中的信息获取模块510、待查索引表定位模块520、目标存储位置获取模块530、待查目标数据获取模块540)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的数据的存储方法或数据的查找方法。
137.也即,所述数据的存储方法,包括:
138.根据目标数据的数据特征,确定与目标数据匹配的分类属性和建表频率;根据目标数据在所述分类属性下的各可选属性值和所述建表频率,在索引服务器中建立与目标数据匹配的多个索引表;
139.在检测到有目标数据存储在与索引服务器匹配的数据库中的目标存储位置时,根据当前存储的目标数据在所述分类属性下的属性值以及数据生成时间,定位目标索引表;
140.将当前存储的目标数据中的各索引字段、以及该所述目标存储位置,对应存储于所述目标索引表中。
141.所述数据的查找方法,包括:
142.响应于对待查目标数据的查询请求,获取所述待查目标数据在预设分类属性下的属性值,以及所述待查目标数据的数据生成时间;
143.根据获取的所述属性值和所述数据生成时间,在索引服务器中定位与所述待查目标数据匹配的待查索引表;
144.根据所述待查索引表中存储的各索引字段,对所述待查目标数据进行查找,获取与所述待查目标数据对应的目标存储位置;
145.在与所述索引服务器匹配的数据库中的所述目标存储位置,获取所述待查目标数据,作为与所述查询请求匹配的查询结果。
146.存储器620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器620可进一步包括相对于处理器610远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
147.输入装置630可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
148.实施例七
149.本发明实施例七还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种数据的存储方法或数据的查找方法。
150.所述数据的存储方法包括:
151.根据目标数据的数据特征,确定与目标数据匹配的分类属性和建表频率;根据目标数据在所述分类属性下的各可选属性值和所述建表频率,在索引服务器中建立与目标数据匹配的多个索引表;
152.在检测到有目标数据存储在与索引服务器匹配的数据库中的目标存储位置时,根据当前存储的目标数据在所述分类属性下的属性值以及数据生成时间,定位目标索引表;
153.将当前存储的目标数据中的各索引字段、以及该所述目标存储位置,对应存储于所述目标索引表中。
154.所述数据的查找方法包括:
155.响应于对待查目标数据的查询请求,获取所述待查目标数据在预设分类属性下的属性值,以及所述待查目标数据的数据生成时间;
156.根据获取的所述属性值和所述数据生成时间,在索引服务器中定位与所述待查目标数据匹配的待查索引表;
157.根据所述待查索引表中存储的各索引字段,对所述待查目标数据进行查找,获取与所述待查目标数据对应的目标存储位置;
158.在与所述索引服务器匹配的数据库中的所述目标存储位置,获取所述待查目标数据,作为与所述查询请求匹配的查询结果。
159.当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据的存储方法或数据的查找方法中的相关操作。
160.通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更
佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read

only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
161.值得注意的是,上述数据的存储装置或数据的查找装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
162.注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献

  • 日榜
  • 周榜
  • 月榜