一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

物联网中汇聚节点的高效文件系统及其处理方法与流程

2022-06-11 15:07:55 来源:中国专利 TAG:


1.本发明涉及物联网技术领域,尤其涉及一种物联网中汇聚节点的高效文件系统和一种物联网中汇聚节点的高效文件系统处理方法。


背景技术:

2.物联网技术中,通常设置有多个传感器节点,各个传感器节点按照预设的数据采集周期不断采集数据,且物联网的文件系统也需要持续对采集的数据进行存储。
3.然而,由于物联网中的传感器节点数量众多,采集的数据量也众多,并且,现有技术中,传感器节点采集的数据向文件系统存储的过程中往往是无序存储,因此,如果用户要对物联网采集的无序的传感器数据进行处理,这种数据处理过程会因物联网存储数据量众多而导致处理效率低下。
4.以用户在物联网数据中查找异常数据为例,这种查找过程需要将当前存储的所有传感器数据作为搜寻对象进行遍历和比对,才能找到异常数据,因此,这种数据查找过程是一种海量数据的比对过程。从而,现有的物联网数据文件系统由于物联网数据存储无序,导致后续的数据处理过程需要处理海量数据,处理效率低下。
5.因此,现有的物联网由于文件系统中数据存储无序,导致后续的数据处理过程复杂,处理数据量较大,物联网性能低下且数据处理功耗高。


技术实现要素:

6.本发明的主要目的在于提供一种物联网中汇聚节点的高效文件系统,旨在解决现有的物联网由于数据处理过程复杂,处理数据量较大,导致现有的物联网性能低下且数据处理功耗高的问题。
7.为实现上述目的,本发明提供的物联网中汇聚节点的高效文件系统包括汇聚节点以及与所述汇聚节点分别通信连接的多个传感器节点;所述汇聚节点包括元信息单元和数据信息单元;所述数据信息单元中设置有数据存储区;其中,所述传感器数据在所述数据存储区中存储的信息包括:用于表征传感器数据采集时间的时间戳、传感器节点标记和传感器节点采集的数据项;所述元信息单元中设置有与所述数据存储区对应的元信息节点;所述元信息节点用于在所述数据存储区中存入新的所述传感器数据时,实时生成新的元信息数据块,各个元信息数据块按照传感器数据存入所述数据存储区的时间排列;所述元信息数据块包括时间戳指针和topk指针;所述时间戳指针中实时更新有所述元信息数据块对应的所述传感器数据的时间戳的先后顺序;所述topk指针实时更新有所述元信息数据块对应的所述传感器数据的数据项的大小顺序。
8.优选地,所述数据信息单元根据多个连续的时序窗口对应设置多个所述数据存储区,以使各个所述传感器数据根据所述时间戳对应至确定的时序窗口,并存储至确定的时序窗口对应的所述数据存储区;所述元信息单元中为每个所述时序窗口的所述数据存储区依次设置有所述元信息节点;每个所述元信息节点用于在对应的所述数据存储区中存入新的所述传感器数据时,实时生成新的元信息数据块;所述元信息数据块中的所述时间戳指针实时更新有所述元信息数据块对应的所述传感器数据在相应的时序窗口内的时间戳的先后顺序;所述元信息数据块中的所述topk指针实时更新有所述元信息数据块对应的所述传感器数据在相应的时序窗口内的数据项的大小顺序。
9.优选地,所述元信息数据块包括至少一种所述topk指针,且所述topk指针的种类不超过所述传感器节点采集的数据项种类;所述元信息数据块的每种所述topk指针实时更新有所述传感器节点的指定数据项的大小顺序。
10.优选地,所述汇聚节点还与查询端通讯连接。
11.为实现上述目的,本发明还提供一种物联网中汇聚节点的高效文件处理方法,应用于上述任一项所述的物联网中汇聚节点的高效文件系统;所述方法包括如下步骤:获取所述传感器节点采集的待存入所述汇聚节点的待存入传感器数据,并将待存入传感器数据存入所述数据信息单元中的数据存储区;在所述数据存储区中存入新的所述传感器数据时,在所述元信息节点中实时生成新的元信息数据块;每当所述元信息节点中生成新的元信息数据块时,在各个所述元信息数据块中根据传感器数据的时间戳的先后顺序实时更新时间戳指针,并在各个所述元信息数据块中根据传感器数据的数据项的大小顺序实时更新topk指针。
12.优选地,所述数据信息单元根据多个连续的时序窗口对应设置多个所述数据存储区,所述元信息单元中为每个所述时序窗口的所述数据存储区依次设置有所述元信息节点;所述获取所述传感器节点采集的待存入所述汇聚节点的待存入传感器数据,并将待存入传感器数据存入所述数据信息单元中的数据存储区的步骤,包括:获取所述传感器节点采集的待存入所述汇聚节点的待存入传感器数据的时间戳,并确定所述时间戳对应的时序窗口;根据所述时序窗口确定待存入传感器数据在所述数据信息单元中对应的数据存储区;将待存入传感器数据存入对应的所述数据存储区;所述每当所述元信息节点中生成新的元信息数据块时,在各个所述元信息数据块中根据传感器数据的时间戳的先后顺序实时更新时间戳指针,并在各个所述元信息数据块中根据传感器数据的数据项的大小顺序实时更新topk指针的步骤,包括:每当所述元信息节点中产生新的元信息数据块时,对所述元信息节点中的各个元信息数据块对应的所述传感器数据在相应的时序窗口内的时间戳的先后顺序进行时间戳重新排序,并根据所述时间戳重新排序实时更新所述时间戳指针;每当所述元信息节点中产生新的元信息数据块时,对所述元信息节点中的各个元
信息数据块对应的所述传感器数据在相应的时序窗口内的数据项的大小顺序进行数据项重新排序,并根据所述数据项重新排序实时更新所述topk指针。
13.优选地,所述汇聚节点还与查询端通讯连接;所述方法,还包括:侦测所述查询端向所述汇聚节点发出的topk查询指令;根据所述topk查询指令对应的查询时间范围,确定所述查询时间范围对应的元信息节点集合;将所述元信息节点集合中的每个元信息节点按topk查询指令所查数据项对应的所述topk指针的大小顺序排列形成查询链表;根据各个所述查询链表确定查询集合;所述查询集合响应所述topk查询指令,并向所述查询终端返回查询结果,以使用户能根据所述查询结果,从所述数据信息单元中定位异常传感器数据。
14.优选地,所述将所述元信息节点集合中的每个元信息节点按topk查询指令所查数据项对应的所述topk指针的大小顺序排列形成查询链表的步骤,包括:确定所述topk查询指令对应的查询数据项,根据所述查询数据项确定对应的待查topk指针;将所述元信息节点集合中的各个元信息节点中的元信息数据块根据待查topk指针按照从大到小的顺序排列形成查询链表,其中,每个元信息数据块作为所述查询链表的节点;将待查topk指针对应的数据项的大小顺序值,确定为查询链表中各个节点的节点值。
15.优选地,所述查询集合响应所述topk查询指令,并返回查询结果,以使用户能根据所述查询结果,从所述数据信息单元中定位异常传感器数据的步骤,包括:根据topk查询指令生成结果队列,置结果队列的大小为k,值为空;遍历各个查询链表的节点;判断当前查询链表中的当前节点的节点值是否位于遍历过的节点的节点值的前k位;若不位于遍历过的节点的节点值的前k位,跳过当前查询链表,并将当前查询链表的后续节点从遍历计划中删除,继续对下一查询链表的节点执行遍历操作;若位于遍历过的节点的节点值的前k位,判断结果队列是否已满;若未满,将当前节点按照节点值的大小顺序插入结果队列;若已满,剔除所述结果队列中的尾部节点,并将当前节点按照节点值的大小顺序插入结果队列插入结果队列;在查询链表的节点全部遍历之后,根据所述结果队列生成查询结果返回至所述查询终端,以使用户能根据所述查询结果,从所述数据信息单元中定位异常传感器数据。
16.优选地,所述方法,还包括:侦测待存入传感器数据的时间戳是否超过最后一个所述数据存储区对应的时序窗口的时间终点;若是,重新确定每个所述数据存储区对应的新一轮时序窗口;确定待存入传感器数据的时间戳对应的新一轮时序窗口,根据新一轮时序窗口,
确定待存入传感器数据在所述数据信息单元中对应的新一轮数据存储区;将待存入传感器数据存入数据清空的所述新一轮数据存储区。
17.在本发明的技术方案中,各个传感器节点向汇聚节点存入数据时,能通过指针确定各个传感器数据之间的相对顺序。具体的,所述汇聚节点包括元信息单元和数据信息单元,数据信息单元用于将传感器数据存储至数据存储区,元信息单元用于标记数据存储区内的各个传感器数据之间的相对顺序。每当所述数据存储区中存入新的所述传感器数据时,在所述元信息节点实时生成新的元信息数据块,各个元信息数据块按照传感器数据存入所述数据存储区的时间排列;所述元信息数据块包括时间戳指针和topk指针;时间戳指针用于表征存入数据存储区中的传感器数据在该数据存储区中的时间戳先后顺序,topk指针用于表征存入数据存储区中的传感器数据在该数据存储区中的数据项的大小顺序;并且,每当产生新的元信息数据块,在元信息节点中,根据新的时间戳先后顺序更新每个元信息数据块的时间戳指针,根据新的数据项大小顺序更新topk指针。因此,汇聚节点中不仅通过数据信息单元存储有具体的传感器数据,还通过元信息单元记录有每个传感器数据之间的时间顺序和数据项大小关系,通过对元信息单元中的各个元信息数据块按照时间戳指针排列或者按照topk指针排列,即可形成用于表征不同顺序的链表,即可一目了然地确定数据存储区中各个传感器数据的相对顺序。从而,汇聚节点不仅可以通过数据信息单元对传感器数据直接存储,还可以通过元信息单元体现各个传感器数据之间的顺序,当用户需要对汇聚节点中的数据进行查询时,根据时间戳指针排列或者根据topk指针排列元信息数据块,即可非常简单而高效的确定各个传感器数据之间的顺序关系。因此,本发明中的物联网中汇聚节点的高效文件系统的数据处理过程简单,在处理大量传感器数据时依然简单而有序,从而,物联网性能优越且数据处理功耗低。
附图说明
18.图1为本发明物联网中汇聚节点的高效文件系统一实施例的模块结构示意图;图2为本发明中中汇聚节点的模块结构示意图;图3为本发明中数据信息单元和元信息单元的对应关系示意图;图4为本发明物联网中汇聚节点的高效文件处理方法第一实施例的流程示意图。
19.本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
20.应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
21.在后续的描述中,使用用于表示元件的诸如“单元”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“单元”、“部件”或“单元”可以混合地使用。
22.请参阅图1和图2,为实现上述目的,本发明提供一种物联网中汇聚节点的高效文件系统,包括汇聚节点以及与所述汇聚节点分别通信连接的多个传感器节点;所述汇聚节点包括元信息单元和数据信息单元;所述数据信息单元中设置有数据存储区;其中,所述传感器数据在所述数据存储区中存储的信息包括:用于表征传感器数据采集时间的时间戳、传感器节点标记和传感器
节点采集的数据项;所述元信息单元中设置有与所述数据存储区对应的元信息节点;所述元信息节点用于在所述数据存储区中存入新的所述传感器数据时,实时生成新的元信息数据块,各个元信息数据块按照传感器数据存入所述数据存储区的时间排列;所述元信息数据块包括时间戳指针和topk指针;所述时间戳指针中实时更新有所述元信息数据块对应的所述传感器数据的时间戳的先后顺序;所述topk指针实时更新有所述元信息数据块对应的所述传感器数据的数据项的大小顺序。
23.在本发明的技术方案中,各个传感器节点向汇聚节点存入数据时,能通过指针确定各个传感器数据之间的相对顺序。具体的,所述汇聚节点包括元信息单元和数据信息单元,数据信息单元用于将传感器数据存储至数据存储区,元信息单元用于标记数据存储区内的各个传感器数据之间的相对顺序。每当所述数据存储区中存入新的所述传感器数据时,在所述元信息节点实时生成新的元信息数据块,各个元信息数据块按照传感器数据存入所述数据存储区的时间排列;所述元信息数据块包括时间戳指针和topk指针;时间戳指针用于表征存入数据存储区中的传感器数据在该数据存储区中的时间戳先后顺序,topk指针用于表征存入数据存储区中的传感器数据在该数据存储区中的数据项的大小顺序;并且,每当产生新的元信息数据块,在元信息节点中,根据新的时间戳先后顺序更新每个元信息数据块的时间戳指针,根据新的数据项大小顺序更新topk指针。因此,汇聚节点中不仅通过数据信息单元存储有具体的传感器数据,还通过元信息单元记录有每个传感器数据之间的时间顺序和数据项大小关系,通过对元信息单元中的各个元信息数据块按照时间戳指针排列或者按照topk指针排列,即可形成用于表征不同顺序的链表,即可一目了然地确定数据存储区中各个传感器数据的相对顺序。从而,汇聚节点不仅可以通过数据信息单元对传感器数据直接存储,还可以通过元信息单元体现各个传感器数据之间的顺序,当用户需要对汇聚节点中的数据进行查询时,根据时间戳指针排列或者根据topk指针排列元信息数据块,即可非常简单而高效的确定各个传感器数据之间的顺序关系。因此,本发明中的物联网中汇聚节点的高效文件系统的数据处理过程简单,在处理大量传感器数据时依然简单而有序,从而,物联网性能优越且数据处理功耗低。
24.具体的,汇聚节点的数据信息单元进一步用于响应用户(例如查询终端)对汇聚节点发出的操作指令(例如,查询指令)。
25.所述传感器数据在所述数据存储区中存储的信息至少包括以下三种信息:第一种信息,时间戳信息,该时间戳信息用于表征传感器的数据采集时间;具体的,各个传感器节点具有预设的数据采集周期,并在每个数据采集周期采集数据,将采集的传感器数据向所述汇聚节点发送以进行存储。
26.第二种信息,传感器节点标记,每个传感器节点具有对应的传感器节点标记,该标记用于将该传感器数据的来源进行区别。
27.第三种信息,传感器节点采集的数据项。具体的,本发明中,每个传感器节点可以采集至少一种数据项,例如,一个传感器节点采集的数据为电压、电流及功率时,该传感器数据具有三种数据项:电压、电流及功率。
28.具体的,汇聚节点中可以包括至少一个数据存储区,元信息节点的数量与数据存储区的数量相等。
29.元信息单元中设置有与数据存储区对应的元信息节点。每当数据存储区中存入新的所述传感器数据时,在该数据存储区对应的元信息节点中实时生成新的元信息数据块,例如,在数据存储区中存入第n-1个传感器数据后,又新存入第n个传感器数据时,在对应的元信息节点中,实时生成的新的元信息数据块n排列在之前生成的元信息数据块n-1之后,从而,数据存储区中先后存入的每个传感器数据,在对应的元信息节点中都具有对应的元信息数据块,并且每个元信息数据块都与确定的传感器数据一一对应,且每个元信息数据块的排列顺序与传感器数据存入数据存储区的先后顺序一致。需要说明的是,传感器数据的时间戳为传感器节点采集该数据的时间点,与该项传感器数据存入数据存储区的时间点并不相同。
30.本发明中的元信息数据块中可以记录多种信息,至少包括:时间戳指针和topk指针,以使元信息数据块存储的数据简单,降低后续数据处理的数据量。
31.作为进一步扩展,元信息数据块中还可以记录元信息数据块所在的元信息节点序号和元信息数据块的序号,以将各个不同的元信息节点中的元信息数据块进行区分。
32.其中,时间戳指针为该元信息数据块对应的传感器数据在数据存储区中的时间戳先后顺序。例如,数据存储区1中的第n个传感器数据的时间戳顺序在数据存储区1中的所有传感器数据中处于第3位,则数据存储区1中的第n个传感器数据对应的元信息数据块n的时间戳指针中的指针值为3。
33.所述元信息数据块包括至少一种所述topk指针,且所述topk指针的种类不超过所述传感器节点采集的数据项种类;所述元信息数据块的每种所述topk指针实时更新有所述传感器节点的指定数据项的大小顺序。以传感器节点采集的数据项包括电压、电流及功率为例,可以根据用户较为关注的至少一种数据项生成topk指针,例如,用户关注的传感器数据为电压和电流,而不太关注功率时,则可以根据电压生成第一topk指针,根据电流生成第二topk指针。
34.以元信息数据块仅包括一种topk指针,且topk指针用于表示电压的大小顺序为例,数据存储区1中的第n个传感器数据的电压值大小在数据存储区1中的所有传感器数据的电压值大小顺序处于第2位,则数据存储区1中的第n个传感器数据对应的元信息数据块n的topk指针中的指针值为2。
35.通过元信息数据块的topk指针,可以将元信息节点中各个元信息数据块排序形成根据数据项的大小排列的链表。通过元信息数据块的时间戳指针,可以将元信息节点中各个元信息数据块排序形成根据时间戳的大小排列的链表。因此,本发明的技术方案,可以在不对数据存储区中的传感器数据存储规则进行特殊设定的情况下,通过本发明中的元信息单元,对数据存储区中存储的杂乱的传感器数据标记顺序。当用户需要处理(例如查询)汇聚节点中的传感器数据时,将处理指令发送至元信息单元,由于元信息单元中本身已经通过指针对各个元信息数据块进行了标记,因此,可以快速地获得数据处理结果。
36.本发明打破了现有技术中物联网数据众多却无序的现状,提出了物联网中的一种基于汇聚节点的高效文件系统,克服了现有的物联网由于数据处理过程复杂,处理数据量较大,导致现有的物联网性能低下且数据处理功耗高的技术问题。
37.优选地,所述数据信息单元根据多个连续的时序窗口对应设置多个所述数据存储区,以使各个所述传感器数据根据所述时间戳对应至确定的时序窗口,并存储至确定的时序窗口对应的所述数据存储区;所述元信息单元中为每个所述时序窗口的所述数据存储区依次设置有所述元信息节点;每个所述元信息节点用于在对应的所述数据存储区中存入新的所述传感器数据时,实时生成新的元信息数据块;所述元信息数据块中的所述时间戳指针实时更新有所述元信息数据块对应的所述传感器数据在相应的时序窗口内的时间戳的先后顺序;所述元信息数据块中的所述topk指针实时更新有所述元信息数据块对应的所述传感器数据在相应的时序窗口内的数据项的大小顺序。
38.具体的,在本实施例中,数据信息单元可以根据时序窗口划分为多个数据存储区,这样做的好处是,可以将传感器数据根据采集时间进行分区存储,当用户需要对传感器数据进行处理(例如查询)时,则可以根据用户需要处理的时段,挑选出与处理时段对应的元信息节点,而对与处理时段不对应的元信息节点不作处理,则可以有效降低数据处理量,显著提高数据处理速度。
39.请参照图3,在架构汇聚节点时,需要设置时序窗口的时间跨度。每个数据存储区具有对应的时间跨度,且每个数据存储区按照时序窗口连续排列具体体现在:例如,预设时序窗口的跨度为2min,则当数据存储区的起始时序为00:00时,第一个数据存储区对应的时序窗口为00:00-00:02,第二个数据存储区对应的时序窗口为00:02-00:04,第三个数据存储区对应的时序窗口为00:04-00:06,以此类推。
40.从而,根据传感器数据的时间戳,可以确定传感器数据的采集时间,并根据采集时间对应到不同的时序窗口,并根据不同的时序窗口,存储至对应的数据存储区。
41.在本实施例中,将数据信息单元根据时序窗口划分为多个数据存储区,则元信息单元中具有与数据存储区数量相同的元信息节点。
42.进一步的,所述汇聚节点还与查询端通讯连接。其中,查询端可以为一个或者多个,数量在此不做限制。
43.请参阅图4,此外,为实现上述目的,本发明的第一实施例中提供一种物联网中汇聚节点的高效文件处理方法,应用于如上述任一项所述的物联网中汇聚节点的高效文件系统;所述方法包括如下步骤:步骤s10,获取所述传感器节点采集的待存入所述汇聚节点的待存入传感器数据,并将待存入传感器数据存入所述数据信息单元中的数据存储区;步骤s20,在所述数据存储区中存入新的所述传感器数据时,在所述元信息节点中实时生成新的元信息数据块;步骤s30,每当所述元信息节点中生成新的元信息数据块时,在各个所述元信息数据块中根据传感器数据的时间戳的先后顺序实时更新时间戳指针,并在各个所述元信息数据块中根据传感器数据的数据项的大小顺序实时更新topk指针。
44.具体的,数据存储区可以有一个或多个。
45.其中,在一具体实施例中,对于每一数据存储区,可以按照数据存储区接收传感器数据的先后顺序依次存储,例如,数据存储区接收到的第一个传感器数据存储至数据存储
区的第一行,数据存储区接收到的第二个传感器数据存储至数据存储区的第二行,则存储时不需要对传感器数据进行处理,存储过程简单、高效且便捷。
46.基于本发明的物联网中汇聚节点的高效文件处理方法的第一实施例,本发明的物联网中汇聚节点的高效文件处理方法的第二实施例中,所述数据信息单元根据多个连续的时序窗口对应设置多个所述数据存储区,所述元信息单元中为每个所述时序窗口的所述数据存储区依次设置有所述元信息节点;所述步骤s10,包括:步骤s11,获取所述传感器节点采集的待存入所述汇聚节点的待存入传感器数据的时间戳,并确定所述时间戳对应的时序窗口;步骤s12,根据所述时序窗口确定待存入传感器数据在所述数据信息单元中对应的数据存储区;步骤s13,将待存入传感器数据存入对应的所述数据存储区;所述步骤s30,包括:步骤s31,每当所述元信息节点中产生新的元信息数据块时,对所述元信息节点中的各个元信息数据块对应的所述传感器数据在相应的时序窗口内的时间戳的先后顺序进行时间戳重新排序,并根据所述时间戳重新排序实时更新所述时间戳指针;步骤s32,每当所述元信息节点中产生新的元信息数据块时,对所述元信息节点中的各个元信息数据块对应的所述传感器数据在相应的时序窗口内的数据项的大小顺序进行数据项重新排序,并根据所述数据项重新排序实时更新所述topk指针。
47.本实施例中的数据信息单元根据时序窗口划分为多个数据存储区,元信息单元中的元信息节点与各个数据存储区一一对应。因此,各个元信息节点也与时序窗口具有对应关系。当用户发出处理指令时,根据处理指令对应的时间范围,可以确定与该时间范围对应的元信息节点,从而对这些对应的元信息节点进行数据处理,而对于与该时间范围无关联的元信息节点,则不作处理,因此,有效降低了数据处理的数据量。
48.进一步的,每个元信息单元中的各元信息数据块可以根据时间戳指针或者不同的topk指针排序,生成各种需要的链表,例如生成查询链表。
49.每当有新的传感器数据存入数据存储区,均会在该数据存储区对应的元信息节点中产生新的元信息数据块,而新的元信息数据块之外的已有元信息数据块中的时间戳指针则会更新至新的时间戳先后排序,topk指针则会更新至新的数据项大小排序。
50.基于本发明的物联网中汇聚节点的高效文件处理方法的第一实施例或第二实施例,本发明的物联网中汇聚节点的高效文件处理方法的第三实施例中,所述汇聚节点还与查询端通讯连接;所述方法,还包括:步骤s40,侦测所述查询端向所述汇聚节点发出的topk查询指令;具体的,topk查询指令可以向元信息单元发出。
51.步骤s50,根据所述topk查询指令对应的查询时间范围,确定所述查询时间范围对应的元信息节点集合;步骤s60,将所述元信息节点集合中的每个元信息节点按topk查询指令所查数据项对应的所述topk指针的大小顺序排列形成查询链表;步骤s70,根据各个所述查询链表确定查询集合;步骤s80,所述查询集合响应所述topk查询指令,并向所述查询终端返回查询结
果,以使用户能根据所述查询结果,从所述数据信息单元中定位异常传感器数据。
52.该实施例用于确定查询终端如何向汇聚节点查询数据。
53.topk查询指令用于查询物联网中指定的查询时间范围内,指定的数据项排名前k位对应的传感器数据。以查询时间范围为00:30-02:00,k取值100,数据项为电压为例,topk查询指令用于查询00:30-02:00的时间范围内,电压值排名前100位对应的传感器数据。
54.根据查询时间范围,确定所述查询时间范围对应的元信息节点集合,从而,去除了与该查询时间范围不相关的元信息节点,去除了大量无关的元信息节点。
55.进一步的,topk查询指令还可以不限定查询时间范围,此时,以全部的数据存储区对应的总时间跨度为查询时间范围。
56.将所述元信息节点集合中的每个元信息节点按topk查询指令所查数据项对应的所述topk指针的大小顺序排列形成查询链表,因此,按topk查询指令所查数据项的不同,每个元信息节点可以排列成不同的查询链表。
57.具体的,所述汇聚节点向所述查询终端返回的查询结果根据结果队列确定,该结果队列记载的信息体现了按数据项大小顺序排列的各个元信息数据块。根据结果队列体现的的元信息数据块,用户可以从对应的数据信息单元中查找到对应的传感器数据。
58.具体的,根据结果队列从数据存储区中调取待查传感器数据的步骤为:根据结果队列中的元信息数据块,可以确定对应的元信息节点,根据元信息节点可以确定对应的时序窗口,根据时序窗口又可以对应至数据存储区。根据结果队列中的元信息数据块对应的时间戳指针,确定在时序上位于该元信息数据块前后若干位的元信息数据块,从而将结果队列中的元信息数据块,以及在时序上位于该元信息数据块前后若干位的元信息数据块一起作为待查元信息数据块,从数据存储区中调取待查元信息数据块对应的传感器数据进行排查。具体的,根据结果队列从数据存储区中调取待查传感器数据的步骤可以人工执行,或者通过调取传感器数据的指令自动执行。
59.进一步的,由于汇聚节点通讯连接的查询终端可以为一个或者多个,当多个查询终端同时向汇聚节点进行topk查询指令时,如果不同查询终端向汇聚节点发出的topk查询指令对应的查询时间范围无重合时,不同的查询时间范围对应完全不同的元数据节点集合,此种情况下,可以对不同查询终端的topk查询指令分别进行处理,或并行处理以缩短结果反馈时间。
60.基于本发明的物联网中汇聚节点的高效文件处理方法的第三实施例,本发明的物联网中汇聚节点的高效文件处理方法的第四实施例中,所述步骤s60,包括:步骤s61,确定所述topk查询指令对应的查询数据项,根据所述查询数据项确定对应的待查topk指针;步骤s62,将所述元信息节点集合中的各个元信息节点中的元信息数据块根据待查topk指针按照从大到小的顺序排列形成查询链表,其中,每个元信息数据块作为所述查询链表的节点;步骤s63,将待查topk指针对应的数据项的大小顺序值,确定为查询链表中各个节点的节点值。
61.基于本发明的物联网中汇聚节点的高效文件处理方法的第四实施例,本发明的物联网中汇聚节点的高效文件处理方法的第五实施例中,所述步骤s80,还包括:
步骤s81,根据topk查询指令生成结果队列,置结果队列的大小为k,值为空;其中,k根据topk查询指令中的k值确定。
62.步骤s82,遍历各个查询链表的节点;步骤s83,判断当前查询链表中的当前节点的节点值是否位于遍历过的节点的节点值的前k位;若不位于遍历过的节点的节点值的前k位,则执行步骤s84:跳过当前查询链表,并将当前查询链表的后续节点从遍历计划中删除,继续对下一查询链表的节点执行遍历操作;若位于遍历过的节点的节点值的前k位,则执行步骤s85:判断结果队列是否已满;若未满,则执行步骤s86:将当前节点按照节点值的大小顺序插入结果队列;若已满,则执行步骤s87:剔除所述结果队列中的尾部节点,并将当前节点按照节点值的大小顺序插入结果队列插入结果队列;步骤s88:在查询链表的节点全部遍历之后,根据所述结果队列生成查询结果返回至所述查询终端,以使用户能根据所述查询结果,从所述数据信息单元中定位异常传感器数据。
63.每个查询链表按照节点值从大至小的顺序排列。
64.形成多个查询链表后,在一具体实施例中,可以生成一个起始节点,将起始节点作为每个查询链表的第一节点,从而,通过共同的起始节点将多个查询链表连接形成虚拟查询树以便于统一查询。
65.遍历各个查询链表的节点时,可以采取横向遍历或者纵向遍历的方式。
66.采用横向遍历时,按照查询链表的顺序依次遍历每个查询链表的第一个节点,结束第一个节点的遍历之后,再按照查询链表的顺序依次遍历每个查询链表的第二个节点,结束第二个节点的遍历之后,再按照查询链表的顺序依次遍历每个查询链表的第三个节点,依次类推。
67.采用纵向遍历时,先依次遍历第一个查询链表的各个节点,结束第一个查询链表的遍历之后,再按照查询链表的顺序继续遍历下一查询链表的节点,依次类推。
68.各个查询链表的节点都是按照节点值由大到小的顺序排列,在遍历的过程中,判断当前查询链表中的当前节点的节点值是否位于遍历过的节点的节点值的前k位;若是,则在后续的遍历过程中,有必要对当前查询链表的后续节点进行遍历;若否,由于当前查询链表中的后续节点的节点值必定小于当前节点的节点值,由于当前节点的节点值不位于遍历过的节点的节点值的前k位,则当前查询链表中的后续节点的节点值肯定不位于遍历过的节点的节点值的前k位,则可以将当前查询链表的后续节点从遍历计划中删除。
69.从而,采用本实施例中的上述遍历方法,可以显著降低节点遍历数量,快速得到结果队列。
70.基于本发明的物联网中汇聚节点的高效文件处理方法的第二实施例至第五实施例,本发明的物联网中汇聚节点的高效文件处理方法的第六实施例中,所述方法,还包括:步骤s90,侦测待存入传感器数据的时间戳是否超过最后一个所述数据存储区对应的时序窗口的时间终点;若是,执行步骤s100:重新确定每个所述数据存储区对应的新一轮时序窗口;
步骤s110,确定待存入传感器数据的时间戳对应的新一轮时序窗口,根据新一轮时序窗口,确定待存入传感器数据在所述数据信息单元中对应的新一轮数据存储区;步骤s120,将待存入传感器数据存入数据清空的所述新一轮数据存储区。
71.本实施例用于实现与时序关联的各个数据存储区的覆写功能,具体的,预设好每个时序窗口的时间跨度后,在传感器数据的时间戳能对应到确定的数据存储区时,将传感器数据直接存储至该数据存储区即可。
72.若传感器数据的时间戳不能对应到确定的数据存储区时,例如,待存入传感器数据的时间戳超过最后一个所述数据存储区对应的时序窗口的时间终点时,表明对各个数据存储区的时序窗口分配已不能满足当前传感器数据存储要求,此时,重新确定每个所述数据存储区对应的新一轮时序窗口。
73.预设清空时段,清空时段等于n个时序窗口的时间跨度,n为正整数,且n不超过数据存储区的数量。清空时段的设置用于将全部的数据存储区按照批次清空,以使一部分数据存储区被覆写,但另一部分数据存储区还保存有一部分历史传感器数据,便于用户对历史数据进行处理(例如查询)。清空的批次等于总时序跨度与清空时段的商。例如,全部的数据存储区可以存储的总时序跨度达到5小时,清空时段为1小时,则清空批次为5批。
74.在待存入传感器数据已经不能找到对应的时序窗口和数据存储区时,先按照清空时段标记上一轮时序窗口靠前且总时序跨度能覆盖到清空时段的多个连续的数据存储区,并将标记的数据存储区内数据清空,按照原始的时序窗口的时间跨度赋予新一轮时序窗口,将待存入传感器数据存入数据清空的新一轮数据存储区。
75.进一步的,在本发明的技术方案中,当数据存储区清空时,对应的元信息节点中的元信息数据块也清空。当数据存储区赋予新的时序窗口时,对应的元信息节点仍然与已关联的数据存储区和新的时序窗口具有对应关系。
76.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个计算机可读存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备进入本发明各个实施例所述的方法。
77.在本说明书的描述中,参考术语“一实施例”、“另一实施例”、“其他实施例”、 或“第一实施例~第x实施例”等的描述意指结合该实施例或示例描述的具体特征、 结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料、方法步骤或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
78.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
79.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
80.以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献