一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

信令数据查询方法、信令数据索引库的构建方法及服务器与流程

2022-06-22 14:31:30 来源:中国专利 TAG:


1.本发明涉及通信技术领域,尤其涉及一种信令数据查询方法、信令数据索引库的构建方法及服务器。


背景技术:

2.随着5g的到来,各个电信运营商的信令数据量暴增,甚至可以达到pb级存储容量的大数据。目前,大数据基本使用hdfs(hadoop distributed system,分布式文件系统)来进行数据存储。而在对结构化的hdfs数据进行访问分析时,主要是采用通用的大数据计算框架(如spark、hive等)来对数据进行访问分析。其将结构化的数据映射为数据表,并通过分表和配置表分区来将数据存储在不同hdfs目录和文件中。该方法每次执行查询任务时都需要将客户端提交的查询请求映射成一个分布式的作业,作业的提交、调度及作业间的交互需要大量的开销,会增加比较大的延时,且查询到的数据精度不足。因此,如何从海量的信令数据中快速、精准检索出用户需要的信令数据,是本领域技术人员正在研究的热门课题。


技术实现要素:

3.本发明实施例的主要目的在于提供一种信令数据查询方法、信令数据索引库的构建方法及服务器,旨在实现存储在分布式文件系统中的信令数据的快速、精准的查询。
4.第一方面,本发明实施例提供一种信令数据查询方法,所述方法包括:
5.接收信令数据的查询请求;
6.根据所述查询请求获取待查询信令数据对应的数据特征,所述数据特征包括用户标识信息及时间戳信息,其中,所述时间戳信息用于表征所述待查询信令数据对应的时间区段;
7.根据所述用户标识信息和所述时间戳信息生成索引关键词;
8.根据所述索引关键词调用与所述索引关键词对应的映射关系,以获取所述待查询信令数据。
9.第二方面,本发明实施例提供一种信令数据索引库的构建方法,所述方法包括:
10.获取信令数据的数据特征及所述信令数据在分布式文件系统中的存储位置信息,其中,所述存储位置信息包括所述信令数据在所述分布式文件系统存储的文件名、文件内的块偏移、块长度、块内的偏移及信令数据的长度;
11.根据所述数据特征设定所述信令数据的索引关键词,并建立所述索引关键词和所述存储位置信息之间的映射关系;
12.存储所述映射关系。
13.第三方面,本发明实施例还提供一种服务器,所述服务器包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如本
发明说明书提供的任一项信令数据查询方法步骤或信令数据索引库的构建方法步骤。
14.本发明实施例提供一种信令数据查询方法、信令数据索引库的构建方法及服务器,在一实施方式中,所述方法通过接收信令数据的查询请求;根据所述查询请求获取待查询信令数据对应的数据特征,所述数据特征包括用户标识信息及时间戳信息,其中,所述时间戳信息用于表征所述待查询信令数据对应的时间区段;根据所述用户标识信息和所述时间戳信息生成索引关键词;根据所述索引关键词调用与所述索引关键词对应的映射关系,以获取所述待查询信令数据。通过查询请求提取到对应的待查询数据的时间戳信息,根据所述时间戳信息和用户标识信息生成对应索引关键词,以利用该索引关键词可以快速定位到与查询请求对应的信令数据,进而实现存储在分布式文件系统中的信令数据的快速、精准的查询。
附图说明
15.为了更清楚地说明本技术实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
16.图1是本发明实施例提供的一种信令数据查询方法的步骤流程示意图;
17.图2是本发明实施例提供的查询请求与信令数据的映射状态示意图;
18.图3为本发明实施例提供的扩充时间戳信息获取的步骤流程示意图;
19.图4是本发明实施例提供的索引关键词与信令数据的映射状态示意图;
20.图5是本发明另一实施例提供的一种信令数据查询方法的步骤流程示意图;
21.图6是本发明实施例提供的一种信令数据索引库的构建方法的步骤流程示意图;
22.图7为本发明实施例提供的一种服务器的结构示意框图。
具体实施方式
23.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
24.附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
25.应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
26.随着5g的到来,各个电信运营商的信令数据量暴增,甚至可以达到pb级存储容量的大数据。目前,大数据基本使用hdfs(hadoop distributed system,分布式文件系统)来进行数据存储。而在对结构化的hdfs数据进行访问分析时,主要是采用通用的大数据计算框架(如spark、hive等)来对数据进行访问分析。其将结构化的数据映射为数据表,并通过分表和配置表分区来将数据存储在不同hdfs目录和文件中。该方法每次执行查询任务时都
需要将客户端提交的查询请求映射成一个分布式的作业,作业的提交、调度及作业间的交互需要大量的开销,会增加比较大的延时,且查询到的数据精度不足。
27.为了实现存储在分布式文件系统中的信令数据的快速、精准的查询,本发明实施例提供一种信令数据查询方法、信令数据索引库的构建方法及服务器。该信令数据查询方法及信令数据索引库的构建方法可以应用于服务器中,该服务器可以为单台的服务器,也可以为由多台服务器组成的服务器集群,在此不做限定。
28.请参阅图1,图1为本发明一实施例提供的信令数据查询方法的步骤流程图。
29.如图1所示,所述信令数据查询方法包括步骤s101-s104。
30.步骤s101、接收信令数据的查询请求。
31.如图2所示,用户在想要获取对应的信令数据时,可以通过操控终端设备向对应的服务器发送对应信令数据的查询请求,以使服务器接收到查询请求后根据该查询请求从分布式文件系统中获取到对应的待查询信令数据。
32.步骤s102、根据所述查询请求获取待查询信令数据对应的数据特征,所述数据特征包括用户标识信息及时间戳信息,其中,所述时间戳信息用于表征所述待查询信令数据对应的时间区段。
33.查询请求中包括待查询信令数据对应的数据特征,数据特征用于记录待查询信令数据的生成主体和对应的生成时间。其中,数据特征包括用户标识信息及时间戳信息,该用户标识信息用于表征生成该征信令数据主体,包括imsi码或电话号码中至少一者。时间戳信息用于表征待查询信令数据对应的生成时间,如时间点x,或时间段y。
34.示例性地,作为监护人的用户a将想要获取其监护对象b用户在某个时间段的相关信令数据时,如,用户a想获取监护对象b的在时间段为2020年06月07日11:00:00到2020年06月07日12:00:00这一个小时对应的信令数据。通过操控对应的终端设备发送对应的信令数据查询请求给对应的服务器运营商c。
35.运营商c接收到对应的查询请求后,根据该查询请求获取信令数据的数据特征,包括用户标识信息及时间戳信息,如,运营商c根据查询请求,获知待查询信令数据是用户b在时间段为从2020年06月07日11:00:00到2020年06月07日12:00:00所产生的信令数据。则运营商c可以查询获知用户b所使用的终端设备的imsi为00460000000000001,待查询信令数据即是imsi为00460000000000001,在时间段为2020年06月07日11:00:00到2020年06月07日12:00:00所产生的信令数据。
36.步骤s103、根据所述用户标识信息和所述时间戳信息生成索引关键词。
37.利用对应信令数据的用户标识信息和时间戳信息构建与该信令数据对应的索引关键词。
38.在一些实施方式中,所述根据所述用户标识信息和所述时间戳信息生成索引关键词,包括:
39.根据所述时间戳信息获取所述待查询信令数据所在时间区段对应的开始时间点和结束时间点;
40.扩充所述开始时间点和所述结束时间点的时间尾数信息,以获取所述扩充时间戳信息;
41.根据所述用户标识信息和所述扩充时间戳信息生成索引关键词。
42.示例性地,根据所述时间戳信息获取所述待查询信令数据所在时间区段对应的开始时间点和结束时间点;扩充所述开始时间点和所述结束时间点的时间尾数信息,以获取所述扩充时间戳信息,利用该扩充时间戳区分时间戳信息相同的信令数据。
43.同时,利用用户标识信息和扩充时间戳信息确定对应索引关键词,从而可以利用该索引关键词从分布式文件系统中获取到待查询的信令数据。其中,索引关键词是用户标识信息和扩充时间戳信息的有序排列组合,即该关键词可以是用户标识信息在前扩充时间戳信息在后的组合,或扩充时间戳信息在前用户标识信息在后的组合。
44.例如,根据时间戳信息获知待查询信令数据对应的时间段为2020年06月07日11:00:00到2020年06月07日12:00:00,则该信令数据的时间精度为秒级,当在起始时间点和结束时间点在一秒内产生的信令数据为多条时,若只获取到在一秒内产生的第一条信令数据或最后一条信令数据,则可能造成信令数据获取不精准。则,通过提取该开始时间点和结束时间点分别为2020-06-07-11:00:00和2020-06-07-12:00:00,对开始时间点分别进行尾数补偿,以对时间戳信息相同的信令数据做区分,其区分方式可以是将时间戳信息相同的信令数据做标号标记或将时间戳信息相同的信令数据做尾数补偿,本实施例中,以补偿尾数为0为例进行说明。
45.补偿前信令数据对应的开始时间点和结束时间点分别为2020-06-07-11:00:00和2020-06-07-12:00:00,该信令数据的时间精度为秒级,通过尾数补偿后获得的开始时间点和结束时间点分别为2020-06-07-11:00:00.0000000和2020-06-07-12:00:00.0000000,即对应的扩充时间戳信息对应的开始时间点2020-06-07-11:00:00.0000000,结束时间点为2020-06-07-12:00:00.0000000,使得提取的待查询信令数据时间精度提高到毫秒、微秒、甚至纳秒,从而可以有效区分时间戳信息相同的信令数据。
46.如,用户标识信息对应的imsi号为00460000000000001;扩充时间戳信息对应的开始时间点为2020年06月07日11:00:00.0000000,结束时间点为2020年06月07日12:00:00.0000000,则开始时间对应的索引关键词可以组合为004600000000000012020-06-07-11:00:00.0000000,结束时间的索引关键词组合为:004600000000000012020-06-07-12:00:00.0000000。
47.步骤s104、根据所述索引关键词调用与所述索引关键词对应的映射关系,以获取所述待查询信令数据。
48.根据索引关键词获取到待查询信令在分布式文件系统中的对应存储位置信息,从而根据存储位置信息从分布式文件系统获取对应的待查询信令数据。
49.请参阅图3,在一些实施方式中,所述根据所述索引关键词调用与所述索引关键词对应的映射关系,以获取所述待查询信令数据,包括:
50.步骤s1041、根据所述索引关键词调用与所述索引关键词对应的映射关系,并根据所述映射关系获取所述待查询信令数据在分布式文件系统中的存储位置信息。
51.根据索引关键词从服务器中获取到与该索引关键词对应的预设映射关系,以根据预设的映射关系获取到待查询信令数据在分布式文件系统中的存储位置信息,该预设映射关系是索引关键词和待查询信令数据在分布式文件系统中的存储位置信息的对应关系。
52.在一些实施方式中,所述根据所述映射关系获取所述待查询信令数据在分布式文件系统中的存储位置信息,包括:
53.根据所述映射关系确定索引数据集合;
54.根据所述索引数据集合获取对应的所述待查询信令数据在分布式文件系统中的存储位置信息。
55.示例性地,若需要获取一段时间内的信令数据,则根据索引关键词获取对应的映射关系,以根据对应的映射关系确定对应的索引数据集合,根据索引数据集合获取该索引数据集合中每一个索引数据对应的待查询信令数据在分布式文件系统中的存储位置信息,即可获取对应时间段内的信令数据。
56.例如,用户标识信息对应的imsi号为00460000000000001的开始时间的索引关键词为004600000000000012020-06-07-11:00:00.0000000,结束时间的索引关键词为:004600000000000012020-06-07-12:00:00.0000000。
57.则,通过索引数据库可以查询出所有索引关键词值大于004600000000000012020-06-07-11:00:00.0000000而且又小于004600000000000012020-06-07-12:00:00.0000000的索引记录,可以得到一个索引值集合,该索引值集合中每一个索引值对应一条信令数据,只需获取每一个索引值对应的存储位置信息,即可获取对应时间段内的信令数据。
58.步骤s1042、根据所述存储位置信息获取所述待查询信令数据。
59.根据存储位置信息获取待查询信令数据在分布式文件系统中的存储路径,根据存储路径提取对应的待查询信令数据。
60.在一些实施方式中,所述存储位置信息包括文件名、文件内的块偏移、块长度、块内的偏移、信令数据的长度,根据所述存储位置信息获取所述待查询信令数据,包括:
61.根据所述文件名确定所述待查询信令数据对应的表名及对应的表分区;
62.根据所述表名及对应的表分区确定所述待查询信令数据在分布式文件系统中的存储路径;
63.根据所述存储路径、文件内的块偏移、块长度、块内的偏移、信令数据的长度获取所述待查询信令数据。
64.其中,所述根据所述存储路径、文件内的块偏移、块长度、块内的偏移、信令数据的长度获取所述待查询信令数据,包括:
65.根据所述存储路径打开对应的数据文件,以获取所述数据文件对应的元数据特征;
66.根据所述元数据特征判断所述数据文件内的数据块是否为压缩数据块;
67.当所述数据块为非压缩数据块时,根据所述文件内的块偏移、块长度、块内的偏移、信令数据的长度获取所述待查询信令数据;
68.当所述数据块为压缩数据块时,对所述压缩数据块进行解压,并根据所述文件内的块偏移、块长度、块内的偏移、信令数据的长度获取所述待查询信令数据。
69.如图4所示,示例性地,解析索引值集合中的每个索引值,可以得到对应的每个信令数据的存储位置信息,该存储位置信息包括文件名、文件内的块偏移、块长度、信令数据在块内的偏移、信令数据的长度。
70.在获得每个信令数据对应的存储位置信息后,通过解析位置信息中的文件名可以确定对应信令数据的表名以及对应的表分区,如,该信令数据被写入fact_xx_xx表的分区为day=

2020-06-07’、hour=11中。
71.根据该信令数据所存储在的表名以及对应的表分区可以确定该待查询信令数据在分布式文件系统中的存储路径,根据该存储路径打开对应的数据文件以获取所述数据文件对应的元数据特征,元数据特征用于表征该数据文件中的数据块是否为压缩数据块。
72.当所述数据块为非压缩数据块时,根据所述文件内的块偏移、块长度、块内的偏移、信令数据的长度获取所述待查询信令数据;当所述数据块为压缩数据块时,对所述压缩数据块进行解压,并在获得解压数据后根据所述文件内的块偏移、块长度、块内的偏移、信令数据的长度获取所述待查询信令数据。
73.在一些实施方式中,所述方法还包括:
74.发送所述待查询信令数据给发出所述查询请求的终端设备。
75.将获取的信令数据通过打包或以数据片的形式发送给发出所述查询请求的终端设备,从而使得用户通过该终端设备接收到其待查询的信令数据。
76.在一些实施方式中,在接收信令数据的查询请求之前,所述方法还包括:
77.将信令数据以预设格式存储在分布式文件系统中,并设定信令数据与对应索引信息及查询关键词之间的对应关系。通过提取到的对应关键词即可获取到对应的索引信息,并根据索引信息获取对应的信令数据。
78.如,将信令数据进行压缩,以压缩数据格式进行文件存储,从而使得数据存储所需空间更小。
79.请参阅图5,图5为本发明另一实施例提供的信令数据查询方法的步骤流程图。
80.如图5所示,所述信令数据查询方法包括步骤s201-s207。
81.步骤s201、获取信令数据的数据特征及所述信令数据在分布式文件系统中的存储位置信息,其中,所述存储位置信息包括所述信令数据在所述分布式文件系统存储的文件名、文件内的块偏移、块长度、块内的偏移及信令数据的长度。
82.示例性地,获取存储于分布式文件系统中的对应信令数据的存储位置信息,及该信令数据对应的数据特征,其中,存储位置信息包括所述信令数据在所述分布式文件系统存储的文件名、文件内的块偏移、块长度、块内的偏移及信令数据的长度,以通过该位置信息可以实现对应信令数据的精准定位。
83.数据特征用于表征信令数据的身份证明,数据特征具有唯一性,通过对应的数据特征可以确定对应的信令数据。根据数据特征确定对应信令数据的索引关键词。建立该索引关键词和对应存储位置信息之间的映射关系,并存储该映射关系,从而可以通过对应的索引关键词寻找到与该索引关键词对应的存储位置信息,以根据该存储位置信息从分布式文件系统中实现对于该存储位置信息对应的信令数据的定位及获取。
84.步骤s202、根据所述数据特征设定所述信令数据的索引关键词,并建立所述索引关键词和所述存储位置信息之间的映射关系。
85.在一些实施方式中,所述数据特征包括用户标识信息及时间戳信息,所述根据所述数据特征设定所述信令数据的索引关键词,包括:
86.根据所述时间戳信息设定对应的扩充时间戳信息,其中,所述扩充时间戳信息用于区分时间戳信息相同的信令数据;
87.根据所述扩充时间戳信息和所述用户标识信息确定所述索引关键词。
88.示例性地,扩充时间戳信息用于区分时间戳信息相同的信令数据,当多条信令数
据的时间戳信息相同时,若不对该时间戳信息进行区分,则可能造成信令数据误识别。
89.如,信令数据的时间戳信息为2020年06月07日11:00:00,当在同一秒内接收到同一用户发送的多条信令数据时,则由于该时间戳信息的数据精度不足,无法将所接收到的信令数据进行区分。因此,根据时间戳信息设定与所述时间戳信息对应的扩充时间戳,利用扩充时间戳区别时间戳信息相同的信令数据,并利用对应信令数据的扩充时间戳信息和用户标识信息确定对应的索引关键词,从而使得通过该索引关键词可以准确获取所需的信令数据。
90.本实施方式中,根据时间戳信息设定与所述时间戳信息对应的扩充时间戳的方式包括但不限于尾数补偿,本实施方式中以尾数补偿为例进行说明。补偿前信令数据对应的时间戳信息的开始时间点和结束时间点分别为2020-06-07-11:00:00和2020-06-07-12:00:00,该信令数据的时间精度为秒级,通过尾数补偿后获得的开始时间点和结束时间点分别为2020-06-07-11:00:00.0000000和2020-06-07-12:00:00.0000000,即对应的扩充时间戳信息对应的开始时间点2020-06-07-11:00:00.0000000,结束时间点为2020-06-07-12:00:00.0000000,使得提取的待查询信令数据时间精度提高到毫秒、微秒、甚至纳秒,从而可以有效区分时间戳信息相同的信令数据。
91.在根据时间戳信息确定对应扩充时间戳信息后,根据扩充时间戳信息和用户标识信息确定对应的索引关键词,在确定索引关键词后,根据索引关键词确定与该索引关键词对应的索引数据集合,索引数据集合中包括了多条索引数据,每条索引数据对应一个信令数据在分布式文件系统中的存储位置信息。其中,索引关键词是用户标识信息和扩充时间戳信息的有序排列组合,即该关键词可以是用户标识信息在前扩充时间戳信息在后的组合,或扩充时间戳信息在前用户标识信息在后的组合。
92.步骤s203、存储所述映射关系。
93.将对应的映射关系存储于服务器中,以在接收到对应的索引关键词时,调用该映射关系。
94.步骤s204、接收信令数据的查询请求。
95.步骤s204与图1中步骤s101相同,在此不做赘述。
96.步骤s205、根据所述查询请求获取待查询信令数据对应的数据特征,所述数据特征包括用户标识信息及时间戳信息,其中,所述时间戳信息用于表征所述待查询信令数据对应的时间区段。
97.步骤s205与图1中步骤s102相同,在此不做赘述。
98.步骤s206、根据所述用户标识信息和所述时间戳信息生成索引关键词。
99.步骤s206与图1中步骤s103相同,在此不做赘述。
100.步骤s207、根据所述索引关键词调用与所述索引关键词对应的映射关系,以获取所述待查询信令数据。
101.步骤s207与图1中步骤s104相同,在此不做赘述。
102.在一些实施方式中,在所述获取信令数据的数据特征及所述信令数据在分布式文件系统中的存储位置信息步骤之前,所述方法还包括:
103.按预设格式压缩所述信令数据,并将压缩后的所述信令数据存储于所述分布式文件系统中的预设存储位置。
104.为了节约信令数据在分布式文件系统中存储空间,根据预设格式将对应的信令数据进行压缩,从而获取对应压缩后的信令数据,并将压缩后的信令数据存储于分布式文件系统中的预设存储位置。
105.请参阅图6,图6为本发明一实施例提供的信令数据索引库的构建的步骤流程图。
106.如图6所示,所述信令数据索引库的构建方法应用于服务器,所述方法包括步骤s301-303。
107.步骤s301、获取信令数据的数据特征及所述信令数据在分布式文件系统中的存储位置信息,其中,所述存储位置信息包括所述信令数据在所述分布式文件系统存储的文件名、文件内的块偏移、块长度、块内的偏移及信令数据的长度。
108.步骤s301与图5中步骤s201相同,在此不做赘述。
109.步骤s302、根据所述数据特征设定所述信令数据的索引关键词,并建立所述索引关键词和所述存储位置信息之间的映射关系。
110.步骤s302与图5中步骤s202相同,在此不做赘述。
111.步骤s303、存储所述映射关系。
112.步骤s303与图5中步骤s203相同,在此不做赘述。
113.请参阅图7,图7为本发明实施例提供的一种服务器300的结构示意性框图。
114.如图7所示,服务器300包括处理器301和存储器302,处理器301和存储器302通过总线303连接,该总线比如为i2c(inter-integrated circuit)总线。
115.具体地,处理器301用于提供计算和控制能力,支撑整个服务器的运行。处理器301可以是中央处理单元(central processing unit,cpu),该处理器301还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
116.存储器302可以是flash芯片、只读存储器(rom,read-only memory)磁盘、光盘、u盘或移动硬盘等。
117.其中,所述处理器301用于运行存储在存储器302中的计算机程序,并在执行所述计算机程序时实现如下步骤:
118.接收信令数据的查询请求;
119.根据所述查询请求获取待查询信令数据对应的数据特征,所述数据特征包括用户标识信息及时间戳信息,其中,所述时间戳信息用于表征所述待查询信令数据对应的时间区段;
120.根据所述用户标识信息和所述时间戳信息生成索引关键词;
121.根据所述索引关键词调用与所述索引关键词对应的映射关系,以获取所述待查询信令数据。
122.在一些实施方式中,处理器301在所述根据所述用户标识信息和所述时间戳信息生成索引关键词,包括:
123.根据所述时间戳信息获取所述待查询信令数据所在时间区段对应的开始时间点和结束时间点;
124.扩充所述开始时间点和所述结束时间点的时间尾数信息,以获取所述扩充时间戳信息;
125.根据所述用户标识信息和所述扩充时间戳信息生成索引关键词。
126.在一些实施方式中,处理器301在根据所述索引关键词调用与所述索引关键词对应的映射关系,以获取所述待查询信令数据时,包括:
127.根据所述索引关键词调用与所述索引关键词对应的映射关系,并根据所述映射关系获取所述待查询信令数据在分布式文件系统中的存储位置信息;
128.根据所述存储位置信息获取所述待查询信令数据。
129.在一些实施方式中,处理器301在根据所述映射关系获取所述待查询信令数据在分布式文件系统中的存储位置信息时,包括:
130.根据所述映射关系确定索引数据集合;
131.根据所述索引数据集合获取对应的所述待查询信令数据在分布式文件系统中的存储位置信息。
132.在一些实施方式中,存储位置信息包括文件名、文件内的块偏移、块长度、块内的偏移、信令数据的长度,处理器301在根据所述存储位置信息获取所述待查询信令数据,包括:
133.根据所述文件名确定所述待查询信令数据对应的表名及对应的表分区;
134.根据所述表名及对应的表分区确定所述查询信令数据待在分布式文件系统中的存储路径;
135.根据所述存储路径、文件内的块偏移、块长度、块内的偏移、信令数据的长度获取所述待查询信令数据。
136.在一些实施方式中,处理器301在根据所述存储路径、文件内的块偏移、块长度、块内的偏移、信令数据的长度获取所述待查询信令数据,包括:
137.根据所述存储路径打开对应的数据文件,以获取所述数据文件对应的元数据特征;
138.根据所述元数据特征判断所述数据文件内的数据块是否为压缩数据块;
139.当所述数据块为非压缩数据块时,根据所述文件内的块偏移、块长度、块内的偏移、信令数据的长度获取所述待查询信令数据;
140.当所述数据块为压缩数据块时,对所述压缩数据块进行解压,并根据所述文件内的块偏移、块长度、块内的偏移、信令数据的长度获取所述待查询信令数据。
141.在一些实施方式中,处理器301在所述接收信令数据的查询请求步骤之前,还用于:
142.获取信令数据的数据特征及所述信令数据在分布式文件系统中的存储位置信息,其中,所述存储位置信息包括所述信令数据在所述分布式文件系统存储的文件名、文件内的块偏移、块长度、块内的偏移及信令数据的长度;
143.根据所述数据特征设定所述信令数据的索引关键词,并建立所述索引关键词和所述存储位置信息之间的映射关系;
144.存储所述映射关系。
145.在一些实施方式中,所述用户标识信息包括imsi码或电话号码中至少一者;所述
索引关键词是所述用户标识信息和所述扩充时间戳信息的有序排列组合。
146.在一些实施方式中,处理器301还用于执行:
147.发送所述待查询信令数据给发出所述查询请求的终端设备。
148.在一些实施方式中,处理器301还用于实现如下方法步骤:
149.获取信令数据的数据特征及所述信令数据在分布式文件系统中的存储位置信息,其中,所述存储位置信息包括所述信令数据在所述分布式文件系统存储的文件名、文件内的块偏移、块长度、块内的偏移及信令数据的长度;
150.根据所述数据特征设定所述信令数据的索引关键词,并建立所述索引关键词和所述存储位置信息之间的映射关系;
151.存储所述映射关系。
152.在一些实施方式中,所述数据特征包括用户标识信息及时间戳信息,处理器301在根据所述数据特征设定所述信令数据的索引关键词,包括:
153.根据所述时间戳信息获取对应的扩充时间戳信息,其中,所述扩充时间戳信息用于区分时间戳信息相同的信令数据;
154.根据所述扩充时间戳信息和所述用户标识信息确定所述索引关键词。
155.本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
156.应当理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
157.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本发明的具体实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在
本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献