一种面向时序数据的索引分区管理方法和系统

技术特征：
1.一种面向时序数据的索引分区管理方法，其特征在于，采用以下步骤创建索引：将一条时序数据中各个字段创建索引所需的必要信息封装到一个document对象中；根据时序数据的时间值，基于time detector组件判断时序数据的索引所属的索引分区；根据时序数据所属的索引分区的起止时间，从time partition metadata组件中得到该索引分区的元数据信息以及与该索引分区相关的indexwriter对象；利用对应索引分区的indexwriter对象对document对象中封装的数据进行索引创建操作。2.根据权利要求1所述的方法，其特征在于，所述基于time detector组件判断时序数据的索引所属的索引分区，包括：保留两个能够写入索引数据的索引分区，分别为最近可写索引分区和乱序缓存索引分区，分别用来保存大部分时间有序数据的索引以及部分乱序数据对应的索引；通过time detector组件决定一条时序数据的索引是属于最近可写索引分区还是乱序缓存索引分区；time detector组件根据当前时间和索引分区的窗口大小，维护一个最近可写索引分区，如果一条时序数据对应的时间值属于最近可写索引分区，则该条时序数据是有序的；反之则该条时序数据为无序的，将其对应的索引写入乱序缓存索引分区中。3.根据权利要求2所述的方法，其特征在于，所述最近可写索引分区随当前时间不断滚动更新，时间范围在最近可写索引分区的时间范围之前的索引分区为只读索引分区。4.根据权利要求1所述的方法，其特征在于，所述time partition metadata组件负责维护所有索引分区的元数据信息；索引分区的元数据信息在内存中存放在一个map当中，键是由索引分区的起始时间和终止时间组成，值包含索引分区的indexwriter、indexreader组件，索引分区的磁盘存放路径，以及索引分区中索引的数据量；所述time partition metadata组件还负责索引分区元数据信息的持久化保存，以避免索引分区元数据信息的丢失。5.根据权利要求1所述的方法，其特征在于，所述利用对应索引时间分区的indexwriter对document对象中封装的数据进行索引创建操作，包括：首先将索引数据缓存在内存中，此时内存中的索引数据不能够被查询到；然后将内存中的数据刷写到磁盘上，成为能够被查询到的索引文件。6.根据权利要求1～5中任一权利要求所述的方法，其特征在于，对于创建的索引，采用以下步骤查询索引：对于指定时间范围的索引查询任务，首先访问time partition metadata组件筛选出与查询时间范围有交集的索引分区；针对每一个与查询时间范围有交集的索引分区，根据查询条件分别构建查询对象，然后分别使用一个线程来执行查询对象对应的索引查询子任务；将每个索引分区的子查询结果首先按相关性进行局部排序，然后再将多个子查询结果进行全局排序，最后返回终端用户。7.根据权利要求2所述的方法，其特征在于，将乱序缓存索引分区的乱序索引数据定期按时间范围进行拆分，将拆分后的索引数据合并到对应时间范围的只读索引分区中，以避免乱序缓存索引分区影响查询性能。
8.一种面向时序数据的索引分区管理系统，其特征在于，包括：创建索引模块，用于按照权利要求1～5中任一权利要求所述的方法创建索引；查询索引模块，用于按照权利要求6或7所述方法中的查询索引的步骤查询索引。9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一权利要求所述方法的指令。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一权利要求所述的方法。

技术总结
本发明涉及一种面向时序数据的索引分区管理方法和系统。该方法包括：将一条时序数据创建索引所需的必要信息封装到一个Document对象中；根据时序数据的时间值，基于Time Detector组件判断时序数据的索引所属的索引分区；根据时序数据所属的索引分区的起止时间，从Time Partition Metadata组件中得到该索引分区的元数据信息以及与该索引分区相关的IndexWriter对象；利用对应索引分区的IndexWriter对象对Document对象中封装的数据进行索引创建操作。本发明将时序数据索引数据在时间维度进行分区管理，能够大幅提升查询效率，适合查询类型复杂且数据量大的时序数据应用场景。用场景。用场景。


技术研发人员：李波 姜宝钰 张金超 李传荣 王伟平
受保护的技术使用者：中国科学院信息工程研究所
技术研发日：2021.12.06
技术公布日：2022/5/5