面向存内查询加速的数据分布与索引优化方法及系统与流程

本发明涉及存内查询优化，特别是指面向存内查询加速的数据分布与索引优化方法及系统。

背景技术：

1、在实时分析型内存数据库场景下，系统常需对海量多维数据进行快速查询处理。例如，一个支撑城市级智能交通监控的内存数据处理平台，其数据记录包含时间戳、车辆位置坐标、行驶速度等多个维度，平台需要频繁响应检索过去5分钟内在某多边形区域内、速度低于阈值的车辆，这类多维范围查询。为提高响应速度，有的现有方案会采用空间划分方法，将多维数据空间事先切分为规则的矩形网格单元，并在每个网格内独立构建局部索引。查询到达时，找出与查询范围相交的网格单元，再于这些单元中并行执行局部检索，以此缩小扫描范围，获得一定的加速效果。

2、然而，这类方法在实际部署中暴露出一些局限性。固定的均匀矩形网格划分无法自适应数据分布与查询负载的动态变化：当某些区域长期承载远高于其他区域的查询频次时，这些热点区域的数据与冷数据仍处于相同粒度的网格和同质化的索引结构中，热点数据未能得到更精细的组织与专门优化的动态索引支持，而大量冷数据却持续占用相同的索引开销，造成内存浪费。同时，多维数据的真实分布边界往往是不规则的，僵硬的矩形网格边界有时会割裂原本紧密相关的数据子集，导致一个查询不得不过度跨越多个网格单元。现有的划分方法较少对网格单元之间的几何相邻关系进行显式规整和提取，查询处理时仅靠简单的网格编号遍历，未能沿着最优的几何拓扑连通路径来组织和调度查询，由此引发了不必要的跨单元合并与重复扫描操作。这些问题最终制约了存内多维查询的加速效果和存储资源利用率，使得单纯依靠均匀网格与单一索引的方案难以满足高动态负载下的高效查询需求。

技术实现思路

1、本发明提供了面向存内查询加速的数据分布与索引优化方法及系统，在复杂多维查询下提升了存内查询加速性能，同时提高了内存空间利用效率。

2、为解决上述技术问题，本发明的技术方案如下：

3、第一方面，面向存内查询加速的数据分布与索引优化方法，所述方法包括：

4、获取目标存内数据、多维查询请求及对应的历史查询负载数据，对多维查询请求和历史查询负载数据进行特征提取，得到多维查询特征向量；

5、根据多维查询特征向量确定多维几何空间的初始划分参数；基于初始划分参数构建梯形网格几何结构；对梯形网格几何结构中各梯形几何单元的顶点坐标与边界线段进行自适应几何规整处理，得到规整后的梯形网格几何结构；

6、将目标存内数据映射至规整后的梯形网格几何结构的各个梯形几何单元内执行数据分布，得到分布后的存内数据块；

7、根据分布后的存内数据块中的几何拓扑属性，确定各数据块在规整后的梯形网格几何结构中的位置及相邻连通关系；结合多维查询特征向量、历史查询负载数据与相邻连通关系，对各数据块进行访问热度评估，得到访问热度指标；

8、根据访问热度指标对分布后的存内数据块进行冷热分层处理，得到数据块集合；为数据块集合中的热数据块构建自适应动态存内索引结构，并为数据块集合中的冷数据块构建静态存内索引结构，得到混合存内索引结构；

9、将混合存内索引结构，沿规整后的梯形网格几何结构中相邻梯形几何单元的几何拓扑连通路径，对多维查询请求进行存内查询处理，得到查询加速结果。

10、第二方面，面向存内查询加速的数据分布与索引优化系统，包括：

11、获取模块，用于获取目标存内数据、多维查询请求及对应的历史查询负载数据，对多维查询请求和历史查询负载数据进行特征提取，得到多维查询特征向量；

12、构建模块，用于根据多维查询特征向量确定多维几何空间的初始划分参数；基于初始划分参数构建梯形网格几何结构；对梯形网格几何结构中各梯形几何单元的顶点坐标与边界线段进行自适应几何规整处理，得到规整后的梯形网格几何结构；

13、映射模块，用于将目标存内数据映射至规整后的梯形网格几何结构的各个梯形几何单元内执行数据分布，得到分布后的存内数据块；

14、评估模块，用于根据分布后的存内数据块中的几何拓扑属性，确定各数据块在规整后的梯形网格几何结构中的位置及相邻连通关系；结合多维查询特征向量、历史查询负载数据与相邻连通关系，对各数据块进行访问热度评估，得到访问热度指标；

15、处理模块，用于根据访问热度指标对分布后的存内数据块进行冷热分层处理，得到数据块集合；为数据块集合中的热数据块构建自适应动态存内索引结构，并为数据块集合中的冷数据块构建静态存内索引结构，得到混合存内索引结构；将混合存内索引结构，沿规整后的梯形网格几何结构中相邻梯形几何单元的几何拓扑连通路径，对多维查询请求进行存内查询处理，得到查询加速结果。

16、本发明的上述方案至少包括以下有益效果：

17、通过提取多维查询特征和历史负载来确定梯形网格划分参数，并执行自适应几何规整，使数据空间的划分紧密贴合实际查询热点和数据分布边界，有效减少无关单元的扫描。利用规整后的梯形网格几何拓扑属性与查询负载结合进行访问热度评估，实现数据块的冷热分层：为热数据块构建动态自适应索引结构，能够快速响应高频查询和增量更新；为冷数据块构建紧凑的静态索引，降低内存占用和索引维护开销。查询执行时，多维查询请求沿相邻梯形单元的几何拓扑连通路径进行，避免了传统方案中孤立的网格遍历，显著缩短查询路径并减少跨块合并计算量，将数据分布、冷热索引与拓扑连通路径查询进行协同优化，在复杂多维查询下提升了存内查询加速性能，同时提高了内存空间利用效率。

1.面向存内查询加速的数据分布与索引优化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的面向存内查询加速的数据分布与索引优化方法，其特征在于，获取目标存内数据、多维查询请求及对应的历史查询负载数据，对多维查询请求和历史查询负载数据进行特征提取，得到多维查询特征向量，包括：

3.根据权利要求2所述的面向存内查询加速的数据分布与索引优化方法，其特征在于，根据多维查询特征向量确定多维几何空间的初始划分参数；基于初始划分参数构建梯形网格几何结构，包括：

4.根据权利要求3所述的面向存内查询加速的数据分布与索引优化方法，其特征在于，对梯形网格几何结构中各梯形几何单元的顶点坐标与边界线段进行自适应几何规整处理，得到规整后的梯形网格几何结构，包括：

5.根据权利要求4所述的面向存内查询加速的数据分布与索引优化方法，其特征在于，将目标存内数据映射至规整后的梯形网格几何结构的各个梯形几何单元内执行数据分布，得到分布后的存内数据块，包括：

6.根据权利要求5所述的面向存内查询加速的数据分布与索引优化方法，其特征在于，根据分布后的存内数据块中的几何拓扑属性，确定各数据块在规整后的梯形网格几何结构中的位置及相邻连通关系，包括：

7.根据权利要求6所述的面向存内查询加速的数据分布与索引优化方法，其特征在于，结合多维查询特征向量、历史查询负载数据与相邻连通关系，对各数据块进行访问热度评估，得到访问热度指标，包括：

8.根据权利要求7所述的面向存内查询加速的数据分布与索引优化方法，其特征在于，根据访问热度指标对分布后的存内数据块进行冷热分层处理，得到数据块集合；为数据块集合中的热数据块构建自适应动态存内索引结构，并为数据块集合中的冷数据块构建静态存内索引结构，得到混合存内索引结构，包括：

9.根据权利要求8所述的面向存内查询加速的数据分布与索引优化方法，其特征在于，将混合存内索引结构，沿规整后的梯形网格几何结构中相邻梯形几何单元的几何拓扑连通路径，对多维查询请求进行存内查询处理，得到查询加速结果，包括：

10.面向存内查询加速的数据分布与索引优化系统，该系统实现如权利要求1至9中任一项所述的方法，其特征在于，包括：