面向近存计算架构的多级存储联合数据放置方法及系统与流程

本发明涉及数据处理，特别是指面向近存计算架构的多级存储联合数据放置方法及系统。

背景技术：

1、随着自动驾驶与智能机器人等领域的快速发展，线激光雷达传感器在运行过程中会持续产生海量的实时点云数据流，为了高效处理此类数据，通常会采用包含片上静态随机存取存储器、片外动态随机存取存储器及非易失性固态硬盘的近存计算架构来进行数据的存储与计算。

2、在现有的多级存储数据管理过程中，由于点云数据经过体素化处理后具有较为复杂的时空访问特性，常规的数据放置策略往往难以精准契合数据的空间局部性与时间访问频率，导致数据在不同存储层级之间的跨级搬运较为频繁，从而在一定程度上增加了系统的搬运开销与处理延迟，限制了近存计算架构整体效能的充分发挥。

技术实现思路

1、本发明提供了面向近存计算架构的多级存储联合数据放置方法及系统，降低了多级存储架构下的跨级搬运总开销。

2、为解决上述技术问题，本发明的技术方案如下：

3、第一方面，面向近存计算架构的多级存储联合数据放置方法，所述方法包括：

4、步骤1，根据线激光雷达传感器采集的实时点云数据流，得到原始点云数据集合；

5、步骤2，根据原始点云数据集合包含的三维空间坐标信息执行体素化网格划分，得到体素化特征数据集合；

6、步骤3，根据体素化特征数据集合包含的网格占用状态与历史读取记录提取空间局部性特征与时间访问频率，得到数据访问特征向量；

7、步骤4，根据数据访问特征向量反映的数据访问密集程度计算近存计算架构中各存储层级的数据热度值；根据各存储层级的数据热度值，得到层级热度分布矩阵；

8、步骤5，根据层级热度分布矩阵表征的各级存储负载状态求解以最小化跨级搬运开销为优化目标的联合数据放置模型；根据联合数据放置模型，得到最终数据放置策略；

9、步骤6，根据最终数据放置策略指示的层级映射关系将体素化特征数据集合分配至片上静态随机存取存储器、片外动态随机存取存储器及非易失性固态硬盘中，得到多级存储联合数据放置结果。

10、第二方面，面向近存计算架构的多级存储联合数据放置系统，包括：

11、数据采集模块，用于根据线激光雷达传感器采集的实时点云数据流，得到原始点云数据集合；

12、网格划分模块，用于根据原始点云数据集合包含的三维空间坐标信息执行体素化网格划分，得到体素化特征数据集合；

13、特征提取模块，用于根据体素化特征数据集合包含的网格占用状态与历史读取记录提取空间局部性特征与时间访问频率，得到数据访问特征向量；

14、热度计算模块，用于根据数据访问特征向量反映的数据访问密集程度计算近存计算架构中各存储层级的数据热度值；根据各存储层级的数据热度值，得到层级热度分布矩阵；

15、策略求解模块，用于根据层级热度分布矩阵表征的各级存储负载状态求解以最小化跨级搬运开销为优化目标的联合数据放置模型；根据联合数据放置模型，得到最终数据放置策略；

16、数据放置模块，用于根据最终数据放置策略指示的层级映射关系将体素化特征数据集合分配至片上静态随机存取存储器、片外动态随机存取存储器及非易失性固态硬盘中，得到多级存储联合数据放置结果。

17、本发明的上述方案至少包括以下有益效果：

18、通过深度挖掘激光雷达点云数据的空间局部性与时间访问频率特征，构建数据访问特征向量，并严格结合多级存储架构的物理容量阈值进行热度区间划分，实现了数据热度与存储层级的精准映射；通过联合考量相邻存储层级间的物理搬运距离与传输带宽，构建以最小化时间与能耗开销总和为优化目标的联合数据放置模型并进行启发式迭代求解，克服了传统方法忽视数据三维空间聚集特征而导致的跨级搬运频繁、缓存命中率低及带宽拥塞等缺陷，降低了多级存储架构下的跨级搬运总开销，减少了点云特征提取流水线的停顿。

1.面向近存计算架构的多级存储联合数据放置方法，其特征在于，所述方法包括：

2.根据权利要求1所述的面向近存计算架构的多级存储联合数据放置方法，其特征在于，根据原始点云数据集合包含的三维空间坐标信息执行体素化网格划分，得到体素化特征数据集合，包括：

3.根据权利要求2所述的面向近存计算架构的多级存储联合数据放置方法，其特征在于，根据体素化特征数据集合包含的网格占用状态与历史读取记录提取空间局部性特征与时间访问频率，得到数据访问特征向量，包括：

4.根据权利要求3所述的面向近存计算架构的多级存储联合数据放置方法，其特征在于，根据数据访问特征向量反映的数据访问密集程度计算近存计算架构中各存储层级的数据热度值；根据各存储层级的数据热度值，得到层级热度分布矩阵，包括：

5.根据权利要求4所述的面向近存计算架构的多级存储联合数据放置方法，其特征在于，根据层级热度分布矩阵表征的各级存储负载状态求解以最小化跨级搬运开销为优化目标的联合数据放置模型；根据联合数据放置模型，得到最终数据放置策略，包括：

6.根据权利要求5所述的面向近存计算架构的多级存储联合数据放置方法，其特征在于，根据层级间搬运开销参数集合与网格热度值集合，构建以最小化跨级搬运开销总和为优化目标的联合数据放置模型；根据联合数据放置模型，得到数据放置优化目标，包括：

7.根据权利要求6所述的面向近存计算架构的多级存储联合数据放置方法，其特征在于，根据数据放置优化目标，以各存储层级的预设容量为约束条件执行启发式迭代求解，得到各网格在各存储层级中的初始分配状态集合，包括：

8.根据权利要求7所述的面向近存计算架构的多级存储联合数据放置方法，其特征在于，根据最终数据放置策略指示的层级映射关系将体素化特征数据集合分配至片上静态随机存取存储器、片外动态随机存取存储器及非易失性固态硬盘中，得到多级存储联合数据放置结果，包括：

9.根据权利要求8所述的面向近存计算架构的多级存储联合数据放置方法，其特征在于，根据网格层级映射集合，提取目标存储层级标识为片上静态随机存取存储器的网格，得到sram待存网格集合；提取目标存储层级标识为片外动态随机存取存储器的网格，得到dram待存网格集合；提取目标存储层级标识为非易失性固态硬盘的网格，得到ssd待存网格集合，包括：

10.面向近存计算架构的多级存储联合数据放置系统，该系统实现如权利要求1至9中任一项所述的方法，其特征在于，包括：