一种用于激光加速器控制系统的混合存储方法及系统

本发明涉及物理实验数据存储，具体涉及一种用于激光加速器控制系统的数据存储方法及系统，尤其适用于处理高吞吐、多模态异构实验数据的实时存储与高效检索。背景介绍激光加速器利用超短超强激光与等离子体相互作用产生的极高电场（可达gv/m量级，较传统射频加速器高出三个数量级），可在厘米级距离内将带电粒子加速至相对论能量，是突破大型加速器规模与经济成本瓶颈的革命性方向。该技术产生的粒子束具有超高峰值流强、皮秒级脉冲宽度和极小源尺寸等独特优势，在癌症治疗（如flash放疗）、聚变能源诊断、材料辐照改性、空间环境模拟以及高能量密度物理等前沿领域展现出广阔应用前景。然而，随着激光加速器向高重频、高精度方向发展，实验产生的数据类型日益复杂、数据量急剧增长。实验产生的多种类型的数据，主要包括由科学相机产生的高通量图像数据、由各类探测器产生的过程变量时序监测数据（如压力、流量、温度等）、以及系统配置与控制参数等结构化数据（包括科学相机图像、过程变量时序数据、系统配置参数）急剧增长，这些异构数据对存储系统提出了严苛要求：低延迟接收、高吞吐写入、长期安全归档以及高效灵活的数据检索能力。现有存储方案往往针对单一数据类型优化，难以同时满足上述多类数据的存储需求。例如，全闪存阵列虽吞吐量高但成本昂贵且扩展性差；机械磁盘阵列容量大但无法支持多路并行实时写入；通用分布式存储系统未针对时序数据和图像数据进行专门优化，导致存储效率低下。此外，现有系统普遍缺乏统一的数据分类与关联机制，元数据与原始数据分离存储造成数据孤岛，严重制约后续的数据关联分析与人工智能辅助物理过程反演。因此，亟需一种能够同时满足激光加速器控制系统中图像数据、时序监测数据和配置数据高效存储与管理需求的综合解决方案。

背景技术：

技术实现思路

1、本发明旨在解决现有激光加速器控制系统在应对多种异构类型数据（包括高吞吐图像数据、时序监测数据及结构化配置数据等）实时存储与高效检索时面临的技术挑战，具体需实现高吞吐图像、高频时序及结构化配置三类数据的统一存储与高效协同管理，在保证高写入性能的同时降低存储资源消耗以实现大容量数据的长期归档，建立图像数据与时序监测数据的关联索引以支持快速多维数据检索，并提升海量图像数据的访问速度以满足实时监控与历史回溯的双重需求。本发明提供一种用于激光加速器控制系统的混合存储方法及系统，采用分层混合存储架构，结合专用数据库与分布式文件系统，并引入基于hdf5的批处理存储策略与分级缓存机制。

2、本发明的技术解决方案如下：

3、一种用于激光加速器控制系统的混合存储系统，包括：

4、数据采集层：用于实时获取科学相机产生的图像数据和基于epics架构的设备产生的过程变量时序数据。

5、混合存储层，具体包括：

6、关系数据库，用于存储设备参数、用户权限、实验配置等结构化配置数据。

7、时序数据库，用于存储所述过程变量时序数据以及所述图像数据的元数据（至少包括采集时间、设备标识、存储索引及文件名）。

8、分布式对象存储，用于以批处理方式存储所述图像数据：将预设数量图像按时间顺序打包成一个科学数据存储文件（如hdf5文件），压缩后存入所述分布式对象存储。

9、统一数据索引模块，用于在所述时序数据库中建立每幅图像的元数据与对应时刻的过程变量数据之间的关联映射。

10、数据缓存与检索层：包括内存-固态硬盘两级缓存模块，用于加速所述分布式对象存储中图像数据的访问。该层具体包括：缓存索引列表（记录已缓存文件的元数据及存储位置）、查询模块（先查缓存，命中则直接提取，未命中则下载并缓存）、淘汰模块（基于lfu算法，根据访问频率和最后访问时间进行淘汰）、分层存储模块（将访问频率最高的部分文件存储于内存缓存，其余缓存于固态硬盘）。

11、数据可视化层：基于websocket协议实现实时数据推送与展示。

12、其中，所述过程变量时序数据的存储采用批量写入机制：按时间窗口将多个过程变量数据聚合后批量写入所述时序数据库，并在每次数据更新时将最新值写入环形缓存；当相机触发时，根据触发时间从所述环形缓存中匹配过程变量数据，实现图像与过程变量的精准对齐。

13、本发明还提供一种基于上述系统的混合存储方法，包括以下步骤：

14、图像采集与暂存步骤：通过相机数据处理模块实时获取图像数据，进行预处理后通过websocket推送至前端，同时将原始图像无损压缩后暂存于硬盘缓存目录。

15、图像批处理归档步骤：当累积图像数量达到预设阈值时，将暂存的一批图像按时间顺序打包成一个科学数据存储文件（如hdf5文件），压缩后存入分布式对象存储，并将每幅图像的元数据（采集时间、设备标识、在hdf5文件中的索引及文件名）存入时序数据库。

16、过程变量采集与同步缓存步骤：通过过程变量数据处理模块实时采集过程变量数据，进行清洗、标准化后，一方面按时间窗口将多个过程变量数据聚合后批量写入时序数据库，另一方面在每次数据更新时将最新值同步写入环形缓存。

17、数据关联索引步骤：当相机触发时，以触发时间为基准，从所述环形缓存中提取前后预设时间窗口内的过程变量数据，建立与当前图像的关联索引，并将该关联关系存入时序数据库。

18、分级缓存检索步骤：当用户请求图像时，首先查询缓存索引列表；若缓存命中，则根据存储位置直接从内存缓存或固态硬盘缓存提取对应的科学数据存储文件并解析出目标图像；若缓存未命中，则从分布式对象存储下载对应的科学数据存储文件，存入缓存层并更新缓存索引。其中，缓存淘汰采用lfu算法，优先淘汰访问频率最低且最后访问时间最早的文件，并将访问频率最高的前20%文件存储于内存缓存，其余缓存于固态硬盘。

19、可视化展示步骤：通过可视化界面实时显示图像与过程变量数据流，并提供基于时间、设备等多维度的历史数据检索与下载功能。

20、与现有技术相比，本发明具有以下有益效果：

21、1.多模态异构数据统一存储：通过分层混合存储架构，针对配置数据、时序数据、图像数据分别选用最适合的存储引擎，实现数据分类精细化管理，避免数据孤岛。

22、2.高吞吐低延迟写入：图像数据采用批处理hdf5打包策略，将多次写入合并为一次，显著降低存储i/o压力；pv数据采用批量写入机制，减少数据库连接开销；实测峰值写入性能可达42 gb/s，满足42路相机并行数据实时存储需求。

23、3.数据关联与高效检索：通过统一索引机制建立图像元数据与pv数据的时序关联，支持按时间、设备等多维度快速检索；引入内存-固态硬盘两级缓存，结合lfu淘汰算法，使图像检索延迟在缓存命中时低于40 ms，大幅提升历史数据访问效率。

24、4.资源消耗优化：图像批处理策略使服务器在大部分时间无需进行压缩存储操作，有效降低cpu和内存占用；分级缓存设计将大部分缓存数据置于固态硬盘，减少对昂贵内存的依赖，降低硬件成本。

25、5.实时可视化与远程协作：基于websocket的实时数据推送，使研究人员可远程监控实验状态，支持多用户协同分析，提升实验效率和数据利用率。