一种高带宽存储系统的数据记录与卸载优化方法及系统与流程

本申请涉及数据存储，尤其涉及一种高带宽存储系统的数据记录与卸载优化方法及系统。

背景技术：

1、高带宽存储系统用于持续接收并保存多通道采集数据，适用于需要长时间连续记录并在记录后按时间范围导出数据的场景。随着采集通道数量和单位时间数据量增加，存储系统既要保持数据连续写入，又要为后续的数据定位和分析保留必要的时间与存储位置信息，因此对记录过程和数据导出过程的配合提出了更高要求。

2、现有技术中，中国专利公开号cn112667171a公开了一种基于磁盘裸写的循环覆盖文件系统及读写方法。该方法将磁盘空间划分为目录区、索引区和数据区，按照预设时间段保存目录项和索引项，索引项记录数据起始位置、数据大小、起始时间、数据帧数以及数据帧与时间的关系；在文件系统初始化时读取目录、索引和数据，并根据尚未统计的数据修复索引和目录。

3、上述方法通过依次写入数据、索引和目录保持三者对应，但在数据写入与索引写入共用存储通道的连续高速记录场景中，随数据同步写入详细索引会增加存储通道的写入占用，可能影响数据的连续记录；延后更新索引又会使数据导出时需要读取较大的未索引数据范围，增加数据定位所需的读取量和时间。因此，现有技术中存在难以兼顾连续高速数据写入和数据导出定位效率的技术问题。

技术实现思路

1、本申请的目的在于提供一种高带宽存储系统的数据记录与卸载优化方法及系统，以解决记录索引写入占用高速数据记录带宽，以及索引未完成数据在导出和后续补写时需要重复读取的问题。

2、为实现上述目的，本申请第一方面提供一种高带宽存储系统的数据记录与卸载优化方法，应用于数据写入与记录索引写入共享存储通道的场景，包括如下过程：

3、按时间窗将数据流划分为具有时间范围和存储地址范围的数据段，并为每条记录预留用于写入记录时间和存储地址的记录索引；每一时间窗的数据写完后，根据当前时间窗的剩余写入带宽和时长确定索引数据量；将自首个数据段起连续写完记录索引的数据段末端确定为索引完成位置；记录期间，自索引完成位置起依次补写记录索引，使补写量不超过索引数据量，并更新索引完成位置；响应目标时间范围的数据导出指令，按记录索引查找索引完成位置前的数据，完整读取索引完成位置后与目标时间范围相交的数据段，导出目标时间范围内的数据并写完所读取数据段的记录索引；确定由数据导出形成的各已写完记录索引的数据段与索引完成位置之间未写完记录索引的数据量，选择该数据量不超过索引数据量且结束时间最晚的数据段；补完索引完成位置与所选数据段之间的记录索引后，将索引完成位置移至所选数据段末端。

4、作为高带宽存储系统的数据记录与卸载优化方法的优选技术方案，根据各数据段的时间范围，完整读取索引完成位置后与目标时间范围相交的数据段，仅导出记录时间位于目标时间范围内的记录，并将每条已读取记录的记录时间和存储地址写入对应记录索引。每个被读取数据段的记录索引全部写完后，将其确定为由数据导出形成的已写完记录索引的数据段。

5、作为高带宽存储系统的数据记录与卸载优化方法的优选技术方案，从索引完成位置后由一次或多次数据导出形成的已写完记录索引的数据段中，分别确定各数据段与索引完成位置之间尚未写完的记录索引总数据量，将该总数据量不超过当前时间窗的索引数据量且结束时间最晚的数据段确定为所选数据段；沿时间顺序补写索引完成位置之后至所选数据段末端尚未写完的记录索引，并跳过已写完的记录索引；所述范围内的记录索引全部写完后，将索引完成位置移至所选数据段末端。

6、作为高带宽存储系统的数据记录与卸载优化方法的优选技术方案，为每一数据段设置连续索引存储区，使每条记录的记录索引占用一个固定长度索引位置，并根据连续索引存储区的起始地址、索引位置的固定长度及记录顺序确定对应索引位置。

7、作为高带宽存储系统的数据记录与卸载优化方法的优选技术方案，剩余写入带宽为当前时间窗内各可写存储通道的写入带宽之和扣除数据写入带宽及存储维护预留带宽后得到的带宽，并在每一时间窗的数据写完后重新确定索引数据量。

8、作为高带宽存储系统的数据记录与卸载优化方法的优选技术方案，为每个索引位置记录未写入状态或已写入状态，并在数据段内的全部索引位置均处于已写入状态时确定对应数据段已写完记录索引。

9、作为高带宽存储系统的数据记录与卸载优化方法的优选技术方案，记录期间，从索引完成位置向当前写入位置依次选取未写完记录索引的总数据量不超过索引数据量的连续数据段进行记录索引补写。

10、作为高带宽存储系统的数据记录与卸载优化方法的优选技术方案，当目标时间范围跨越索引完成位置对应的结束时间时，对索引完成位置前的目标数据按记录索引定位，对索引完成位置后的目标数据通过完整读取与目标时间范围相交的数据段进行定位；将索引完成位置前后的目标数据合并并按记录时间排序，删除存储地址相同的重复数据后导出。

11、本申请第二方面提供一种高带宽存储系统的数据记录与卸载优化系统，包括存储装置、写入带宽检测器、数据导出接口和处理器，处理器分别与存储装置、写入带宽检测器及数据导出接口连接。

12、存储装置用于按时间窗存储具有时间范围和存储地址范围的数据段，并为每条记录预留用于写入记录时间和存储地址的记录索引。写入带宽检测器用于在每一时间窗的数据写完后取得当前时间窗内各可写存储通道的写入带宽和数据写入带宽。处理器用于根据各可写存储通道的写入带宽、数据写入带宽、存储维护预留带宽和当前时间窗时长确定索引数据量，确定并更新索引完成位置，在记录期间执行受索引数据量限制的记录索引补写，并响应数据导出指令执行目标数据定位、导出时的记录索引写入、所选数据段的确定、索引完成位置与所选数据段之间尚未写完记录索引的补写以及索引完成位置的推进。

13、与现有技术相比，本申请在每个时间窗的数据写完后，根据未被数据写入和存储维护占用的写入能力限制记录索引的补写量，使记录索引的写入不超过当时能够利用的存储写入能力，从而减小记录索引写入对连续数据记录的影响。数据导出时，处理器利用读取目标数据过程中已经取得的记录时间和存储地址补写相应记录索引；后续仅补写从首个数据段开始的连续已完成范围与较后已完成数据段之间尚未写完的记录索引，并在允许的写入量内选择结束时间较晚的数据段，因而能够减少相同记录的重复读取和重复索引写入，缩小需要整段读取的数据范围，在保障连续高速数据写入的同时提高数据导出时的定位效率。

1.一种高带宽存储系统的数据记录与卸载优化方法，应用于数据写入与记录索引写入共享存储通道的场景，其特征在于，包括：

2.根据权利要求1所述的高带宽存储系统的数据记录与卸载优化方法，其特征在于，根据各数据段的时间范围，完整读取索引完成位置后与目标时间范围相交的数据段；

3.根据权利要求2所述的高带宽存储系统的数据记录与卸载优化方法，其特征在于，从索引完成位置后由一次或多次数据导出形成的已写完记录索引的数据段中，分别确定各数据段与索引完成位置之间尚未写完的记录索引总数据量，将所述总数据量不超过当前时间窗的索引数据量且结束时间最晚的数据段确定为所选数据段；

4.根据权利要求1所述的高带宽存储系统的数据记录与卸载优化方法，其特征在于，为每一数据段设置连续索引存储区，使每条记录的记录索引占用一个固定长度索引位置，并根据所述连续索引存储区的起始地址、索引位置的固定长度及记录顺序确定对应索引位置。

5.根据权利要求1所述的高带宽存储系统的数据记录与卸载优化方法，其特征在于，所述剩余写入带宽为当前时间窗内各可写存储通道的写入带宽之和扣除数据写入带宽及存储维护预留带宽后得到的带宽，并在每一时间窗的数据写完后重新确定索引数据量。

6.根据权利要求4所述的高带宽存储系统的数据记录与卸载优化方法，其特征在于，为每个索引位置记录未写入状态或已写入状态，并在数据段内的全部索引位置均处于已写入状态时确定对应数据段已写完记录索引。

7.根据权利要求6所述的高带宽存储系统的数据记录与卸载优化方法，其特征在于，记录期间，从索引完成位置向当前写入位置依次选取未写完记录索引的总数据量不超过索引数据量的连续数据段进行记录索引补写。

8.根据权利要求1所述的高带宽存储系统的数据记录与卸载优化方法，其特征在于，当目标时间范围跨越索引完成位置对应的结束时间时，对索引完成位置前的目标数据按记录索引定位，对索引完成位置后的目标数据通过完整读取与目标时间范围相交的数据段进行定位。

9.根据权利要求8所述的高带宽存储系统的数据记录与卸载优化方法，其特征在于，将索引完成位置前后的目标数据合并并按记录时间排序，删除存储地址相同的重复数据后导出。

10.一种高带宽存储系统的数据记录与卸载优化系统，其特征在于，包括存储装置、写入带宽检测器、数据导出接口和处理器，所述处理器分别与所述存储装置、所述写入带宽检测器及所述数据导出接口连接；