一种嵌入式Flash动态分区大小存储分区管理方法及系统与流程

摘要: 本发明涉及嵌入式系统存储管理,尤其涉及一种嵌入式flash动态分区大小存储分区管理方法及系统。背景技术:1、在嵌入式物联网设备中,flash存储器通常用于持久化...
一种嵌入式Flash动态分区大小存储分区管理方法及系统与流程

本发明涉及嵌入式系统存储管理,尤其涉及一种嵌入式flash动态分区大小存储分区管理方法及系统。

背景技术:

1、在嵌入式物联网设备中,flash存储器通常用于持久化存储多种类型的数据,包括但不限于:时间同步记录、事件记录、周期性采集数据、设备配置参数等。

2、现有技术中,针对不同类型数据的flash存储管理通常采用固定分区(fixedpartition)方案。即预先将flash存储空间划分为若干个大小固定的逻辑分区,每个分区专门用于存储一种特定类型的数据。分区边界在固件编译时即已固化,运行时不可更改。上述固定分区方案存在以下显著缺陷:

3、空间利用率低下。即使某个分区内的数据长期为空或极少写入,该分区占用的空间也无法被其他需要更多空间的分区使用,导致大量flash空间被闲置浪费。在资源极为受限的嵌入式设备中(通常仅几十kb到几百kb片内flash),这种浪费直接影响设备能够存储的历史数据总量和数据保留时长。

4、缺乏自适应调整能力。固定分区的容量在固件编译时确定,运行时无法调整。如果某个分区的实际数据量超过了预分配容量,数据将被迫覆盖最早的历史记录,而与此同时其他分区可能仍有大量空闲空间,系统却无法将闲置空间调配给需要更多空间的分区使用。

5、固件升级维护成本高。如果实际部署中发现分区分配不合理,调整分区大小需要修改固件代码并重新编译、测试、部署固件升级。对已大规模部署的物联网设备而言成本高昂且存在升级失败风险。

6、扇区级粒度浪费。flash存储器的擦除操作以扇区为单位,分区边界必须对齐到扇区边界。当分区目标大小不能整除扇区大小时存在内部碎片;当分区容量小于一个扇区时也必须至少分配一个完整扇区,加剧了空间浪费。

7、多类型数据混杂存储缺乏统一管理。部分现有方案试图将不同类型数据交错存储在同一个物理区域,但缺乏系统性的分区类型标识机制,数据类型仅通过数据体内部自定义标记区分,识别效率低,且无法支持高效的扇区回收决策。

8、因此,如何在不增加额外硬件成本的前提下,实现嵌入式flash存储空间的动态、高效、自适应管理,是本领域技术人员需要解决的技术问题。

技术实现思路

1、本发明实施例提供了一种嵌入式flash动态分区大小存储分区管理方法及系统,可以解决现有嵌入式flash固定分区存储方案中空间利用率低下、缺乏自适应调整能力、固件升级维护成本高、扇区级粒度浪费以及多类型数据混杂存储缺乏统一管理的问题。

2、本发明第一方面提供了一种嵌入式flash动态分区大小存储分区管理方法,包括:

3、将flash存储空间抽象为统一存储池,存储池被划分为多个等大的物理扇区,每个物理扇区的前部预留区域作为扇区头部,扇区头部包含分区类型标识符字段;

4、在存储池中定义多个逻辑分区类型,每个逻辑分区类型对应唯一的分区类型标识符,各逻辑分区共享存储池的全部物理空间;

5、当接收到数据写入请求时,根据数据写入请求所携带的分区类型标识符,从存储池中查找状态为使用中且分区类型标识符匹配的当前扇区;

6、若当前扇区的剩余空间足以容纳待写入数据,则将待写入数据写入当前扇区的空闲位置;

7、若当前扇区的剩余空间不足以容纳待写入数据,则将当前扇区标记为已满,并从存储池中查找状态为空闲的扇区作为新分配扇区,将待写入数据写入新分配扇区;

8、若存储池中不存在状态为空闲的扇区,则根据各逻辑分区类型当前占用的扇区数量与各自目标保留比例的偏差,选择偏差最大的逻辑分区类型中的最旧已满扇区进行擦除回收,将回收后的扇区作为新分配扇区。

9、可选地,还包括flash存储池初始化步骤:

10、获取存储池的起始地址、扇区大小和总扇区数;

11、遍历每个物理扇区,读取扇区头部中的固定魔数进行校验;

12、若固定魔数与预设魔数不匹配,则擦除对应扇区使其进入空闲状态;

13、初始化各逻辑分区类型的运行时上下文,运行时上下文包括分区类型标识符、当前写入地址、扇区占用计数和目标保留比例。

14、可选地,扇区头部还包括状态魔数,用于标识物理扇区的状态;状态包括空闲状态、使用中状态和已满状态;

15、空闲状态对应的状态魔数为全1;

16、使用中状态对应的状态魔数通过将空闲状态对应的状态魔数的部分比特从1编程为0获得;

17、已满状态对应的状态魔数通过将使用中状态对应的状态魔数的部分比特从1编程为0获得。

18、可选地,根据各逻辑分区类型当前占用的扇区数量与各自目标保留比例的偏差,选择偏差最大的逻辑分区类型中的最旧已满扇区进行擦除回收,包括:

19、统计各逻辑分区类型当前占用的扇区总数,计算各逻辑分区类型的当前空间占比;

20、计算各逻辑分区类型的当前空间占比与各自目标保留比例的差值,确定偏差最大的逻辑分区类型;

21、在偏差最大的逻辑分区类型中,选择最先被标记为已满的扇区进行擦除回收。

22、可选地,将待写入数据写入新分配扇区,包括:

23、在新分配扇区的扇区头部写入预设固定魔数;

24、在新分配扇区的扇区头部写入分区类型标识符;

25、在新分配扇区的扇区头部写入时间戳和页记录信息;

26、在新分配扇区的扇区头部写入使用中状态对应的状态魔数,将新分配扇区标记为使用中;

27、在新分配扇区的数据区域起始位置写入待写入数据。

28、可选地,还包括上电恢复步骤:

29、遍历存储池中的所有物理扇区,读取每个物理扇区的扇区头部;

30、校验扇区头部中的固定魔数,若与预设魔数不匹配则跳过该扇区;

31、根据扇区头部中的状态魔数判断物理扇区的状态;

32、读取扇区头部中的分区类型标识符,将物理扇区归入对应的逻辑分区类型,更新该逻辑分区类型的扇区占用计数;

33、若物理扇区的状态为使用中,则在物理扇区的数据区域内通过链表遍历定位最后写入位置,作为对应逻辑分区类型的当前写入地址。

34、可选地,上电恢复步骤还包括断电异常处理:

35、若遍历后识别出两个状态为使用中的扇区属于同一逻辑分区类型,则判断该两个使用中扇区是否均有实际数据写入;

36、若其中一个使用中扇区无实际数据写入,则将该无数据的扇区恢复为空闲状态,保留有数据的扇区继续作为使用中扇区;

37、若两个使用中扇区均有实际数据写入,则将其中较旧的扇区标记为已满,较新的扇区保留为使用中扇区。

38、本发明第二方面提供了一种嵌入式flash动态分区大小存储分区管理系统,包括:

39、存储池管理模块,用于将flash存储空间抽象为统一存储池,存储池被划分为多个等大的物理扇区,每个物理扇区的前部预留区域作为扇区头部,扇区头部包含分区类型标识符字段;

40、分区类型管理模块,用于在存储池中定义多个逻辑分区类型,每个逻辑分区类型对应唯一的分区类型标识符,各逻辑分区共享存储池的全部物理空间;

41、扇区分配模块,用于当接收到数据写入请求时,根据数据写入请求所携带的分区类型标识符,从存储池中查找状态为使用中且分区类型标识符匹配的当前扇区;若当前扇区的剩余空间足以容纳待写入数据,则将待写入数据写入当前扇区的空闲位置;若当前扇区的剩余空间不足以容纳待写入数据,则将当前扇区标记为已满,并从存储池中查找状态为空闲的扇区作为新分配扇区,将待写入数据写入新分配扇区;

42、智能回收模块,用于当存储池中不存在状态为空闲的扇区时,根据各逻辑分区类型当前占用的扇区数量与各自目标保留比例的偏差,选择偏差最大的逻辑分区类型中的最旧已满扇区进行擦除回收,将回收后的扇区作为新分配扇区。

43、本发明第三方面提供了一种嵌入式flash动态分区大小存储分区管理设备,包括:

44、一个或多个处理器;

45、存储器,其上存储有一个或多个程序;

46、当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述任意一项所述的嵌入式flash动态分区大小存储分区管理方法。

47、本发明第四方面提供了一种计算机存储介质,用于存储程序,所述程序被执行时,用于实现如上述任意一项所述的嵌入式flash动态分区大小存储分区管理方法。

48、与现有技术相比,本发明具有以下有益效果:

49、空间利用率显著提升。通过将多个逻辑分区映射到同一个物理flash存储池上,各分区共享物理空间,不存在固定边界,彻底消除了固定分区方案中的空间碎片和闲置浪费,提升空间利用率。

50、自适应空间分配与回收,无需人工配置。系统在写入新数据时自动根据当前各逻辑分区的空间使用状况和扇区状态机进行动态空间分配,回收策略根据分区类型空间占比和目标保留比例综合决策,自动适应实际数据产生模式。

51、基于nor flash位编程特性的原子状态机保障断电安全。扇区状态转换利用norflash位编程特性,无论断电发生在状态转换的哪个阶段,上电后都能正确识别扇区状态,不存在中间歧义状态。

52、分类型扇区回收优先级,保护重要数据。回收策略综合考虑分区类型和数据年龄,通过目标保留比例配置实现差异化保留,确保关键数据在空间紧张时优先得到保留。

53、上电快速重建,低开销索引恢复。设备上电时只需遍历每个扇区的40字节头部即可重建所有逻辑分区的索引,时间复杂度为o(扇区数),空间开销为零。