一种用于死锁预防的数据存储方法、装置、设备及介质与流程

摘要: 本发明涉及内存管理,尤其涉及一种用于死锁预防的数据存储方法、装置、设备及介质。背景技术:1、在嵌入式实时操作系统中,通常存在多个不同优先级的任务并发运行。其中,...
一种用于死锁预防的数据存储方法、装置、设备及介质与流程

本发明涉及内存管理,尤其涉及一种用于死锁预防的数据存储方法、装置、设备及介质。

背景技术:

1、在嵌入式实时操作系统中,通常存在多个不同优先级的任务并发运行。其中,需及时响应外设数据的任务具有较高优先级,需在有限时间内完成数据的接收、解析和存储;而文件写入、网络传输等任务对响应实时性要求较低,具有较低优先级。上述不同优先级的任务在数据采集与存储过程中,均需要借助操作系统提供的堆内存管理机制进行内存的分配与释放。

2、对于上述多优先级任务并发访问堆内存的场景,现有技术通常采用优先级继承协议或优先级天花板协议来预防死锁。然而,在部分嵌入式实时操作系统中,堆内存的分配与释放操作由堆自旋锁保护,该堆自旋锁仅保护堆元数据、不与具体任务绑定,且以关中断或自旋方式实现,在锁持有期间调度器无法抢占并提升持有者的任务优先级。因此,上述优先级继承协议和优先级天花板协议无法施加于该堆自旋锁,导致高优先级任务与低优先级任务之间因堆内存操作竞争而死锁的问题无法解决。

技术实现思路

1、本发明提供了一种用于死锁预防的数据存储方法、装置、设备及介质,能够解决现有嵌入式实时操作系统中,堆自旋锁不支持任务优先级继承,导致高优先级任务与低优先级任务之间因堆内存操作竞争而死锁的技术问题。

2、第一方面,本发明实施例提供了一种用于死锁预防的数据存储方法,包括:

3、将目标操作系统中的预设任务按预设优先级划分为第一任务和第二任务;其中,所述目标操作系统中堆内存的分配操作与释放操作由预设堆自旋锁保护;所述预设优先级是根据对应预设任务的响应实时性确定的;

4、当接收到由外设传入的实时数据时,根据所述第一任务对所述实时数据进行解析,得到解析结果,并将所述解析结果写入预分配的共享内存;其中,从接收到实时数据到写入共享内存的过程中,禁止进行堆内存的分配操作与释放操作;

5、根据所述第二任务,从所述共享内存中读取所述解析结果;对所述解析结果执行文件格式转换,并将文件格式转换后的解析结果写入预设存储区内。

6、本发明实施例首先将目标操作系统中的预设任务按响应实时性划分为第一任务和第二任务,从而明确了哪些任务的运行路径存在死锁风险,即需及时响应外设数据的第一任务在运行期间若触发堆内存操作、将与持有同一堆自旋锁的第二任务形成竞争。在此基础上,第一任务从接收外设实时数据到将解析结果写入预分配共享内存的全过程中,禁止执行堆内存的分配与释放操作,使得第一任务的运行路径彻底不触及受堆自旋锁保护的代码区域,从而从源头消除了第一任务与第二任务因争抢堆自旋锁而陷入死锁的必要条件。同时,通过第一任务将解析结果写入预分配的共享内存、再由第二任务从该共享内存中读取解析结果并完成文件格式转换和写入存储,使得原本在第一任务热路径中不可避免的字符串拼接与文件操作等堆操作被转移至第二任务的运行上下文中执行,而第二任务由于响应实时性要求较低,其内部堆操作即使发生竞争也不会阻塞第一任务的实时响应,从而在实现完整数据存储功能的前提下,达成了堆自旋锁死锁的预防效果。

7、在第一方面的一些优选方案中,当接收到由外设传入的实时数据时,根据所述第一任务对所述实时数据进行解析,得到解析结果,具体为:

8、当接收到由外设传入的实时数据时,将预设的静态预分配区中预置的解析容器移入所述第一任务对应的运行空间中,并对所述解析容器执行清空处理;其中,所述解析容器在所述目标操作系统启动时已完成内存分配;

9、在所述解析容器中对所述实时数据进行解析,得到解析结果,并将所述解析结果写入所述解析容器中;

10、当接收到业务处理端的数据调用指令时,从所述解析容器中将所述解析结果传递给所述业务处理端;

11、当接收到所述业务处理端的数据调用结束指令时,将所述解析容器从所述运行空间中移回所述静态预分配区中。

12、本发明实施例中,解析容器预置于静态预分配区中,其存储容量在运行前已完成预热,因此在运行时填入解析结果的过程中不会触发容器扩容导致的堆内存分配。当接收到实时数据时,将解析容器从静态预分配区移入第一任务的运行空间执行清空处理,此处的移入操作为所有权交接而非数据拷贝,清空操作仅重置容器内部状态,两者均不涉及堆操作。在清空后的解析容器中直接对实时数据进行解析并将解析结果写入该容器,保证了解析全流程在已预热完毕的同一块预分配内存内完成。当业务处理端调用数据时将解析结果从容器中传递出去,使用完毕后再将容器移回静态预分配区,由此实现了解析容器在一次完整数据解析周期中借出、使用、归还的闭环复用,使得第一任务在每一个解析周期中均无需为新数据分配新的内存空间,持续维持零堆运行状态。

13、在第一方面的一些优选方案中,将所述解析结果写入预分配的共享内存,具体为:

14、在从所述解析容器中将所述解析结果传递给所述业务处理端之后,由业务处理端将所述解析结果以内存复制方式写入所述共享内存的当前头部槽位中,并将所述共享内存的头部指针从所述当前头部槽位更新至下一槽位;其中,所述共享内存为环形队列结构;所述头部指针指向的槽位仅由所述第一任务使用;所述共享内存的尾部指针指向的槽位仅由所述第二任务使用。

15、本发明实施例中共享内存采用环形队列结构,其各个槽位在运行前已完成预分配,因此写入过程仅需将解析结果以内存复制方式直接写入当前头部槽位,无需运行时分配新的内存空间。头部指针由第一任务独写、尾部指针由第二任务独写,生产者与消费者各自操作独立的指针,双方不存在对同一内存位置的并发写入冲突,因此无需引入互斥锁来协调访问。这一方面使得第一任务的写入操作不会因等待互斥锁而被阻塞,另一方面也避免了互斥锁本身可能引入的优先级反转问题。同时,将头部指针从当前槽位更新至下一槽位后,写入操作即告完成,整个过程不涉及字符串格式化与文件操作,保证了第一任务在将解析结果传递至共享内存后可以立即返回继续处理下一帧外设数据,不会因共享内存写入操作而产生不可预期的延迟。

16、在第一方面的一些优选方案中,在所述解析容器中对所述实时数据进行解析,得到解析结果,具体为:

17、在所述解析容器中,根据所述实时数据的数据帧格式,对所述实时数据进行协议解析,得到解析结果。

18、本发明实施例中由于外设传入的实时数据通常为二进制帧格式,需要按照约定的帧结构从中提取各字段数据才能得到可供后续环节消费的解析结果,因此在解析容器中依据数据帧格式执行协议解析,使得解析过程有确定的转换规则可循,而非依赖运行时动态构造的解析逻辑,从而保证了解析操作的执行路径和内存开销在编译或配置阶段即可确定,不会在运行期间产生额外的堆内存需求。

19、在第一方面的一些优选方案中,对所述解析结果执行文件格式转换,并将文件格式转换后的解析结果写入预设存储区内,具体为:

20、根据所述解析结果中的各字段数据,按预设的目标文件格式进行字符串拼接,得到格式化字符串;

21、将所述格式化字符串写入预设的累积写入缓冲区,当所述累积写入缓冲区中的数据量达到预设数据量阈值时,将所述累积写入缓冲区中的全部数据写入所述预设存储区,并对所述累积写入缓冲区执行清空处理。

22、本发明实施例中第二任务从共享内存中读取解析结果后,根据其各字段数据按目标文件格式进行字符串拼接得到格式化字符串,该过程中涉及的字符串对象为第二任务运行上下文内的局部变量,其内存操作落在第二任务的可堆操作范围内,不会影响第一任务的实时响应。将格式化字符串追加至预设的累积写入缓冲区而非每生成一条即直接写入存储介质,使得多条解析结果的格式化数据先在内存中汇集,只有当累积数据量达到预设阈值时才执行一次批量写入并对缓冲区清空,从而减少了第二任务对存储介质的写入次数和单次写入的持续时间,降低了第二任务在执行文件写入期间因长时间占用文件系统资源而对其他低优先级任务产生阻塞的可能性,使整个数据存储环节的时序行为更加可控。

23、在第一方面的一些优选方案中,所述目标操作系统中的通用内存分配池配置在片外内存中,用于业务处理端的内存分配;所述目标操作系统中的片内内存设有预设大小的应急容量,由直接内存访问通道、网络协议栈和存储驱动路径专用。

24、本发明实施例通过将通用内存分配池配置在片外内存中用于业务处理端的普通内存分配,同时在片内内存中保留预设大小的应急容量且仅供直接内存访问通道、网络协议栈和存储驱动路径专用,使得普通业务对象的内存申请不会消耗片内内存中为硬件关键路径预留的空间。这是因为在嵌入式系统中,直接内存访问、网络协议栈和存储驱动等路径通常要求使用片内内存以保证访问速度和硬件兼容性,若这些路径因片内内存被普通业务耗尽而无法获取所需内存,将导致硬件层级的系统卡死,该故障的表现与堆自旋锁死锁相似但成因不同。通过本发明实施例的配置,可避免在排查死锁问题时将片内内存耗尽误判为堆自旋锁死锁,同时保证在零堆运行机制下,硬件关键路径不会因内存资源被普通业务挤占而引入新的故障模式。

25、在第一方面的一些优选方案中,还包括死锁监测机制;其中,所述死锁监测机制的实现过程,具体为:

26、监测预设心跳计数器的计数状态和外设传入的实时数据的传入状态,并根据所述计数状态和传入状态,判断所述目标操作系统的死锁状态;

27、当所述计数状态显示停止计数且所述传入状态显示停止传入数据时,判定所述目标操作系统处于全局死锁状态;

28、当所述计数状态显示停止计数但所述传入状态显示仍在传入数据时,判定所述目标操作系统处于局部死锁状态。

29、本发明实施例通过监测预设心跳计数器的计数状态和外设传入实时数据的传入状态,可以判断死锁的影响范围。具体而言,计数器由一个自增任务在每次被调度执行时进行更新,只要任务调度器正常工作,该自增任务就能周期性获得运行时间片并推进计数器数值,反之一旦系统发生死锁,任务调度器停滞,所有任务均无法获得运行时间片,该自增任务也随之停止运行,计数器数值便不再增长,因此通过观察计数器的计数状态即可间接判断任务调度器是否仍处于正常运转状态;而外设数据的传入通常依赖直接内存访问中断通道而非任务调度,因此即使任务调度器因死锁而停滞,外设数据仍有可能继续通过中断通道传入。当计数状态显示停止计数且传入状态显示停止传入数据时,表明中断通道也已失效,系统的任务调度和中断响应均陷入停滞,因此判定为全局死锁。当计数状态显示停止计数但传入状态显示仍在传入数据时,表明中断通道仍正常工作而仅任务调度停滞,因此判定为局部死锁。通过对两种死锁状态的区分,可以辅助定位死锁成因,避免将全局死锁与局部死锁混为一谈而导致排查方向错误。

30、第二方面,本发明实施例提供了一种用于死锁预防的数据存储装置,包括任务划分模块、数据解析模块和数据存储模块,其中,

31、所述任务划分模块,用于将目标操作系统中的预设任务按预设优先级划分为第一任务和第二任务;其中,所述目标操作系统中堆内存的分配操作与释放操作由预设堆自旋锁保护;所述预设优先级是根据对应预设任务的响应实时性确定的;

32、所述数据解析模块,用于当接收到由外设传入的实时数据时,根据所述第一任务对所述实时数据进行解析,得到解析结果,并将所述解析结果写入预分配的共享内存;其中,从接收到实时数据到写入共享内存的过程中,禁止进行堆内存的分配操作与释放操作;

33、所述数据存储模块,用于根据所述第二任务,从所述共享内存中读取所述解析结果;对所述解析结果执行文件格式转换,并将文件格式转换后的解析结果写入预设存储区内。

34、本发明实施例首先将目标操作系统中的预设任务按响应实时性划分为第一任务和第二任务,从而明确了哪些任务的运行路径存在死锁风险,即需及时响应外设数据的第一任务在运行期间若触发堆内存操作、将与持有同一堆自旋锁的第二任务形成竞争。在此基础上,第一任务从接收外设实时数据到将解析结果写入预分配共享内存的全过程中,禁止执行堆内存的分配与释放操作,使得第一任务的运行路径彻底不触及受堆自旋锁保护的代码区域,从而从源头消除了第一任务与第二任务因争抢堆自旋锁而陷入死锁的必要条件。同时,通过第一任务将解析结果写入预分配的共享内存、再由第二任务从该共享内存中读取解析结果并完成文件格式转换和写入存储,使得原本在第一任务热路径中不可避免的字符串拼接与文件操作等堆操作被转移至第二任务的运行上下文中执行,而第二任务由于响应实时性要求较低,其内部堆操作即使发生竞争也不会阻塞第一任务的实时响应,从而在实现完整数据存储功能的前提下,达成了堆自旋锁死锁的预防效果。

35、第三方面,本发明实施例提供了一种终端设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;

36、所述存储器用于存放至少一条可执行指令,所述可执行指令使所述处理器执行如上述任意一项所述的用于死锁预防的数据存储方法的操作。

37、第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备或装置执行如上述任意一项所述的用于死锁预防的数据存储方法。

38、上述说明仅是本发明实施例技术方案的概述,为了能够更清楚地了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其他目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。