基于策略优化的固态硬盘读写指令智能调度方法及系统与流程

本发明涉及计算机控制的，特别涉及一种基于策略优化的固态硬盘读写指令智能调度方法及系统。

背景技术：

1、随着大数据、云计算以及人工智能技术的飞速发展，数据中心对存储系统的性能要求日益严苛。固态硬盘以其高读写速度、低功耗和高可靠性等优点，已逐渐取代传统机械硬盘成为主流存储设备。然而，固态硬盘的性能表现高度依赖于内部控制器对读写指令的调度策略。良好的调度策略能够有效降低读写延迟，提高吞吐量，并延长固态硬盘的使用寿命。

2、现有技术一，中国专利，申请号：cn201611202274.4，公开了一种固态硬盘中读写调度方法及装置。本发明公开了一种固态硬盘中读写调度方法，包括：读消息和写消息分别存入读消息队列和写消息队列；调整读消息队列和写消息队列的优先级；处理读消息和写消息。本发明还公开了一种固态硬盘中读写调度装置，包括，存储模块，调整模块，消息处理模块。本发明避免了在一条消息队列中因读写顺序固定，而写操作的时间明显大于读操作的时间，长时间内通道闪存控制器不能对后写入消息进行处理的问题，实现了消息队列优先级及处理读消息数量和写消息数量的实时、动态管理，缩短了读取潜伏期，提高了固态硬盘的整体性能；

3、现有技术二，中国专利，申请号：cn202510924575.0，公开了一种基于人工智能的固态硬盘智能读写优化方法，包括智能读写调度器、自适应磨损均衡、读写性能优化、故障预测与健康管理、安全防护与效率提升；通过机器学习算法分析使用模式、优化缓存策略及故障预测，提升读写性能和数据安全性，可显著提升固态硬盘的读写速度、稳定性和安全性，满足多样化应用场景需求，对故障进行预测，避免固态硬盘出现故障的现象；通过人工智能驱动的智能读写优化，ssd可在复杂负载下实现性能、寿命、能效的协同优化，为数据中心、边缘计算等场景提供高可靠性存储解决方案，结合机器学习、策略优化和硬件协同技术，可以提升ssd性能、寿命和能效；

4、现有技术三，中国专利，申请号：cn201711068250.9，公开了一种提升固态硬盘混合读写性能的方法,其特征在于写请求直接按传入的时间顺序加入请求队列,写请求入列和写请求操作完成触发当前写入点的块页信息表更新；读请求经过两级仲裁确定能否进行高优先级响应以及该高优先级响应在请求队列中的最佳插队位置：第一级仲裁根据块页信息表来判断能否进行读请求的高优先响应，第二级仲裁索引插队位置点信息获取该请求在请求队列中的插队位置；第二级建立在第一级仲裁生效的基础上。通过引入2级仲裁可快速找到读请求的合适插入位置，提高读响应效率，整体调度过程资源消耗小，实现简单但效率高，可有效提升读写混合场景下的综合性能；

5、目前现有技术一、现有技术二及现有技术三存在如何将策略优化高效地应用于固态硬盘的读写指令调度，如何在保证调度决策实时性的同时，处理高维、连续的内部状态空间，并平衡短期延迟与长期性能指标（如磨损均衡），是当前技术亟待解决的技术难题。因而，本发明提供一种基于策略优化的固态硬盘读写指令智能调度方法及系统。

技术实现思路

1、为达到上述目的，本发明采用如下技术方案：

2、本发明的一方面，提供一种基于策略优化的固态硬盘读写指令智能调度方法，包括获取固态硬盘在当前时刻的全局状态特征，所述全局状态特征包括读写队列的深度分布、闪存通道的占用状态、各物理块的擦写次数映射图以及当前垃圾回收的触发强度；

3、将所述全局状态特征输入至预设的策略优化调度模型中，通过所述策略优化调度模型的策略网络输出当前时刻的调度动作，所述调度动作包括从读队列调度指令、从写队列调度指令、执行垃圾回收操作或保持当前操作不变；

4、控制固态硬盘的控制器执行所述调度动作，并获取执行所述调度动作后引起的固态硬盘状态变化及性能指标数据；

5、根据所述性能指标数据计算当前时刻的奖励值，并利用所述奖励值、所述全局状态特征、所述调度动作及下一时刻的全局状态特征构建样本数据，利用所述样本数据对所述策略优化调度模型进行迭代训练。

6、一种可选的实施方式中，根据所述性能指标数据计算当前时刻的奖励值，包括：

7、确定当前时刻的性能参数，所述性能参数包括平均读写响应延迟、读写吞吐量及读写切换产生的额外开销；

8、根据预设的权重系数对所述性能参数进行加权计算，生成综合奖励值；

9、其中，所述奖励值的计算公式为：

10、

11、其中，式中，表示计算得到的奖励值，表示当前时间窗口内的平均响应延迟，表示当前时间窗口内的吞吐量，表示因频繁切换读写操作导致的性能损耗，、及分别表示对应参数的最大归一化阈值，α、β、γ分别为平衡延迟、吞吐量及切换损耗的预设权重系数，且α+β+γ=1。

12、一种可选的实施方式中，所述获取固态硬盘在当前时刻的全局状态特征之前，还包括：

13、对原始的闪存物理状态数据进行矩阵化编码处理，将物理平面的块状态转化为二维状态矩阵；

14、构建所述策略优化调度模型，所述策略优化调度模型包括特征提取网络和决策网络，所述特征提取网络采用卷积神经网络提取所述二维状态矩阵的空间特征，所述决策网络采用全连接层结合注意力机制处理队列状态特征；

15、所述策略优化调度模型的训练过程包括策略网络和价值网络；

16、所述策略网络用于根据输入的所述全局状态特征输出各个调度动作的概率分布，并根据概率分布选择调度动作；

17、所述价值网络用于评估当前状态及所采取的调度动作对应的状态价值函数估计值；

18、通过最小化所述状态价值函数估计值与实际累积回报之间的误差来更新所述价值网络，并利用所述价值网络的梯度指导所述策略网络的参数更新。

19、一种可选的实施方式中，所述更新所述价值网络及指导所述策略网络的参数更新，具体包括：

20、计算时间差分误差，所述时间差分误差为当前时刻的奖励值与经过折扣因子处理后的下一时刻状态价值估计值之和，减去当前时刻的状态价值估计值；

21、利用所述时间差分误差对所述价值网络的参数进行反向传播更新；

22、利用所述时间差分误差对数概率与梯度的乘积，对所述策略网络的参数进行反向传播更新；

23、还包括构建经验回放池的步骤：

24、将由旧状态、调度动作、奖励值及新状态构成的样本数据存入所述经验回放池；

25、在每次训练迭代时，从所述经验回放池中随机抽取预设数量的样本数据作为训练批次；

26、利用所述训练批次中的样本数据对所述策略优化调度模型进行参数更新，以打破样本数据之间的时间相关性，提高训练的稳定。

27、一种可选的实施方式中，从所述经验回放池中随机抽取预设数量的样本数据，包括：

28、计算所述经验回放池中各条样本数据的时间差分误差绝对值；

29、根据所述时间差分误差绝对值的大小确定各条样本数据的采样优先级，时间差分误差绝对值越大的样本数据被采样到的概率越高；

30、根据所述采样优先级对所述经验回放池中的样本数据进行优先级抽取，以提高模型对稀有状态或高价值状态的利用效率；

31、还包括动作探索与利用平衡策略：

32、在模型训练初期，采用较大的探索率，控制固态硬盘控制器随机执行调度动作，以遍历尽可能多的状态空间；

33、随着训练步数的增加，按照预设的衰减函数逐步减小所述探索率，在模型训练后期主要利用所学到的最优策略进行调度动作选择；

34、在模型部署阶段，冻结所述策略优化调度模型的参数，直接根据输入状态输出确定性调度动作。

35、一种可选的实施方式中，所述获取固态硬盘在当前时刻的全局状态特征，还包括：

36、监测当前待处理读写指令的等待时长；

37、若存在等待时长超过预设时长阈值的指令，则在生成全局状态特征时将该指令的优先级标识置位；

38、所述策略优化调度模型在输出调度动作时，对带有所述优先级标识的指令进行权重修正，增加其被选择调度的概率；

39、所述全局状态特征还包括主机端发送的读写指令流的时间序列特征；

40、提取预设时间窗口内的读写指令流的时间序列特征，并将所述时间序列特征与闪存内部物理状态特征拼接后输入至所述策略优化调度模型；

41、所述策略优化调度模型结合所述时间序列特征，预测未来时间窗口内的负载压力，并基于预测结果提前调整当前的垃圾回收触发频率。

42、一种可选的实施方式中，所述的基于预测结果提前调整当前的垃圾回收触发频率，包括：

43、当预测到未来时间窗口内写负载压力大于预设的第一压力阈值时，控制所述调度动作选择执行主动垃圾回收操作，以腾出空闲空间；

44、当预测到未来时间窗口内读负载压力大于预设的第二压力阈值时，抑制所述调度动作选择执行垃圾回收操作，确保闪存通道资源用于响应读写请求。

45、一种可选的实施方式中，在固态硬盘运行过程中，基于预设的安全时间段内启用探索机制，收集当前实际运行工况下的在线样本数据；

46、利用所述在线样本数据对已部署的策略优化调度模型进行小批量次的梯度更新；

47、计算更新前后模型在验证集上的损失值，若损失值下降，则将更新后的模型参数替换当前模型参数，否则保持当前模型参数不变；

48、所述策略优化代理模型采用双深度q网络架构，包含一个评估网络和一个目标网络，所述评估网络用于选择动作，所述目标网络用于计算目标q值以稳定训练过程；在更新网络参数时，最小化评估网络预测q值与目标q值之间的均方误差损失，所述损失函数的收敛过程遵循以下更新规则：

49、

50、其中，为评估网络的参数，为目标网络的参数，为折扣因子，d为从回放缓冲区采样的批量数据集合，分别代表状态、动作、奖励和下一状态。

51、一种可选的实施方式中，所述的计算奖励值时，进一步考虑读干扰对固态硬盘的影响，具体奖励修正公式如下：

52、

53、其中，表示修正后的系统奖励值，表示基础奖励值，表示受影响的物理块数量，表示第i个物理块的原始读误码率，表示预设的误码率安全阈值，为惩罚系数，当读误码率超过阈值时对奖励值进行扣减。

54、本发明的另一方面，提供一种基于策略优化的固态硬盘读写指令智能调度系统，包括：

55、状态采集模块，用于实时监测并获取固态硬盘的全局状态特征；

56、智能决策模块，内置有预先训练好的策略优化调度模型，用于接收所述状态采集模块发送的所述全局状态特征，并输出调度动作；

57、执行控制模块，与所述智能决策模块和固态硬盘控制器连接，用于将所述调度动作转换为控制指令发送给所述固态硬盘控制器执行；

58、反馈更新模块，用于获取执行所述调度动作后的性能指标，计算奖励值，并利用生成的样本数据对所述智能决策模块中的模型进行周期性更新。

59、本发明的效果：

60、本发明将策略优化算法引入固态硬盘的核心控制器中，构建了智能调度代理。该代理能够通过与存储系统环境的持续交互，不断学习并优化读写指令的调度策略。不同于现有技术基于固定规则的仲裁，本发明的调度策略能够随着ssd介质老化、数据写入模式的变化而自动调整，具备了在复杂动态环境中始终保持最优性能的自适应能力。

61、通过引入精心设计的奖励函数，本发明使得智能调度代理在进行决策时，不再仅仅关注眼前的读写请求，而是能够兼顾操作对ssd内部物理状态（如垃圾回收压力、读干扰风险）的长期影响。这种基于全局长期收益的决策机制，有效避免了因过度优化读请求而导致的写放大和gc阻塞问题，实现了i/o性能与ssd寿命的最佳平衡。

62、针对数据中心等场景下常见的混合读写负载，本发明的智能调度代理能够精准识别当前的负载特征，并动态调整读指令在队列中的“插队”策略和并发度。相比于现有技术三的两级仲裁，本发明能在更细的粒度上预测指令执行后果，从而在保证读响应时间满足要求的同时，最大化利用闪存通道带宽，显著提升了ssd在混合场景下的整体吞吐量和服务质量。

63、本发明采用了经验回放池和目标网络等策略优化技术，在保证模型训练稳定性的同时，有效控制了计算资源的消耗，使其能够部署在资源受限的ssd控制器芯片上。同时，通过在线学习机制，系统能够快速适应新的应用场景，无需人工干预即可完成策略升级，大大提升了存储系统的智能化水平和运维效率。