一种基于强化学习的基因测序流程参数优化方法与流程

摘要: 本发明涉及基因测序数据处理,尤其涉及一种基于强化学习的基因测序流程参数优化方法。背景技术:1、随着基因测序技术在遗传病筛查、肿瘤检测、病原体识别和群体遗传研究等...
一种基于强化学习的基因测序流程参数优化方法与流程

本发明涉及基因测序数据处理,尤其涉及一种基于强化学习的基因测序流程参数优化方法。

背景技术:

1、随着基因测序技术在遗传病筛查、肿瘤检测、病原体识别和群体遗传研究等场景中的应用不断扩大,测序任务对流程参数配置的质量、效率和稳定性提出了更高要求;

2、现有基因测序流程通常根据任务类型、样本情况和平台经验预先配置测序运行参数、读段处理参数和分析流程参数,并在测序完成后结合质量评价结果进行人工复核或下一批次调整。但是在实际应用中普遍存在以下问题:

3、不同测序任务对应的质量约束、执行阶段和反馈周期存在差异,固定参数模板难以适配测序流程中的阶段状态变化;测序流程观测记录来源分散,缺失状态和观测间隔会影响质量变化判断,现有方法难以将流程观测序列转化为可用于参数决策的状态画像;

4、测序质量反馈通常滞后于参数动作执行,历史执行反馈难以及时回灌至参数策略生成过程;同时,离散流程动作与连续参数取值之间缺少统一的混合动作优化方式,导致目标参数方案和备用参数方案难以形成可执行、可切换和可持续更新的闭环。

5、因此,如何提供一种基于强化学习的基因测序流程参数优化方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于强化学习的基因测序流程参数优化方法,本发明通过接收基因测序任务信息生成测序任务约束画像,读取测序流程观测记录并规整生成测序流程状态序列,使基因测序任务要求和流程观测状态进入统一的参数决策链条。

2、本发明将测序流程状态序列输入改进gru-d测序状态漂移预测模型,生成测序参数决策状态画像,并在质量漂移校准层中嵌入阶段滞后漂移校准机制,以修正缺失观测、观测间隔和阶段质量漂移对参数决策状态的影响。

3、本发明采用改进p-dqn混合动作参数优化算法处理候选参数动作链,并通过测序质量延迟奖励回灌机制校准候选动作价值,生成候选参数策略集;

4、再经执行约束筛选和策略排序生成目标测序流程参数方案和备用测序流程参数方案,并通过执行反馈更新历史测序经验回放库和参数动作可行域,形成可学习、可执行和可持续更新的基因测序流程参数优化闭环。

5、根据本发明实施例的一种基于强化学习的基因测序流程参数优化方法,包括如下步骤:

6、步骤一:接收基因测序任务信息,对基因测序任务信息进行任务约束解析,生成测序任务约束画像;

7、步骤二:基于测序任务约束画像读取测序流程观测记录,生成测序流程观测序列;

8、步骤三:对测序流程观测序列进行状态序列规整,生成测序流程状态序列;

9、步骤四:将测序流程状态序列输入改进gru-d测序状态漂移预测模型,得到测序参数决策状态画像,改进gru-d测序状态漂移预测模型包括流程观测衰减嵌入层、阶段递归表征层、质量漂移校准层和策略状态输出层,质量漂移校准层中嵌入阶段滞后漂移校准机制;

10、步骤五:对测序参数决策状态画像进行参数动作可行域映射,生成候选参数动作链;

11、步骤六:基于历史测序经验回放库,采用改进p-dqn混合动作参数优化算法处理候选参数动作链,并通过测序质量延迟奖励回灌机制校准候选动作价值,生成候选参数策略集;

12、步骤七:对候选参数策略集进行执行约束筛选和策略排序,生成目标测序流程参数方案和备用测序流程参数方案;

13、步骤八:将目标测序流程参数方案下发至测序流程执行端,基于参数执行反馈数据触发备用测序流程参数方案,并更新历史测序经验回放库和参数动作可行域。

14、可选的,所述步骤一具体为:

15、读取基因测序任务信息,对基因测序任务信息进行完整性校验,剔除与测序流程参数优化无关的描述项,得到有效任务记录;

16、基于有效任务记录生成任务索引,任务索引用于关联同一测序任务在测序流程观测序列、候选参数策略集和参数执行反馈数据中的记录;

17、将有效任务记录中的测序对象信息转换为对象约束向量,将目标要求转换为质量约束向量,将执行要求转换为流程约束向量;

18、将任务索引、对象约束向量、质量约束向量和流程约束向量写入统一画像结构,并为统一画像结构配置观测读取标记和参数约束调用标记,生成测序任务约束画像。

19、可选的,所述步骤二具体为:

20、从测序任务约束画像中读取任务索引和观测读取标记,按照任务索引检索对应的测序流程观测记录;

21、按照观测读取标记筛除与流程参数优化无关的测序流程观测记录,得到有效观测记录;

22、对有效观测记录进行来源一致性校验,将通过来源一致性校验的有效观测记录按照流程阶段进行归并,得到阶段观测记录;

23、为阶段观测记录配置阶段顺序标识和观测时间标识,按照阶段顺序标识和观测时间标识对阶段观测记录进行排序和去重,生成测序流程观测序列。

24、可选的,所述步骤三具体为:

25、读取测序流程观测序列中的阶段观测记录、阶段顺序标识和观测时间标识,按照阶段顺序标识建立阶段观测窗口;

26、对阶段观测窗口内的阶段观测记录进行编码转换和统一尺度编码,生成阶段观测矩阵;

27、根据阶段观测窗口内阶段观测记录的缺失位置生成缺失状态标记,并根据相邻阶段观测窗口的观测时间标识生成状态间隔向量;

28、将阶段观测矩阵映射为阶段状态向量,并将阶段状态向量、缺失状态标记和状态间隔向量按照阶段顺序标识进行组合,生成测序流程状态序列。

29、可选的,所述步骤四具体为:

30、流程观测衰减嵌入层读取测序流程状态序列中的阶段状态向量、缺失状态标记和状态间隔向量,采用可学习衰减映射对状态间隔向量进行非线性变换,生成观测衰减系数;

31、按照缺失状态标记确定阶段状态向量中的有效观测位置和缺失观测位置,利用观测衰减系数对缺失观测位置对应的阶段状态向量进行衰减补偿,并将衰减补偿后的阶段状态向量映射为流程观测嵌入向量;

32、阶段递归表征层读取流程观测嵌入向量,并以上一流程阶段的隐藏状态作为递归参照,通过循环状态更新函数对流程观测嵌入向量和上一流程阶段的隐藏状态进行非线性递归融合,生成当前流程阶段的隐藏状态;按照流程阶段顺序迭代更新当前流程阶段的隐藏状态,生成阶段递归状态向量;

33、质量漂移校准层读取阶段递归状态向量、状态间隔向量和缺失状态标记,执行阶段滞后漂移校准机制;

34、阶段滞后漂移校准机制根据状态间隔向量生成阶段滞后系数,根据相邻流程阶段的隐藏状态差异生成阶段漂移残差,并根据缺失状态标记对阶段漂移残差进行有效观测权重修正,得到修正漂移残差;

35、阶段滞后漂移校准机制将阶段滞后系数与修正漂移残差进行加权映射,生成阶段漂移校准项;质量漂移校准层将阶段漂移校准项与阶段递归状态向量进行残差融合,并对残差融合结果进行非线性校准,生成质量漂移校准向量;

36、策略状态输出层对质量漂移校准向量进行非线性投影、状态归一化和策略状态压缩,生成用于候选参数动作链构建的测序参数决策状态画像。

37、可选的,所述步骤五具体为:

38、从历史测序经验回放库中读取参数动作可行域,读取测序参数决策状态画像,对测序参数决策状态画像进行状态分量解析,得到阶段状态分量、漂移校准分量和策略约束分量;

39、将阶段状态分量与参数动作可行域中的阶段动作索引进行匹配,确定阶段执行动作集合;

40、将漂移校准分量与阶段执行动作集合进行关联,生成动作调整方向标记;

41、将策略约束分量与参数动作可行域中的动作取值边界进行匹配,生成连续参数边界向量;

42、按照阶段执行动作集合生成离散流程动作,按照动作调整方向标记和连续参数边界向量生成连续参数向量;

43、将离散流程动作、连续参数向量和执行阶段标记进行链式关联,生成候选参数动作链。

44、可选的,所述步骤六具体为:

45、读取候选参数动作链中的离散流程动作、连续参数向量和执行阶段标记,并按照执行阶段标记从历史测序经验回放库中检索同阶段测序经验样本;

46、将同阶段测序经验样本中的历史状态画像、历史参数动作和历史执行反馈与候选参数动作链进行匹配,生成强化学习状态动作样本;

47、基于强化学习状态动作样本建立混合动作评价对象,混合动作评价对象包括离散流程动作、连续参数向量、执行阶段标记和历史执行反馈引用;

48、采用改进p-dqn混合动作参数优化算法对混合动作评价对象进行处理,通过连续参数生成函数修正连续参数向量,生成候选连续参数值;

49、将离散流程动作、候选连续参数值和执行阶段标记进行联合评价,生成离散动作价值和参数动作组合价值;

50、调用测序质量延迟奖励回灌机制返回的延迟奖励记录,对离散动作价值和参数动作组合价值进行价值校准,生成校准后候选动作价值;

51、按照校准后候选动作价值对混合动作评价对象进行排序,筛除不满足执行阶段标记的参数动作组合,生成候选参数策略集。

52、可选的,所述测序质量延迟奖励回灌机制具体为:

53、从历史测序经验回放库读取历史参数执行反馈记录和历史候选参数策略记录,提取历史任务完成反馈、历史测序质量反馈和历史执行异常反馈;

54、按照历史候选参数策略记录中的执行阶段标记,将历史参数动作与历史参数执行反馈记录进行阶段归因匹配,生成历史阶段反馈关联记录;

55、对历史任务完成反馈、历史测序质量反馈和历史执行异常反馈进行奖励分量转换,生成完成奖励分量、质量奖励分量和异常惩罚分量;

56、按照历史阶段反馈关联记录将完成奖励分量、质量奖励分量和异常惩罚分量分配至对应历史参数动作,生成阶段延迟奖励;

57、将阶段延迟奖励与历史候选参数策略记录中的离散动作价值和参数动作组合价值进行绑定,生成延迟奖励记录;

58、将延迟奖励记录返回至改进p-dqn混合动作参数优化算法,用于校准候选动作价值,并在目标测序流程参数方案执行完成后,将新生成的参数执行反馈数据写入历史测序经验回放库,用于下一轮延迟奖励记录生成。

59、可选的,所述步骤七具体为:

60、读取候选参数策略集中的参数动作组合、执行阶段标记和校准后候选动作价值;

61、按照执行阶段标记对参数动作组合进行执行约束筛选,删除与当前测序流程阶段不匹配、超出参数动作可行域或存在执行冲突的参数动作组合,得到可执行参数策略集;

62、按照校准后候选动作价值对可执行参数策略集进行策略排序,生成参数策略排序结果;

63、从参数策略排序结果中选取排序最高的参数动作组合,生成目标测序流程参数方案;

64、从参数策略排序结果中选取排序次高且满足同一执行阶段替代条件的参数动作组合,生成备用测序流程参数方案。

65、可选的,所述步骤八具体为:

66、读取目标测序流程参数方案和备用测序流程参数方案,将目标测序流程参数方案转换为带有执行阶段标记的参数下发指令;将参数下发指令发送至测序流程执行端,并接收测序流程执行端返回的参数执行反馈数据;

67、从参数执行反馈数据中提取方案执行状态、测序质量反馈和异常反馈标记,按照异常反馈标记判断目标测序流程参数方案是否满足异常切换条件;

68、在目标测序流程参数方案满足异常切换条件时,调用与目标测序流程参数方案对应的备用测序流程参数方案,并将备用测序流程参数方案下发至测序流程执行端;

69、将目标测序流程参数方案、备用测序流程参数方案、参数执行反馈数据和方案切换结果写入历史测序经验回放库;

70、按照参数执行反馈数据修正参数动作可行域中对应执行阶段的动作边界。

71、本发明的有益效果是:

72、本发明通过改进gru-d测序状态漂移预测模型对测序流程状态序列进行处理,利用流程观测衰减嵌入层、阶段递归表征层、质量漂移校准层和策略状态输出层依次完成缺失观测补偿、阶段状态递归、质量漂移校准和策略状态输出,使分散、不等间隔且存在缺失的测序流程观测记录能够转化为可用于参数决策的测序参数决策状态画像。

73、通过改进p-dqn混合动作参数优化算法处理候选参数动作链,将离散流程动作和连续参数向量放入同一强化学习决策过程,并结合测序质量延迟奖励回灌机制校准候选动作价值,使测序完成后形成的历史质量反馈能够回灌至参数策略生成过程,解决测序参数动作先执行、质量反馈后出现导致的策略学习滞后问题。

74、通过测序任务约束画像、测序流程观测序列、测序流程状态序列、候选参数动作链、候选参数策略集、目标测序流程参数方案和备用测序流程参数方案的连续生成,本发明形成从任务解析、状态预测、策略生成、执行筛选到反馈更新的闭环参数优化流程,使基因测序流程参数配置具备阶段适配、主备切换和持续更新能力。