一种基于靶点状态隔离、实验残差校准与闭环反馈的环肽强化学习生成策略受控更新方法及系统与流程

摘要: 本发明涉及计算机辅助药物设计、生成式人工智能、生物信息学和多肽药物研发的交叉,具体涉及一种将环肽候选的冻结计算基线与靶点特异体外实验结果建立版本化作用域映射,在...
一种基于靶点状态隔离、实验残差校准与闭环反馈的环肽强化学习生成策略受控更新方法及系统与流程

本发明涉及计算机辅助药物设计、生成式人工智能、生物信息学和多肽药物研发的交叉,具体涉及一种将环肽候选的冻结计算基线与靶点特异体外实验结果建立版本化作用域映射,在靶点状态隔离的更新空间内形成实验残差,先更新目标特异校准组件,并在满足分级门控条件后对环肽生成策略实施受限更新及版本晋升、隔离或回滚的计算机实现方法、系统、电子设备、存储介质及计算机程序产品。

背景技术:

1、环肽分子通常具有闭环连接、构象自由度受限、氢键网络复杂以及可包含手性或化学修饰等特征,在蛋白—蛋白相互作用界面和传统小分子难以覆盖的结合表面具有应用潜力。与线性小分子或普通线性多肽相比,环肽的候选身份不仅取决于残基顺序,还取决于闭环连接、手性、修饰及相应规范表示;相同的线性字符序列可能对应不同的实际化学实体。

2、生成式模型可从公有多肽或环肽数据学习序列先验,并利用强化学习使生成分布偏向预定属性。现有技术已经公开基于先验模型、智能体模型、预测器或评分函数的分子生成,并公开利用增强似然、策略梯度、偏好学习、主动学习或其他优化方式更新生成模型。因此,采用强化学习生成分子、使用预测分数作为奖励或在实验后继续优化候选的高层思想本身并不能解决环肽研发中的特定技术问题。

3、在环肽设计中,初始奖励通常由候选合法性、理化性质、合成可行性、靶点相关计算评分、结构或物理评价及多样性等信息形成。上述计算奖励可以提高候选筛选效率,但其数值受目标蛋白构建体、配体或辅因子状态、评分函数适用域、环肽构象采样及训练数据分布影响。计算分数与真实体外测量之间往往存在靶点状态特异的系统偏差,不能直接等同为实验真值。

4、真实体外实验数据还具有低通量、高成本、批次异质、单位不统一、检测限删失、重复差异和失败原因复杂等特点。合成失败、样品身份错误、纯度不合格、实验对照失败、超出检测范围和真实无活性分别具有不同的数据语义。如果将所有未得到阳性结果的记录统一编码为负活性标签,将会把制造或测量过程失败错误归因于候选与靶点的生物学关系,从而形成错误的奖励信号。

5、不同靶点、突变体、蛋白构建体、构象状态、配体或辅因子状态以及实验终点之间也不具有天然可交换性。例如,同一靶点在不同配体状态下的结合评价,或者结合常数与功能阻断指标,可能对应不同的物理含义和数值分布。若将上述实验结果混入同一反馈空间,会造成标签污染、奖励标度失真和策略更新方向错误。

6、在湿实验样本量较小时,直接使用实验结果对全局生成模型实施全参数更新,容易出现过拟合、灾难性遗忘、生成合法率下降、多样性崩塌或化学空间漂移。若更新后的模型又自动替代生产版本,单个异常批次或错误样品可能持续影响后续候选并放大错误。

7、已有闭环平台通常强调候选生成、实验验证、结果回流和继续优化,但未必明确区分实验失败语义,未必学习计算奖励在特定靶点状态下的残差,也未必规定先校准奖励、再受限更新策略的顺序。仅将实验结果追加至训练集或者笼统记录为“模型重训”,难以确定实验信号实际更新了何种对象、影响了何种靶点及下一轮候选由哪个版本产生。

8、因此,需要一种面向环肽强化学习生成的受控更新方案,使体外实验结果在进入生成策略之前经过身份核验、质量状态路由、批次及检测语义处理,并用于校准计算奖励的系统偏差;同时将该校准限制在靶点状态和实验终点明确的命名空间内,并通过冻结先验、有限参数更新、同预算基线验证、晋级回滚及跨轮追溯,降低错误反馈和跨场景污染对生成过程的影响。

技术实现思路

1、一、要解决的技术问题

2、本发明首先要解决计算奖励与真实实验测量之间存在靶点状态特异系统偏差,而固定权重计算奖励不能随真实实验可靠校准的问题。

3、本发明还要解决合成失败、样品失败、实验过程失败、检测限删失及真实阴性被混为同一负标签,导致强化学习信用分配错误的问题。

4、本发明还要解决不同靶点、变体、蛋白构建体、生物状态、配体或辅因子状态及实验终点之间的反馈相互污染问题。

5、本发明还要解决小样本实验数据直接全参数更新生成模型所导致的过拟合、生成分布漂移、合法候选率下降和全局先验破坏问题。

6、本发明还要解决更新版本缺少同预算冻结基线验证、异常版本自动进入生产及无法回滚的问题。

7、本发明还要解决候选、样品、原始实验、反馈转换、校准器、策略版本和下一轮候选之间缺少可复现映射的问题。

8、二、发明构思与总体技术方案

9、为解决上述技术问题,本发明将公有数据和计算评价形成的初始强化学习奖励视为可校准的计算基线,而非实验真值;将符合身份和质量条件的体外实验结果转换为相对于所述计算基线的实验残差;在由靶点、变体、构建体、生物状态、配体或辅因子状态及实验终点联合确定的隔离命名空间中,先更新奖励校准器,在满足校准稳定性和有效反馈门槛后,才允许对目标特异策略适配器或采样偏置实施受限更新;随后在相同或可比预算下与冻结基线比较,并依据版本状态机决定是否生成下一轮候选。

10、本发明的输入至少包括环肽候选表示、候选生成与计算奖励版本、靶点状态描述、体外实验结果、实验质量状态和实验批次信息;中间输出至少包括标准化实验值、实验—计算残差、反馈置信权重、目标状态特异校准参数及待评估策略版本;最终技术输出至少包括经批准的目标特异生成版本、由该版本生成的下一轮环肽候选以及可回溯至原始实验的版本关联记录。

11、如图1所示,本发明的方法可包括如下步骤:s100,建立计算作用域η、实验联合命名空间n及版本化映射μ;s200,取得环肽候选,并在实验结果可见前形成与候选身份、生成版本、η和μ关联的冻结计算基线;s300,接收候选对应的样品和体外实验记录;s400,执行候选—样品身份核验、实验质量状态路由、作用域映射校验、测量标准化和删失处理;s500,基于冻结计算基线形成数值残差、区间残差或排序偏差,并生成置信加权的目标特异反馈;s600,先更新目标特异校准组件,在校准门槛满足时才对目标特异策略对象实施受限更新;s700,按照预先锁定的比较条件将待评估版本与冻结基线版本比较,执行晋升、保持、隔离或回滚状态决策;s800,仅使用晋升状态版本生成下一轮候选,并保存追加式跨轮谱系和回滚传播关系。

12、三、计算作用域、实验联合命名空间及版本化映射

13、为避免仅以靶点名称进行粗粒度隔离,本发明定义目标反馈联合命名空间。所述联合命名空间至少关联目标靶点标识、目标状态描述和体外实验终点;在一种实施方式中,目标状态描述进一步包括变体、蛋白构建体或链、生物或构象状态以及配体或辅因子状态中的至少一项。所述联合命名空间可表示为:

14、 = (t, v, c, s, l, e)    (1)

15、式(1)中,t、v、c、s、l和e分别表示靶点标识、变体标识、蛋白构建体或链定义、生物或构象状态、配体或辅因子状态及体外实验终点。当被设定为必要的要素不一致时,相关实验记录不直接合并,除非存在经验证并经批准的映射规则。

16、除实验联合命名空间n外,系统为候选产生时采用的计算目标状态建立计算作用域η。计算作用域η至少关联靶点标识、变体、受体构建体或链、受体状态、配体或辅因子状态、结合区域或口袋、计算协议、计算终点语义及版本。

17、系统建立版本化映射μ:η→n。映射记录至少保存字段对应关系、方向或单调性、允许的实验终点、转换规则版本、适用域、建立时间和批准状态;当必要字段缺失、语义冲突、一对多映射未经拆分或映射版本不匹配时,阻断残差形成、校准更新和策略更新。

18、在实验结果对相应更新活动可见之前,系统为每一候选冻结与η、μ、候选身份和生成版本关联的计算基线。冻结计算基线可以是数值、区间、概率分布或排序关系;实验结果可见后,不得在同一基线版本内改变其方向、组合方式或转换规则。必要修正通过新版本和追加式替代关系记录。

19、本说明书中,符号n和均表示所述实验联合命名空间;为便于数据字段、接口名称和公式书写,两种符号可以互换使用,不表示两个不同对象。

20、每一命名空间分别维护实验反馈记录、计算奖励配置、奖励校准器、策略适配器、采样偏置、版本状态和晋级记录。全局生成先验保持只读;第一命名空间中的实验反馈不能修改第二命名空间或全局先验,除非经过预定的跨空间验证和批准。图2示意该联合命名空间的组成及隔离关系。

21、四、可选的初始生成策略与冻结计算基线

22、本发明可使用基于序列的生成先验和强化学习智能体作为初始候选生成模块。生成先验可由公有多肽或环肽数据获得,强化学习智能体可在目标相关计算奖励下进行轻量优化。所述生成先验、强化学习框架或增强似然形式本身可以采用现有实现,本发明不以特定开源框架或特定损失函数名称为限制。

23、初始计算奖励基线r_comp可由候选身份与闭环信息一致性、候选合法性、目标相关计算评价、理化性质、合成可行性、风险控制和多样性控制中的一种或多种形成。各评价先统一方向并关联适用域,再通过门控、分段、饱和、排序或其他版本化组合形成计算侧基线;计算任务失败保持为不可评价状态,不被编码为体外阴性标签。

24、计算奖励基线与所述联合命名空间、候选身份和评价版本关联。外部计算模块可替换,只要能够为同一候选提供可追溯且方向明确的计算侧评价;外部模块的内部结构和固定评分配方不构成本发明成立的必要条件。

25、计算奖励基线用于实验前候选生成和送样选择,并作为后续实验—计算残差的参照。系统保存足以识别计算奖励版本、候选生成版本和生成运行的信息,使实验记录能够关联至产生该候选时采用的计算基线。

26、五、实验记录结构与质量状态路由

27、每一体外实验记录关联用于确定候选—样品对应关系、目标状态和实验终点、测量值或区间、检测范围、样品质量、实验对照以及原始记录与转换版本的信息。候选标识至少反映残基顺序和闭环连接;手性、修饰或端基影响化学身份时进一步关联相应信息。

28、质量状态路由依次核验候选—样品身份、样品质量、实验对照、检测范围和测量可评价性,并至少区分有效阳性、有效阴性、合成失败、样品失败、实验失败和不可评价;删失记录同时保存删失类型和边界。

29、合成失败仅可用于更新合成可行性相关的辅助模型或候选选择规则,不得直接更新靶点结合奖励;样品身份或纯度失败不得更新结合或功能奖励;实验对照失败和不可评价记录不得进入目标活性更新;删失结果以区间或删失标志保留,不得将检测限边界伪装成精确测量;只有质量合格且检测灵敏度充分的真实阴性才可形成负反馈。图3示意质量状态判定和分流关系。

30、六、测量标准化、批次锚定与删失处理

31、对于浓度型、响应型、分类、排序或区间型体外实验终点,先统一单位并通过与该实验终点对应的单调变换统一优劣方向。不同实验终点即使数值量纲相同,也不在缺少经验证映射时自动合并。

32、当同一实验批次包含合格参考锚点时,可通过候选测量与同批锚点的比较降低批次、设备或条件差异。在一种示例性实现中,批次处理后的实验值表示为:

33、zᵢ = he(yᵢ) − he(yanchor,b)    (2)

34、式(2)中,y_i为候选i的原始实验结果,y_anchor,b为批次b中参考锚点的实验结果,h_e为与实验终点e对应的单调变换。不存在合格同批锚点时,可采用经验证的批次效应模型、层级标准化或历史参考分布,并保存处理方式版本。

35、对于左删失、右删失或区间删失数据,可采用区间似然、排序约束或保守权重,不将其替换为检测限本身的精确值。重复测量可根据实验设计采用稳健均值、中位数、层级模型或其他汇总方式,并将重复一致性纳入后续置信权重。

36、七、实验—计算残差及奖励校准

37、本发明不以标准化实验值直接覆盖计算奖励,而是确定合格实验结果相对于同一候选、同一联合命名空间及对应计算奖励基线的实验—计算残差。对于第i个合格实验记录,所述残差表示为:

38、δᵢ = zᵢ − ẑcomp,ᵢ    (3)

39、式(3)中,z_i为经标准化并在适用时经批次处理的实验值,ẑ_comp,i为由对应计算奖励基线或其经验证映射得到的实验终点预测值。残差的方向由实验终点的预定变换确定,并仅在计算基线版本和实验终点明确时比较。

40、为控制单条实验记录的信用强度,系统根据质量状态、测量不确定性和候选适用域确定非负置信权重w_i。所述置信权重可进一步依据样品身份可信度、实验对照可信度、重复一致性和删失程度中的至少一项调整,并被限制在预定范围内。

41、适用域可依据候选相对于相关数据或模型覆盖范围的距离、不确定性或等效指标确定。适用域边界或适用域外记录被降低权重、路由至探索队列或触发复核,而不直接以全权重改变目标特异生成策略。

42、质量状态、置信权重和实验—计算残差共同形成用于更新奖励校准器的目标特异反馈信号。在一种实施方式中,所述反馈信号表示为:

43、fᵢ = 1{qstate,ᵢ ∈ qvalid} · wᵢ · ψ(δᵢ)    (4)

44、式(4)中,1{·}为质量状态指示函数,q_valid为允许进入相应体外实验终点校准的质量状态集合,ψ为对残差进行保号且有界处理的函数。质量状态不满足准入条件时,反馈信用为零或不形成目标结合或目标功能反馈。

45、奖励校准器根据带置信权重的实验—计算残差学习对应联合命名空间内的局部校准项,并形成经实验校准的目标特异奖励。在一种实施方式中,所述关系表示为:

46、rcal,,k+1(x) = rcomp,,k(x) + g,k+1(x,e)    (5)

47、式(5)中,r_comp,,k(x)为联合命名空间内第k轮的计算奖励基线,g_,k+1(x,e)为根据合格实验记录学习并受候选适用域或校准幅度约束的局部校准项,e为体外实验终点。所述校准器可采用能够在有限样本下学习局部偏差的回归、排序或概率映射。

48、八、适用域控制与反馈信用分配

49、为避免少量适用域外样本造成不稳定更新,本发明根据候选相对于公有数据、计算模型和既有实验数据的覆盖程度分配反馈信用。适用域内记录可按正常权重校准;适用域边界记录降低权重或仅更新不确定性;适用域外记录进入探索池,并优先作为后续实验采样点。

50、当计算评价与实验结果存在超过预定阈值的强烈冲突时,系统不立即选择任一方作为无条件真值,而是将记录标记为 disagreement,触发样品身份复核、实验重复、计算输入复核或适用域检查。只有在冲突原因被解释或按规则降权后,记录才可进入策略更新。

51、信用分配还可随实验终点和靶点类别改变。例如,胞内目标的奖励配置可以将膜通透性作为必要性质通道,胞外目标可降低该通道权重而提高溶解性、合成可行性、蛋白水解稳定性或界面阻断相关通道的优先级;所述调整由命名空间和实验终点共同驱动,而非由一组固定权重跨靶点复用。

52、九、先校准、后策略更新的两级机制

53、本发明采用 calibration-first、policy-later 的两级更新顺序。第一阶段冻结全局先验和目标生成策略,仅更新目标状态特异奖励校准器或排序校准器。只有当有效反馈数量、校准稳定性、适用域覆盖和冻结基线指标达到预定门槛时,第二阶段才允许更新目标特异策略适配器、预定参数子集或采样偏置。

54、当第一阶段未达到准入条件时,系统保持目标特异生成策略不变,并可将相应版本置于保持状态;当发现候选—样品身份、实验批次或对照风险时,将相应版本置于隔离状态。少量未验证实验记录不直接用于全参数更新全局生成先验。

55、第二阶段可采用受约束的策略优化、强化学习、偏好优化或功能等效的方法,使经实验校准的目标特异奖励影响限定的目标特异更新对象,同时保持全局生成先验只读。

56、用于更新策略适配器的目标函数包括经实验校准的目标特异奖励,并可包含限制目标特异策略相对于冻结先验的偏移、候选集合分布漂移、非法候选或重复候选中的至少一项约束。

57、受限更新还可通过限制可训练参数子集、更新幅度或更新次数,以及限定候选合法性、多样性或重复率条件实现。每次运行实际改变的对象、冻结对象和允许变化范围由相应版本记录确定。

58、图5示意两级更新顺序。该顺序使实验数据首先修正计算评价的系统误差;只有在修正关系稳定后,实验反馈才有资格改变生成分布,从而降低小样本直接全参数更新的风险。

59、十、奖励调度与跨轮更新控制

60、在各轮更新中,系统根据有效反馈充分性、校准稳定性、适用域覆盖和历史漂移确定是否仅更新奖励校准器,或者允许进一步更新策略适配器、排序适配器或采样偏置;任何轮次均保持全局生成先验只读。

61、计算奖励的各通道不要求使用固定全局权重。系统可以根据目标命名空间、实验终点和本轮不确定性对奖励通道采用门槛、分段、饱和或条件启用的调度方式。未经过目标状态验证的计算评价通道不得因在其他靶点表现良好而自动获得同等权重。

62、对于有效阴性,只有在样品合格、实验对照通过且检测范围充分时,才允许形成负向残差;对于合成失败,可将信用分配至合成可行性辅助通道;对于不可评价和实验过程失败,信用为零。由此,不同失败原因影响不同的更新对象,避免将所有失败统一传播至目标结合奖励。

63、十一、冻结基线比较与版本状态机

64、奖励校准器或目标特异更新对象改变后形成待评估版本v_test,冻结基线版本v_base在比较期间保持不变。系统按照预先锁定的随机性控制、候选生成预算、身份与合法性规则、计算评价版本和后处理规则进行相同或可比预算的比较。

65、比较指标可以包括候选合法率、目标状态特异校准奖励分布、与合格实验反馈方向的一致性、多样性、重复率、相对于冻结先验的策略散度、采样分布漂移、适用域覆盖及实验预算内的候选入选比例。若没有下一轮真实实验数据,不以计算分数替代真实命中率主张。

66、版本状态至少包括 draft、hold、quarantine、promoted 和 rollback。draft 表示待评估;有效反馈不足或证据不充分时进入 hold;身份、样品或批次存在风险时进入quarantine;满足质量、稳定性和性能门槛时进入 promoted;发生明显退化、分布漂移超限或后发现实验错误时进入 rollback。只有 promoted 版本可以用于生产性下一轮候选输出。

67、晋级决策关联冻结基线、待评估版本、比较条件、指标结果、状态和决定记录。发现原始实验异常时,系统根据跨轮谱系定位依赖该实验记录的反馈、更新版本和候选,并执行隔离或回滚。

68、十二、跨轮追溯关系

69、系统为候选、样品、实验记录、反馈批次、更新运行、版本和候选生成运行分配稳定标识,并保存能够确定其上游—下游关系的版本化记录。对象内容发生实质改变时建立新记录,不以旧标识表示新的技术状态。

70、每一经批准版本能够追溯至其使用的反馈批次,每一反馈批次能够追溯至原始实验、样品和上一轮候选,每一下一轮候选能够追溯至当时的经批准版本。所述关系采用仅追加或功能等效的不可覆盖记录方式保存。

71、完整关系可表示为:候选→样品→原始体外实验→质量状态→实验残差或反馈→校准器版本→适用的目标特异更新版本→晋级决定→下一轮候选。该关系用于复现、审计、错误定位和回滚;采用功能等效的对象名称或存储实现不改变所述技术关系。

72、十三、系统、设备与存储介质

73、本发明还提供一种环肽强化学习生成策略受控更新系统。所述系统至少包括:候选与版本接入模块、命名空间管理模块、实验记录接收模块、质量状态路由模块、测量标准化与批次锚定模块、实验残差与置信权重计算模块、奖励校准模块、受限策略更新模块、冻结基线验证与版本状态模块以及跨轮追溯模块。图7示意系统模块及数据流。

74、候选与版本接入模块接收环肽候选、候选表示、生成版本和计算奖励;命名空间管理模块根据靶点、变体、构建体、生物状态、配体/辅因子状态和实验终点建立隔离更新空间;实验记录接收模块获取体外实验和样品质量信息;质量状态路由模块阻断不可解释记录对结合或功能奖励的错误更新。

75、实验残差与置信权重计算模块根据标准化实验值、计算基线、实验质量和适用域生成反馈;奖励校准模块学习计算奖励在目标命名空间内的偏差;受限策略更新模块在校准门槛通过后更新有限参数;冻结基线验证与版本状态模块确定版本能否用于下一轮生成;跨轮追溯模块维护候选、样品、实验、反馈和版本之间的关联。

76、本发明还可由包括处理器和存储器的电子设备实现。存储器中存储的程序被处理器执行时,完成上述命名空间建立、实验语义处理、残差校准、受限更新、版本验证和下一轮候选生成步骤。本发明还包括存储所述程序的非暂态计算机可读存储介质以及相应计算机程序产品。

77、十四、有益技术效果

78、通过将合成、样品和实验过程失败与真实阴性分开,可阻止不可解释记录被错误地传播为靶点无活性奖励,减少错误负标签对生成策略的影响。

79、通过对实验结果与计算奖励之间的残差进行校准,可学习计算评价在特定靶点状态和实验终点下的系统偏差,使物理或预测分数从未经校准的替代指标转化为受实验约束的奖励基线。

80、通过靶点—变体—构建体—状态—终点联合命名空间,可降低不同生物状态和实验语义之间的反馈污染,并使反馈的适用范围可验证。

81、通过先校准、后策略更新以及冻结全局先验,可在实验样本量有限时减少全参数更新导致的过拟合、灾难性遗忘和生成分布失控。

82、通过适用域和不确定性控制的信用分配,可避免适用域外或计算—实验冲突记录以全权重改变生成策略,并将其转化为后续探索和复核对象。

83、通过同预算冻结基线比较和 promoted/hold/quarantine/rollback 状态机,可阻止未验证版本自动进入生产,并在发现异常后实现隔离和回滚。

84、通过 candidate—sample—assay—feedback—version—next candidate 的全链追溯,可确定每一下一轮候选的实验和模型来源,提高计算过程的复现性、审计性及错误定位能力。

85、上述技术效果来源于质量语义、实验残差、靶点状态隔离、分级受限更新、冻结基线状态机和跨轮追溯之间的协同关系,而非仅来源于将强化学习应用于环肽、采用某一计算评分工具或执行一般性的设计—合成—测定—再训练流程。

86、十五、技术方案的可替换形式与边界

87、本发明不限定环肽候选由何种特定生成架构产生,只要能够取得候选身份、生成版本和计算奖励基线,并将后续实验反馈按照本发明的命名空间、质量状态、残差校准和版本控制关系处理即可。候选生成、结构评价、合成和体外测定可以由同一系统完成,也可以通过受控接口由外部系统完成。

88、本发明不限定奖励校准器的具体模型类别,也不限定强化学习采用某一特定开源实现。奖励校准器可以仅更新评分映射,也可以在满足门槛后联动排序适配器、策略适配器或采样偏置;但全局先验冻结、更新对象明确、更新顺序可追溯和版本晋级门控构成本发明的重要约束。

89、本发明接收并处理的是体外实验结果和相应计算记录,不包括对人体或动物实施疾病诊断或治疗的步骤。目标蛋白、实验终点和环肽类型可以变化,但必须保持输入数据与目标命名空间、计算奖励、实验残差和下一轮候选之间的内在关联。