色谱过程的预测、优化和监测的制作方法

本公开涉及用于色谱过程的模拟、优化、监测和控制的计算机实现的方法、计算机程序和系统。本公开的特定方法、程序和系统使用微分体积元中使用机器学习参数化的质量平衡模型来预测色谱过程的状态。

背景技术：

1、过程色谱法是纯化生物过程的大多数高价值产物(包括生物治疗剂)的关键步骤。在生物治疗剂的背景下，色谱纯化步骤的特异性对于生产安全有效的产品至关重要。为了实现所需的特异性，这些步骤中使用的色谱柱具有复杂的化学和物理性质，需要精确制造。因此，色谱柱价格昂贵，在一些过程中占生物治疗剂制造成本的高达30%。此外，由于这些柱的规格要求很严格，它们的使用寿命有限。因此，在生物产品生产的工艺开发和制造阶段中，优化色谱步骤的性能具有极大的推动力。

2、传统上，在工艺开发期间色谱步骤的优化涉及从小规模(即5 ml柱床体积)开始并逐渐增加规模直至达到生产体积的实验室实验。在该过程中，可以优化目标产物的进料浓度、缓冲液条件和流速，以最大化产物回收率(传统上以每升色谱树脂的产物毫克数测量)。在整个设计过程中，通常根据实验结果计算简单的汇总统计，诸如柱的“动态结合容量”(在一组特定的工艺条件下可以加载到柱上的目标产物(例如目标蛋白)的最大量)。然后将这些用于辅助后续实验的设计。虽然动态结合容量因为简单而成为有用的设计工具，但难以预测当改变流速或进料浓度时其值将如何变化。

3、为了在原料变化、流速变化和物理尺寸变化的情况下预测色谱性能，已经提出了多种第一性原理(基于物理学的)色谱模型。这些模型也可以称为“机械”模型，并且涉及对色谱过程中发生的物理化学过程进行详细建模。通常，由于色谱柱在空间和时间维度上都是动态演变的，因此这些模型在数学上由偏微分方程(pde)描述。例如，通用速率模型是一种详细的机械模型，它描述了溶质分子通过对流流动、通过珠周围的停滞膜的传质阻力、多孔珠中的孔(和表面)扩散以及吸附到内珠表面而通过间隙柱体积的输送。针对不同色谱条件/配置的通用速率模型的不同形式已得到充分研究(参见例如shekhawat和rathore,2019)。

4、虽然这些模型可以作为强大的预测工具，但它们在实际应用中使用时存在一些缺点。为了在数学上描述在柱中发生的所有物理效应，这些模型需要相对大量的复杂非线性项以及众多系数。这些系数必须通过仔细的实验来唯一确定。对于典型的应用，识别这些系数可能需要大约一到两个月的实验时间。此外，使用这种第一性原理方法构建模型需要建模者理解并正确表征柱内的每种物理相互作用。如竞争性结合和复合物扩散等因素必须被明确描述。因此，构建良好的模型需要大量的前期经验。另外，随着色谱技术的发展，最先进柱的物理性质变得越来越复杂，并且难以根据第一性原理进行建模。例如，膜柱可能具有复杂的孔结构，要完全表征这些结构可能很困难，甚至不可能。由于这些原因，构建通用速率模型来描述真实柱是一项通常由建模专家来执行的非平凡任务。

5、因此，需要新的方法来对色谱过程进行建模。

技术实现思路

1、本发明的发明人认识到，目前最先进的色谱过程模拟方法(例如，色谱过程优化、监测、放大等)存在诸多缺陷，这些缺陷与为获得可靠模拟而需要考虑的现象的复杂性有关。他们假设可以通过提供一种独特的新型混合模型来绕过这种复杂性中的一些复杂性，该混合模型结合了仅捕获整体流动(即质量平衡)的简单的基于物理的模型和经训练以捕获结合和扩散的机器学习模型。具体地，机器学习模型预测动态捕获柱内的所有结合和扩散现象的质量平衡模型的参数。这些可以看作是直接被代入到简单的质量平衡方程中的唯象参数，从而消除了对捕获产物在柱的各个隔室内结合和扩散的所有方面的详细模型的需要。另外，由于质量平衡模型不明确地对扩散几何形状建模，而是使用微分体积元，因此可以使用相同的机器学习模型而不管柱的几何形状如何，并且可以使用相同的架构而不管固定相的类型(例如树脂、膜或整体柱)如何。因此，这代表了一种易于参数化、稳定且计算高效运行的通用色谱模型。

2、根据本公开的第一方面，提供了一种模拟色谱过程的计算机实现的方法，由此包含一种或多种产物的进料流穿过包含固定相的色谱单元，该一种或多种产物与固定相相互作用，该方法包括：

3、通过数值积分在沿着色谱单元的一个或多个离散体积元上求解整体流动质量平衡模型，

4、其中整体流动质量平衡模型是常微分方程模型，该常微分方程模型表示离散体积元中一种或多种产物的结合级分和未结合级分的浓度变化，

5、其中该常微分方程模型包括结合项和扩散项，其中结合项捕获产物与固定相的结合，并且扩散项捕获结合产物的扩散，其中所述结合项和扩散项各自通过由机器学习模型预测的单个相应参数进行参数化，该机器学习模型被训练为获取包括离散体积元中一种或多种产物的结合级分和未结合级分的浓度的输入，并产生结合项和扩散项的参数的预测作为输出。

6、本方面还提供了一种模拟色谱过程的方法，由此包含一种或多种产物的进料流穿过包含固定相的色谱单元，该一种或多种产物与固定相相互作用，该方法包括：

7、使用在处理器中实现的质量平衡模块，在沿着色谱单元的一个或多个离散体积元上求解表示离散体积元中一种或多种产物的结合级分和未结合级分的浓度变化的整体流动质量平衡模型，其中求解使用数值积分模块，

8、其中整体流动质量平衡模型是包括结合项和扩散项的常微分方程模型，其中结合项捕获产物与固定相的结合，并且扩散项捕获结合产物的扩散，其中所述结合项和扩散项均通过单个相应参数进行参数化，

9、其中所述求解包括使用在处理器中实现的机器学习模块来预测所述参数的值，该机器学习模块使用经训练的机器学习模型，使用包括离散体积元中一种或多种产物的结合级分和未结合级分的浓度的输入来预测所述参数的值。

10、因此，本发明的方法有利地利用非常简单的基于物理学的模型，该模型仅通过唯象项(即，不明确地对产物与固定相结合以及结合产物扩散的动力学下的详细物理化学现象进行建模的项)表示整体流动以及结合和扩散对整体流动的影响，结合数据驱动的唯象参数化模型以提供表示扩散和结合的整体水平唯象参数。未被明确建模的现象沿着多个维度发生在色谱单元的不同隔室中，例如在孔隙中和在表面上的膜上，并且涉及不一定被充分表征的物理化学过程。本发明的方法有利地绕过了所有这些，使用机器学习算法来识别系统中难以通过第一性原理解释的所有动态行为部分。

11、有利地，依赖于微分体积元并且包括作为常微分方程(ode)捕获的简单扩散项和结合项的方法意味着该模型具有相同的架构，而不管色谱单元的几何形状如何。换句话说，该模型不明确地表示扩散几何形状，并且相同的模型可以用于具有不同几何形状的柱，从而能够直接应用于计算机模拟放大实验。此外，在离散体积元上使用ode意味着可以在不需要自适应步长偏微分方程求解器的情况下运行模拟。因此，模拟比现有技术方法更稳定且计算效率更高。

12、第一方面的方法可以具有以下任选特征中的任何一个特征或任何组合。

13、整体流动质量平衡模型可以包括表示未结合化合物(产物和任选的惰性物质)进出离散体积元的流动的线性项，以及结合项和所述扩散项，其中结合项通过在数值积分的每次迭代时由机器学习模型预项的相应参数来捕获未结合产物在静态相上的吸附过程的非线性。整体流动质量平衡模型可以包括以下等式(1)和(2)以及任选的等式(3)：

14、

15、其中fk是进料流速，δv是离散体积元

n的体积，是离散体积元n中未结合产物的浓度向量，是离散体积元

n中结合产物的浓度向量，是离散体积元

n之前的离散体积元中未结合产物的浓度向量，其中离散体积元从色谱单元的输入到输出依次标记，是离散体积元

n中一种或多种惰性物质的浓度向量，是离散体积元

n之前的离散体积元中惰性物质的浓度向量，并且是逐元素乘积。该方程组仅表示沿着色谱单元的离散体积中的三种宏观现象：未结合产物进出该体积的流动(以及任选的惰性物质进出该体积的流动)、结合产物的扩散以及未结合产物与固定相的结合。后两者由向量和中的“统括”参数进行参数化，这些“统括”参数被计算为机器学习模型的输出。

16、整体流动质量平衡模型可以在n个离散体积元上求解，其中n为至少2，其中n在5和20之间，其中n在5和15之间，其中n选自8、9、10、11、12，或者其中n为10。离散体积元可以包括沿着色谱单元的在其中发生结合和扩散的多个离散体积元，该多个离散体积元之前是在其中不发生结合或扩散的离散体积元(入口死体积)并且之后是在其中不发生结合或扩散的离散体积元(出口死体积)。

17、机器学习模型输入还可以包括进料流速。有利地，这意味着该模型(结合质量平衡模型和机器学习模型)能够捕获流速对结合和扩散的动力学的影响(通过机器学习模型)，从而使得可以使用相同的模型来模拟不同流速的柱。实际上，可以从在不同流速下生成的实验数据中学习流体力学结合和扩散效应，使得所得的经训练模型至少适用于训练数据(或具有类似流速的训练数据)可用的任何流速范围。此外，由于流速变量fk不被机器学习模型在第一性原理导出的方程中使用，因此该变量可以在被传递给机器学习模型之前由用户“变换”。例如，虽然质量平衡模型使用体积流速，但是在将流速作为输入提供给机器学习模型之前，可以将流速转换为线速度或停留时间。预期这将使模型的尺度依赖性较小。这种性质对于希望从小型柱中进行的实验中识别模型并使用这些模型对更大规模(商业制造相关)柱进行预测的应用特别有利。因此，在实施方案中，该方法包括获得体积进料流速，将所述体积进料流速转换为线速度或停留时间，以及将所述转换的进料流速作为输入提供给机器学习模型。

18、在实施方案中，机器学习模型还将指示色谱单元的使用年限的参数作为输入。例如，机器学习模型可以将色谱单元已经运行的循环次数、已经通过单元的总单元体积数或由此导出的任何其他值(例如，作为色谱单元已经使用的循环次数相对于柱寿命中的预期循环次数的估计寿命的百分比等)作为输入。这有利地使机器学习模型能够准确地捕获老化柱对色谱过程的动力学的影响。

19、整体流动质量平衡模型还可以表示离散体积元中一种或多种惰性物质的浓度变化(例如，使用等式(3))，并且机器学习模型输入还可以包括离散体积元中一种或多种惰性物质的浓度。

20、机器学习模型可以是循环机器学习模型，其中循环机器学习模型是能够在数值积分的当前迭代时进行预测时考虑在数值积分的一次或多次先前迭代时进行的一次或多次预测的值的机器学习模型。机器学习模型还可以将包括当前迭代

k和离散体积元

n的一个或多个状态值的循环状态向量作为输入，并且产生更新的循环状态向量作为输出以供在后续迭代时使用。机器学习模型可以包括参数预测子模型和循环状态子模型，其中循环状态子模型被配置为基于机器学习模型的输入来预测更新的循环状态向量以供在后续迭代时使用，并且参数预测子模型被配置为基于机器学习模型的输入来预测结合项和扩散项的参数。循环状态向量可以与其他输入变量(结合产物和未结合产物的浓度、进料流速和惰性物质(如果使用的话)的浓度)级联。在机器学习模型用作输入之前，循环状态向量可以使用被配置为从无界值产生有界值的任何函数(诸如tanh或sigmoid函数)进行变换。这有利地确保状态值不会增加到主导其他输入变量。在包括参数预测子模型和循环状态子模型的实施方案中，级联输入可以被馈送到参数预测子模型和循环状态子模型两者中。机器学习模型可以包括由全部同时学习的相应权重参数化的循环状态子模型和参数预测子模型。因此，经训练的机器学习模型可以与对于每个离散体积元和数值积分的每次迭代而言相同的学习权重相关联。

21、机器学习模型可以是非线性回归模型。机器学习模型可以包括神经网络，任选地其中神经网络是全连接神经网络、包括至少2个隐藏层的神经网络、包括1至4个隐藏层的神经网络、包括2或3个隐藏层的神经网络和/或在每个隐藏层中包括8至60个节点的神经网络。

22、该方法还可以包括使用包括来自多个色谱过程的进料浓度数据和流出物浓度数据的训练数据来训练机器学习模型，并且/或者其中机器学习模型已经使用包括来自多个色谱过程的进料浓度数据和流出物浓度数据的训练数据进行训练，其中进料浓度数据是指示入口产物浓度的数据，并且流出物浓度数据是指示出口产物浓度的数据，任选地其中训练数据包括各自与色谱过程期间的相应离散时间点相关联的进料浓度数据和流出物浓度数据和/或与色谱过程期间的时间范围相关联的进料浓度数和流出物浓度数据，诸如使用级分收集器收集的数据。

23、训练机器学习模型可以包括通过以下方式迭代地更新机器学习模型的权重：

24、对于各自包括与色谱过程期间的多个时间点相对应的该色谱过程的进料浓度数据、流出物浓度数据和进料流速数据的一个或多个训练数据集中的每一个训练数据集，使用机器学习模型在训练的前一次迭代时在与来自训练数据集的多个时间点相对应的离散时间间隔内预测的结合项和扩散项的参数的值来求解整体流动质量平衡模型，其中进料速率轨迹对应于来自训练数据集的进料流速数据和来自训练数据集的进料浓度数据，从而获得对应于一个或多个训练数据集中的每一个训练数据集的模拟数据；

25、评估量化模拟数据与对应的一个或多个训练数据集之间的差异的损失函数；以及

26、任选地使用梯度下降程序，基于机器学习模型在当前迭代时的权重和损失函数的值来更新机器学习模型的权重，直到满足一个或多个预定停止准则。

27、训练机器学习模型可以包括：在所述迭代训练的第一次迭代时，将机器学习模型的权重设置为与结合项和扩散项的参数的预定值相对应的初始权重。将机器学习模型的权重设置为所述初始权重可以包括：获得结合项和扩散项的参数的所述预定值，将机器学习模型的权重设置为默认值，以及预训练机器学习模型，其中所述预训练包括通过以下方式迭代地更新机器学习模型的权重：

28、使用机器学习模型，使用从训练数据采样的机器学习模型的输入来预测结合项和扩散项的参数的值，

29、评估量化结合项和扩散项的参数的预测值与结合项和扩散项的参数的预定值之间的差异的损失函数；以及

30、基于机器学习模型在当前预训练迭代时的权重和损失函数的值来更新机器学习模型的权重。

31、训练机器学习模型可以包括通过执行以下各项中的一项或两项来确定结合项和扩散项的参数的预定值：

32、(a) 将扩散项的参数和结合项的参数或与对应的非线性结合项相关联的对应参数的值设置为相应的默认值，

33、使用扩散项和结合项的参数的默认值以及预定的进料浓度数据和进料流速数据，通过数值积分来求解整体流动质量平衡模型，任选地其中所述预定的进料浓度数据和进料流速数据被选择为在训练数据中观察到的进料流速和进料浓度的最大值，

34、确定数值积分是否未能计算出模型的任何解，以及

35、当数值积分未能计算出模型的任何解时，通过将默认值减小预定因子来更新结合项和扩散项的参数的默认值；

36、其中重复上述步骤，直到数值积分能够计算出模型的所有解的迭代，并且结合项和扩散项的参数的值被选择为在所述迭代时使用的那些值；

37、(b) 将扩散项的参数和结合项的参数或与对应的非线性结合项相关联的对应参数的值设置为相应的默认值，任选地其中所述默认值是使用步骤(a)的方法获得的，

38、对于各自包括与色谱过程期间的多个时间点相对应的该色谱过程的进料浓度数据、流出物浓度数据和进料流速数据的一个或多个训练数据集中的每一个训练数据集，使用结合项和扩散项的参数的所述默认值来求解整体流动质量平衡模型，从而获得对应于一个或多个训练数据集中的每一个训练数据集的模拟数据；

39、评估量化模拟数据与对应的一个或多个训练数据集之间的差异的损失函数；以及

40、任选地使用梯度下降程序，基于损失函数的值来更新结合项和扩散项的参数的默认值，

41、其中重复上述步骤，直到满足一个或多个预定停止准则。

42、求解整体流动质量平衡模型可以包括在预定持续时间的多个离散时间间隔内迭代地对模型进行积分，其中在每次迭代时，使用机器学习模型和当前状态向量来获得离散体积元中的每一个离散体积元的结合项和扩散项的参数的预测，该当前状态向量包括在最近一次迭代时每个离散体积元中结合产物的浓度、在最近一次迭代时每个离散体积元中未结合产物的浓度和任选的在最近一次迭代时每个离散体积元中惰性物质的浓度以及任选的进料流速；使用利用预测参数化的整体流动质量平衡模型来识别离散状态空间模型；并使用当前状态向量的值和离散状态空间模型的系数来确定对应于当前迭代的时间间隔的更新的状态向量。

43、通过数值积分在沿着色谱单元的一个或多个离散体积元上求解整体流动质量平衡模型可以包括在多个离散时间点处对一个或多个离散体积元中的每一个离散体积元的模型进行积分，从而获得包括在多个离散时间点处色谱单元的流出物中产物的浓度的模拟数据，并且该方法还可以包括使用所述模拟数据来确定以下各项中的一项或多项：使用模拟数据和预定分级方案的多个模拟级分的流出物产物浓度、产物吸附速率、产物解吸速率、产物的总捕获量、色谱过程关于产物的动态结合容量、每个循环的产物结合容量、产物回收百分比、关于产物的最大穿透浓度、关于产物的最大穿透百分比以及与所模拟的色谱过程相关的成本。

44、根据第二方面，提供了一种获得用于模拟色谱过程的训练模型的计算机实现的方法，由此包含一种或多种产物的进料流穿过包含固定相的色谱单元，该一种或多种产物与固定相相互作用，该方法包括：

45、获得包括来自多个色谱过程的进料浓度数据和流出物浓度数据的训练数据，其中进料浓度数据是指示入口产物浓度的数据，并且流出物浓度数据是指示出口产物浓度的数据；以及

46、训练机器学习模型以获取包括离散体积元中一种或多种产物的结合级分和未结合级分的浓度的输入，并产生色谱单元的整体流动质量平衡模型的结合项和扩散项的参数的预测作为输出；

47、其中所述训练包括通过数值积分在沿着色谱单元的一个或多个离散体积元上求解整体流动质量平衡模型；

48、其中整体流动质量平衡模型是常微分方程模型，该常微分方程模型表示离散体积元中一种或多种产物的结合级分和未结合级分的浓度变化，

49、其中常微分方程模型包括结合项和扩散项，其中结合项捕获产物与固定相的结合，并且扩散项捕获结合产物的扩散。

50、本方面的方法可以具有关于第一方面描述的任何特征。

51、根据第三方面，提供了一种设计色谱过程的计算机实现的方法，该方法包括：使用第一方面的任何实施方案的方法，使用各自至少包括进料产物浓度和进料流速的过程参数的多个候选集合来模拟色谱过程，从而获得过程参数的每个候选集合的模拟流出物浓度；以及将模拟流出物浓度或从其导出的一个或多个指标进行比较，以从候选过程参数的集合中选择过程参数的一个集合。

52、过程参数的候选集合可以包括不同的固定相，并且模拟色谱过程可以包括使用相应的机器学习模型，这些机器学习模型使用利用相应的固定相获取的相应的训练数据来训练。过程参数的候选集合可以包括使用不同数量的串联连接的柱。此类方法可以用于许多不同的场景。例如，这些方法可以用于设计多柱色谱过程的场景。本公开的方法在此类情况下特别有利，因为相同的模型适用于单柱和多柱设置，并且这些模型可以在过程参数的许多不同集合上高效地(即，快速地)运行。此外，本公开的方法特别有利之处在于，可以使用已经专门或主要对批处理(即单柱)训练数据训练的模型来模拟多柱过程。又如，这些方法可以用于按比例放大的过程设计的场景，例如用于根据小规模试验预测大规模的结合容量的场景。实际上，本公开的方法特别有利之处在于，它们与规模无关，即可以使用已经对来自不同规模的训练数据进行训练的模型来模拟大规模过程。

53、根据另一方面，提供了一种监测色谱过程的方法，该方法包括：使用第一方面的任何实施方案的方法和与色谱过程的测量或计划的进料浓度和进料流速相对应的进料浓度数据和进料流速数据来模拟色谱过程，从而获得对应于色谱过程的流出物浓度的模拟流出物浓度；以及将模拟流出物浓度或从其导出的一个或多个指标与观察到的流出物浓度或从其导出的指标进行比较，其中该比较指示色谱单元的故障或老化状况的存在。

54、根据另一方面，提供了一种控制色谱过程的方法，该方法包括：(a)使用第一方面的任何实施方案的方法和与色谱过程的测量或计划的进料浓度和进料流速相对应的进料浓度数据和进料流速数据来模拟色谱过程，从而获得对应于色谱过程的流出物浓度的模拟流出物浓度；以及将模拟流出物浓度或从其导出的一个或多个指标与观察到的流出物浓度或从其导出的指标进行比较，并基于该比较的结果来确定是否重新装填色谱单元，或者是否在多柱色谱过程中将进料切换到不同的柱；以及/或者(b)使用第一方面的实施方案的方法，使用各自至少包括进料产物浓度和进料流速的过程参数的多个候选集合来模拟色谱过程，从而获得过程参数的每个候选集合的模拟流出物浓度，并将模拟流出物浓度或从其导出的一个或多个指标进行比较，以从候选过程参数的集合中选择过程参数的一个集合来用于操作色谱过程，任选地其中过程参数的候选集合包括预期的进料产物浓度或进料流速。

55、除非上下文另有说明，否则本文描述的方法的所有步骤都是计算机实现的。具体地，本方法的任何步骤可以由计算设备实现，该计算设备任选地与一个或多个传感器、一个或多个色谱过程(例如，每个单柱或多柱色谱单元)、其他计算设备和/或用户界面可操作地通信。

56、根据另一方面，提供了一种系统，该系统包括：至少一个处理器；以及至少一个非暂态计算机可读介质，该至少一个非暂态计算机可读介质包含指令，这些指令在由至少一个处理器执行时使至少一个处理器执行包括任何前一方面的任何方法的步骤的操作。具体地，至少一个非暂态计算机可读介质可以包含指令，这些指令在由至少一个处理器执行时使至少一个处理器执行包括关于第一、第二和/或第三方面描述的操作中的任何操作的操作。该系统还可以包括以下项中的一个或多个：色谱单元、一个或多个传感器和用户界面。

57、根据另一方面，提供了一种包括指令的非暂态计算机可读介质，这些指令在由至少一个处理器执行时使至少一个处理器执行本文描述的任何方面的任何实施方案的方法。

58、根据另一方面，提供了一种包括代码的计算机程序，该代码在计算机上执行时使计算机执行本文描述的任何方面的任何实施方案的方法。