中药真空带式干燥数字孪生智能决策工艺预测方法及系统

1.本发明属于中药制药智能技术领域，特别是涉及到一种中药真空带式干燥数字孪生智能决策工艺预测方法及系统。


背景技术：

2.我国中药制药行业规模随着制造业水平的整体提升而形成蓬勃发展的势头。受制于上游原料批次间成分波动，下游中药制药生产过程中的建模难、控制难和优化决策难的“三难”问题日益凸显。由于缺乏深度和科学的生产数据支撑，中药制药行业中现代工业技术转化水平仍处于低地徘徊，“三难”问题严重制约着中药工业高质量发展。为了解决中药制药工业的技术瓶颈，就需要针对制药关键工序及其上下游组合，建立关键质量属性的量值传递模型，并基于模型采用强化学习等人工智能技术，从挖掘出中产品质量的传递规律，形成具有中药制药特色的药品质量优化控制策略，最终解决制药过程工艺优化控制问题。通过对制药过程的自动化、数字化、信息化和智能化的逐步升级改造，实现全系统的优化运行、控制和管理，从而构建中药制药的高质量发展模式。
3.中药真空带式干燥是中药制药生产的关键工艺，直接制约了最终中药产品的质量，目前对于其工艺操作仍然以人工经验为主，缺乏必要的系统数据的支持，直接导致了生产企业高耗能，高成本，质量批次存在差异。


技术实现要素：

4.本发明提出一种中药真空带式干燥数字孪生智能决策工艺预测方法及系统，基于数字孪生的数值仿真模型与人工智能技术形成智能决策，提升中药制药的行业技术水平。
5.为达到上述目的，本发明的技术方案是这样实现的：
6.一种中药真空带式干燥数字孪生智能决策工艺预测方法，包括：
7.s1、基于中药浸膏在真空带式干燥机中的运动规律，对中药浸膏的整个真空干燥过程建立仿真模型，用于预测产品质量参数；
8.s2、基于dqn算法，使用所述仿真模型产生的虚拟生产数据进行训练，建立真空带式干燥智能决策模型；所述虚拟生产数据包括不同生产工艺条件所对应的产品质量参数；
9.s3、在线检测中药浸膏的物性参数；在线读取真空带式干燥机的工艺参数；
10.s4、将检测得到的物性参数和工艺参数输入所述仿真模型，得到预测的产品质量参数；
11.s5、将预测的产品质量参数与检测得到的工艺参数输入所述真空带式干燥智能决策模型，得到优化后的工艺参数。
12.进一步的，步骤s1中所述仿真模型的建立方法包括：
13.基于离散元原理，将传送带上的中药浸膏分解为若干个大小一致的离散元，把求解空间离散为由多个离散元组成的单元阵，通过离散元的含水率变化关系将相邻的两个离散元连接起来；离散元的连续真空干燥过程对应作为离散元在空间运动的过程，前一秒结
束的状态即为后一秒的初始状态，以此为基本原理对离散元进行迭代计算，对整个真空干燥过程进行建模，包括沸腾、过渡和蒸发三段模型，最后一步离散元的状态即为真空带式干燥的出料的产品质量参数。
14.更进一步的，所述对离散元进行迭代计算包括：
[0015][0016][0017][0018]q吸热
＝cp*m*t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(4)
[0019]q放热
＝m
水
*r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(5)
[0020]
δq＝q
吸热
q
1-q
放热
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(6)
[0021][0022][0023]
m’＝m
初始-m
水
ꢀꢀꢀꢀ
式(8)
[0024][0025]
其中，m’为当前时刻离散元含水量；m1为沸腾阶段单位时间内离散元的水分蒸发量，即沸腾传质通量；η为物料粘度；r为水的汽化潜热；g为重力加速度；ρ
l
为物料密度；ρv为水蒸气密度；σ为物料表面张力；pr为普兰德数；c
pl
为溶质比热容；c
wl
为加热表面-液体组合情况的经验常数；s为离散元与传送带接触面积；t是离散元完全离开当前加热位置的时间；
[0026]
m2为蒸发阶段单位时间内离散元的水分蒸发量，即蒸发传质通量；d为水蒸气扩散系数；t为物料温度；p为真空体系压力；c
溶质
为物料的固含量；q1为传热通量，用于计算离散元的热量变化；λ为物料导热系数；d为料饼厚度；δt为温度差；q
吸热
为离散元吸收的热量；cp为定压比热容；m为离散元质量；q
放热
为水蒸发带走热量；m
水
为蒸发水的质量；r为水的汽化潜热；δq为热量变化值；m
溶质
为离散元内溶质的质量；m
初始
为加热开始前离散元内含水量；
[0027]
上述公式中的物料为中药浸膏，单位时间内离散元的热量变化如式(6)所示，经过上述过程不断对离散元内的水分蒸发量进行循环计算直至干燥过程结束。
[0028]
进一步的，步骤s2中，训练过程包括：
[0029]
引用马尔可夫决策过程，马尔可夫决策过程m由四个元素组成,m＝(s,a,p,r)。其中s表示状态集(si∈s),si表示第i步的状态；a表示一组动作的集合(ai∈a),ai表示第i步的动作；p表示状态转移概率,表示的是在当前(si∈s)状态下，经过(ai∈a)作用后，会转移到其他状态的概率分布情况；r是回报函数,对当前状态进行回报反馈；所述动作为各个生产工艺参数的上调和下调，主要包括加热温度的调整、传送带速度的调整，进料速度的调整；所述动作的调整范围为动作空间，用于约束动作调整幅度；最后确定奖励函数，奖励函数用于计算环境对动作做出的反馈，来源于产品出口含水率。
[0030]
进一步的，步骤s3所述在线检测中药浸膏的物性参数，包括通过在线粘度检测器，在线密度检测器和在线水分检测器检测中药浸膏的粘度，密度和含水率。
[0031]
本发明另一方面还提供了一种中药真空带式干燥数字孪生智能决策工艺预测系统，包括在线物性检测设备、fpga、上位机；所述在线物性检测设备连接fpga，所述fpga连接上位机；所述在线物性检测设备将检测数据输入fpga，fpga同时读取在线生产工艺参数，通过仿真模型预测产品质量参数；fpga将预测的产品质量参数输入上位机；所述上位机同时读取在线生产工艺参数，通过真空带式干燥智能决策模型得到优化后的工艺参数。
[0032]
进一步的，所述fpga中，仿真模型的建立包括：
[0033]
基于离散元原理，将传送带上的中药浸膏分解为若干个大小一致的离散元，把求解空间离散为由多个离散元组成的单元阵，通过离散元的含水率变化关系将相邻的两个离散元连接起来；离散元的连续真空干燥过程对应作为离散元在空间运动的过程，前一秒结束的状态即为后一秒的初始状态，以此为基本原理对离散元进行迭代计算，对整个真空干燥过程进行建模，包括沸腾、过渡和蒸发三段模型，最后一步离散元的状态即为真空带式干燥的出料的产品质量参数。
[0034]
更进一步的，所述对离散元进行迭代计算包括：
[0035][0036][0037][0038]q吸热
＝cp*m*t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(4)
[0039]q放热
＝m
水
*r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(5)
[0040]
δq＝q
吸热
q
1-q
放热
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(6)
[0041][0042][0043]
m’＝m
初始-m
水
ꢀꢀꢀꢀ
式(8)
[0044][0045]
其中，m’为当前时刻离散元含水量；m1为沸腾阶段单位时间内离散元的水分蒸发量，即沸腾传质通量；η为物料粘度；r为水的汽化潜热；g为重力加速度；ρ
l
为物料密度；ρv为水蒸气密度；σ为物料表面张力；pr为普兰德数；c
pl
为溶质比热容；c
wl
为加热表面-液体组合情况的经验常数；s为离散元与传送带接触面积；t是离散元完全离开当前加热位置的时间；
[0046]
m2为蒸发阶段单位时间内离散元的水分蒸发量，即蒸发传质通量；d为水蒸气扩散系数；t为物料温度；p为真空体系压力；c
溶质
为物料的固含量；q1为传热通量，用于计算离散元的热量变化；λ为物料导热系数；d为料饼厚度；δt为温度差；q
吸热
为离散元吸收的热量；cp为定压比热容；m为离散元质量；q
放热
为水蒸发带走热量；m
水
为蒸发水的质量；r为水的汽化潜
热；δq为热量变化值；m
溶质
为离散元内溶质的质量；m
初始
为加热开始前离散元内含水量；
[0047]
上述公式中的物料为中药浸膏，单位时间内离散元的热量变化如式(6)所示，经过上述过程不断对离散元内的水分蒸发量进行循环计算直至干燥过程结束。
[0048]
进一步的，上位机中所述真空带式干燥智能决策模型的训练过程包括：
[0049]
引用马尔可夫决策过程，马尔可夫决策过程m由四个元素组成,m＝(s,a,p,r)。其中s表示状态集(si∈s),si表示第i步的状态；a表示一组动作的集合(ai∈a),ai表示第i步的动作；p表示状态转移概率,表示的是在当前(si∈s)状态下，经过(ai∈a)作用后，会转移到其他状态的概率分布情况；r是回报函数,对当前状态进行回报反馈；所述动作为各个生产工艺参数的上调和下调，主要包括加热温度的调整、传送带速度的调整，进料速度的调整；所述动作的调整范围为动作空间，用于约束动作调整幅度；最后确定奖励函数，奖励函数用于计算环境对动作做出的反馈，来源于产品出口含水率。
[0050]
进一步的，所述在线物性检测设备包括设置在真空带式干燥机的在线粘度检测器，在线密度检测器和在线水分检测器，通过在线粘度检测器，在线密度检测器和在线水分检测器检测中药浸膏的粘度，密度和含水率。
[0051]
与现有技术相比，本发明具有如下的有益效果：
[0052]
(1)本发明通过数字孪生技术，基于离散元原理，建立中药真空带式干燥工艺的仿真模型，实现了对产品质量进行预测的功能，并为智能决策提供了数据支持；
[0053]
(2)本发明通过建立真空带式干燥智能决策模型，借助强化学习算法，实现对工艺参数动态调整并提高生产效率。
附图说明
[0054]
图1是本发明实施例二的硬件结构示意图；
[0055]
图2是本发明实施例二的软件结构示意图。
具体实施方式
[0056]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0057]
为使本发明专利的目的、特征更明显易懂，下面结合附图对本发明专利的具体实施方式作进一步的说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明专利实施例的目的。
[0058]
本发明的设计思想在于，基于数字孪生技术与人工智能技术，采用强化学习的数学模型对真空带式干燥工艺进行建模分析，形成真空带式干燥智能决策方法和系统。
[0059]
实施例一：
[0060]
实施例一主要提出了中药真空带式干燥数字孪生智能决策预测方法，包括：
[0061]
s1、基于中药浸膏在真空带式干燥机中的运动规律，对中药浸膏的整个真空干燥过程建立仿真模型，用于预测产品质量参数；
[0062]
所述仿真模型的建立方法包括：
[0063]
基于离散元原理，将传送带上的中药浸膏分解为若干个大小一致的离散元，把求解空间离散为由多个离散元组成的单元阵，通过离散元的含水率变化关系将相邻的两个离
散元连接起来；离散元的连续真空干燥过程对应作为离散元在空间运动的过程，前一秒结束的状态即为后一秒的初始状态，以此为基本原理对离散元进行迭代计算，对整个真空干燥过程进行建模，包括沸腾、过渡和蒸发三段模型，最后一步离散元的状态即为真空带式干燥的出料的产品质量参数。
[0064]
s2、基于dqn算法，使用所述仿真模型产生的虚拟生产数据进行训练，建立真空带式干燥智能决策模型；所述虚拟生产数据包括不同生产工艺条件所对应的产品质量参数；
[0065]
其中训练过程包括：
[0066]
引用马尔可夫决策过程，马尔可夫决策过程m由四个元素组成,m＝(s,a,p,r)。其中s表示状态集(si∈s),si表示第i步的状态；a表示一组动作的集合(qi∈a),ai表示第i步的动作；p表示状态转移概率,表示的是在当前(si∈s)状态下，经过(ai∈a)作用后，会转移到其他状态的概率分布情况；r是回报函数,对当前状态进行回报反馈；所述动作为各个生产工艺参数的上调和下调，主要包括加热温度的调整、传送带速度的调整，进料速度的调整；所述动作的调整范围为动作空间，用于约束动作调整幅度；最后确定奖励函数，奖励函数用于计算环境对动作做出的反馈，来源于产品出口含水率。
[0067]
s3、在线检测中药浸膏的物性参数；在线读取真空带式干燥机的工艺参数；所述在线检测中药浸膏的物性参数，包括通过在线粘度检测器，在线密度检测器和在线水分检测器检测中药浸膏的粘度，密度和含水率。
[0068]
s4、将检测得到的物性参数和工艺参数输入所述仿真模型，得到预测的产品质量参数；
[0069]
s5、将预测的产品质量参数与检测得到的工艺参数输入所述真空带式干燥智能决策模型，得到优化后的工艺参数。
[0070]
实施例二：
[0071]
实施例二是在实施例一所述方法的基础上提出了中药真空带式干燥数字孪生智能决策工艺预测系统，包括硬件部分和软件部分。
[0072]
所述硬件部分如图1所示，包括在线物性检测设备、fpga、上位机；其中在线物性检测设备包括设置在真空带式干燥机的在线粘度检测器，在线密度检测器和在线水分检测器；通过在线粘度检测器，在线密度检测器和在线水分检测器检测原料(中药浸膏)的粘度，密度和含水率等物性参数，将相关检测数据输入所连接的fpga中进行计算，利用fgpa的仿真模型预测并输出真空带式干燥机在当前物料参数下的产品质量参数，该产品质量参数输入与fpga相连的上位机，通过真空带式干燥智能决策模型进行强化学习运算，最终得到优化后的工艺参数。
[0073]
所述软件部分如图2所示，主要包括计算参数提取模块、主运算模块、结果输出与反馈模块。
[0074]
一、计算参数提取模块：
[0075]
计算参数提取模块为主运算模块提供运算所需数据，包括原料(中药浸膏)的物性参数和在线生产工艺参数。原料的物性参数由所述在线物性检测设备测得，包括原料的密度、粘度和含水率；在线生产工艺参数从生产设备的工艺参数设置记录和工艺产品质量记录中直接读取，包括进料速度、传送带速度、各区加热温度、真空度等；
[0076]
二、主运算模块：
[0077]
主运算模块包括两部分，分别为设置于fpga的仿真模型与设置于上位机的真空带式干燥智能决策模型。
[0078]
1、仿真模型：
[0079]
仿真模型通过读取计算参数提取模块所得的当前的物性参数与工艺参数对产品质量进行预测，预测得到的是产品质量参数。仿真模型的模型构建是基于中药浸膏在真空带式干燥机中相对于传送带的运动规律开发，模型包括沸腾、过渡和蒸发三段，这是由于在中药浸膏物料进入真空带式干燥机后，由于体系真空度提高使物料的沸点降低，物料会剧烈沸腾，水分快速蒸发，在此阶段使用沸腾模型描述物料变化状态。在沸腾结束后，物料中大部分水分已经去除，湿物料逐渐变为干燥的料饼，但料饼中还有剩余水分需要继续干燥。此时可将料饼看作干燥的疏松物质，在此阶段采用蒸发模型来计算物料的水分散失速率。过渡段的目的是为了连接沸腾段与蒸发段，过渡段的加入使得蒸发段与沸腾段的连接变得平缓，模拟产生的数据更符合实际生产条件。
[0080]
仿真模型的构建是采用离散元基本原理进行分析，将中药浸膏看作一种不连续的离散介质，然后将传送带上的物料分解为若干个大小一致的离散元，把求解空间离散为由多个离散元组成的单元阵，通过离散元的含水率变化关系将相邻的两个离散元连接起来，不考虑不同离散元在空间内的相互作用，只考虑单个离散元随时间的变化规律，离散元在空间运动的过程对应中药浸膏的连续真空干燥过程，前一秒结束的状态即为后一秒的初始状态，以此为基本原理对离散元进行迭代计算，对中药浸膏的整个真空干燥过程进行建模，最后一步离散元的状态即为真空带式干燥的出料状态。
[0081]
其中对离散元进行迭代计算的具体过程包括：
[0082]
所述对离散元进行迭代计算包括：
[0083][0084][0085][0086]q吸热
＝cp*m*t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(4)
[0087]q放热
＝m
水
*r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(5)
[0088]
δq＝q
吸热
q
1-q
放热
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(6)
[0089][0090][0091]
m’＝m
初始-m
水
ꢀꢀꢀ
式(8)
[0092][0093]
其中，m’为当前时刻离散元含水量；m1为沸腾阶段单位时间内离散元的水分蒸发量，即沸腾传质通量；η为物料粘度；r为水的汽化潜热；g为重力加速度；ρ
l
为物料密度；ρv为
水蒸气密度；σ为物料表面张力；pr为普兰德数；c
pl
为溶质比热容；c
wl
为加热表面-液体组合情况的经验常数；s为离散元与传送带接触面积；t是离散元完全离开当前加热位置的时间；
[0094]
m2为蒸发阶段单位时间内离散元的水分蒸发量，即蒸发传质通量；d为水蒸气扩散系数；t为物料温度；p为真空体系压力；c
溶质
为物料的固含量；q1为传热通量，用于计算离散元的热量变化；λ为物料导热系数；d为料饼厚度；δt为温度差；q
吸热
为离散元吸收的热量；cp为定压比热容；m为离散元质量；q
放热
为水蒸发带走热量；m
水
为蒸发水的质量；r为水的汽化潜热；δq为热量变化值；c
max
在本实施例中取值0.2；c
min
在本实施例中取值0.08；m
溶质
为离散元内溶质的质量；m
初始
为加热开始前离散元内含水量；m’为当前时刻离散元含水量。
[0095]
如式(1)至(6)所示：m1(沸腾传质通量)即为沸腾阶段单位时间内离散元的水分蒸发量，相对于当前时刻，下一时刻离散元的含水量等于m’减m1，即每一时刻的离散元含水量都等于前一时刻含水量减水分变化量，如此循环计算离散元的含水量将逐渐减少；同理m2(蒸发传质通量)表示蒸发阶段单位时间内离散元的水分蒸发量，用于计算蒸发阶段水分变化趋势；
[0096]
q1为传热通量，用于计算离散元的热量变化，单位时间内离散元的热量变化如式(6)所示，经过上述过程不断对离散元内的水分蒸发量进行循环计算直至干燥过程结束；上述即为所述的迭代计算。
[0097]
2、空带式干燥智能决策模型：
[0098]
空带式干燥智能决策模型通过嵌入式强化学习为优化后工艺参数的提供者，强化学习模型基于dqn(deep q network)算法开发，使用所述仿真模型产生的虚拟生产数据初步训练真空带式干燥智能决策模型。借助强化学习算法，实现对工艺动态调整并提高生产效率。空带式干燥智能决策模型使用10万条数据进行训练，在应用中读取当前生产工艺状态作为初始状态，其中工艺参数从生产设备中直接读取，产品质量参数由所述仿真模型计算得到。空带式干燥智能决策模型对所述初始状态进行观测，基于观测值调用预训练权重判断当前状态下q-value最大的动作并执行该动作，此步骤循环多次直到优化结果满足条件。最后一次循环输出的工艺参数组合即为优化后推荐的工艺参数。
[0099]
空带式干燥智能决策模型主要分为离线训练与在线决策两个实施步骤。对于模型训练阶段可引用马尔可夫决策过程来解释决策模型的训练过程。马尔可夫决策过程由四个元素组成m＝(s,a,p,r)。其中s表示状态集(si∈s),si表示第i步的状态。a表示一组动作的集合(ai∈a),qi表示第i步的动作。p表示状态转移概率,表示的是在当前(si∈s)状态下，经过(ai∈a)作用后，会转移到的其他状态的概率分布情况。比如，在状态s下执行动作a，转移到s’的概率可以表示为p(s’|s,a)。r是回报函数(reward function),对当前状态进行回报反馈。在离线训练阶段，首先使用所述仿真模型生成大量的背景数据用于模型训练，此背景数据主要为不同生产工艺条件所对应的产品质量参数，在离线训练阶段共使用10万条数据进行训练。其次需要定义强化学习算法的观测空间(observation)，观测空间主要为算法的动作选择过程提供依据，在这里观测空间主要包括当前时刻的工艺操作参数以及此工艺操作参数下所对应的生产结果。然后需要定义动作(action)及动作空间(action space)，智能体通过做出动作与环境交互并获得反馈，在此模型中动作为各个生产工艺参数的上调和下调，主要包括加热温度的调整、传送带速度的调整，进料速度的调整等。动作空间即动作的调整范围，用于约束动作调整幅度。最后需要确定奖励函数(reward)，奖励函数用于计算
环境对动作做出的反馈，此反馈可能包括奖励或惩罚。在此模型中奖励主要来源于产品出口含水率以及投入收益比等效益指标。训练完毕的模型将被打包成软件并安装到工业控制计算机中进行在线预测。
[0100]
三、优化结果输出与反馈模块：
[0101]
优化结果输出与反馈模块设置于上位机；主运算模块计算得到的工艺参数由此模块向制药设备(真空带式干燥机)进行传递并指导实践。与此同时，将推荐参数状态下的生产结果与预测结果进行比较，若误差范围满足要求则继续进行交互对比，若误差范围不满足要求则考虑修正模型。
[0102]
通过决策系统计算，可以优化真空带式干燥机一区，二区和三区各自的加热温度，传送带速度，原料处理效率和产品出口含水率。
[0103]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。