一种基于增强拓扑神经进化的等效并行机动态智能调度方法

技术特征：
1.一种基于增强拓扑神经进化的等效并行机动态智能调度方法，其特征在于：按下述步骤进行：步骤s1：初始化等效并行机系统参数，定义机器m
i
数m(i＝1,2,
…
,m)，工件类型j
j
数n(j＝1,2,
…
,n)，工件j
j
的数量np
j
、到达时间r
j
、处理时间p
j
以及机器弹性预防维护的界限值ut和维护时间t；步骤s2：研究等效并行机问题的动态调度决策特征，设计与之匹配的调度行为，组成强化学习智能体的行为空间a；步骤s3：研究等效并行机问题的动态调度环境特点，设计从工件、机器与暂存区三个维度描述环境的状态空间向量s；步骤s4：生成规模为n的初始神经网络种群pop，每一个初始神经网络个体都只有输入层和输出层而无隐藏层；步骤s5：将目标值平均流程时间的倒数设置为适应度值函数，用于评价神经网络个体的优劣；步骤s6：种群pop中的每一个智能体所用的神经网络个体分别与等效并行机系统交互，感知实时状态，在新工件类型到达或工件完工的每一个决策时刻选择一种调度行为，通过一系列的动态决策，生成调度策略，得到适应度值；神经网络种群采用基于物种相容性阈值的种群分化、五种方式变异、交叉以及停滞物种淘汰等方式实现遗传进化，得到适应度值最高的神经网络p
best
；步骤s7：使用步骤s6训练得到的最优神经网络p
best
作为调度智能体，当新工件到达或者工件完工时触发决策时刻，将实时车间环境状态s输入p
best
，p
best
输出行为空间中各行为的q值{q1，q2，q3}，智能体选择q值最大的行为a＝argmaxq生成最优调度方案。2.根据权利要求1所述的基于增强拓扑神经进化的等效并行机动态智能调度方法，其特征在于：所述步骤s1中的初始化等效并行机系统按下述步骤进行：步骤s1.1：问题描述与目标界定，等效并行机动态调度问题可以描述为将n类工件j＝{j1,j2,
…
,j
j
,
…
,j
n
}，安排到m台等效的并行机上,其中每类工件j
j
的数量np＝{np1,np2,
…
,np
j
,
…
,np
n
}，每类工件j
i
的到达时间为r＝{r1,r2,
…
r
j
,
…
r
n
}，每类工件的处理时间为p＝{p1,p2,
…
,p
j
,
…
p
n
}，任何工件在加工过程不可中断，机器在生产过程中需要进行弹性预防维护，即机器的连续加工时间或役龄不能超过界限值ut，每次维护的时间为t，优化目标为最小化平均流程时间决策内容是确定工件在机器上的分配与加工顺序；步骤s1.2：初始化等效并行机数字仿真模型，使用spyder软件进行编程，按照调度问题的基本构成生成三个列表list1、list2、list3，分别存储各类工件的加工时间p
j
、各类工件的到达时间r
j
和各类工件的数量np
j
，初始化机器弹性预防维护界限ut值和维护时间t值。3.根据权利要求1所述的基于增强拓扑神经进化的等效并行机动态智能调度方法，其特征在于：所述步骤s2中的调度行为包括：行为1：改进的启发式规则mspt；行为2：改进的启发式规则mfifo；行为3：等待不执行任何操作；所述改进的启发式规则mspt的步骤如下：
步骤s2.1.1：根据spt规则从等待队列中选择加工时间最短的工件j
k
；如果存在多个同类工件，则随机选择其中的一个工件j
k
；步骤s2.1.2：将工件j
k
分别尝试安排在空闲机器m
l
上，根据机器m
l
上的剩余维护门槛值计算每种安排的批浪费计算每种安排的批浪费将工件j
k
安排在批浪费最小的机器m
k
上，其公式如下所示：所述改进的启发式规则mfifo的步骤如下：步骤s2.2.1：根据fifo规则从等待队列中选择最先到达的工件j
k
；如果存在多个同时到达的工件，则选择加工时间最短的一个工件j
k
；步骤s2.2.2：将工件j
k
分别尝试安排在空闲机器m
l
上，根据机器m
l
上的剩余维护门槛值计算每种安排的批浪费计算每种安排的批浪费将工件j
k
安排在批浪费最小的机器m
k
上，其公式如下所示：4.根据权利要求1所述的基于增强拓扑神经进化的等效并行机动态智能调度方法，其特征在于：所述步骤s3中的状态空间按照下述方法界定：针对等效并行机动态调度的环境特点，设置状态空间向量针对等效并行机动态调度的环境特点，设置状态空间向量从工件、机器与暂存区三个维度描述环境；其中q
j
为等待队列中各类工件的数量；为当前时刻与工件j
j
到达时间的时间间隔；t
i
为机器m
i
正在加工工件的加工时间，如需维护则增加维护时间t，如果机器m
i
处于空闲状态，则t
i
＝0；为机器m
i
正在加工工件的已加工时间；为机器m
i
在当前时刻剩余的维护门槛值；整个并行机环境的状态空间向量s的维度大小为n n m m m＝3m 2n。5.根据权利要求1所述的基于增强拓扑神经进化的等效并行机动态智能调度方法，其特征在于：所述步骤s5中的评价神经网络优劣的适应度函数按照下述方法确定：每一个基于神经网络的智能体与等效并行机系统进行交互，当所有工件都生产完毕，计算目标值平均流程时间基于目标值生成适应度函数，即6.根据权利要求1所述的基于增强拓扑神经进化的等效并行机动态智能调度方法，其特征在于：所述步骤s6中的强化学习智能体学习与神经网络进化按下述步骤进行：步骤s6.1：初始化种群神经网络pop、迭代次数genes、g＝0、超参数、等效并行机系统参数等；步骤s6.2：定义智能体与等效并行机系统仿真交互模块；步骤s6.3：定义神经网络进化过程，当达到最大迭代次数g＝genes时停止迭代并且保存最优神经网络个体p
best
。
7.根据权利要求6所述的基于增强拓扑神经进化的等效并行机动态智能调度方法，其特征在于：所述步骤s6.2的具体步骤如下：步骤s6.2.1：输入个体神经网络p、工件类型数量m、机器数量n、各类型工件加工时间列表p、各类型工件到达时间列表r、各类型工件数量np；步骤s6.2.2:初始化最大决策次数maxn；步骤s6.2.3：初始化工件生产序列l1，用于记录生产完的工件类型编号；步骤s6.2.4：初始化工件完工时刻序列l2，用于记录完工工件的完工时刻；步骤s6.2.5：初始化总流程时间f＝0，决策次数n＝0；步骤s6.2.6:按照维度3m 2n初始化状态步骤s6.2.6:按照维度3m 2n初始化状态步骤s6.2.7：循环进行如下步骤操作，当所有工件都生产完毕或者决策次数达到最大值maxn，停止循环并且输出适应度值fitness和工件生产序列l1；所述步骤s6.2.7的具体步骤如下：步骤s6.2.7.1：仿真时钟开始工作，记录即时时刻；步骤s6.2.7.2：如果有新工件类型到达等待队列或者有工件生产完成，将生产完毕的工件的类型编号存入工件生产序列l1的最后位置；步骤s6.2.7.3：将即使时刻存入工件完工时刻序列l2的最后位置；步骤s6.2.7.4：触发决策时刻：n＝n 1；步骤s6.2.7.5：更新即时状态步骤s6.2.7.6：将状态s输入神经网络p，p输出三个调度行为的值：{q1，q2，q3}，按照行为a＝argmaxq的规则对等效并行机系统进行操作。8.根据权利要求6所述的基于增强拓扑神经进化的等效并行机动态智能调度方法，其特征在于：所述步骤s6.3的具体步骤如下：步骤s6.3.1：计算每一个神经网络与种群其它神经网络的距离；步骤s6.3.2：按照物种相容性阈值把种群分成多个物种；步骤s6.3.3：选择适应度最高的前n
e
个个体直接进入下一代；步骤s6.3.4：按照连接添加、节点添加、连接删除、节点删除、节点权重变异发生的概率生成新的神经网络p
new
；步骤s6.3.5：将p
new
输入步骤6.2定义的智能体与等效并行机仿真交互模块中，保存交互模块生成的适应度值fitness
new
；步骤s6.3.6：取pop前d的个体交叉操作产生子代神经网络p
offspring
，d＝交叉率*100％；步骤s6.3.7：将每一个子代神经网络p
offspring
输入步骤6.2定义的智能体与等效并行机仿真交互模块中，保存交互模块生成的适应度值fitness
poffspring
；步骤s6.3.8：物种内竞争，淘汰物种内适应度值低的个体；步骤s6.3.9：根据物种停滞进化的代数删除与更新物种。9.根据权利要求1所述的基于增强拓扑神经进化的等效并行机动态智能调度方法，其特征在于：所述s7中的最优调度方案生成按照如下步骤进行：步骤s7.1：当新工件类型到达或者工件完工时触发决策时刻，智能体获取实时车间环境状态s；
步骤s7.2：将状态s输入神经网络p
best
,p
best
输出三个调度行为的值：{q1，q2，q3}；步骤s7.3：按照a＝argmaxq选择调度行为；步骤s7.4：按照调度行为a执行调度操作，生成最优调度方案。

技术总结
本发明公开了一种基于增强拓扑神经进化的动态等效并行机智能调度方法，该方法为实时响应工件动态到达、处理时间不确定且机器需要弹性预防维护等动态事件，智能生成平均流程时间最小的调度方案，界定了包括工件、机器和暂存区三个维度的状态空间，设计了三种调度行为，使用的倒数作为适应度函数，将调度过程转化为马尔可夫决策过程；从一群只有输入层和输出层而无隐藏层的种子神经网络开始，通过遗传进化逐步添加隐藏层、优化神经网络结构和参数，最终构造生成最优调度策略的神经网络；对于动态事件触发的每个决策时刻，根据实时状态选择最优调度行为，具有快速响应动态事件自适应生成最优调度方案、最小化在制品库存的特点。点。点。


技术研发人员：周升伟 陈亚绒 黄沈权 付培红 朱立夏 钟柳艳
受保护的技术使用者：温州大学
技术研发日：2022.03.16
技术公布日：2022/5/30