一种基于多模态数据的设备生产智能规划方法与流程

本发明涉及计算机人工智能的技术领域，尤其是指一种基于多模态数据的设备生产智能规划方法。

背景技术

目前，随着工业4.0时代的发展，人工智能开始渗透到传统制造行业，制造行业开始向智能化、信息化方向转变。在智能化制造的过程中，会产生大量类型不同、来源多样的多模态数据。如何利用这些制造过程中产生的多模态数据进行制造过程的规划，减少人工干预，提升生产规划的可解释性和准确性，成为制造过程迈向智能化的一个技术难点，也是现阶段智能制造研究领域的重点发展方向。

技术实现要素：

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于多模态数据的设备生产智能规划方法，可有效利用多模态数据进行设备生产规划，充分利用制造过程中收集到的多模态数据和深度神经网络，不仅可以识别每个步骤的当前状态，并根据当前状态进行动作规划，实现制造过程的动作智能规划，减少人工干预，此外，还可以增加动作规划的可解释性和准确性。

为实现上述目的，本发明所提供的技术方案为：一种基于多模态数据的设备生产智能规划方法，包括以下步骤：

1)利用不同种类的传感器对制造过程进行数据采集，得到多模态数据，并存储在服务器中；

2)从服务器中提取出多模态数据，并将数据划分为图像数据、数值型数据两种类型进行预处理，得到预处理后的多模态数据；其中，针对图像数据，获取其像素值矩阵并将其进行标准化处理；针对数值型数据，直接进行数据标准化处理；

3)对于预处理后的多模态数据，提取关于制造过程t的多模态数据；然后根据专家知识，对数据进行人工标注，得到每条数据的标签，被提取的多模态数据与相应标签构成训练集；

4)构建类别-制造动作的映射关系，使步骤3)得到的训练集中，每个类别分别对应一个制造动作；

5)将步骤3)的训练集输入深度神经网络进行训练；其中，深度神经网络的激活函数选择ReLU函数，损失函数是交叉熵损失函数，采用softmax函数进行类别概率输出；通过优化损失函数，得到训练好的深度神经网络；

6)在实际设备生产时，利用不同种类的传感器进行数据采集，形成多模态数据流，用训练好的深度神经网络对多模态数据流进行预测，得到分类结果；

7)根据步骤4)构建的类别-制造动作映射关系，选择步骤6)分类结果对应的制造动作，完成对实际制造过程t的动作规划；

8)对实际运行的制造过程中的每个过程，重复进行步骤3)至步骤7)，形成多模态数据下的设备生产制造过程的动作策略智能规划。

进一步，在步骤2)中，所述数据标准化处理是：存储于服务器的数值型数据经过读取后，将数据按照类别对数据分别进行标准化，数值型数据的标准化公式为：

式中，Xa是原始的数值型数据，为数值型数据的均值，为数值型数据的标准差，是Xa标准化后的数值型数据；

针对图像数据，首先将传感器得到的像素值矩阵展成一维向量，得到图像向量Xb，然后根据以下公式进行标准化：

式中，为图像向量的均值，为图像向量的标准差，是Xb经过标准化处理后的图像数据；

标准化后的图像和数值型数据是两个一维向量，对两者进行拼接，得到标准化后的数据X^*：

进一步，在步骤3)中，收集制造过程t的数据M次，收集到的多模态数据表示为数据集Xt：

式中，是第M次收集的标准化后的数据；给上述收集到的多模态数据进行标注，得到数据集Xt的标签：

Yt＝{Y1t,Y2t,...,YMt}

式中，YMt是数据对应的标签，由专家确定；数据集Xt与相应标签Yt构成训练集。

进一步，在步骤4)中，针对制造过程t构建类别-制造动作的映射关系，具体如下：

假设制造过程t的类别有S个，则类别集合Ct表示为：

Ct＝{c1t,c2t,...,cSt}

式中，cSt是制造过程t的第S个类别；最后构建制造动作集合At：

At＝{a1t,a2t,...,aSt}

式中，aSt是类别cSt对应的制造动作，从而构建出类别-制造动作的映射关系。

进一步，在步骤5)中，将步骤3)的训练集输入深度神经网络Ht进行训练，网络的激活函数选择ReLU函数，损失函数是交叉熵损失函数，采用softmax函数进行概率计算；假设深度神经网络有L层，hk和hk 1分别为对应第k层和第k 1层的隐藏层网络，则对于第k 1层的隐藏层网络，能够用以下公式将第k 1层的隐藏层网络hk 1进行表示：

hk 1＝δ(Wkhk)

式中，Wk为对应第k层隐藏层网络的权重参数；δ(·)是激活函数，在这里采用ReLU函数，为深度神经网络引入非线性，该ReLU函数δ(x)公式为：

然后，计算最后一层神经网络的输出Z：

Z＝WLhL-1

式中，WL是最后一层隐藏层网络的权重参数，hL-1是倒数第二层隐藏层网络；使用softmax函数，计算输入数据属于类别i的概率pi，i＝1,2,...,S，计算公式为：

式中，zi是输出Z的第i个元素，zj是输出Z的第j个元素，j＝1,2,...,S；得到概率pi后，使用交叉熵损失函数Loss作为深度神经网络Ht的损失函数，其具体公式表达为：

式中，pr是类别r的概率输出，yr是类别r的标签，S是类别数量；最后，通过RMSprop优化方法，对深度神经网络进行优化，得到训练好的深度神经网络。

进一步，在步骤6)中，将步骤5)训练好的深度神经网络，对实际运行时的制造过程的多模态数据流Rt进行预测；将训练好的深度神经网络记为则分类结果表示为

进一步，在步骤7)中，将步骤6)得到的分类结果与步骤4)构建的类别-制造动作映射关系进行对应，选择对应的制造动作。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明方法可有效降低了人工设计复杂制造过程的难度，实现制造过程的动作策略智能规划。

2、本发明方法中通过收集每个制造步骤的多模态数据，并针对所收集的数据，对每个步骤分别训练一个深度神经网络。根据分类结果，对实际运行的多模态数据进行分类。针对不同的分类结果来规划不同的制造动作策略。

3、本发明方法为每个制造过程设计一个深度神经网络，可有效针对不同步骤的数据特性进行动作调整；同时可以自动识别制造过程中每个步骤的状态。

4、本发明方法根据每个制造过程的当前状态设计不同的动作，使制造过程中的动作调整具有更高的可解释性。这种动作策略规划方法在深度神经网络构建完成后，可根据制造过程中的多模态数据自动调整各步骤的动作，可有效减少人工干预，提高自动化水平。

附图说明

图1为本发明方法的逻辑流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例所提供的基于多模态数据的设备生产智能规划方法，其具体情况如下：

1)利用不同种类的传感器对制造过程进行数据采集，得到多模态数据，并存储在服务器中。

2)从服务器中提取出多模态数据，并将数据划分为图像数据、数值型数据两种类型进行预处理，得到预处理后的多模态数据；其中，针对图像数据，获取其像素值矩阵并将其进行标准化处理；针对数值型数据，直接进行数据标准化处理。

所述数据标准化处理是：存储于服务器的数值型数据经过读取后，将数据按照类别对数据分别进行标准化，数值型数据的标准化公式为：

式中，Xa是原始的数值型数据，为数值型数据的均值，为数值型数据的标准差，是Xa标准化后的数值型数据；

针对图像数据，首先将传感器得到的像素值矩阵展成一维向量，得到图像向量Xb，然后根据以下公式进行标准化：

式中，为图像向量的均值，为图像向量的标准差，是Xb经过标准化处理后的图像数据；

标准化后的图像和数值型数据是两个一维向量，对两者进行拼接，得到标准化后的数据X^*：

3)对于预处理后的多模态数据，提取关于制造过程t的多模态数据；然后根据专家知识，对数据进行人工标注，得到每条数据的标签，被提取的多模态数据与相应标签构成训练集，具体如下：

收集制造过程t的数据M次，收集到的多模态数据表示为数据集Xt：

式中，是第M次收集的标准化后的数据；给上述收集到的多模态数据进行标注，得到数据集Xt的标签：

Yt＝{Y1t,Y2t,...,YMt}

式中，YMt是数据对应的标签，由专家确定；数据集Xt与相应标签Yt构成训练集。

4)构建类别-制造动作的映射关系，使步骤3)得到的训练集中，每个类别分别对应一个制造动作；其中，针对制造过程t构建类别-制造动作的映射关系，具体如下：

假设制造过程t的类别有S个，则类别集合Ct可以表示为：

Ct＝{c1t,c2t,...,cSt}

式中，cSt是制造过程t的第S个类别；最后构建制造动作集合At：

At＝{a1t,a2t,...,aSt}

式中，aSt是类别cSt对应的制造动作，从而构建出类别-制造动作的映射关系。类别与制造动作的对应关系由专家进行确定。

5)将步骤3)的训练集输入深度神经网络Ht进行训练，其中，网络的激活函数选择ReLU函数，损失函数是交叉熵损失函数，采用softmax函数进行概率计算。假设深度神经网络有L层，hk和hk 1分别为对应第k层和第k 1层的隐藏层网络，则对于第k 1层的隐藏层网络，可以用以下公式将第k 1层的隐藏层网络hk 1进行表示：

hk 1＝δ(Wkhk)

式中，Wk为对应第k层隐藏层网络的权重参数；δ(·)是激活函数，在这里采用ReLU函数，为深度神经网络引入非线性，该ReLU函数δ(x)公式为：

然后，计算最后一层神经网络的输出Z：

Z＝WLhL-1

式中，WL是最后一层隐藏层网络的权重参数，hL-1是倒数第二层隐藏层网络。使用softmax函数，计算输入数据属于类别i的概率pi，i＝1,2,...,S，计算公式为：

式中，zi是输出Z的第i个元素，zj是输出Z的第j个元素，j＝1,2,...,S；得到概率pi后，使用交叉熵损失函数Loss作为深度神经网络Ht的损失函数，其具体公式表达为：

式中，pr是类别r的概率输出，yr是类别r的标签，S是类别数量；最后，通过RMSprop优化方法，对深度神经网络进行优化，得到训练好的深度神经网络。

6)利用步骤5)训练好的深度神经网络，对实际运行时的制造过程的多模态数据流Rt进行预测。将训练好的深度神经网络记为则分类结果可表示为：

7)将步骤6)得到的分类结果与步骤4)构建的类别-制造动作映射关系进行对应，选择对应的制造动作。假设在类别-制造动作中，对应制造动作则制造过程t的动作被规划为

8)对制造过程中的每个步骤，重复步骤3)至步骤7)的动作，形成多模态数据下的制造过程动作的智能规划方案其中是制造过程d(d＝1,2,...,T)的制造动作，T是制造过程中的步骤数目。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。