基于多模态数据融合的制造过程智能优化方法及系统与流程

本发明属于生产控制，具体涉及一种基于多模态数据融合的制造过程智能优化方法及系统。

背景技术：

1、在工业化的智能制造生产中，对于使用热弯成型工艺的产品，一般是将产品置于石墨模具上，经过预热、加热软化、加压成型、保压冷却等多个工序，使产品在高温下软化并贴合模具形状。在热弯过程中，产品的轮廓贴合度是决定产品良率的关键指标。如果产品边缘未能紧密贴合模具，会导致成品尺寸出现偏差。

2、为实现对产品热弯成型过程的有效优化，现有技术中提出了多种方法，如采用pid控制算法对加热炉内的温度进行调节，以期达到预设的温度曲线；或者在生产线末端利用三维轮廓扫描仪对冷却后的成品进行离线检测，根据检测结果，采用数据关联算法调整工艺参数，或者利用有限元分析在生产前对成型过程进行仿真以确定初始工艺参数。

3、上述现有技术虽然在一定程度上实现了工艺参数的优化，但热弯设备通常包含多个紧密排列的加热分区，各分区之间存在复杂的热力学串扰，现有方法忽略了产品在加工过程中随时间演变的动态特征，导致在面对相同的最终缺陷形态时，难以区分是由加热不足导致的软化迟滞还是预热过快导致的热应力释放引起的，致使参数修正缺乏针对性，难以保证产品的生产质量，制造过程的智能化程度有待进一步提高。

技术实现思路

1、为解决上述问题，本发明提供了一种基于多模态数据融合的制造过程智能优化方法及系统，以解决上述背景技术中所存在的问题。

2、为了达到上述的发明目的，本发明提出一种基于多模态数据融合的制造过程智能优化方法，包括：

3、获取生产过程中的红外热成像视频流，将红外热成像视频流拆分为多张图像帧，分析图像帧以获取产品轮廓与模具之间的缝隙宽度；

4、若最后一张图像帧中存在缝隙宽度大于临界阈值，则将每张图像帧测得的缝隙宽度与对应的时间戳进行组合，生成缝隙宽度随时间变化的实际趋势序列；

5、基于时序神经网络建立流变预测模型，流变预测模型基于各个加热分区的加热参数和产品的材料属性预测缝隙宽度变化的趋势序列；

6、将实际趋势序列划分为多个流动区间，对流动区间进行分析以确定异常的加热分区和加热参数的调整方向；

7、基于所述调整方向对异常加热分区的加热参数进行扰动，将扰动后各个加热分区的加热参数和产品的材料属性输入至流变预测模型，以反向定位出造成所述实际趋势序列的目标加热分区，并确定其对应的加热参数调整量；

8、基于调整量对目标加热分区的加热参数进行修正。

9、进一步地，分析图像帧以获取产品轮廓与模具之间的缝隙宽度包括以下步骤：

10、对每张图像帧进行灰度处理和畸变矫正，获得标准图像，在首张标准图像中，基于图像识别算法定位产品的初始轮廓线和模具轮廓线，在初始轮廓线中定位多个特征点，将特征点与模具轮廓线之间的欧氏距离作为初始缝隙宽度；

11、基于生产设备的移动速度和特征点的像素特征，将特征点映射至后续的每一张标准图像中，基于相邻标准图像计算同一特征点在垂直或水平方向的位移距离，将上一张标准图像中该特征点的缝隙宽度减去所述位移距离，以递归方式更新并获得特征点在当前标准图像中的缝隙宽度。

12、进一步地，将特征点映射至后续的每一张标准图像中包括以下步骤：

13、在当前标准图像中，计算特征点所在初始轮廓线位置的法线方向，沿法线方向提取特征点的像素灰度序列，基于生产设备的移动速度推算特征点在下一张标准图像中的预测坐标，以预测坐标为中心，结合产品流动惯性，构建沿法线方向向外延伸的搜索区域，在下一张标准图像的搜索区域内，遍历获取各像素点的像素灰度序列，并计算与当前标准图像中特征点像素灰度序列的相似度，选取相似度最高的像素点作为视觉坐标，根据图像的清晰度设定置信度权重，基于置信度权重对预测坐标和视觉坐标进行加权融合，得到特征点在下一张标准图像中的位置。

14、进一步地，基于时序神经网络建立流变预测模型包括以下步骤：

15、将各个加热分区的加热参数组合为参数序列，按照不同的时间滑动窗口对参数序列进行卷积，以提取不同时间尺度下的热累积特征序列，以时序神经网络在当前时间步的隐藏层状态作为查询向量，以热累积特征序列作为键向量，通过计算查询向量与键向量之间的相似度，生成表征历史各个时间步对当前流变状态影响程度的注意力得分分布；

16、利用注意力得分分布对热累积特征序列进行加权求和，获得热响应上下文向量，将热响应上下文向量与产品材料属性进行拼接，构建增强特征向量，将增强特征向量输入至时序神经网络的循环单元中，以获得缝隙宽度变化的趋势序列。

17、进一步地，将实际趋势序列划分为多个流动区间，对流动区间进行分析以确定异常的加热分区和加热参数的所述调整方向包括以下步骤：

18、构建标准工艺序列库，标准工艺序列库包括不同材料属性理想流变过程的标准趋势序列，基于数据形态将标准趋势序列划分为多个流动区间，同时确定标准趋势序列中每个序列点的允许波动范围，基于允许波动范围将标准趋势序列转换为标准趋势范围；

19、将实际趋势序列中超出标准趋势范围的部分识别为异常流动区间，提取异常流动区间所在的流动区间和统计特征，并将材料属性、流动区间和统计特征组合为异常签名，在预设的知识库中检索与异常签名相匹配的历史调整记录，基于匹配的历史调整记录确定导致异常的加热分区和加热参数的所述调整方向。

20、进一步地，基于匹配的历史调整记录确定导致异常的加热分区和加热参数的所述调整方向包括以下步骤：

21、统计与当前实际趋势序列异常签名相匹配的历史调整记录中，由各个加热分区引起的频率比率和所述调整方向的频率比率，将频率比率最高的加热分区和所述调整方向作为匹配结果输出。

22、进一步地，基于所述调整方向对异常加热分区的加热参数进行扰动包括以下步骤：

23、基于所述调整方向对异常加热分区施加主扰动，同时，基于设备热力学串扰模型，对与异常加热分区邻接的加热分区施加幅度随距离衰减的次扰动，以生成模拟加热参数，将模拟加热参数作为优化目标，通过迭代搜索，寻找一组使流变预测模型输出的预测趋势序列与实际趋势序列之间差异最小化的模拟加热参数，并根据模拟加热参数与当前加热参数的差异确定调整量。

24、进一步地，迭代搜索包括以下步骤：

25、定义用于衡量预测趋势序列与实际趋势序列之间差异度的成本函数，以模拟加热参数为优化变量，以初始的模拟加热参数为搜索起点，采用粒子群算法迭代求解能使成本函数最小化的模拟加热参数。

26、本发明还提供了一种基于多模态数据融合的制造过程智能优化系统，该系统用于实现上述所述的方法，该系统包括：

27、识别模块，获取生产过程中的红外热成像视频流，将红外热成像视频流拆分为多张图像帧，分析图像帧以获取产品轮廓与模具之间的缝隙宽度，若最后一张图像帧中存在缝隙宽度大于临界阈值，则将每张图像帧测得的缝隙宽度与对应的时间戳进行组合，生成缝隙宽度随时间变化的实际趋势序列；

28、预测模块，基于时序神经网络建立流变预测模型，流变预测模型基于各个加热分区的加热参数和产品的材料属性预测缝隙宽度变化的趋势序列；

29、定位模块，将实际趋势序列划分为多个流动区间，对流动区间进行分析以确定异常的加热分区和加热参数的调整方向；

30、分析模块，基于所述调整方向对异常加热分区的加热参数进行扰动，将扰动后各个加热分区的加热参数和产品的材料属性输入至流变预测模型，以反向定位出造成所述实际趋势序列的目标加热分区，并确定其对应的加热参数调整量，基于调整量对目标加热分区的加热参数进行修正。

31、本发明的有益效果如下：

32、本发明首先获取生产过程中的红外热成像视频流并拆分为多张图像帧，分析图像帧以获取产品轮廓与模具之间的缝隙宽度，并在缝隙宽度超限时生成缝隙宽度随时间变化的实际趋势序列，从而完成了对产品在高温下动态流变过程的实时监控。之后将实际趋势序列划分为多个流动区间进行分析，以确定异常的加热分区和加热参数的调整方向，解决了传统参数修正缺乏针对性，无法区分不同时间段异常导致相同最终缺陷形态的问题。最后，基于确定的调整方向对异常加热分区的参数进行扰动，并将扰动后的参数输入至流变预测模型进行反向定位，以找出导致实际趋势序列的目标加热分区和对应的加热参数调整量，并基于该调整量进行修正，从而完成了对工艺参数的精准优化，解决了现有技术因忽略热力学串扰和动态特征而导致优化效果不佳的问题，提高了制造过程的智能化程度。