一种基于多模态融合的激光定向能量沉积熔池孔隙率预测方法

本发明涉及一种基于多模态融合的激光定向能量沉积熔池孔隙率预测方法，尤其涉及一种基于多传感器信号采集、特征级前融合与决策级后融合相结合的熔池孔隙率等级预测方法，用于在激光定向能量沉积加工过程中实时预测熔池区域的孔隙率等级，属于激光增材制造原位监测领域。

背景技术：

1、激光定向能量沉积（laser directed energy deposition, l-ded）是一种利用高能激光束熔化金属粉末或丝材并逐层沉积形成零部件的先进增材制造技术，广泛应用于航空航天、模具修复、大型金属构件再制造等领域。在l-ded过程中，熔池是材料熔化、流动、凝固和成形质量演变的核心区域，其几何形貌、温度场分布及动态演变特征与未熔合、气孔、裂纹等内部冶金缺陷密切相关。其中，孔隙是最常见的内部缺陷之一，会显著降低构件的致密度、力学性能和疲劳寿命。因此，对熔池区域的孔隙率进行原位、实时预测，是实现l-ded过程质量控制与工艺优化的关键基础。

2、现有孔隙率检测方法通常采用阿基米德法、超声波回波、金相横切面或x射线断层扫描等手段，这些方法均需在构件制造完成后才能进行检测，无法满足工业生产中的实时检测需求。而熔池图像包含丰富的冶金信息，熔池形态的变化能够反映孔隙、气孔、裂纹等缺陷的演变规律，因此研究人员开始探索基于熔池在线图像信号的孔隙率预测方法。有研究利用ct扫描仪对成型构件进行离线孔隙无损检测并按面积将孔隙分为小、中、大三档标注到各层熔池图像上，实现熔池图像到内部孔隙状态的实时预测。然而在预测过程中，仅依赖单一光学图像模态，未融合温度场等其他模态信号，无法捕捉熔池热物理状态的全貌，对能量密度异常引起的孔隙预测鲁棒性有限，因此，采集多个包括但不限于图像的熔池模态、基于多模态融合感知成为有效预测孔隙率的热门方法。现有方法通过黑白ccd与红外热像仪采集熔池图像与焊件侧壁温度场，分别用unet提取熔池几何特征、用改进梯度方向直方图提取侧壁温度场分布特征，将两路特征级向量拼接为11维融合特征后送入bp神经网络，输出熔覆层偏移程度。然而这种单一的特征级向量拼接，缺乏决策级融合机制，难以处理多源分类器之间的冲突与不确定性，鲁棒性受限。

3、综上所述，现有技术仍需要一种能够融合图像与温度多模态信号、在特征级融合之上引入决策级融合以处理多模型预测冲突、并兼顾轻量化部署与预测精度的l-ded熔池孔隙率预测方法。

技术实现思路

1、针对现有技术中单一模态感知鲁棒性不足、特征级融合难以处理多源预测冲突、决策级融合缺失以及模型部署效率低的问题，本发明提供一种基于多模态融合的激光定向能量沉积熔池孔隙率预测方法。该方法以工业相机与红外测温仪同步采集熔池图像信号与温度信号，经特征提取后由自适应粒子群优化后的k近邻模型输出特征级预测结果；同时由轻量化图像分类模型对熔池图像独立分类输出图像模态预测结果；再基于改进dempster-shafer证据理论，由两路预测结果计算冲突系数，按冲突程度自适应选择融合策略进行决策级后融合，输出最终孔隙率等级。本发明通过特征级前融合与决策级后融合的多级融合架构，综合多模态多模型信息，纠正单一模型偏差，提升孔隙率预测的鲁棒性与可信度。

2、为实现上述目的，本发明提出一种基于多模态融合的激光定向能量沉积熔池孔隙率预测方法，具体如下：

3、1. 一种基于多模态融合的激光定向能量沉积熔池孔隙率预测方法，其中，包括以下步骤：

4、s11：在激光定向能量沉积过程中，同步采集熔池图像信号与熔池温度信号，并建立所述熔池图像信号、熔池温度信号与时间窗口区域的孔隙率之间的时空映射关系；

5、s12：对所述熔池图像信号和熔池温度信号进行特征提取，得到多源熔池特征向量，将所述多源熔池特征向量输入经自适应粒子群优化后的k近邻模型，输出第一路孔隙率等级预测结果；

6、s13：将所述熔池图像信号输入图像分类模型，输出第二路孔隙率等级预测结果，所述图像分类模型以mobilenetv3为骨干网络并引入cbam注意力机制；

7、s14：将所述第一路孔隙率等级预测结果与第二路孔隙率等级预测结果分别构造为基于改进dempster-shafer证据理论的两个证据体的基本概率赋值，计算两证据体之间的冲突系数，按值大小选择对应的融合策略进行决策级后融合，并按信任函数最大值准则输出最终孔隙率等级。

8、2. 根据前述的基于多模态融合的激光定向能量沉积熔池孔隙率预测方法，其中，步骤s11包括以下子步骤：

9、s21：所述熔池图像信号由工业相机采集，所述熔池温度信号由红外测温仪采集；所述工业相机、红外测温仪与激光头同轴安装并随激光头同步移动；

10、s22：以连续时间段对应的空间区域作为时间窗口，所述时间窗口的空间长度等于持续时间乘以扫描速度，空间高度等于连续沉积层数的高度，所述时间窗口的持续时间覆盖熔池从准稳态向凝固转变的过渡期；

11、s23：按照信号采集起始点＝时间窗到加工起始点的距离×传感器频率÷扫描速度的公式将所述时间窗口映射至熔池图像信号和熔池温度信号的采样区间。

12、3. 根据前述的基于多模态融合的激光定向能量沉积熔池孔隙率预测方法，其中，步骤s12包括以下子步骤：

13、s31：对所述熔池图像信号依次进行滤波预处理、基于k-means与otsu结合的阈值分割和边缘检测，提取熔池形貌几何特征，所述熔池形貌几何特征包括面积、长度、宽度、圆度和标准差；

14、s32：对所述熔池温度信号在时间窗口内进行统计计算，提取熔池温度特征，所述熔池温度特征包括最大值、最小值、平均值、方差和标准差；

15、s33：将所述熔池形貌几何特征与熔池温度特征组合构成所述多源熔池特征向量；

16、s34：将所述多源熔池特征向量输入经自适应粒子群优化后的k近邻模型，输出所述第一路孔隙率等级预测结果。

17、4. 根据前述的基于多模态融合的激光定向能量沉积熔池孔隙率预测方法，其中，步骤s13包括以下子步骤：

18、s41：所述图像分类模型以mobilenetv3-small替换yolo11n-cls的原始骨干网络；

19、s42：所述mobilenetv3-small由多个bneck倒残差瓶颈块顺序堆叠构成，各所述bneck采用深度可分离卷积与线性瓶颈结构；

20、s43：在所述骨干网络的深层特征输出之后、全局平均池化层与分类层之前插入cbam注意力模块，所述cbam注意力模块依次施加通道注意力与空间注意力对深层特征进行双重加权。

21、5. 根据前述的基于多模态融合的激光定向能量沉积熔池孔隙率预测方法，其中，步骤s14包括以下子步骤：

22、s51：所述图像分类模型输出的softmax三类概率直接作为对应证据体对孔隙率等级集合的基本概率赋值；所述经自适应粒子群优化后的k近邻模型输出的孔隙率等级概率经归一化处理后作为对应证据体的基本概率赋值；

23、s52：计算两证据体之间的冲突系数k；

24、s53：按所述冲突系数k的大小选择对应的融合策略进行决策级后融合，并按信任函数最大值准则输出最终孔隙率等级。

25、6. 根据前述的基于多模态融合的激光定向能量沉积熔池孔隙率预测方法，其中，步骤s31中，所述基于k-means与otsu结合的阈值分割为先对熔池图像进行k-means聚类粗分，再对聚类结果使用otsu自动阈值细分；所述边缘检测采用双阈值canny边缘检测算法，并以形心法确定熔池质心，所述标准差基于质心到熔池轮廓边缘的距离计算。

26、7. 根据前述的基于多模态融合的激光定向能量沉积熔池孔隙率预测方法，其中，步骤s34中，所述自适应粒子群优化的自适应改进为惯性权重的线性递减策略，惯性权重按以下方式更新：

27、

28、其中为最大惯性权重，为最小惯性权重，为当前迭代次数，为最大迭代次数；所述自适应粒子群优化对k近邻模型的近邻数、距离度量参数和投票加权策略进行联合编码优化。

29、8. 根据前述的基于多模态融合的激光定向能量沉积熔池孔隙率预测方法，其中，步骤s52和s53中，所述冲突系数k按以下方式计算：

30、

31、其中、分别为两个证据体的基本概率赋值，、为识别框架的子集。

32、所述识别框架为孔隙率等级集合，包括轻度、中度、严重三个等级；按值大小选择对应的融合策略，包括：

33、当时，采用标准dempster合成规则对两证据体进行融合；

34、当时，根据图像分类模型与自适应粒子群优化后的k近邻模型各自的历史准确率对两证据体施加折扣权重后进行加权融合；

35、当时，对证据施加折扣因子0.7以增加不确定性分配，将剩余的基本概率赋值归给识别框架整体，输出保守决策结果并触发人工审查。

36、9. 根据前述的基于多模态融合的激光定向能量沉积熔池孔隙率预测方法，其中，所述孔隙率等级按孔隙率数值划分为轻度、中度、严重三类，且各类样本数量大致相等；针对不同的时间窗口持续时间设置不同的分级阈值。

37、本发明与现有技术相比的优点在于：

38、（1）本发明采用工业相机与红外测温仪多模态同步采集熔池图像与温度信号，相对于单一光学图像感知，有效捕捉熔池热物理状态的全貌，提升对能量密度异常引起孔隙的预测鲁棒性。

39、（2）本发明构建特征级前融合与决策级后融合相结合的多级融合架构，其中特征级由自适应粒子群优化后的k近邻模型融合多源特征输出预测，决策级由改进dempster-shafer证据理论融合两路模型预测输出最终结果。相对于单一特征级融合，决策级后融合能够处理多模型预测冲突，纠正单一模型偏差，提升预测可信度。

40、（3）本发明图像分类模型以mobilenetv3-small作为骨干网络并引入cbam注意力机制，在保证分类精度的同时显著降低参数量与计算复杂度，适用于工业现场高帧率实时部署。