基于Dense-CBAM-UNet++双分支融合的霉菌与盐雾缺陷识别方法及系统与流程

本发明涉及材料环境可靠性检测，具体涉及基于dense-cbam-unet++双分支融合的霉菌与盐雾缺陷识别方法及系统。

背景技术：

1、在军用装配环境试验领域，霉菌试验与盐雾腐蚀试验是评定产品耐湿热、抗盐蚀性能的两项关键环境试验项目，多用于舰载装备、丛林服役军工器件、沿海户外通信设备、防腐镀层材料等环境试验。军用装配在沿海、湿热仓储等实际服役环境中，含盐潮气与高温、高湿条件共存，盐雾腐蚀造成涂层针孔、鼓泡破损，并且潮湿环境极易滋生霉菌，二者相互作用，霉菌菌丝会进一步破坏防护层、加速基材腐蚀。因此在产品定型试验、出厂抽检环节，大量试样需先后开展霉菌、盐雾两项环境试验，同一块试件表面常同时附着霉斑与各类腐蚀缺陷。

2、现有试验人员普遍采用人工目视检查搭配传统机器的视觉检测方案，霉菌试验执行gjb 150.10a-2009《军用装配实验室环境试验方法 第10部分：霉菌试验》，霉菌试验按照0～4级分级标准判定试验表面霉菌滋生程度；盐雾腐蚀试验依据gb/t 6461-2002《金属基体上金属和其他无机覆盖层经腐蚀试验后的试样和试件的评级》，采用“保护评级rp+外观评级ra”双维度评定，包含缺陷面积计算、公式rp=3(2-loga)、缺陷类型a~j编码，依靠双指标实现腐蚀程度量化判定。

3、随着军用装备量产规模持续扩大，待测试样批量、持续增加，试样表面会频繁出现霉菌滋生与盐雾腐蚀问题，依靠现有人工目视检查搭配传统机器的检测模式，存在以下技术缺陷：

4、人工目视检测评级主观性强，检测人员依靠个人经验判断霉菌等级、盐雾腐蚀程度，不同检测人员对同一样品会出现评级分歧，评级结果不一，导致检测效率低。并且人工长时间目视检查，极易产生视觉疲劳。在大批量试样检测过程中，需要耗费大量人工成本，并且对检测结果溯源管控难度大。

5、传统机器学习依赖人工设计特征，对微小霉斑、针孔腐蚀、鼓包等不规则小目标缺陷特征提取稳定性差，微小缺陷容易出现漏检误判，难以适配复杂试样成像工况。并且现有机器霉菌、盐雾检测技术相互独立，无法一体化识别。

6、有鉴于此，如何解决上述现有技术存在的不足，便成为本发明所要研究解决的课题。

技术实现思路

1、本发明的目的是提供基于dense-cbam-unet++双分支融合的霉菌与盐雾缺陷识别方法及系统。

2、为达到上述目的，一方面，本发明采用的技术方案是：基于dense-cbam-unet++双分支融合的霉菌与盐雾缺陷识别方法，包括：

3、步骤1、图像采集：通过多维度图像传感器采集试样表面图像，建立原始图像序列；

4、步骤2、图像预处理：对原始图像依次进行尺寸归一化、高斯去噪、白平衡矫正、图像边缘屏蔽处理，得到预处理图像；

5、步骤3、共享编码器特征提取：将预处理图像输入共享编码器，通过所述共享编码器中的denseblock密集连接模块实现强化特征复用，并缓解梯度消失；通过所述共享编码器中的cbam通道和空间注意力模块从通道、空间双维度自适应强化缺陷区域特征，输出多尺度共享特征；

6、步骤4、双分支并行解码推理：将多尺度共享特征分别输入霉菌分类分支和盐雾分割分支，经一次向前推理同步输出两类识别结果；

7、霉菌分类分支：对多尺度共享特征依次经过全局平均池化、全连接层与softmax归一化，得到霉菌生长等级概率分布，并依据gjb 150.10a-2009分级标准映射得到0~4级霉菌评级；

8、盐雾分割分支：采用unet++深度监督分割网络对多尺度共享特征进行语义分割，得到多类腐蚀缺陷的分割结果，输出基体腐蚀区域、鼓泡、点蚀、腐蚀产物、起皮、阳极性/阴极性覆盖层缺陷，并测算腐蚀面积，依据gb/t 6461-2002对应标准换算腐蚀占比，输出试样盐雾腐蚀检测结果；

9、步骤5、标准结果输出：整合霉菌生长等级与盐雾腐蚀评级，生成符合对应标准格式的检测结果。通过内置对应国标、国军标的分级映射标准，将霉菌等级、霉菌描述、盐雾保护评级、盐雾外观评级、盐雾综合评级进行标准化整理。

10、上述方案中，拍摄霉菌/盐雾试样，建立高分辨率原始图像序列，多维度采集完善试样表面缺陷信息，图像拍摄完成后；进行图像预处理，对采集原始图像依次进行尺寸归一化、高斯去噪、白平衡矫正、图像边缘屏蔽，得到预处理图像。

11、将预处理图像输入共享编码器，denseblock密集连接模块，提取霉菌菌落、菌丝、颜色、纹理特征、抑制背景、强化微小霉点，充分留存浅层细微缺陷特征，缓解训练过程中梯度消失问题，提升模型特征提取的效果和训练稳定性；cbam注意力模块通过通道和空间注意力增强，多尺度特征融合，有效降低背景干扰，提高微小缺陷的提取精度。

12、共享编码器输出的共享特征经由双分支解码器分流形成霉菌识别分支和盐雾腐蚀识别分支；霉菌识别分支，将共享特征依次经过全局平均池化、全连接层、softmax处理得到霉菌生长概率，并依据gjb 150.10a-2009分级标准映射得到0~4级霉菌评级，全局平均池化，用于压缩特征维度，减少参数量，提高实际试样图片的识别准确率，全连接层得到对应5类等级的特征匹配分值，经softmax转换为各类别对应的预测概率，选取最大概率对应类别编号，并依据gjb 150.10a-2009分级标准映射得到0~4级霉菌评级，省去人工对照标准，定级标准统一，有效避免依赖人工经验带来的主观偏差，有效降低霉菌分级误差。盐雾腐蚀识别分支，unet++精准分割各类腐蚀缺陷，自动统计腐蚀占比，依据gb/t 6461-2002公式自动核算保护评级和外观评级，替代人工量面积、定级，检测结果更加精准。

13、本方案采用共享编码器和双分支并行检测，一套图像特征可以同时完成霉菌国军标分级和盐雾国标双维度评级，有效降低采集图像、特征提取的次数，检测效率大幅度提升，减少人工目视判定，降低因人为主观导致的检测误差。并且按国标、国军标规则规整缺陷评级数据，自动生成检测报告，省去人工整理数据，编写报告的时长。并且本方案全流程存档，便于后续对原始图像、中间数据以及结果的调取，方便后续核查。

14、进一步的技术方案，所述步骤2的边缘屏蔽处理严格匹配gb/t 6461-2002与gjb150.10a-2009的有效检测区域要求，仅保留试样主要检测表面参与后续识别计算。

15、优选的，步骤2中去除原始图像中挂具痕、接触孔、支架等非有效检测区域痕迹，减少图像内的干扰因素，提高图像后期识别准确性。

16、进一步的技术方案，所述步骤4的盐雾分割分支中，面积占比计算与保护评级rp的具体规则为：

17、统计腐蚀缺陷像素占试样有效检测区域总像素的百分比，记为腐蚀面积占比a；

18、若a=0，则保护评级rp=10；

19、若a>0，则按照公式rp=3(2-loga)计算，对计算结果取整后限定在0~10级区间内，得到保护评级rp。

20、进一步的技术方案，所述步骤4的盐雾分割分支中，外观评级ra由面积等级、严重程度标识与缺陷类型编码组合构成；

21、其中缺陷类型编码对应gb/t 6461-2002中的a-j类缺陷，严重程度标识分为非常轻度、轻度、中度、重度四个等级；

22、当存在多类缺陷时，对应输出多组外观评级组合。

23、进一步的技术方案，所述共享编码器中，每一级下采样层后串联一个denseblock密集连接模块，每个denseblock的输出端接入一个cbam注意力模块；所述denseblock通过跨层密集连接实现浅层纹理特征与深层语义特征的复用传递，所述cbam注意力模块依次通过通道注意力子模块与空间注意力子模块完成特征权重校准。

24、进一步的技术方案，所述方法还包括模型预训练步骤，具体为：

25、构建样本数据集，其中霉菌样本依据gjb 150.10a-2009标注0~4级生长等级，盐雾样本依据gb/t 6461-2002标注缺陷区域、缺陷类型与面积占比；

26、对样本数据集进行旋转、翻转、高斯噪声、明暗变换、模糊的数据增强处理；

27、采用多任务联合损失函数训练网络，其中霉菌分类分支采用交叉熵损失，盐雾分割分支采用dice损失、交叉熵损失与面积回归损失的组合损失；

28、训练完成后通过通道剪枝与知识蒸馏进行模型轻量化处理。

29、进一步的技术方案，训练采用adamw优化器，初始学习率设置为1e-4；模型评价指标包括map@0.5、等级准确率与面积计算误差，其中面积计算误差控制在±0.05%以内。

30、其中，采用优化器adamw配合学习率1e-4优化网络；训练完成后通过通道剪枝和知识蒸馏对模型轻量化处理以适配嵌入式部署；采用map@0.5、等级准确率、面积误差控制在±0.05%作为模型评价指标。

31、进一步的技术方案，所述方法还包括生成检测报告和数据存储与回溯；

32、将步骤5输出数据自动生成试样检测报告；

33、将原始图像、预处理图像、特征数据、评级结果及检测报告统一存储，支持后续数据回溯调取。

34、另一方面，本发明采用的技术方案是：基于dense-cbam-unet++双分支融合的霉菌与盐雾缺陷识别系统，包括图像采集模块、预处理模块、共享特征提取模块、双分支并行解码模块、标准结果输出模块和报告存储回溯模块；

35、所述图像采集模块，用于通过多维度图像传感器采集试样图像，建立原始图像序列；

36、所述预处理模块与所述图像采集模块连接，用于对原始图像依次进行尺寸归一化、高斯去噪、白平衡矫正、边缘屏蔽处理，输出预处理图像；

37、所述共享特征提取模块与所述预处理模块连接，内置共享编码器，用于接收预处理图像并提取多尺度共享特征，所述共享编码器内设有denseblock密集连接模块和cbam通道-空间联合注意力模块，denseblock密集连接模块实现多层特征复用并缓解梯度消失，cbam通道-空间联合注意力模块从通道维度与空间维度自适应强化缺陷区域特征；

38、所述双分支并行解码模块包括霉菌分类分支单元和盐雾分割分支单元，所述霉菌分类分支单元和所述盐雾分割分支单元分别与所述共享特征提取模块连接，能够基于多尺度共享特征输入双分支解码器推理同步输出两类识别结果；

39、所述标准结果输出模块分别与所述霉菌分类分支单元、所述盐雾分割分支单元连接，用于整合霉菌生长等级与盐雾腐蚀评级，生成符合对应标准格式的检测结果；

40、所述报告存储回溯模块与所述标准结果输出模块连接，用于自动生成试样检测报告，统一存储原始图像、预处理图像、特征数据、评级结果及检测报告，并支持检测数据调取回溯。

41、进一步的技术方案，所述共享编码器内每一级下采样层后串联一个denseblock密集连接模块，每组denseblock密集连接模块的输出端配置cbam注意力模块；所述denseblock密集连接模块依靠跨层密集连接实现浅层纹理特征与深层语义特征的复用传递，所述cbam注意力模块依次通过通道注意力子模块与空间注意力子模块完成特征权重校准。

42、进一步的技术方案，所述霉菌分类分支单元配置全局平均池化单元、全连接层单元和softmax归一化单元；所述全局平均池化单元、全连接层单元对多尺度共享特征进行特征映射，经softmax归一化单元输出各霉菌生长等级对应的概率分布，并依据gjb 150.10a-2009分级规则输出0~4级霉菌评级。

43、进一步的技术方案，所述盐雾分割分支单元配置unet++深度监督分割网络，用于对所述共享特征提取模块输出的多尺度共享特征做语义分割得到腐蚀缺陷分割结果；

44、所述盐雾分割分支单元还配置有腐蚀评级计算单元和外观评级单元，所述腐蚀评级计算单元用于统计腐蚀缺陷像素占试样有效检测区域总像素的百分比，得到腐蚀面积占比a；

45、若a=0，则保护评级rp=10；

46、若a>0，则按照公式rp=3(2-loga)计算，对计算结果取整后限定在0~10级区间内，得到保护评级rp。

47、所述外观评级单元用于组合面积等级、严重程度标识、缺陷类型编码生成外观评级ra，缺陷类型编码对应gb/t 6461-2002规定的a-j类缺陷，严重程度标识分为非常轻度、轻度、中度、重度四个等级；若存在多类缺陷时，对应输出多组外观评级组合。

48、进一步的技术方案，所述系统还包括模型训练模块，所述模型训练模块包括样本标注子单元、数据增强子单元、多任务损失训练子单元和模型轻量化子单元；

49、所述样本标注子单元用于构建样本数据集，霉菌样本依据gjb 150.10a-2009标注0~4级生长等级，盐雾样本依据gb/t 6461-2002标注缺陷区域、缺陷类型与面积占比；

50、所述数据增强子单元用于对样本数据集进行旋转、翻转、高斯噪声、明暗变换、模糊的数据增强处理；

51、所述多任务损失训练子单元采用多任务联合损失函数训练网络，其中霉菌分类分支采用交叉熵损失，盐雾分割分支采用dice损失、交叉熵损失与面积回归损失的组合损失；

52、所述模型轻量化子单元用于训练完成后通过通道剪枝与知识蒸馏进行模型轻量化处理。

53、由于上述方案的运用，本技术技术方案与现有技术相比具有以下优点和效果：

54、本发明通过dense-cbam-unet++架构，通过密集连接denseblock强化特征复用、cbam注意力聚焦缺陷区域、unet++深度监督提升分割精度，构建共享编码器和双分支解码器结构，一次推理同时实现霉菌等级评定（gjb 150.10a-2009）与盐雾腐蚀评级（gb/t6461-2002）。算法内置国家标准评级公式与边缘屏蔽规则，可直接输出标准格式结果。

55、有效降低图像采集次数，降低重复提取特征次数，提高检测效率，全流程自动化，减少人工目视判定带来的人工主观误差，提高检测结果稳定性和准确度。

56、denseblock密集连接模块强化特征复用，实现多层缺陷特征复用，缓解深层网络梯度消失问题，有利于微小霉斑、细微点蚀特征留存。cbam通道注意力和空间双注意力自动聚焦缺陷位置，弱化无用背景干扰，提升缺陷特征的提取精度，一套特征供给两个检测峰值，有效避免重复提取特征，节约算力。

57、双分支并行，按照国标、国军标规则规整缺陷评级数据，自动生成检测报告，省去人工整理数据，编写报告的时长。并且本方案全流程存档，便于后续对原始图像、中间数据以及结果的调取，方便后续数据核查。