一种面向工业车间复杂场景的实时语义分割方法及装置与流程
本发明涉及图像语义分割技术,具体的说,涉及了一种面向工业车间复杂场景的实时语义分割方法及装置。
背景技术:
1、随着计算机视觉、深度学习与人工智能技术快速迭代,工业车间智能化升级已成为智能制造领域的核心发展方向,具备极高工程应用价值。环境感知是车间智能管控体系的基础支撑环节,直接服务于设备自主调控、厂区智能安防、移动机器人自主导航等核心业务场景;而语义分割算法作为环境感知任务的重要手段,是实现车间场景像素级目标识别与区域划分的关键技术。
2、在实时语义分割领域,2018 年 yu 等人提出双分支分割网络 bisenet。该网络由空间路径(spatial path,sp)与上下文路径(context path,cp)并行构成:空间路径侧重提取图像浅层精细特征,弥补深度卷积网络下采样过程中空间细节丢失的缺陷;上下文路径通过多尺度下采样扩大网络有效感受野,二者协同作用,在提升语义分割精度的同时维持较低推理开销。作为 bisenet 的迭代优化方案,bisenetv2 进一步平衡模型推理速度与分割精度,网络架构分为细节分支与语义分支,增设引导聚合层完成两类分支特征融合;同时配套增强训练策略,语义分支采用快速下采样策略强化高层语义表征、快速拓展感受野,成为实时工业视觉任务的主流基准网络。
3、但将 bisenetv2 直接落地于真实工业车间场景时,复杂工况会对其分割性能形成显著制约。一方面,车间地面标线呈细长条状,通行标线、功能分区边界长期经受物料转运、机械碾压、车辆轮胎摩擦,普遍存在线条断裂、局部磨损乃至大面积拓扑缺损问题;另一方面,场景内不可避免存在切削油污反光、大型设备投影遮挡、金属碎屑干扰、强光直射炫光等复杂光学干扰。上述线条残缺、恶劣光照、杂糅噪声叠加的多重复杂工况,大幅降低bisenetv2 对车间地面的语义分割识别稳定性,难以适配工业车间真实复杂环境的高精度感知需求。
4、为了解决以上存在的问题,人们一直在寻求一种理想的技术解决方案。
技术实现思路
1、本发明的目的是针对现有技术的不足,从而提供一种面向工业车间复杂场景,提高地面语义分割准确性和精度的实时语义分割方法及装置。
2、为了实现上述目的,本发明所采用的技术方案是:
3、第一方面,提供一种面向工业车间复杂场景的实时语义分割方法,包括:
4、s1:图像数据集构建:采集工业车间复杂场景下的地面图像,构建目标图像集;对目标图像集中的地面图像进行像素级标签标注,将完成标注的目标图像集按照预设比例划分为训练集与测试集;
5、s2:实时语义分割网络模型构建:实时语义分割网络模型包括依次级联的双流骨干网络、条带几何特征交互模块和分割解码头;
6、双流骨干网络包括并行设置的空间分支与语义分支,空间分支用于保留输入地面图像的浅层空间信息,语义分支用于提取输入地面图像的深层语义信息;
7、条带几何特征交互模块的特征处理流程包括:基于语义分支输出的语义特征,对空间分支输出的空间特征进行逐元素加权校正,得到降噪后的空间特征;再对降噪后的空间特征执行条带池化操作,得到强化车间地面条形特征及分割边界轮廓的高级融合特征;
8、分割解码头以高级融合特征作为输入特征,对输入地面图像生成逐像素类别预测结果;
9、s3:模型训练与验证:采用训练集对构建的实时语义分割网络模型进行迭代训练,通过测试集对训练完成的模型性能进行验证评估,得到收敛的预训练实时语义分割网络模型;
10、s4:实时语义分割推理:实时采集工业车间地面图像,将实时图像输入预训练实时语义分割网络模型,以对工业车间复杂场景地面图像进行实时语义分割。
11、针对性适配工业车间复杂场景,采用双流骨干网络分工提取特征,实现浅层空间信息与深层语义信息的解耦提取;增设条带几何特征交互模块,基于语义特征加权降噪优化空间特征质量,再通过条带池化强化工业车间地面典型条形特征与分割边界,精准适配车间地面呈细长条状的标线,提升复杂工业场景下的分割边界清晰度。
12、在一个优选技术方案中,所述降噪后的空间特征的计算方法,包括:
13、对所述语义特征依次执行上采样和卷积运算,得到与所述空间特征通道对齐的对齐语义特征;
14、将对齐语义特征执行卷积运算与sigmoid激活函数运算,生成空间特征门控矩阵,计算表达式为:;
15、将所述空间特征与空间特征门控矩阵进行逐元素相乘运算,得到降噪后的空间特征,计算表达式为:。
16、将对齐语义特征执行卷积运算与sigmoid激活函数运算后,生成的空间特征门控矩阵可自适应对工业车间图像中的油污、反光等噪声特征进行权重抑制,对有效地面空间细节特征进行权重增强,实现精细化降噪。采用逐元素加权的方式,保留有效空间细节的同时剔除冗余噪声,可有效适配工业实时检测场景。
17、在一个优选技术方案中,所述对降噪后的空间特征执行条带池化操作的方法,包括:
18、将对齐语义特征与降噪后的空间特征在通道维度进行拼接融合,得到基础融合特征,计算表达式为:;
19、对基础融合特征分别执行水平条带池化与垂直条带池化,对两种条带池化的输出结果进行特征融合后,再依次执行卷积运算与sigmoid激活函数运算,生成条带几何注意力矩阵,计算表达式为:;
20、其中,为水平条带池化后的输出结果,为垂直条带池化后的输出结果;为张量维度扩展操作;
21、再将所述基础融合特征与所述条带几何注意力矩阵进行逐元素相乘运算,得到聚焦条形特征的高级融合特征。
22、从通道维度拼接融合双分支特征,提升基础融合特征的表征能力;采用水平、垂直双向条带池化组合方式,针对性捕捉工业车间地面轨道、标线等典型条形几何特征,解决传统池化方式仅能提取全局特征、局部条状细节特征提取不足的问题。基于融合的水平条带池化与垂直条带池化的输出结果,生成条带几何注意力矩阵,以实现对工业车间地面条形几何特征的自适应强化,自动增强关键目标区域特征权重、弱化背景干扰区域权重,显著提升复杂车间场景下目标特征的辨识度。
23、在一个优选技术方案中,所述条带几何特征交互模块的特征处理流程还包括:
24、将所述对齐语义特征与所述高级融合特征进行残差连接融合,得到输入地面图像的最终融合特征,计算表达式为:。
25、通过条带几何注意力矩阵与基础融合特征的逐元素加权,强化工业车间地面核心条形几何特征,抑制无关背景干扰,进一步提升模型对车间地面关键缺陷、结构区域的聚焦能力。引入残差连接融合机制,复用对齐语义特征,实现对齐语义特征和高级融合特征的高效融合。最终融合特征同时具备语义属性、空间细节和强化的几何特征,特征表征维度更全面。
26、在一个优选技术方案中,所述对输入地面图像生成逐像素类别预测结果的方法,包括:将所述最终融合特征作为所述分割解码头的输入,分割解码头依次执行卷积运算、上采样和softmax分类运算,输出最终的语义分割掩膜。
27、通过分割解码头,实现特征维度降维与图像尺寸还原,输出像素级精准的分割掩膜,匹配工业车间地面精细化分割的需求。卷积、上采样和softmax的组合结构,可精准完成像素级类别判定,同时保证输出分割图像与原图尺寸一致,避免尺寸失真、像素错位问题,提升分割结果的可视化与实用性。
28、在一个优选技术方案中,所述语义分支包括依次级联的1个基础卷积模块与4个深度可分离卷积模块;
29、深度可分离卷积模块包括依次级联的逐通道卷积层、逐点卷积层、bn层和relu激活层;
30、基础卷积模块包括依次级联的卷积层、bn层和relu激活层。
31、语义分支采用基础卷积模块搭配多级深度可分离卷积模块的组合结构,相较于传统标准卷积,大幅降低网络参数量与计算量,提升特征提取速度,适配实时分割需求。
32、在一个优选技术方案中,所述空间分支包括依次级联的3个所述基础卷积模块。
33、空间分支采用多级基础卷积模块,逐层递进提取细节特征,可完整保留工业车间地面的边缘轮廓、纹理细节、缺陷边界等关键空间信息,避免浅层细节丢失导致的分割边缘模糊问题。
34、在一个优选技术方案中,所述采用训练集对构建的实时语义分割网络模型进行迭代训练的方法,包括:
35、采用总损失函数对实时语义分割网络模型进行迭代训练,所述总损失函数包括动态门控加权交叉熵损失函数和常规的语义分割损失函数,计算表达式为:
36、;
37、;
38、;
39、其中,为总损失函数,为动态门控加权交叉熵损失函数,为常规的语义分割损失函数;为原始输入图像尺寸;为像素点的空间索引;为目标类别数;为目标类别索引;真实标签概率值;为网络预测的概率值;为损失函数的权重系数,为空间索引为i的像素点对应的空间特征门控矩阵的值。
40、采用动态门控加权交叉熵损失函数和常规的语义分割损失函数构成的总损失函数,动态门控加权交叉熵损失函数将空间特征门控矩阵以逐像素点乘的形式作为梯度因子注入优化函数,增加了噪声自适应过滤的功能。
41、第二方面,提供一种面向工业车间复杂场景的实时语义分割装置,包括:
42、图像数据采集模块,采集工业车间复杂场景下的地面图像,构建目标图像集;对目标图像集中的地面图像进行像素级标签标注,将完成标注的目标图像集按照预设比例划分为训练集与测试集;
43、实时语义分割网络模型构建模块,实时语义分割网络模型包括依次级联的双流骨干网络、条带几何特征交互模块和分割解码头;
44、双流骨干网络包括并行设置的空间分支与语义分支,空间分支用于保留输入地面图像的浅层空间信息,语义分支用于提取输入地面图像的深层语义信息;
45、条带几何特征交互模块的特征处理流程包括:基于语义分支输出的语义特征,对空间分支输出的空间特征进行逐元素加权校正,得到降噪后的空间特征;再对降噪后的空间特征执行条带池化操作,得到强化车间地面条形特征及分割边界轮廓的高级融合特征;
46、分割解码头以高级融合特征作为输入特征,对输入地面图像生成逐像素类别预测结果;
47、模型训练与验证模块,采用训练集对构建的实时语义分割网络模型进行迭代训练,通过测试集对训练完成的模型性能进行验证评估,得到收敛的预训练实时语义分割网络模型;
48、实时语义分割推理模块,实时采集工业车间地面图像,将实时图像输入预训练实时语义分割网络模型,以对工业车间复杂场景地面图像进行实时语义分割。
49、第三方面,提供一种电子设备,其特征在于,包括:
50、存储器,用于存储计算机软件程序;
51、处理器,用于读取并执行所述计算机软件程序,进而实现第一方面任一项所述的一种面向工业车间复杂场景的实时语义分割方法。
52、本发明相对现有技术具有突出的实质性特点和显著的进步,具体的说:
53、(1)本发明针对工业车间地面标线细长、磨损断裂、拓扑缺损的特点,设计条带几何特征交互模块,通过水平条带池化和垂直条带池化的双向条带池化强化长条状地面标线几何特征,有效提升断裂、残缺条形目标的特征提取能力,改善残缺标线漏分割、边界分割失真问题,提升车间条形结构目标分割完整性。
54、(2)本发明针对车间油污反光、设备阴影、炫光、金属碎屑带来的光学噪声干扰,在条带几何特征交互模块中利用语义特征生成空间特征门控矩阵实现自适应空间特征降噪,抑制光照、杂物引入的无效噪声特征,增强复杂光学干扰下分割结果的稳定性,提升模型在恶劣工况下的感知精度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com