多模态融合工业灌装场景多尺度目标检测方法、装置及存储介质与流程

本技术涉及工业视觉检测，特别是涉及一种多模态融合工业灌装场景多尺度目标检测方法、装置及存储介质。

背景技术：

1、随着工业自动化和智能制造技术的发展，基于机器视觉的目标检测技术已广泛应用于产品表面质量检测任务中。与通用场景相比，工业灌装场景中的检测目标，例如滴液、二维码、掉漆、划痕、脏污、喷溅等，通常具有尺度小、差异大、形态不规则、纹理特征较弱的特点；同时，生产环境中还存在光照变化、金属反光以及背景干扰的问题，容易造成目标特征表达不足，导致漏检、误检和定位不准确。

2、现有工业场景目标检测多采用传统机器视觉方法或基于单一视觉信息的深度学习检测方案。传统机器视觉方法通常需要针对不同目标手工设计特征和阈值，适应性较差，当生产环境中存在光照变化、金属反光、背景纹理干扰或目标形态变化时，容易出现漏检和误检；基于深度学习的目标检测方法虽然能够自动提取图像特征，但在工业场景中面对小尺度目标、弱纹理目标和边缘区域目标时，仍存在特征表达不足和定位不准确的问题。工业灌装场景中目标尺度变化大、形态不规则，现有算法存在视觉特征与文本语义交互不足的问题，导致小尺度及边缘目标易出现漏检。近年来，基于视觉-语言融合的多模态目标检测算法在通用目标检测任务中取得了一定进展，但直接应用于灌装桶桶面缺陷检测场景时仍存在以下问题：工业场景中目标尺度变化大，滴液、划痕、脏污等目标通常面积较小、边缘不清晰，且极其相似，容易发生误检、漏检；桶面存在金属反光、阴影和复杂背景纹理，弱纹理目标容易与背景干扰区域混淆，导致误检或定位不准确；现有多模态检测模型对文本语义信息利用不足，查询表示、视觉特征与文本语义之间的融合方式不够灵活，难以根据不同图像内容自适应调整检测过程。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种多模态融合工业灌装场景多尺度目标检测方法、装置及存储介质，以解决现有目标检测方法在面向工业灌装场景中尺度小、差异大、形态不规则、纹理特征较弱的检测目标时，因生产环境中存在光照变化、金属反光及背景干扰等问题，导致目标特征表达不足，进而引发漏检、误检及定位不准确的技术问题。其具体方案如下：

2、第一方面，本发明提供一种多模态融合工业灌装场景多尺度目标检测方法，所述方法包括：

3、s10，构建多尺度目标检测模型，所述多尺度目标检测模型包括图像编码器、文本编码器、层级特征增强模块、编码器、语言感知查询选择模块、查询融合模块、语言感知解码器、匹配模块、分类头和边界框回归头；

4、s20，获取包装容器图像；

5、s30，构建目标类别文本信息，将目标类别名称作为文本提示输入所述多尺度目标检测模型，为目标检测提供语义信息；

6、s40，将获取的包装容器图像输入到所述多尺度目标检测模型进行目标检测，所述图像编码器对输入的包装容器图像进行特征提取，得到多尺度视觉特征f；所述层级特征增强模块对多尺度视觉特征f进行全局上下文建模与局部空间特征增强，随后经过展平操作，得到增强后的视觉特征，并将增强后的视觉特征输入到所述编码器中，得到编码后的视觉特征；与此同时，所述文本编码器对描述识别目标类别文本信息进行编码，得到代表各类别名称的文本嵌入et，接着对文本嵌入et进行全局池化操作，得到用于表征当前检测任务中所有类别的全局文本嵌入eg；再将编码后的视觉特征ei与全局文本嵌入eg共同输入所述语言感知查询选择模块，从编码后的视觉特征ei中筛选与文本语义相关的候选目标特征esel；所述查询融合模块将候选目标特征esel与初始可学习查询表示进行融合，生成融合后查询表示；融合后查询表示经过所述语言感知解码器逐层更新，得到增强查询表示；最后，通过所述匹配模块完成预测结果与真实目标的对应，并由所述分类头与所述边界框回归头输出目标类别与位置信息等检测结果。

7、进一步地，在所述步骤s40中，所述层级特征增强模块首先将多尺度视觉特征f沿通道维度分为g组，接着对每个子特征进行双分支建模；在局部分支中，先通过3×3卷积提取子特征的局部空间信息，用于增强目标的局部结构信息，得到局部分支特征，接着对局部分支特征进行softmax操作，得到空间注意力权重表示，同时，对局部分支特征进行平均池化操作，得到空间描述向量；在全局分支中，通过沿高度和宽度方向的平均池化操作分别提取子特征在不同方向上的全局信息和位置信息，增强模型对空间上下文关系的建模能力，得到在高度方向上的平均池化结果和在宽度方向上的平均池化结果，随后通过拼接和卷积操作进行特征融合，得到全局特征表示；接着将全局特征表示按照高度和宽度两个方向拆分，得到高度方向特征与宽度方向特征，再通过sigmoid激活函数生成高度方向注意力权重和宽度方向注意力权重，将高度方向注意力权重和宽度方向注意力权重与子特征进行逐元素相乘，实现对输入特征在不同空间方向上的自适应重标定，得到全局分支增强特征，对全局分支增强特征进行softmax操作和平均池化操作，得到空间注意力权重表示和空间描述向量；通过矩阵乘法建立局部分支与全局分支之间的交互关系，得到由全局分支特征引导局部分支得到的空间交互权重，以及由局部分支特征引导全局分支得到的空间交互权重，将由全局分支特征引导局部分支得到的空间交互权重和由局部分支特征引导全局分支得到的空间交互权重进行融合，再通过sigmoid激活函数生成最终空间注意力权重，接着利用最终空间注意力权重对子特征进行逐元素重标定，得到增强后的特征表示，最后，将各组增强后的特征表示进行拼接，得到增强后的视觉特征。

8、进一步地，在所述步骤s10中，构建的所述多尺度目标检测模型还包括语言条件的查询初始化模块，所述语言条件的查询初始化模块位于所述查询融合模块之前；在所述步骤s40中，将全局文本嵌入eg输入所述语言条件的查询初始化模块，对初始可学习查询表示进行调制，生成语言引导的查询表示，使查询表示在进入所述语言感知解码器前具备与当前检测类别相关的语义先验；然后，所述查询融合模块将候选目标特征esel与语言引导的查询表示进行融合，生成融合后查询表示。

9、进一步地，所述语言条件的查询初始化模块首先将全局文本嵌入作为输入，通过多层感知机进行映射，得到语言查询偏移量，再将语言查询偏移量和初始可学习查询表示进行融合，在保留初始可学习查询表示表示的基础上引入语义补偿，得到语言引导的查询表示。

10、进一步地于，在所述步骤s10中，构建的所述多尺度目标检测模型中，所述语言感知解码器中设置有查询与特征自适应融合模块，所述查询与特征自适应融合模块包括静态门控注意力分支与动态残差补偿分支，通过聚合方式实现多源信息融合；在所述步骤s40中，所述查询与特征自适应融合模块将作为所述语言感知解码器输入的融合后查询表示、候选目标特征及其全局上下文向量进行联合建模，并通过残差方式对融合后查询表示进行增强，得到增强后的查询表示。

11、进一步地，在所述查询与特征自适应融合模块的静态门控注意力分支中，将融合后查询表示和候选目标特征输入到多头注意力中，建立查询表示与目标区域之间的关联关系，为了控制融合强度，引入全局可学习门控参数，对注意力输出进行调制，得到静态融合特征；在所述查询与特征自适应融合模块的动态残差补偿分支中，首先对候选目标特征进行全局平均池化操作，得到用于刻画图像的整体语义信息的上下文向量，随后，将上下文向量与融合后查询表示进行拼接，形成上下文引导的查询表示，在此基础上，通过上下文引导的补偿生成动态补偿项，同时引入缩放因子β，调节动态补偿项的影响程度，得到动态残差补偿特征；在融合阶段，将融合后查询表示、静态融合特征以及动态残差补偿特征进行聚合，实现多源特征的残差融合，得到最终的增强后的查询表示。

12、第二方面，本发明还提供一种多模态融合工业灌装场景多尺度目标检测装置，所述装置包括：

13、图像采集模块，用于采集包装容器图像；

14、图像与文本输入模块，用于对采集到的包装容器图像进行预处理，使其满足目标检测输入要求；同时构建目标类别文本信息，为目标检测提供语义信息；

15、目标检测模块，用于通过多尺度目标检测模型对采集的包装容器图像进行目标检测，所述目标检测模块包括视觉特征增强模块、文本语义引导模块、多模态候选特征筛选模块和解码检测模块；所述视觉特征增强模块用于通过图像编码器对预处理后的包装容器图像进行多尺度视觉特征提取，随后利用层级特征增强模块对多尺度视觉特征进行全局上下文建模和局部空间特征增强，在经过展平操作，得到增强后的视觉特征，并通过编码器将增强后的视觉特征进行编码，得到编码后的视觉特征；所述文本语义引导模块用于通过文本编码器对描述识别目标类别文本信息进行编码，得到代表各类别名称的文本嵌入，并通过全局池化生成用于表征当前检测任务中所有类别的全局文本嵌入；所述多模态候选特征筛选模块用于通过语言感知查询选择模块从视觉特征中筛选与目标类别相关的候选目标特征，得到候选目标特征，提供准确的目标候选信息；所述解码检测模块用于通过查询融合模块将候选目标特征与初始可学习查询表示进行融合，生成融合后查询表示，再通过语言感知解码器对融合后查询表示进行逐层更新，得到增强查询表示，再通过所述匹配模块完成预测结果与真实目标的对应，并由所述分类头与所述边界框回归头输出目标类别与位置信息等检测结果。

16、进一步地，所述文本语义引导模块还包括语言条件的查询初始化模块，所述语言条件的查询初始化模块位于所述查询融合模块之前；所述语言条件的查询初始化模块用于通过全局文本嵌入对初始可学习查询表示进行调制，生成语言引导的查询表示，使查询表示在进入解码器前具备与当前检测类别相关的语义先验。

17、进一步地，所述解码检测模块还包括查询与特征自适应融合模块；所述查询与特征自适应融合模块用于将作为所述语言感知解码器输入的融合后查询表示、候选目标特征及其全局上下文向量进行联合建模，并通过残差方式对融合后查询表示进行增强，得到增强后的查询表示。

18、第三方面，本发明还提供一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的多模态融合工业灌装场景多尺度目标检测方法。

19、本技术提出的一个或多个技术方案，与现有技术相比至少具有以下有益效果：

20、本发明提供的一种多模态融合工业灌装场景多尺度目标检测方法、装置及存储介质，针对工业灌装场景中目标尺度变化大、小目标和弱纹理目标特征表达不足的问题，引入层级特征增强模块，该模块通过通道分组、全局上下文建模与局部空间特征提取，增强复杂背景下检测目标的特征表达能力，提升模型对包装容器上滴液、划痕、脏污等较小、弱纹理及形态不规则目标的感知能力。同时，通过通道分组、多分支特征提取与空间关系建模，进一步强化视觉特征表达，在控制计算开销的前提下，提高模型对小目标、弱纹理目标及复杂背景区域的感知能力，为后续处理提供更为有效的特征支持。

21、本发明提供的一种多模态融合工业灌装场景多尺度目标检测方法、装置及存储介质，针对传统目标检测模型的初始查询表示缺少类别语义引导、目标搜索过程盲目性较强的问题，提出语言条件的查询初始化模块，利用滴液、二维码、掉漆、划痕、脏污、喷溅等目标类别文本的全局语义表示生成查询偏移量，对初始可学习查询表示进行调制，使查询表示在进入解码器前获得与当前检测任务相关的语义先验，降低目标搜索过程中的盲目性。语言条件的查询初始化模块实现了从文本语义到查询初始化的映射，使得语言引导的查询表示在进入解码器之前具备了类别感知能力。相比随机初始化方式，能够有效引导模型关注与语义相关的目标区域，实现从“视觉驱动检测”向“视觉与语义引导检测”的转变，提升目标检测模型的目标检测准确率，减少背景反光、阴影和桶面纹理等无关区域的干扰。

22、本发明提供的一种多模态融合工业灌装场景多尺度目标检测方法、装置及存储介质，针对传统目标检测模型解码器中跨模态交互方式固定、难以根据图像内容自适应调整查询表示、视觉区域特征与类别文本语义特征融合强度的问题，构建了查询与特征自适应融合模块，根据视觉上下文特征生成自适应补偿项，实现查询表示、视觉特征与文本语义的动态融合，增强目标模型对多尺度目标的检测能力。