一种基于机器视觉的图像识别系统的制作方法

摘要: 本发明涉及计算机视觉与人工智能,具体涉及一种基于机器视觉的图像识别系统。背景技术:1、随着深度学习技术的发展,基于卷积神经网络或视觉transformer的图像...
一种基于机器视觉的图像识别系统的制作方法

本发明涉及计算机视觉与人工智能,具体涉及一种基于机器视觉的图像识别系统。

背景技术:

1、随着深度学习技术的发展,基于卷积神经网络或视觉transformer的图像识别系统已广泛应用于工业质检、半导体缺陷检测、安防监控等领域,此类系统通常依赖大规模、精确标注的数据集进行端到端训练,通过反向传播算法优化网络参数,使模型学习到从图像像素空间到类别标签空间的映射关系,然而在工业现场的实际部署过程中,新的缺陷类别往往难以在短时间内积累充足的标注样本,导致上述依赖大规模数据的训练范式难以直接适用。

2、针对样本稀缺场景,业内普遍采用小样本学习方法,其中以度量学习为代表的原型网络方法最为常见,该类方法的基本原理是:首先通过特征提取网络将支持集中每个类别的样本映射到特征空间,并取该类别所有样本特征向量的均值作为该类别的原型,随后,对于查询集中的待识别样本,计算其特征向量与各类别原型之间的距离,将其判定为距离最近的原型所属的类别。

3、与本发明最接近的现有技术方案为基于原型网络的小样本图像识别方法,其技术方案大致包括以下过程:构建特征提取网络并在源域大规模标注数据集上进行预训练,使网络具备通用的图像特征提取能力,在小样本任务构造阶段,从目标类别集合中随机采样若干类别,每个类别抽取少量样本构成支持集,其余样本构成查询集,将支持集中每个样本输入特征提取网络得到特征向量,并对同一类别下所有样本的特征向量取算术平均得到该类别的原型向量,将查询集样本输入同一特征提取网络得到查询特征,计算查询特征与各类别原型之间的距离,并通过归一化指数函数将距离转换为类别概率分布,取概率最大的类别作为识别结果,在训练阶段通过最小化查询样本的分类交叉熵损失,反向更新特征提取网络参数,使得同类样本特征相互靠近、异类样本特征相互远离。

4、上述现有方案在源域与目标域数据分布一致的理想情况下能够取得较好的识别效果,但当训练数据与实际部署数据之间存在设备型号、光照条件、材质批次等分布差异时,该方案的性能会显著劣化,其原因在于:其一,现有原型网络方法直接对支持集样本特征取算术平均值以计算类别原型,该特征向量中混杂了类别语义信息与环境风格信息,当目标域环境与源域存在差异时,环境风格信息会作为噪声分量叠加进原型向量中,导致所计算出的原型相对于该类别在特征空间中的真实语义中心产生偏移,进而导致查询样本与正确类别原型之间的距离计算出现系统性误差,最终造成识别准确率下降,其二,现有方法的度量距离计算依赖支持集样本代表该类别的真实分布,但在样本数量极少的条件下,样本数量远不足以覆盖类别的真实特征分布,导致原型估计方差偏大、鲁棒性不足,同时现有方法未能利用查询集样本中蕴含的目标域分布信息对原型进行修正,因此当跨域偏移与小样本问题叠加时,原型偏差会被进一步放大,其三,现有方法为提升跨域鲁棒性通常采用基于生成对抗网络的像素级图像生成方法扩充目标域样本,但该类方法计算开销大、训练不稳定,且在样本极度稀缺时难以训练出高质量的生成模型,导致数据增强效果有限甚至引入伪影噪声,难以满足工业现场实时部署与快速上线的要求。

5、综上,现有技术难以同时兼顾极少样本条件下的学习能力与跨域环境下的鲁棒性,亟需一种能够从特征表示层面消除环境风格干扰、并能够利用目标域现场数据对类别原型进行有效校准的图像识别系统。

技术实现思路

1、本发明要解决的技术问题是:在工业机器视觉图像识别场景中,当系统面临源域训练、目标域部署所导致的跨域分布偏移,且目标域仅能提供每类别一张至五张标注样本时,现有的小样本度量学习方法所计算出的类别原型会产生语义偏差与原型漂移,从而导致识别准确率大幅下降,现有技术难以同时兼顾极少样本学习能力与跨域环境鲁棒性。

2、为解决上述技术问题,本发明提供一种基于机器视觉的图像识别系统,包括图像采集与预处理模块、域解耦语义分解网络模块、跨域自适应原型校准模块、属性级特征隐式重组增强模块和度量分类识别模块。

3、其中,图像采集与预处理模块用于获取源域标注图像与目标域少样本图像,所述目标域少样本图像的数量为每类别一张至五张,域解耦语义分解网络模块包括共享参数的骨干特征提取网络、与骨干特征提取网络连接的语义特征编码分支和风格特征编码分支,语义特征编码分支用于从骨干特征提取网络输出的原始特征中提取域无关语义特征,风格特征编码分支用于从原始特征中提取域特异性风格特征,二者结合梯度反转层实现的域对抗损失与互信息约束损失进行联合训练,使得语义特征分量尽量不受环境风格信息污染,跨域自适应原型校准模块用于根据目标域支持集样本的域无关语义特征计算源域迁移原型,根据目标域查询集样本的域无关语义特征构建查询特征集合,构建源域迁移原型与查询特征集合之间的成本矩阵,采用非平衡最优传输算法求解最优传输矩阵,并根据最优传输矩阵对源域迁移原型进行加权修正,得到校准后的类别原型,从而利用目标域现场大量无标注查询样本中蕴含的局部分布信息对原型偏差进行修正,属性级特征隐式重组增强模块用于在特征空间内,利用目标域风格特征集合的统计量对新类别语义特征进行白化与上色变换,生成大量融合目标域环境风格统计特性的虚拟增强特征,以替代计算开销较大的像素级图像生成方式,度量分类识别模块用于根据校准后的类别原型、虚拟增强特征以及待识别查询图像的语义特征计算距离并输出识别结果。

4、本发明所达到的技术效果包括:

5、1.通过域解耦语义分解网络模块将域无关语义特征与域特异性风格特征分离,从特征表示层面消除环境风格信息对类别原型的污染,从根本上抑制原型偏移问题,提升跨域场景下原型的语义准确性;

6、2.通过跨域自适应原型校准模块利用目标域查询样本的局部流形结构对源域迁移原型进行动态校准,在每类别仅一张至五张标注样本的极少样本条件下仍能够获得贴合目标域真实分布的类别原型,提升识别准确率与泛化能力;

7、3.通过属性级特征隐式重组增强模块在特征空间内以协方差白化与上色变换替代像素级图像生成,以远低于生成对抗网络的计算开销生成数量远超原始支持集样本数的虚拟增强特征,抑制模型在新类别小样本上的过拟合,同时满足工业现场实时部署的要求;

8、4.上述各模块协同工作,形成域解耦、原型校准、特征增强与度量识别相衔接的处理流程,并支持域解耦语义分解网络模块在源域完成训练后固化部署、其余模块在目标域现场轻量化运行的部署模式,兼顾了识别精度与现场部署效率。

1.一种基于机器视觉的图像识别系统,其特征在于,包括:

2.如权利要求1所述的一种基于机器视觉的图像识别系统,其特征在于,所述域解耦语义分解网络模块还包括:

3.如权利要求1所述的一种基于机器视觉的图像识别系统,其特征在于,所述跨域自适应原型校准模块具体用于:将所述源域迁移原型与所述查询特征集合中各查询特征之间的欧氏距离作为所述成本矩阵中对应位置的元素,基于源端边缘分布约束向量和目标端边缘分布约束向量,采用sinkhorn迭代算法求解非平衡最优传输问题,得到所述非平衡最优传输矩阵,所述非平衡最优传输问题中源端边缘分布约束和目标端边缘分布约束分别通过kl散度进行松弛。

4.如权利要求3所述的一种基于机器视觉的图像识别系统,其特征在于,对所述源域迁移原型进行加权修正的方式为:将所述源域迁移原型与所述非平衡最优传输矩阵中对应该原型的各传输质量同所述查询特征集合中对应查询特征与该原型之差的乘积之和进行加权叠加,得到所述校准后的类别原型,加权程度由预设的校准强度系数控制。

5.如权利要求1所述的一种基于机器视觉的图像识别系统,其特征在于,所述属性级特征隐式重组增强模块具体用于:计算目标域新类别支持集样本的所述域无关语义特征集合的均值向量和协方差矩阵,利用该均值向量和该协方差矩阵的逆平方根对所述域无关语义特征进行白化处理,消除所述域无关语义特征中隐含的风格统计特性,利用所述目标域风格特征集合的协方差矩阵的平方根对白化处理后的标准化语义特征进行线性变换,并叠加所述目标域风格特征集合的均值向量,得到所述虚拟增强特征,通过对所述目标域风格特征集合进行多次随机采样,重复所述白化处理和所述上色变换,生成数量超过原始支持集样本数量的虚拟增强特征集合。

6.如权利要求1所述的一种基于机器视觉的图像识别系统,其特征在于,所述域解耦语义分解网络模块在源域大规模标注数据上完成训练后,网络参数被固化部署,所述跨域自适应原型校准模块和所述属性级特征隐式重组增强模块在目标域现场部署阶段,基于固化部署后的所述域解耦语义分解网络模块提取的域无关语义特征和域特异性风格特征进行运算,所述度量分类识别模块利用所述校准后的类别原型和所述虚拟增强特征更新度量分类器后,对现场查询图像进行识别。

7.一种基于机器视觉的图像识别方法,其特征在于,包括:

8.如权利要求7所述的一种基于机器视觉的图像识别方法,其特征在于,还包括:将所述域无关语义特征输入类别分类器计算分类交叉熵损失,将所述域特异性风格特征经梯度反转层输入域判别器,得到该特征来自源域还是目标域的判别概率,并计算域判别对抗损失,所述梯度反转层在反向传播时对梯度取负值,计算所述域无关语义特征和所述域特异性风格特征之间的互信息估计上界,作为独立性约束损失,将所述域无关语义特征和所述域特异性风格特征拼接后经解码器重构原始特征,计算重构损失,根据所述分类交叉熵损失、所述域判别对抗损失、所述互信息估计上界和所述重构损失加权求和得到总体训练损失,通过反向传播联合优化所述骨干特征提取网络、所述语义特征编码分支和所述风格特征编码分支的网络参数。

9.如权利要求7所述的一种基于机器视觉的图像识别方法,其特征在于,构建所述成本矩阵的方式为将所述源域迁移原型与所述查询特征集合中各查询特征之间的欧氏距离作为所述成本矩阵中对应位置的元素,求解所述非平衡最优传输矩阵的方式为基于源端边缘分布约束向量和目标端边缘分布约束向量,采用sinkhorn迭代算法求解非平衡最优传输问题,所述非平衡最优传输问题中源端边缘分布约束和目标端边缘分布约束分别通过kl散度进行松弛。

10.如权利要求7所述的一种基于机器视觉的图像识别方法,其特征在于,得到所述虚拟增强特征的方式为:计算目标域新类别支持集样本的所述域无关语义特征集合的均值向量和协方差矩阵,利用该均值向量和该协方差矩阵的逆平方根对所述域无关语义特征进行白化处理,利用所述目标域风格特征集合的协方差矩阵的平方根对白化处理后的标准化语义特征进行线性变换,并叠加所述目标域风格特征集合的均值向量,通过对所述目标域风格特征集合进行多次随机采样,重复所述白化处理和线性变换过程,生成数量超过原始支持集样本数量的虚拟增强特征集合。