基于深度学习的图像数据处理方法及系统与流程
本发明涉及人工智能与机器视觉,具体为基于深度学习的图像数据处理方法及系统。
背景技术:
1、深度学习技术在图像数据处理领域,例如缺陷检测、医疗影像分析等方向已取得显著应用效果,然而在实际工业生产或大规模部署场景中,模型训练往往同时面临两项相互耦合的挑战,其一为小样本问题,即新产品、新产线或新工况上线初期,缺陷图像数据的采集与标注成本高、周期长,导致可用于训练的标注样本数量有限,其二为域偏移问题,即由于设备老化、光照条件变化、相机参数调整或产品型号更迭等因素,使得新场景下采集的目标域图像数据分布与已有标注数据所在的源域数据分布之间产生差异;
2、为应对上述问题,现有技术通常采取两类相对独立的技术路径:一类是利用生成式模型或传统数据增广手段,基于源域已标注的少量样本合成新的图像样本以扩充训练集规模,另一类是采用域适应或域泛化方法,对源域与目标域的特征分布进行对齐,其中一种较为接近本发明的现有实现方式为:首先基于源域已标注样本利用生成模型合成新的图像样本以扩充训练集,然后将扩充后的训练集与源域标注数据一并训练特征提取网络及分类器,再将训练完成的模型迁移至目标域,采用固定的置信度阈值对目标域无标注样本进行预测并筛选高置信度预测结果作为伪标签,最后利用伪标签数据对模型进行微调;
3、上述现有方式中,样本生成、模型训练、模型迁移与伪标签微调四个环节依次串行执行,各环节之间不存在信息反馈机制,当小样本问题与域偏移问题同时发生时,生成模块由于缺乏来自目标域的分布约束,所合成的样本往往仅能拟合源域数据分布特征,与目标域真实分布之间存在偏差,同时,域适应环节采用固定阈值对目标域无标注样本进行伪标签筛选,未考虑模型对不同目标域样本预测结果的可靠程度差异,容易引入含噪伪标签,上述两类误差来源在串行流程中彼此独立,缺乏相互校正的机制,若将存在分布偏差的生成样本与含噪伪标签同时用于模型训练,两类误差将相互叠加并逐步累积,最终导致模型在目标域上的检测精度与预测置信度出现较大幅度下降,为此,我们提出基于深度学习的图像数据处理方法及系统。
技术实现思路
1、本发明的目的在于提供基于深度学习的图像数据处理方法及系统。
2、本发明要解决的技术问题是:现有的图像数据处理方案将样本生成与域适应作为两个相互独立的串行环节执行,生成模块所合成样本的分布偏差与伪标签筛选过程中的噪声标签之间缺乏相互校正机制,在小样本与域偏移问题同时存在的场景下,二者相互叠加导致误差累积,使模型在目标域上的检测精度与预测置信度下降。
3、为解决上述技术问题,本发明提供一种基于深度学习的图像数据处理方法,包括:获取源域标注图像数据集合和目标域无标注图像数据集合,将类别条件向量和域条件向量输入条件生成模块,生成候选缺陷图像样本,计算所述候选缺陷图像样本与目标域无标注图像数据集合之间的域可迁移性置信度,筛选出域可迁移性置信度高于预设生成筛选阈值的候选缺陷图像样本,作为有效生成样本,将源域标注图像数据、有效生成样本以及目标域无标注图像数据输入共享特征提取网络,得到对应的特征表示,对目标域无标注图像数据对应的特征表示进行多次预测,得到目标域样本的预测均值和预测不确定性估计值,根据预测不确定性估计值和域可迁移性置信度相对于目标域真实分布的偏移量,计算目标域样本的伪标签判定阈值和损失权重,为满足伪标签判定阈值条件的目标域样本分配伪标签,根据损失权重、伪标签以及源域标注图像数据的标注标签计算联合损失,反向传播更新条件生成模块和共享特征提取网络的参数,将目标域样本伪标签的不确定性统计结果转换为提示向量并反馈至条件生成模块,用于引导下一轮候选缺陷图像样本的生成方向,同时将域可迁移性置信度反馈至伪标签判定阈值的计算过程,使生成阶段与伪标签阶段之间形成闭环反馈调节,重复上述过程直至满足预设迭代条件,输出训练完成的模型参数。
4、本发明还提供一种与上述方法相对应的基于深度学习的图像数据处理系统,用于实现上述闭环联合优化过程。
5、采用上述技术方案,与现有技术相比,本发明的有益效果在于:
6、1.本发明通过将生成样本的域可迁移性置信度反向约束目标域伪标签的判定阈值,能够抑制因生成样本分布偏差而引入的错误监督信号;
7、2.本发明通过将目标域伪标签的不确定性统计结果反向转换为提示向量以引导生成模块下一轮的合成方向,使生成样本逐步向目标域真实分布收敛,从而降低生成偏差;
8、3.本发明通过结合预测不确定性与分布偏移量计算样本专属的动态伪标签判定阈值与损失权重,替代固定阈值方案,能够抑制含噪伪标签在训练过程中的错误梯度传播;
9、4.本发明通过将特征分解为因果特征分支与非因果特征分支,并仅对因果特征分支执行子域级条件分布对齐,能够将背景环境等非因果因素与缺陷本质特征相互剥离,提升模型在不同光照条件与不同背景材质下的适应能力。
1.基于深度学习的图像数据处理方法,其特征在于,包括:获取源域标注图像数据集合和目标域无标注图像数据集合,将类别条件向量和域条件向量输入条件生成模块,生成候选缺陷图像样本,计算所述候选缺陷图像样本与所述目标域无标注图像数据集合之间的域可迁移性置信度,筛选出域可迁移性置信度高于预设生成筛选阈值的候选缺陷图像样本,作为有效生成样本,将所述源域标注图像数据、所述有效生成样本以及所述目标域无标注图像数据输入共享特征提取网络,得到对应的特征表示,按照预设采样次数,对所述目标域无标注图像数据对应的特征表示进行多次预测,得到目标域样本的预测均值和预测不确定性估计值,根据所述预测不确定性估计值和所述域可迁移性置信度相对于目标域真实分布的偏移量,计算目标域样本的伪标签判定阈值和损失权重,为满足所述伪标签判定阈值条件的目标域样本分配伪标签,根据所述损失权重、所述伪标签以及所述源域标注图像数据的标注标签计算联合损失,反向传播更新所述条件生成模块和所述共享特征提取网络的参数,将目标域样本伪标签的不确定性统计结果转换为提示向量,反馈至所述条件生成模块,用于引导下一轮候选缺陷图像样本的生成方向,同时将所述域可迁移性置信度反馈至伪标签判定阈值的计算过程,使生成阶段与伪标签阶段之间形成闭环反馈调节,重复上述过程直至满足预设迭代条件,输出训练完成的模型参数。
2.根据权利要求1所述的基于深度学习的图像数据处理方法,其特征在于:所述计算目标域样本的伪标签判定阈值和损失权重的步骤包括:获取目标域样本的预测不确定性估计值和所述域可迁移性置信度相对于目标域真实分布的偏移量,将预设的基础判定阈值分别减去与所述预测不确定性估计值成正比的第一惩罚项,以及与所述偏移量成正比的第二惩罚项,得到该样本的伪标签判定阈值,根据该样本预测不确定性估计值相对于当前批次内目标域样本预测不确定性上限值的比值,计算该样本的损失权重,所述损失权重与所述预测不确定性估计值呈负相关关系。
3.根据权利要求1所述的基于深度学习的图像数据处理方法,其特征在于,还包括:将所述特征表示分别输入因果特征分支网络和非因果特征分支网络,得到因果特征和非因果特征,计算所述因果特征与所述非因果特征之间的正交约束损失,用于约束二者相互独立,将所述因果特征输入分类器,计算分类损失,按照样本对应的类别标注信息,将所述源域标注图像数据与所述目标域无标注图像数据对应的因果特征划分至各自对应的子域集合中,其中,源域样本对应的类别标注信息为标注标签,目标域样本对应的类别标注信息为所述伪标签,仅对同一子域集合内源域因果特征与目标域因果特征执行分布对齐,得到子域级分布对齐损失,将所述正交约束损失、所述分类损失以及所述子域级分布对齐损失用于所述联合损失的计算。
4.根据权利要求1所述的基于深度学习的图像数据处理方法,其特征在于:所述计算候选缺陷图像样本域可迁移性置信度的步骤包括:计算所述候选缺陷图像样本对应特征与所述目标域无标注图像数据集合对应特征之间的最大均值差异距离,将所述最大均值差异距离进行数值范围映射变换,得到取值范围在零到一之间的域可迁移性置信度,所述域可迁移性置信度与所述最大均值差异距离呈负相关关系。
5.根据权利要求1所述的基于深度学习的图像数据处理方法,其特征在于:所述对目标域无标注图像数据对应的特征表示进行多次预测的步骤包括:在所述共享特征提取网络及分类器中保持随机失活层处于激活状态,按照所述预设采样次数,对同一目标域样本连续执行多次前向传播,得到多个预测概率分布,计算所述多个预测概率分布的均值,作为该样本的预测均值,计算所述多个预测概率分布相对于所述预测均值的方差,作为该样本的预测不确定性估计值。
6.根据权利要求1所述的基于深度学习的图像数据处理方法,其特征在于,还包括:在满足预设迭代条件后,剥离所述条件生成模块、域可迁移性置信度评估功能、非因果特征分支网络以及域判别器,仅保留所述共享特征提取网络中的因果特征分支网络及分类器,对保留的因果特征分支网络及分类器进行结构轻量化处理,并转换为适用于边缘计算设备的推理格式,用于对生产现场图像进行缺陷检测。
7.一种基于深度学习的图像数据处理系统,其特征在于,包括:条件生成模块,用于根据类别条件向量和域条件向量生成候选缺陷图像样本,域可迁移性置信度评估单元,用于计算所述候选缺陷图像样本与目标域无标注图像数据集合之间的域可迁移性置信度,并筛选得到有效生成样本,共享特征提取网络,用于对源域标注图像数据、所述有效生成样本以及所述目标域无标注图像数据进行特征提取,得到对应的特征表示,不确定性估计单元,用于对所述目标域无标注图像数据对应的特征表示进行多次预测,得到预测均值和预测不确定性估计值,动态阈值计算单元,用于根据所述预测不确定性估计值以及所述域可迁移性置信度相对于目标域真实分布的偏移量,计算目标域样本的伪标签判定阈值和损失权重,为满足所述伪标签判定阈值条件的目标域样本分配伪标签,反馈调节单元,用于将目标域样本伪标签的不确定性统计结果转换为提示向量并反馈至所述条件生成模块,以及将所述域可迁移性置信度反馈至所述动态阈值计算单元,形成生成阶段与伪标签阶段之间的闭环反馈调节,训练控制单元,用于根据所述损失权重、所述伪标签以及所述源域标注图像数据的标注标签计算联合损失,并反向传播更新所述条件生成模块和所述共享特征提取网络的参数,直至满足预设迭代条件。
8.根据权利要求7所述的基于深度学习的图像数据处理系统,其特征在于,还包括因果特征分解单元和子域级分布对齐单元,所述因果特征分解单元用于将所述特征表示分别处理为因果特征和非因果特征,并计算所述因果特征与所述非因果特征之间的正交约束损失,所述子域级分布对齐单元用于按照样本对应的类别标注信息,将源域样本与目标域样本对应的因果特征划分至各自对应的子域集合中,并仅对同一子域集合内源域因果特征与目标域因果特征执行分布对齐,其中,源域样本对应的类别标注信息为标注标签,目标域样本对应的类别标注信息为所述伪标签。
9.根据权利要求8所述的基于深度学习的图像数据处理系统,其特征在于:还包括梯度反转层和域判别器,所述梯度反转层和所述域判别器与所述因果特征分解单元连接,用于对所述因果特征执行全局域对抗训练,得到全局域对抗损失,所述全局域对抗损失用于所述训练控制单元计算联合损失。
10.根据权利要求7所述的基于深度学习的图像数据处理系统,其特征在于:还包括模型轻量化部署单元,用于在满足预设迭代条件后,剥离所述条件生成模块、所述域可迁移性置信度评估单元以及域判别器,仅保留所述共享特征提取网络中的因果特征分支网络及分类器,并将保留部分转换为适用于边缘计算设备的推理格式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com