基于深度学习的图像识别与分类方法及系统
本发明涉及图像处理相关,具体地说,是涉及一种基于深度学习的图像识别与分类方法及系统。
背景技术:
1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,并不必然构成在先技术。
2、基于深度学习的图像识别与分类技术已广泛应用于安防、医疗、工业质检等场景。现有方法通常采用卷积神经网络或视觉transformer对图像进行特征提取和分类,并依托大规模标注数据及分布式计算平台完成模型训练。随着图像数据规模和类别数量不断增加,训练数据质量、模型训练效率以及分类结果可解释性逐渐成为影响图像识别性能的重要因素。
3、现有技术中,实际采集的图像数据容易存在错误标签及内容异常样本,若直接用于训练,容易干扰模型特征学习;同时,大规模图像数据通常存在类别样本数量不均衡的问题,使模型分类结果偏向样本数量较多的类别。另一方面,在分布式训练过程中,数据读取、传输、gpu计算及节点间通信存在性能差异,容易产生数据等待和计算资源空闲,影响训练效率。此外,现有深度学习分类模型通常直接输出类别或类别概率,模型内部特征与分类结果之间缺乏直观对应关系,导致分类依据不易解释。
技术实现思路
1、本发明为了解决上述问题,提出了一种基于深度学习的图像识别与分类方法及系统,通过协同数据清洗、类别均衡的分布式训练以及基于类别原型的分类与可视化解释,实现训练数据质量、模型训练效率、类别识别均衡性和分类结果可解释性的协同提升。
2、为了实现上述目的,本发明采用如下技术方案:
3、一个或多个实施例提供了基于深度学习的图像识别与分类方法,包括如下步骤:
4、获取待处理图像数据,对图像数据基于置信学习与密度聚类的协同清洗,得到清洗后的图像训练数据;
5、通过gpu直连数据读取方式获取清洗后的图像训练数据,结合模型并行、数据并行与流水线并行的分层混合并行策略,并基于动态阈值平衡分类器对深度学习图像识别模型进行分布式训练;在模型训练过程中学习并确定各类别对应的原型向量,得到训练完成的深度学习图像识别模型;
6、利用训练完成的深度学习图像识别模型对待识别图像进行特征提取和类别预测,得到图像分类结果;
7、根据图像分类过程中确定的目标类别以及贡献最大的类别原型向量,对图像分类结果进行可视化解释。
8、进一步的技术方案,对图像数据基于置信学习与密度聚类的协同清洗,得到清洗后的图像训练数据,包括如下步骤:
9、利用预训练的分类模型对输入的待处理图像数据进行预测,得到每一图像对应的类别概率向量;
10、根据图像标注信息与预测类别信息,构建标签与预测结果之间的联合分布矩阵;
11、通过比较置信度计数与联合分布矩阵的元素值来识别噪声标签样本,并将识别的噪声标签样本进行过滤处理;
12、对清洗后的图像提取特征向量,并基于特征向量执行密度聚类分析,识别异常图像样本并过滤。
13、进一步的技术方案,通过gpu直连数据读取方式获取清洗后的图像训练数据,具体的:通过gpu直连数据读取方式从分布式存储系统获取清洗后的图像训练数据,并将读取的图像数据直接传输至gpu显存,在gpu侧完成图像解析、解码及数据增强处理。
14、进一步的技术方案,模型并行方法,具体的:将待训练模型的神经网络中的连续多层分配至同一模型并行组内的多个gpu,并在所述模型并行组内部采用张量切分方式执行各神经网络层的计算;
15、流水线并行:按照神经网络层的排列顺序将深度学习图像识别模型划分为多个流水线阶段,每一流水线阶段包括多个连续的完整神经网络层,并将不同流水线阶段分配至不同gpu或gpu组;
16、数据并行:将待训练模型复制形成多个数据并行副本,各数据并行副本分别处理不同的训练数据;各数据并行副本完成反向传播后,采用环形全归约算法对多个数据并行副本产生的梯度进行聚合,使不同数据并行副本基于一致的聚合梯度进行模型参数更新。
17、进一步的技术方案,动态阈值平衡分类器的损失函数采用logitadjustment损失函数;
18、或者,动态阈值平衡分类器还设置有动态类别感知采样机制:在每个训练周期结束时,计算每个类别在当前验证集上的召回率,基于基准召回率与各类别召回率的差异动态调整下一周期该类别的采样概率。
19、进一步的技术方案,将深度学习图像识别模型的在分类层替换为多个类别原型向量,在模型训练过程中学习并确定各类别对应的原型向量,包括如下步骤:
20、为每一图像类别设置多个可学习的类别原型向量;
21、对于输入的训练图像,利用针对输入图像提取的图像特征向量,并分别计算所述图像特征向量与各类别原型向量之间的欧氏距离平方:
22、计算欧氏距离平方的负指数,作为图像特征向量与各类别原型向量之间的相似度,将类别对应的多个类别原型相似度中的最大值作为类别得分;
23、或者,根据图像分类过程中确定的目标类别以及贡献最大的类别原型向量,对图像分类结果进行可视化解释,具体地:
24、根据得到的目标类别,确定目标类别下与待识别图像特征向量相似度最大的类别原型,确定为目标原型;同时记录对应的原型索引及原型相似度;
25、获取深度学习图像识别模型的主干网络最后一个卷积层输出的激活特征图,计算所述目标原型的相似度相对于激活特征图的偏导数,将得到的偏导数数值与激活特征图进行逐元素相乘,通过激活函数处理,得到原型关联热力图;
26、对原型关联热力图进行归一化和上采样处理,使其尺寸与待识别图像尺寸一致,并将处理后的热力图叠加于待识别图像上,得到分类结果对应的可视化解释图像。
27、进一步的技术方案,还包括构建持续学习闭环模块,用于在模型上线运行后根据新增样本持续更新所述深度学习图像识别模型,持续学习过程包括:
28、获取模型推理过程中预测置信度低于预设阈值的图像样本,将所述图像样本加入候选未标注样本池;
29、对候选未标注样本池中的图像样本执行主动学习采样,选取具有较高信息量和代表性的样本;
30、将选取的样本发送至人工复核端进行标注,并将完成标注的样本加入增量训练数据集;
31、利用所述增量训练数据集对当前深度学习图像识别模型进行增量重训,并在增量重训过程中采用弹性权重巩固约束模型参数变化;
32、或者,持续学习闭环模块,还包括时序概念漂移检测与主动遗忘单元,用于识别随时间变化而发生特征分布迁移的类别,并在增量重训过程中降低过时数据或过时模型参数对当前模型的影响。
33、一个或多个实施例提供了基于深度学习的图像识别与分类系统,包括:
34、数据治理模块,被配置为获取待处理图像数据,对图像数据基于置信学习与密度聚类的协同清洗,得到清洗后的图像训练数据;
35、分布式训练模块,被配置为通过gpu直连数据读取方式获取清洗后的图像训练数据,结合模型并行、数据并行与流水线并行的分层混合并行策略,并基于动态阈值平衡分类器对深度学习图像识别模型进行分布式训练;在模型训练过程中学习并确定各类别对应的原型向量,得到训练完成的深度学习图像识别模型;
36、图像分类模块,被配置为利用训练完成的深度学习图像识别模型对待识别图像进行特征提取和类别预测,得到图像分类结果;
37、可解释模块,被配置为根据图像分类过程中确定的目标类别以及贡献最大的类别原型向量,对图像分类结果进行可视化解释。
38、一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器执行时,完成上述的基于深度学习的图像识别与分类方法中的步骤。
39、一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成上述的基于深度学习的图像识别与分类方法中的步骤。
40、与现有技术相比,本发明的有益效果为:
41、本发明通过对训练图像进行协同清洗,能够降低噪声标签及异常图像对模型训练的干扰,提高训练数据的有效性;通过gpu直连数据读取及模型并行、数据并行和流水线并行相结合的分层混合并行训练方式,能够减少数据传输和计算等待,提高多gpu训练过程中的数据处理效率和计算资源利用率;结合动态阈值平衡分类器以及类别原型学习,能够减小类别分布不均衡对分类决策的影响,提高不同类别之间的识别稳定性;同时,通过利用目标类别对应的贡献原型生成可视化解释信息,使分类结果与具体图像特征区域建立对应关系,从而提高图像分类结果的可解释性。
42、本发明的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com