基于语义增强的图像识别模型的训练方法和训练装置与流程

技术特征：
1.一种基于语义增强的图像识别模型的训练方法，包括：从输入的未标注且无文字描述的第一图像中，提取所述第一图像的第一特征表示；基于所述第一特征表示，计算第一损失函数；从输入的未标注且具有原始文字描述的第二图像中，提取所述第二图像的第二特征表示；基于所述第二特征表示，计算第二损失函数；和基于所述第一损失函数和所述第二损失函数的融合，训练图像识别模型。2.根据权利要求1所述的基于语义增强的图像识别模型的训练方法，其中所述第一损失函数和所述第二损失函数的融合包括：以特定权重对所述第一损失函数和所述第二损失函数进行叠加。3.根据权利要求1所述的基于语义增强的图像识别模型的训练方法，其中提取所述第一图像的第一特征表示包括：通过图像增强生成所述第一图像的增强图像对；和从所述增强图像对中分别提取特征表示。4.根据权利要求3所述的基于语义增强的图像识别模型的训练方法，其中计算第一损失函数包括：基于从所述增强图像对中提取的特征表示，计算所述第一损失函数。5.根据权利要求1所述的基于语义增强的图像识别模型的训练方法，其中计算第二损失函数包括：从所述第二图像的第二特征表示中生成预测文字描述；和基于所述预测文字描述和所述原始文字描述，计算所述第二损失函数。6.一种用于图像识别的方法，包括：获取待识别图像；基于图像识别模型对所述待识别图像进行识别；其中所述图像识别模型是基于根据权利要求1至5中任一项所述的基于语义增强的图像识别模型的训练方法得到的。7.一种基于语义增强的图像识别模型的训练装置，包括：第一特征提取模块，被配置为从输入的未标注且无文字描述的第一图像中，提取所述第一图像的第一特征表示；第一计算模块，被配置为基于所述第一特征表示，计算第一损失函数；第二特征提取模块，被配置为从输入的未标注且具有原始文字描述的第二图像中，提取所述第二图像的第二特征表示；第二计算模块，被配置为基于所述第二特征表示，计算第二损失函数；和融合训练模块，被配置为基于所述第一损失函数和所述第二损失函数的融合，训练图像识别模型。8.根据权利要求7所述的基于语义增强的图像识别模型的训练装置，其中所述融合训练模块还被配置为：以特定权重对所述第一损失函数和所述第二损失函数进行叠加。9.根据权利要求7所述的基于语义增强的图像识别模型的训练装置，其中所述第一特
征提取模块还被配置为：通过图像增强生成所述第一图像的增强图像对；和从所述增强图像对中分别提取特征表示。10.根据权利要求9所述的基于语义增强的图像识别模型的训练装置，其中所述第一计算模块还被配置为：基于从所述增强图像对中提取的特征表示，计算所述第一损失函数。11.根据权利要求7所述的基于语义增强的图像识别模型的训练装置，其中所述第二计算模块还被配置为：从所述第二图像的第二特征表示中生成预测文字描述；和基于所述预测文字描述和所述原始文字描述，计算所述第二损失函数。12.一种用于图像识别的装置，包括：图像获取模块，被配置为获取待识别图像；图像识别模块，被配置为基于图像识别模型对所述待识别图像进行识别；其中所述图像识别模型是基于根据权利要求7至11中任一项所述的基于语义增强的图像识别模型的训练装置得到的。13.一种电子设备，所述设备包括：一个或多个处理器；以及存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至6中任一项所述的基于语义增强的图像识别模型的训练方法。14.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至6中任一项所述的基于语义增强的图像识别模型的训练方法。

技术总结
根据本公开的实施例，提供了基于语义增强的图像识别模型的训练方法和装置、用于图像识别的方法和装置、电子设备以及计算机可读存储介质，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景。基于语义增强的图像识别模型的训练方法包括：从输入的未标注且无文字描述的第一图像中，提取第一图像的第一特征表示；基于第一特征表示，计算第一损失函数；从输入的未标注且具有原始文字描述的第二图像中，提取第二图像的第二特征表示；基于第二特征表示，计算第二损失函数；和基于第一损失函数和第二损失函数的融合，训练图像识别模型。以此方式，能够更有效且低成本地对图像识别模型进行训练。练。练。


技术研发人员：孙逸鹏 安容巧 魏翔 王龙超 姚锟 韩钧宇 刘经拓 丁二锐
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2021.11.05
技术公布日：2022/3/1