一种基于图像块评分的细粒度图像分类方法和装置与流程

技术特征：
1.一种基于图像块评分的细粒度图像分类方法，其特征在于，包括以下步骤：步骤s1：获取待分类的目标图像，构建分类数据集；步骤s2：将所述分类数据集分割为若干个不交叠的图像块，对所述图像块编码构建局部标识；步骤s3：利用所述局部标识构建分类标识；步骤s4：将所述局部标识和所述分类标识共同送入transformer网络，利用transformer网络中除最后一个transformer层以外的网络层获得用于表征所述分类标识的图像分类特征信息和用于表征各个图像块的局部标识的图像块特征信息；步骤s5：根据所述图像分类特征信息和所述图像块特征信息，确定所述局部标识和所述分类标识的关联性，并挑选与所述分类标识关联性的大小靠前的若干个所述局部标识以构建所述分类标识的关联性局部标识；步骤s6：构建图像块评分系统，对所述关联性局部标识评分，基于所述评分获得的分值将所述关联性局部标识的特征叠加，生成选择标识；步骤s7：将所述分类标识和所述选择标识的特征拼接，送入所述transformer网络中的最后一个transformer层做特征处理；步骤s8：利用所述步骤s7的特征处理结果构建全连接层和交叉熵损失并进行分类训练，同时利用步骤s6中所述关联性局部标识的分值分布构建相对熵散度损失函数进行辅助训练；步骤s9：对所述步骤s8训练完的模型，固定所述transformer网络中除最后一个transformer层外的其他网络层，仅对所述transformer网络中的最后一个transformer层进行微调操作，所述微调操作过程中，将所述分类标识和所述关联性局部标识拼接，训练最后一个transformer 层。2.如权利要求1所述的一种基于图像块评分的细粒度图像分类方法，其特征在于，所述步骤s1中，所述分类数据集包括样本和属性分类标签。3.如权利要求1所述的一种基于图像块评分的细粒度图像分类方法，其特征在于，所述步骤s2中，所述分类数据集通过滑动窗口的方式分割为若干个不交叠的图像块，并对所述图像块做卷积操作构建局部标识，卷积层的核宽、核高、步长和所述图像块宽、高相等。4.如权利要求1所述的一种基于图像块评分的细粒度图像分类方法，其特征在于，所述步骤s3中，构建尺寸和所述局部标识一致的可训练分类标识作为分类标识。5.如权利要求1所述的一种基于图像块评分的细粒度图像分类方法，其特征在于，所述步骤s5中，确定所述局部标识和所述分类标识的关联性的方法为通过transformer网络的注意力机制判断。6.如权利要求1所述的一种基于图像块评分的细粒度图像分类方法，其特征在于，所述步骤s6中，包括以下子步骤：步骤s61：所述transformer网络中额外构建一个transformer层和一个输出为维度为1的全连接层；步骤s62：将所述关联性局部标识送入所述额外构建的transformer层和所述输出为维度为1的全连接层，输出的结果进行自注意力操作；步骤s63：所述自注意力操作后的值作为所述关联性局部标识的分值，基于所述分值将
所述关联性局部标识的特征叠加，生成选择标识。7.如权利要求1所述的一种基于图像块评分的细粒度图像分类方法，其特征在于，所述步骤s8进行训练前，利用所述步骤s7的特征处理结果，随机选取一个图像块进行若干次不同的随机预处理得到预处理图像块，若干个所述预处理图像块仅亮度、对比度、饱和度存在差异，所述预处理图像块作为网络输入，构建全连接层和交叉熵损失并进行分类训练。8.如权利要求1所述的一种基于图像块评分的细粒度图像分类方法，其特征在于，所述微调操作为使用交叉熵损失函数进行微调操作。9.一种基于图像块评分的细粒度图像分类装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-8中任一项所述的一种基于图像块评分的细粒度图像分类方法。10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-8中任一项所述的一种基于图像块评分的细粒度图像分类方法。

技术总结
本发明公开了一种基于图像块评分的细粒度图像分类方法和装置，包括以下步骤：步骤S1：构建分类数据集；步骤S2：构建局部标识；步骤S3：构建分类标识；步骤S4：获得图像分类特征信息和各个图像块特征信息；步骤S5：构建关联性局部标识；步骤S6：生成选择标识；步骤S7：特征处理；步骤S8：训练；步骤S9：将所述全局标识和所述关联性局部标识拼接，训练最后一个transformer层。本发明解决类内差异大、类间相似程度高的细粒度图像分类的问题，实现在transformer网络中即插即用，效果提升明显。效果提升明显。效果提升明显。


技术研发人员：苏慧 程乐超 杨非 鲍虎军 宋明黎
受保护的技术使用者：之江实验室
技术研发日：2022.03.14
技术公布日：2022/4/12