一种基于多粒度融合的陆军装甲细粒度识别方法及系统与流程

1.本发明属于计算机视觉技术领域，涉及基于多粒度融合的陆军装甲细粒度识别的方法及系统。


背景技术：

2.随着人工智能技术的发展，信息技术在军事战场中的被广泛应用。战场目标识别成为战场侦察的一项重要手段。图像目标识别是计算机视觉领域的一个重要问题。近些年，对于粗粒度的目标识别任务，如辨识侦察目标是坦克还是军用卡车，目前已经能达到较好的识别效果。但是对于细粒度的目标识别任务，如区分侦察目标是m1a3主战坦克还是rdf/lt轻型坦克，从而根据装甲型号的特点制定最有效的行动方案，对机器而言还是比较困难。但在实际作战行动中，陆战场装甲目标是无人侦察平台和打击的重点，实现细粒度识别能更加有效地服务于作战行动。
3.因此目前缺少一种针对军事战场陆军装甲目标的能够综合整体、局部以及细微差别的分类方案，无法实现精确的分类。


技术实现要素：

4.有鉴于此，本发明提供了基于多粒度融合的陆军装甲细粒度识别方法及系统，能够从原图、目标对象以及目标对象的判别性部位的三个角度出发，综合各角度模型检测的结果，综合整体、局部及细微的差异来区分子类别，从而得到更加精确的分类结果。
5.为达到上述目的，本发明的技术方案为：基于多粒度融合的陆军装甲细粒度识别方法，包括如下步骤：
6.步骤一：获取陆军装甲目标图像数据集。
7.步骤二：对陆军装甲目标图像数据集中图像数据进行数据预处理。
8.步骤三：构建多粒度融合分类模型，包括三种不同粒度下的分类模型，分别为粗粒度分类模型、中粒度分类模型以及细粒度分类模型。
9.粗粒度分类模型用于对图像数据集中原图进行分类，并保留图像中的原始特征，得到粗粒度分类结果。
10.中粒度分类模型用于提取图像中目标对象，根据目标对象进行分类，得到中粒度分类结果。
11.细粒度分类模型用于提取图像中的判别性部位，根据判别性部位进行分类，得到细粒度分类结果。
12.利用陆军装甲目标图像训练数据集对多粒度融合分类模型进行训练得到训练好的多粒度融合的识别模型。
13.步骤四：获取陆军装甲目标图像测试数据，将其作为输入，传入到训练好的多粒度融合的识别模型中。
14.步骤五：将粗粒度、中粒度和细粒度分类结果进行加权融合，从而获取图像最终的
检测结果。
15.进一步地，步骤一，具体为：先获取具有多张侦察车拍摄的陆军地面军事装甲目标的图像数据组成集及其标注，采用分层抽样的方法，对数据集进行划分，随机从每类数据中抽取80％的图像作为训练图像数据集，剩下20％的图像作为测试图像数据集。
16.进一步地，步骤二，数据预处理包括如下步骤：针对陆军装甲目标图像数据集中图像数据进行尺寸调整。对尺寸调整后的图像数据进行数据增强，数据增强方式包括上下翻转、左右旋转、增强/降低图片亮度以及镜像的数据增强方式。将数据增强后的图像数据划分为多个候选图像子块，筛选其中与类别标签相关性大于阈值的候选图像子块组成候选子块图像集。
17.进一步地，粗粒度分类模型，具体为：以候选子块图像集作为训练数据，其训练标签为对应的子类别；加载imagenet预训练好的resnet101模型的网络结构和权重参数，采用上述训练数据集，将模型进行微调，从而得到粗粒度分类模型。
18.进一步地，中粒度分类模型，具体为：将数据预处理得到的候选子块图像集作为训练数据，其训练标签为对应的子类别。对候选子块图像集进行预处理，首先采取类激活映射cam方法，获取图像中的目标对象的显著性映射图，对显著性映射图进行二值化和连通区域提取来获取图片中的对象的目标区域，以此来获取候选子块图像中的目标对象，即为目标对象训练数据集。将目标对象训练数据集及其对应的子类标签作为输入数据，传入训练好的resnet101模型进行微调，生成关于目标对象的分类模型，称为中粒度分类模型。
19.进一步地，细粒度分类模型，具体为：首先将数据预处理得到的候选子块图像集作为输入数据，其次采用部位聚类算法，将判别性的部位数据集生成以部位为类别的簇，代替人工标注得到类标签；最终，将其聚类好的候选子块图像集及其类标签，输入到预训练好的resnet101模型上进行微调，生成关于对象部位的分类模型，称为细粒度分类模型。
20.进一步地，步骤五，将粗粒度、中粒度和细粒度分类结果进行加权融合，从而获取图像最终的检测结果，具体步骤如下：
21.将测试图像分别输入到训练好粗粒度、中粒度、细粒度分类模型中，分别计算三不同粒度分类模型的分类结果分别为：
22.score
coarse-grain
、score
middle-grain
、score
fine-grain
；
23.通过加权求得最终结果score
final
，计算方式如下：
24.score
final
＝α
×
score
coarse-grain
β
×
score
middle-grain
γ
×
score
fine-grain
25.其中，α、β、γ为三个不同粒度模型的预测得分在总得分中所占的权重，设定范围为0-1之间，步长为0.1。
26.进一步地，步骤五之后，还包括对图像最终的检测结果进行评价，构建对检测结果的评价指标，即精准率acc：
[0027][0028]
其中rc表示所有样本中检测正确的个数，r表示所有样本的个数。
[0029]
本发明的另外一个实施例还提供了基于多粒度融合的陆军装甲细粒度识别系统，包括陆军装甲目标图像数据采集模块、数据预处理模块、多粒度融合分类模型模块以及测试结果评价模块。
[0030]
陆军装甲目标图像数据采集模块，用于获取陆军装甲目标图像数据集，分类为训练图像数据集和测试图像数据集。
[0031]
数据预处理模块，用于对陆军装甲目标图像数据集中图像数据进行数据预处理。
[0032]
多粒度融合分类模型模块，用于构建多粒度融合分类模型，包括三种不同粒度下的分类模型，分别为粗粒度分类模型、中粒度分类模型以及细粒度分类模型；粗粒度分类模型用于对图像数据集中原图进行分类，并保留图像中的原始特征，得到粗粒度分类结果；中粒度分类模型用于提取图像中目标对象，根据目标对象进行分类，得到中粒度分类结果；细粒度分类模型用于提取图像中的判别性部位，根据判别性部位进行分类，得到细粒度分类结果；利用陆军装甲目标图像训练数据集对多粒度融合分类模型进行训练得到训练好的多粒度融合的识别模型；获取陆军装甲目标图像测试数据，将其作为输入，传入到训练好的多粒度融合的识别模型中；将粗粒度、中粒度和细粒度分类结果进行加权融合，从而获取图像最终的检测结果。
[0033]
测试结果评价模块，对图像最终的检测结果进行评价，构建对检测结果的评价指标，即精准率acc：其中rc表示所有样本中检测正确的个数， r表示所有样本的个数。
[0034]
有益效果：
[0035]
1、本发明采用一种基于注意力机制的陆军装甲细粒度识别方法，首先获取无人侦察车、无人侦察机收集的地面军事装甲目标图像数据；其次，构建基于多粒度融合的分类模型，该模型主要基于三个不同粒度分类模型的融合，粗粒度分类模型注重保留图像原始的特征，中粒度分类模型注重定位图像中的目标对象，而细粒度分类模型注重目标对象的判别性部位，三者从不同的角度分别提取整体、局部及细微的特征对陆军装甲图像进行细粒度分类模型训练，从而得到训练好的多粒度融合的分类模型；再者，将测试数据集传入训练好的多粒度融合的分类模型，分别获得三个分类模型的检测得分，加权三者的预测得分，最终得出图像的检测得分，进一步识别图像子类别，从而辅助操作人员进行陆战场装甲目标识别的决策。
[0036]
2、本发明增加了中粒度分类模块，可有效地消除图像背景噪声的影响，进一步促使模型学到更加有效的目标对象特征。本模型主要通过类激活映射cam (class activation maps)方法，先获取目标对象的显著映射图，随后将其二值化，提取连通区域，从而获取候选子块图像中的目标对象，随后将目标对象图像及其子类标签作为输入数据，训练中粒度分类模型。
[0037]
3、现有的方法基本都采用对子类的部位进行标注的方法，导致数据标注的工作量巨大，浪费过多的人工成本。为了避免此问题，本发明在此处采用部位聚类的方法实现自动标注。首先获取第二部分数据预处理中的部位子块图像集；其次，采用部位聚类算法，将判别性的部位数据集生成以部位为类别的簇，代替人工标注；最终，将其聚类好的子块图像集及其类标签，输入到预训练好的 resnet101模型上进行微调，获取较好的分类性能。
附图说明
[0038]
图1是本发明的整体流程图。
具体实施方式
[0039]
下面结合附图并举实施例，对本发明进行详细描述。
[0040]
本发明提供了一种基于多粒度融合的陆军装甲细粒度识别方法，其流程如图1所示，具体包括如下步骤：
[0041]
步骤一：获取陆军装甲目标图像数据集。
[0042]
该步骤主要是负责获取数据集。对本发明而言，先获取具有多张侦察车拍摄的地面军事装甲图像数据集及其标注，为了确保训练集和测试集尽可能保持相同的分布，采用分层抽样的方法，对数据集进行划分，随机从每类数据中抽取80％的图像作为训练数据集，剩下20％的图像作为测试数据集。
[0043]
步骤二：数据预处理。
[0044]
该步骤主要是对获取的陆军装甲目标图像数据集进行数据预处理。数据预处理的主要步骤：
[0045]
s201：调整图片大小，将图片大小调整到模型适合的大小，如224*224；
[0046]
s202：数据增广，通过上下翻转、左右旋转、增强/降低图片亮度、镜像等数据增强方式，将现有图像数据进行处理，以此来扩充数据集。
[0047]
s203：为了定位目标对象的具体位置，通常在数据预处理时，将图像划分为多个子块，本发明采用的方法是选择性搜索算法，以此来生成候选子块图像，从而扩充数据集。详细算法流程如下：
[0048][0049]
s204:通过以上算法生成候选图像子块，但其获得的图像数据集中含有部分噪音。为此，本发明通过首先采用预训练好的resnet101模型，在本发明训练集上进行微调，从而获得有效的分类过滤模型。随后，将图片输入训练好的分类过滤模型，设定阈值，将大于阈值的候选图像保留，认为其与某类别相关性较强；而将小于阈值的候选图像过滤，认为其与某类别相关性较弱。从而进一步从候选图像集中获取相关性较强的候选子块图像集。
[0050]
步骤三：构建多粒度融合分类模型。
[0051]
该步骤主要通过构建三种不同粒度下的分类模型，粗粒度分类模型更加关注原图，中粒度分类模型主要注重定位目标对象，而细粒度分类模型主要注重定位目标对象中的判别性部位，从这三个角度出发，综合各角度模型检测的结果，将其进行加权融合，从而获取图像最终的检测结果。该模型综合整体、局部及细微的差异来区分子类别。本发明对三个模型的具体实现进行了详细介绍，如下：
[0052]
粗粒度分类模型
[0053]
该模块主要注重对原图进行分类，旨在保留图像中的原始特征。采用相关性较强的候选子块数据集，利用此多视图及尺度的特性，对预训练好的resnet101 模型进行微调，
从而获取到较好的粗粒度图像分类性能。具体步骤如下：
[0054]
sa301：将第二部分数据预处理中获取的相关性较强的候选子块数据集作为训练数据，其训练标签为对应的子类别。
[0055]
sa302：加载imagenet预训练好的resnet101模型的网络结构和权重参数，采用上述训练数据集，将模型进行微调，从而获取到粗粒度分类模型。
[0056]
中粒度分类模型
[0057]
该模块主要注重定位图像中的目标对象，现有弱监督方法大多都致力于挖掘目标对象中的判别性部位，而忽略了对目标对象的定位，导致过多的噪声。为了避免此影响，本发明增加了中粒度分类模块，可有效地消除图像背景噪声的影响，进一步促使模型学到更加有效的目标对象特征。本模型主要通过类激活映射cam(class activation maps)方法，先获取目标对象的显著映射图，随后将其二值化，提取连通区域，从而获取候选子块图像中的目标对象，随后将目标对象图像及其子类标签作为输入数据，训练中粒度分类模型。具体步骤如下：
[0058]
sb301：将第二部分数据预处理中选择性搜索算法和过滤生成的相关性较强的候选子块数据集作为训练数据，其训练标签为对应的子类别。
[0059]
sb302：对候选子块数据集进行预处理，首先采取类激活映射cam方法，获取图像中的目标对象的显著性映射图。
[0060]
sb303：对显著性映射图进行二值化和连通区域提取来获取图片中的对象的目标区域，以此来获取候选子块图像中的目标对象，即为目标对象训练数据集。
[0061]
sb304：将目标对象训练数据集及其对应的子类标签作为输入数据，传入训练好的resnet101模型进行微调，可生成关于目标对象的分类模型，称为中粒度分类模型。
[0062]
细粒度分类模型
[0063]
该模块主要注重定位目标对象中的判别性部位，旨在从局部、细微的差异来区分子类别。现有的方法基本都采用对子类的部位进行标注的方法，导致数据标注的工作量巨大，浪费过多的人工成本。为了避免此问题，本发明在此处采用部位聚类的方法实现自动标注。首先获取第二部分数据预处理中的部位子块图像集；其次，采用部位聚类算法，将判别性的部位数据集生成以部位为类别的簇，代替人工标注；最终，将其聚类好的子块图像集及其类标签，输入到预训练好的resnet101模型上进行微调，获取较好的分类性能。具体步骤如下：
[0064]
sc301：将第二部分数据预处理中获取的相关性较强的候选子块数据集作为输入数据；
[0065]
sc302：由于上述步骤中候选部位子图集是无序的、且语义上不对齐，可能存在多个视角的头部、尾部等。鉴于不同的部位在分类结果中都至关重要，为此本发明在此处采用聚类的方法，对判别性的候选部位子图集进行聚类，将同部位的子图聚为一类，并生成部位类标签。其中，图片i的判别性部位子图集 xi＝{xi1,xi2，
…
，xim}。采用k-means聚类的方法，将部位子图集xi聚为k 类a1，a2，
…
，ak(k值可通过交叉验证取最优)，将其部位对齐，生成类标签。k-means聚类流程如下：
[0066][0067]
sc303：将聚类后的k簇部位子块数据集及其对应的类标签作为训练数据，传入训练好的resnet101模型进行微调，可生成关于对象部位的分类模型，称为细粒度分类模型。
[0068]
步骤四：获取陆军装甲目标图像测试数据。
[0069]
该步骤主要负责获取测试数据，主要针对第一部分划分的测试数据集进行数据预处理，调整图片大小，将其作为输入，传入到训练好的多粒度融合的识别模型中。
[0070]
步骤五：融合多粒度分类模型的结果。
[0071]
该步骤主要对三个不同粒度分类模型的结果进行融合，从而获得最终该图像对应的得分。具体步骤如下：
[0072]
将测试图像分别输入到训练好粗粒度、中粒度、细粒度的分类模型中，分别计算三不同粒度分类模型的预测得分结果score
coarse-grain
、score
middle-grain
、score
fine-grain
[0073]
通过加权求得最终结果，计算方式如下：
[0074]
score
final
＝α*score
coarse-grain
β*score
middle-grain
γ*score
finne-grain
[0075]
其中，α、β、γ为三个不同粒度模型的预测得分在总得分中所占的权重，设定范围为0-1之间，步长为0.1。此值可通过网格搜索方法来获取最优组合值。
[0076]
三个不同粒度的分类模型侧重于不同层次的互补特征，将其整体、局部、细微的特征融合，从而提升整个融合多粒度分类模型的预测性能。
[0077]
步骤六：测试结果评价指标。
[0078]
该部分主要针对测试结果的评价指标，本发明中评价指标主要是精准率 (accuracy)，计算公式如下：
[0079][0080]
其中rc表示所有样本中检测正确的个数，r表示所有样本的个数。
[0081]
本发明还提供了基于多粒度融合的陆军装甲细粒度识别系统，包括陆军装甲目标图像数据采集模块、数据预处理模块、多粒度融合分类模型模块以及测试结果评价模块。
[0082]
陆军装甲目标图像数据采集模块，用于获取陆军装甲目标图像数据集，分类为训
练图像数据集和测试图像数据集。
[0083]
数据预处理模块，用于对陆军装甲目标图像数据集中图像数据进行数据预处理。
[0084]
多粒度融合分类模型模块，用于构建多粒度融合分类模型，包括三种不同粒度下的分类模型，分别为粗粒度分类模型、中粒度分类模型以及细粒度分类模型；粗粒度分类模型用于对图像数据集中原图进行分类，并保留图像中的原始特征，得到粗粒度分类结果；中粒度分类模型用于提取图像中目标对象，根据目标对象进行分类，得到中粒度分类结果；细粒度分类模型用于提取图像中的判别性部位，根据判别性部位进行分类，得到细粒度分类结果；利用陆军装甲目标图像训练数据集对多粒度融合分类模型进行训练得到训练好的多粒度融合的识别模型；获取陆军装甲目标图像测试数据，将其作为输入，传入到训练好的多粒度融合的识别模型中；将粗粒度、中粒度和细粒度分类结果进行加权融合，从而获取图像最终的检测结果。
[0085]
测试结果评价模块，对图像最终的检测结果进行评价，构建对检测结果的评价指标，即精准率acc：其中rc表示所有样本中检测正确的个数， r表示所有样本的个数。
[0086]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。