一种多任务多分支注意力网络结构的制作方法

1.本发明提供了一种多任务多分支注意力网络结构，属于计算机技术的深度学习技术领域。


背景技术：

2.卷积神经网络是一类包含卷积、池化、激活函数计算并且具有一定深度结构的神经网络，是深度学习领域的代表算法之一。目前已经被大量研究实例证实，在目标分类、定位、检测领域有强劲的表现，并以多层次的特征学习与丰富的特征表达能力，在目标分类领域取得了突破进展。
3.最近几年，图像分类领域诞生了一个又一个经典网络模型，googlenet提出inception模块，将网络变宽，从而从另一个方向增强了网络的特征提取能力；resnet提出残差结构，有效的缓解了梯度消失和网络退化等问题，神经网络从而可以达到上百层的深度；densennet提出密集连接概念，将网络之前每个层的输入都连接到之后的所有层，从而达到了高效的特征复用，同时也减缓了梯度消失等问题。在目标分类领域，已有许多学者将上述模型应用于图像分类，但其构建的模型大多是单任务模型，每次只能进行一个任务，而在现实生活中一张图片通常需要同时进行多个任务的判断。在这种情况下，通常需要训练多个单任务模型，对每一个任务进行分类计算，因此导致计算量庞大，检测速度慢。
4.目前，针对一张图片中有多个任务的情况，已存在多种多任务神经网络框架，多任务学习（mtl）是一种综合学习方法，通过同时训练几个任务并在任务间共享一些参数来实现。在多任务网络中，多个任务共享一个结构，可以利用不同任务的信息。当所有任务的损失趋于平缓时，这个结构就相当于融合了所有任务的信息。而一般来说，多任务网络比单任务网络有更强的泛化能力。但是大多数多任务网络要求不同任务之间具有较强的联系，否则会造成多任务网络的负迁移。在实际应用中，其精度不高，并且存在诸多限制。


技术实现要素：

5.本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种多任务多分支注意力网络结构的改进。
6.为了解决上述技术问题，本发明采用的技术方案为：一种多任务多分支注意力网络结构，包括以下模块：多分支的特征提取网络：用于从预处理的图像中提取特征，并将网络分为多个分支，每个分支输出当前阶段的特征提取网络所提取的特征图；基于注意力的特征选择模块：使用通道注意力对每个分支特征提取网络输出的特征图的通道进行加权操作，为每个任务生成任务相关的特征图；基于注意力的多分支预测模块：将每个由通道注意力的加权特征图输入全连接层进行多任务预测，然后利用分支注意力模块和任务内注意力模块来整合不同分支的同一任务的预测结果，最后，输出每个任务的分类结果。
7.所述特征提取网络使用经过修改后的resnet50作为骨干网络，修改后的resnet50共包含1个输入部分和4个block，输入部分由3个串联的3
×
3卷积层组成，block分别由3、4、6、3个layer组成，每个layer包含1
×
1卷积层、批量归一化层、修正线性单元层、3
×
3卷积层、批量归一化层、修正线性单元层、1
×
1卷积层、批量归一化层、修正线性单元层。
8.所述基于注意力的特征选择模块由以下公式表示：；上式中：fi代表特征提取网络的第i个分支输出的原始特征图；avgpool和maxpool代表池化操作，mlp代表具有一个隐藏层的多层感知器，代表sigmoid函数， 表示由第i个分支上的注意力模块生成的特定任务特征图。
9.所述分支注意力模块通过生成注意力掩码为每个分支分配权重，给不同的分支分配不同的权重。
10.所述分支注意力模块给不同的分支分配不同权重的计算步骤如下：每个分支的预测结果被拼接在一起，拼接后的结果以多通道特征图f的形式呈现；对图f进行1
×
n的卷积运算，获得多个分支的压缩信息；获得的压缩信息被送入全连接层，然后全连接层的输出被送入激活函数以获得注意力掩码w1；注意力掩码w1与图f相乘，获得加权图f1。
11.所述任务内注意力模块是在分支注意力模块的基础上，对同一子类在不同分支上的预测结果产生不同的权重。
12.所述任务内注意力模块计算权重的步骤如下：分支注意力模块输出的多通道图f1被转换为单通道图f2；对单通道图f2进行k
×
1的卷积运算，以获得注意力掩码w2；注意力掩码w2与单通道图相乘，得到加权图r，任务的最终分类结果通过加权图r的元素逐列相加得到的。
13.本发明相对于现有技术具备的有益效果为：本发明提供的多任务多分支的注意力网络结构，该结构具有三个模块：一个多分支的特征提取网络，一个基于注意力的特征选择模块，一个基于注意力多分支预测模块。多分支的特征提取并输出网络可以提取图片在网络不同阶段的特征图，特征选择模块用于对特征图进行加权，为每个任务提供任务相关的特征图，而基于注意力的多分支预测模块则可以整合来自不同分支的同一任务的预测结果，以此提高网络的准确率。实验表明，该网络结构相对于单任务网络可以利用网络不同阶段的特征信息，同时不同任务之间也得以相互促进，其效果优于单任务网络。
附图说明
14.下面结合附图对本发明做进一步说明：图1为本发明的整体网络结构示意图；图2为本发明基于注意力特征选择模块的内部结构示意图；图3为基本发明基于注意力的多分支预测模块的内部结构示意图。
具体实施方式
15.如图1至图3所示，本发明要解决的问题是：1.多任务网络通常为所有任务提供同一张特征图，从而导致多任务网络存在负迁移的问题。导致负迁移的原因可能包括：（1）不同的任务需要不同阶段的特征图，有些任务需要低阶图像特征，而有些任务需要高阶图像特征。（2）不同的任务在同一张图像中关注的区域也不相同。2.多分支结构中也存在如何为每个分支的预测结果分配合适的权重的问题。对于一个特定的任务，它在不同的分支上有不同的预测结果。如何允许网络以合理的方式利用多任务网络中不同分支的预测结果，抑制预测精度低的分支，以获得更好的分类结果，是本发明要解决的问题。
16.本发明解决其技术问题所采用的技术方案包括以下三个模块，如图1所示：模块1：多分支的特征提取网络为了解决不同的任务需要不同阶段的特征图的问题，本发明提出了一个多分支的特征提取网络。如图2所示，该特征提取网络从预处理的图像中提取特征，并将网络分为五个分支，由1-5分支组成。每个分支输出该阶段的特征提取网络所提取的特征图。这样的多分支结构可以输出网络在不同阶段提取到的特征，以满足不同任务的需求。
17.特征提取网络使用经过修改后的resnet50作为骨干网络，修改后的resnet50共包含1个输入部分和4个block。输入部分由3个串联的3
×
3卷积层组成，block分别由3、4、6、3个layer组成，每个layer包含1
×
1卷积层、批量归一化层（batch normalization, bn）、修正线性单元层（rectified linear unit,relu）、3
×
3卷积层、批量归一化层、修正线性单元层、1
×
1卷积层、批量归一化层、修正线性单元层。
18.网络的具体结构如下表1所示：
表1 特征提取网络结构。
19.模块2：基于注意力的特征选择模块该模块使用通道注意力对每个分支输出的特征图的通道进行加权操作，为每个任务生成任务相关的特征图以提高网络的准确率。
20.基于注意力的特征选择模块可以由以下公式表示：；上式中：fi代表特征提取网络的第i个分支输出的原始特征图；avgpool和maxpool代表池化操作，mlp代表具有一个隐藏层的多层感知器，代表sigmoid函数， 表示由第i个分支上的注意力模块生成的特定任务特征图。
21.模块3：基于注意力的多分支预测模块如图3所示，该模块将每个由通道注意力的加权特征图输入全连接层进行多任务预测，然后利用分支注意力模块和任务内注意力模块来整合不同分支的同一任务的预测结果。最后，该模块输出每个任务的分类结果。
22.分支注意力模块：分支注意模块通过生成注意力掩码为每个分支分配权重。通过给不同的分支分配不同的权重，网络可以合理利用不同分支的预测结果，以便更加关注具有更好分类结果的分支，从而提高模型的分类性能。通过以下步骤计算得到：
(1)每个分支的预测结果被拼接在一起，拼接后的结果以通道数为5的特征图f的形式呈现。
23.(2)对图f进行1
×
n的卷积运算。这个操作压缩了每个分支的信息，实现了对每个分支的预测结果的整体评价。
24.(3)获得的压缩信息被送入全连接（fc）层，然后fc层的输出被送入激活函数以获得注意力掩码w1。
25.(4)注意力掩码w1与图f相乘，获得加权图f1。
26.任务内注意力模块：分支注意力模块只评估了网络在该分支分类的整体性能，忽略了任务的子类别在该分支上的准确率，为了解决这个问题，本发明设计了任务内注意力模块。在分支注意力模块的基础上，对同一子类在不同分支上的预测结果产生不同的权重。这可以提高模型的准确性。其可以通过以下步骤计算得到：(1)分支注意力模块输出的多通道图f1被转换为单通道图f2。
27.(2)为了使网络能够分析不同分支上同一子类的预测结果，对图f2进行k
×
1的卷积运算，以获得注意力掩码w2。
28.(3)注意力掩码w2与图f2相乘，得到加权图r，这个任务的最终分类结果是通过加权图r的元素逐列相加得到的。
29.关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。
30.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。