一种多任务多分支注意力网络结构的制作方法

技术特征：
1.一种多任务多分支注意力网络结构，其特征在于：包括以下模块：多分支的特征提取网络：用于从预处理的图像中提取特征，并将网络分为多个分支，每个分支输出当前阶段的特征提取网络所提取的特征图；基于注意力的特征选择模块：使用通道注意力对每个分支特征提取网络输出的特征图的通道进行加权操作，为每个任务生成任务相关的特征图；基于注意力的多分支预测模块：将每个由通道注意力的加权特征图输入全连接层进行多任务预测，然后利用分支注意力模块和任务内注意力模块来整合不同分支的同一任务的预测结果，最后，输出每个任务的分类结果。2.根据权利要求1所述的一种多任务多分支注意力网络结构，其特征在于：所述特征提取网络使用经过修改后的resnet50作为骨干网络，修改后的resnet50共包含1个输入部分和4个block，输入部分由3个串联的3
×
3卷积层组成，block分别由3、4、6、3个layer组成，每个layer包含1
×
1卷积层、批量归一化层、修正线性单元层、3
×
3卷积层、批量归一化层、修正线性单元层、1
×
1卷积层、批量归一化层、修正线性单元层。3.根据权利要求1所述的一种多任务多分支注意力网络结构，其特征在于：所述基于注意力的特征选择模块由以下公式表示：；上式中：f
i
代表特征提取网络的第i个分支输出的原始特征图；avgpool和maxpool代表池化操作，mlp代表具有一个隐藏层的多层感知器，代表sigmoid函数，表示由第i个分支上的注意力模块生成的特定任务特征图。4.根据权利要求1所述的一种多任务多分支注意力网络结构，其特征在于：所述分支注意力模块通过生成注意力掩码为每个分支分配权重，给不同的分支分配不同的权重。5.根据权利要求4所述的一种多任务多分支注意力网络结构，其特征在于：所述分支注意力模块给不同的分支分配不同权重的计算步骤如下：每个分支的预测结果被拼接在一起，拼接后的结果以多通道特征图f的形式呈现；对图f进行1
×
n的卷积运算，获得多个分支的压缩信息；获得的压缩信息被送入全连接层，然后全连接层的输出被送入激活函数以获得注意力掩码w1；注意力掩码w1与图f相乘，获得加权图f1。6.根据权利要求1所述的一种多任务多分支注意力网络结构，其特征在于：所述任务内注意力模块是在分支注意力模块的基础上，对同一子类在不同分支上的预测结果产生不同的权重。7.根据权利要求6所述的一种多任务多分支注意力网络结构，其特征在于：所述任务内注意力模块计算权重的步骤如下：分支注意力模块输出的多通道图f1被转换为单通道图f2；对单通道图f2进行k
×
1的卷积运算，以获得注意力掩码w2；注意力掩码w2与单通道图相乘，得到加权图r，任务的最终分类结果通过加权图r的元素逐列相加得到的。

技术总结
本发明提供了一种多任务多分支注意力网络结构，属于深度学习技术领域；解决了现有的多任务的网络结构能够使模型同时处理多个任务，但同时由于每个任务所需的特征不相同，也带来了网络负迁移的问题；解决上述技术问题采用的技术方案为：该结构具有三个模块：一个多分支的特征提取网络，一个基于注意力的特征选择模块，一个基于注意力多分支预测模块，多分支的特征提取并输出网络可以提取图片在网络不同阶段的特征图，特征选择模块用于对特征图进行加权，为每个任务提供任务相关的特征图，而基于注意力的多分支预测模块则可以整合来自不同分支的同一任务的预测结果，以此提高网络的准确率；本发明应用于图像分类处理。本发明应用于图像分类处理。本发明应用于图像分类处理。


技术研发人员：范军俊 任晓宇 韩晓红 董于杰 王亮 冯晋首 朱鹏飞 李耀军 王丽娜
受保护的技术使用者：山西清众科技股份有限公司
技术研发日：2022.06.21
技术公布日：2022/8/12