面向Transformer的多尺度特征增强模块

面向transformer的多尺度特征增强模块
技术领域
1.本发明涉及计算机视觉领域，特别是涉及一种面向transformer的多尺度特征增强模块。


背景技术：

2.在图像处理中，因物体的大小不一，所以多尺度问题是很多计算机视觉任务都必须要解决的问题，如目标检测、图像分割、人群计数等。deeplab中提出的多尺度空洞空间金字塔池化atrous spatial pyramid pooling(aspp)模块使用具有不同采样率的多个并行空洞卷积层获取多尺度物体信息。受此启发，本发明意在提出一种即插即用的面向transformer的多尺度特征增强模块。


技术实现要素：

3.本发明所需要解决的技术问题是提供一种面向transformer的多尺度特征增强模块，通过不同级别的块合并，形成不同尺度的块序列，由多条transformer路径增强特征感知尺度的能力。
4.本发明具体采用的技术方案如下：
5.本发明面向transformer的多尺度特征增强模块包括以下步骤：
6.s1、基于原始的特征块序列构造一条transformer路径；
7.s2、对原始的特征块序列进行不同级别的块合并，构造多条带残差的transformer路径；
8.s3、对所述s1和s2产生的结果进行级联，降维，产生增强的特征块序列。
9.进一步地，在所述步骤s1中，假设原始的特征块序列表示为f＝[t1,t2,
…
,tn]，构造的transformer路径表示为：
[0010]
f＝trans(f)
[0011]
其中，trans(
·
)表示一个transformer块，有两个多头自注意力层构成；
[0012]
进一步地，在所述步骤s2中，对原始的特征块序列进行不同级别的块合并，构造多条带残差的transformer路径；具体表示为：
[0013]fi
＝mlp(reshape(fc(trans(mergei(f)))) f)
[0014]
其中，mergei(
·
)表示第i种块合并方法，i从1到m，m表示带残差的transformer路径总数；fc(
·
)表示全连接层，reshape(
·
)表示变形操作，mlp(
·
)表示多层感知机，“ ”表示通道级联操作；
[0015]
进一步地，在所述步骤s3中，对所述s1和s2产生的结果进行级联，降维，产生增强的特征块序列f
final
。
[0016][0017]
与已有技术相比，本发明有益效果体现在：
[0018]
本发明提出一种面向transformer的多尺度特征增强模块，通过不同级别的块合并，形成不同尺度的块序列，由多条transformer路径增强特征感知尺度的能力。
附图说明
[0019]
图1为本发明一种面向transformer的多尺度特征增强模块的示意图。
[0020]
以下通过具体实施方式，并结合附图对本发明做进一步说明，但本发明的实施方式不限于此。
具体实施方式
[0021]
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0022]
本发明实施例面向transformer的多尺度特征增强模块，如图1所示，包括以下步骤：
[0023]
s1、基于原始的特征块序列构造一条transformer路径；
[0024]
s2、对原始的特征块序列进行不同级别的块合并，构造多条带残差的transformer路径；
[0025]
s3、对所述s1和s2产生的结果进行级联，降维，产生增强的特征块序列。
[0026]
进一步地，在所述步骤s1中，假设原始的特征块序列表示为f＝[t1,t2,
…
,t15]，构造的transformer路径表示为：
[0027]
f＝trans(f)
[0028]
其中，trans(
·
)表示一个transformer块，有两个多头自注意力层构成；
[0029]
进一步地，在所述步骤s2中，对原始的特征块序列进行不同级别的块合并，构造多条带残差的transformer路径；具体表示为：
[0030]fi
＝mlp(reshape(fc(trans(mergei(f)))) f)
[0031]
其中，mergei(
·
)表示第i种块合并方法，i从1到2；merge1(
·
)将f中的15个块每3个进行一次合并，形成5个块；merge2(
·
)将f中的15个块每5个进行一次合并，形成3个块；fc(
·
)表示全连接层，reshape(
·
)表示变形操作，mlp(
·
)表示多层感知机，“ ”表示通道级联操作；
[0032]
进一步地，在所述步骤s3中，对所述s1和s2产生的结果进行级联，降维，产生增强的特征块序列f
final
。
[0033][0034]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。


技术特征：
1.本发明面向transformer的多尺度特征增强模块，包括以下步骤：s1、基于原始的特征块序列构造一条transformer路径；s2、对原始的特征块序列进行不同级别的块合并，构造多条带残差的transformer路径；s3、对所述s1和s2产生的结果进行级联，降维，产生增强的特征块序列。2.根据权利要求1所述的面向transformer的多尺度特征增强模块，其特征在于，在所述步骤s1中，假设原始的特征块序列表示为f＝[t1,t2,
…
,tn]，构造的transformer路径表示为：f＝trans(f)其中，trans(
·
)表示一个transformer块，有两个多头自注意力层构成。3.根据权利要求1所述的面向transformer的多尺度特征增强模块，其特征在于，在所述步骤s2中，对原始的特征块序列进行不同级别的块合并，构造多条带残差的transformer路径；具体表示为：f
i
＝mlp(reshape(fc(trans(merge
i
(f)))) f)其中，merge
i
(
·
)表示第i种合并方法，i从1到m，m表示带残差的transformer路径总数；fc(
·
)表示全连接层，reshape(
·
)表示变形操作，mlp(
·
)表示多层感知机，“ ”表示通道级联操作。4.根据权利要求1所述的面向transformer的多尺度特征增强模块，其特征在于，在所述步骤s3中，对所述s1和s2产生的结果进行级联，降维，产生增强的特征块序列f
final
。

技术总结
本发明公开了一种面向Transformer的多尺度特征增强模块，包括以下步骤：基于原始的特征块序列构造一条Transformer路径；对原始的特征块序列进行不同级别的块合并，构造多条带残差的Transformer路径；对所述S1和S2产生的结果进行级联，降维，产生增强的特征块序列；所述模块通过不同级别的块合并，形成不同尺度的块序列，由多条Transformer路径增强特征感知尺度的能力。尺度的能力。尺度的能力。


技术研发人员：刘政怡 檀亚诚 吴伟 张广辉
受保护的技术使用者：安徽大学
技术研发日：2022.08.29
技术公布日：2022/11/18