一种基于非线性变换的注意力头的轻量化方法及应用
本发明涉及智能视觉,具体涉及一种基于非线性变换的注意力头的轻量化方法及应用。
背景技术:
1、户外智能摄像头广泛应用于智慧交通、园区安防、工地监管等场景,用于持续监测人员、车辆及异常事件。由于相关事件往往需要被及时发现和处理,因此户外智能摄像头在实时监控和异常预警中具有重要作用。现有基于卷积神经网络和 transformer 结合的移动视觉模型,例如 mobilevit,能够同时利用卷积结构的局部特征提取能力和自注意力机制的全局建模能力,因而具有较好的识别性能。然而,mobilevit 中的多头自注意力模块仍会带来较大的计算开销,导致其在资源受限的户外智能摄像头上部署时,容易出现推理速度较慢、能耗较高等问题。
2、mobilevit [ sachin mehta and mohammad rastegari, “mobilevit: light-weight, general-purpose, and mobile-friendly vision transformer”, inproceedings of the international conference on learning representations,2022.]模型直接将注意力头数量减少为4,大量减少了计算开销。然而,直接减少注意力头数量会使被删除的注意力头不再参与特征表达,容易降低多头注意力对不同特征子空间的建模能力,并可能影响模型精度和鲁棒性。
3、现有与本发明思想较为相近的实现方案包括 groupnl和 sefa。groupnl 利用部分卷积核生成种子特征图,再通过分组非线性变换生成其余特征图,以减少卷积层生成全部特征图所需的计算资源。sefa设计了与主干网络结构相同的微调分支,并在微调分支中指定部分卷积核作为种子卷积核,再通过非线性变换生成其余卷积核;使得微调时仅更新种子卷积核,以减少可训练参数量并提高模型鲁棒性。但是,这种基于非线性变换生成的方式的研究仅限于卷积神经网络,尚未在包含 transformer 架构的模型上检验这种思想的正确性、有效性。
4、现有技术通常通过减少注意力头数量或改变注意力计算形式实现注意力机制的轻量化,然而,其仍存在如下缺点:(1)直接减少注意力头数量虽然可以降低多头自注意力模块的计算量,但被删除的注意力头不再参与特征表达,容易削弱多头注意力对不同特征子空间的建模能力,降低注意力表示的多样性,进而影响模型精度和鲁棒性。(2)groupnl、sefa 等方法虽然已经提出利用非线性函数生成特征或参数的轻量化思想,但该类方法主要应用于卷积神经网络,尚未针对多头自注意力机制中的注意力头生成问题进行设计和验证。
5、因此,本发明要解决的问题是,如何在保持mobilevit模型性能的情况下,尽可能地降低模型计算资源消耗并提高模型推理速度。
6、针对现有技术存在的上述不足,提出本发明。
技术实现思路
1、本发明的目的是基于 mobilevit 模型,提出一种基于非线性变换的注意力头的轻量化方法,以及采用非线性变换的注意力头轻量化后的移动视觉模型 rl-mobilevit,从而减少模型在户外智能摄像头设备上的推理延迟和能耗。
2、为实现上述发明目的,本发明提供的技术方案如下:
3、一种基于非线性变换的注意力头的轻量化方法,包括以下步骤:
4、步骤s1,种子头配置与特征投影;
5、获取输入特征,确定多头自注意力模块的总注意力头数量、种子头数量以及生成头数量,并仅针对所述种子头设置查询投影矩阵、键投影矩阵和值投影矩阵;
6、利用查询投影矩阵、键投影矩阵和值投影矩阵对输入特征进行线性投影,得到种子头对应的查询特征、键特征和值特征;
7、步骤s2,种子头计算;
8、根据查询特征和键特征计算种子头的注意力权重,利用注意力权重对值特征进行加权聚合,得到多个种子头输出;
9、步骤s3,非线性变换得到生成头;
10、将每个种子头作为一个种子头组,通过具有不同固定超参数的非线性变换函数对种子头输出进行逐元素变换,得到多个生成头输出;
11、步骤s4,注意力头拼接与输出;
12、将种子头输出和生成头输出沿最后一个特征维度进行拼接,得到拼接特征,将拼接特征直接输入输出投影层进行特征融合,得到轻量化注意力模块的输出结果。
13、本发明提供的优选技术方案为:
14、所述步骤s1中,
15、包括以下步骤:
16、步骤s10,获取输入特征张量x,所述输入特征张量x满足:
17、
18、其中,表示输入轻量化注意力模块的批处理维度;表示特征序列长度;表示每个序列位置对应的特征通道维度;
19、步骤s11,确定种子头和生成头的数量;
20、定义多头自注意力模块的总注意力头数量为,种子头数量为 ,即种子头分 组,生成头数量为,每个种子头生成的注意力头数量为;其中,、、和 均为正整数,且 能够被 整除;
21、步骤s12,针对第 个种子头,分别设置查询投影矩阵 、键投影矩阵 和值投影矩阵 :
22、
23、其中为单个注意力头的特征维度,共有个注意力头, 因此满足;
24、利用所述查询投影矩阵 、键投影矩阵 和值投影矩阵 对输入特征张量 进行线性投影,得到第 个种子头对应的查询特征 、键特征 和值特征 :
25、
26、
27、
28、其中:
29、。
30、本发明提供的更优选技术方案为:
31、所述步骤s2中,
32、包括以下步骤:
33、步骤s20,对于第 个种子头,利用对应的查询特征 、键特征 和值特征 执行缩放点积注意力计算,得到第 个种子头输出 :
34、
35、其中:
36、
37、表示对键特征 的序列维度和特征维度进行转置,表示缩放因子,表示沿键特征对应的序列维度执行的归一化函数;
38、步骤s21,对全部 个种子头分别执行步骤s20,得到种子头输出集合 :
39、。
40、本发明提供的进一步的优选技术方案为:
41、所述步骤s3中,
42、包括以下步骤:
43、步骤s30,将每个种子头作为一个独立的种子头组,共组,并为第 个种子头配置 个正弦非线性变换函数:
44、
45、其中:
46、
47、
48、步骤s31,为第 个种子头对应的第 个正弦非线性变换函数设置固定超参数,所述固定超参数满足:
49、
50、所述固定超参数 在模型训练开始前从闭区间内选取,并在模型训练过程和模型推理过程中保持不变,不作为可训练参数参与梯度更新;
51、步骤s32,执行逐元素正弦非线性变换,其中所述正弦非线性变换函数表示为:
52、
53、其中,表示种子头输出中的任一特征元素;
54、将第 个种子头输出 输入第 个正弦非线性变换函数,得到生成头输出:
55、
56、步骤s33,对全部种子头输出执行步骤s30至步骤s32,得到生成头输出集合 :
57、
58、所述生成头输出集合中包含的生成头数量为:
59、。
60、本发明提供的进一步的更优选技术方案为:
61、所述步骤s4中,
62、包括以下步骤:
63、步骤s40,将全部种子头输出和全部生成头输出沿最后一个特征维度进行拼接,得到拼接特征 :
64、
65、其中,表示沿最后一个特征维度执行的特征拼接操作,每个种子头输出和每个生成头输出均满足:
66、
67、由于种子头和生成头的总数量为 ,因此:
68、
69、即:
70、
71、步骤s41,设置输出投影矩阵 ,所述输出投影矩阵满足:
72、
73、将所述拼接特征 直接输入输出投影层,得到轻量化注意力模块的输出结果 :
74、
75、其中:
76、。
77、本发明提供的还提供了一种基于非线性变换的注意力头的轻量化方法在mobilevit模型中的应用。
78、本发明提供的还提供了一种基于非线性变换的注意力头的轻量化方法在智能摄像头中的应用。
79、本发明提供的还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至8任一项权利要求所述的方法步骤。
80、本发明的有益效果为:
81、本发明在保持输入和输出形式基本不变的情况下,减少计算资源开销并提高推理速度,可以在不降低模型精度的情况下,有效的减少模型的资源消耗和加快模型推理速度。
82、
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com