用于表情识别的细粒度识别模型及方法与流程

技术特征：
1.一种细粒度识别模型的构建方法，其特征在于，包括：依次连接的stem模块、第一层级卷积下采样单元、第二层级卷积下采样单元、第三层级卷积下采样单元、第四层级卷积下采样单元、全局平均池化层、层归一化、全连接层以及分类层；其中每一层级的卷积下采样单元均包括依次连接的卷积模块和下采样，且依次序的不同层级的卷积下采样单元内的卷积模块的数量比例为1:1:3:1；其中所述第一层级卷积下采样单元中的卷积模块为通道注意力卷积模块，第二层级卷积下采样单元、第三层级卷积下采样单元以及第四层级卷积下采样单元内的卷积模块为卷积和自注意力混合模块，所述卷积和自注意力混合模块将卷积操作和自注意力机制均拆分为两个阶段并进行融合；输入特征依次经历stem模块、第一层级卷积下采样单元、第二层级卷积下采样单元、第三层级卷积下采样单元、第四层级卷积下采样单元、全局平均池化层、层归一化、全连接层以及分类层后得到输出特征。2.根据权利要求1所述的细粒度识别模型的构建方法，其特征在于，所述通道注意力卷积模块包括依次连接的第一卷积组块、残差模块、后处理模块以及第二卷积组块组成，所述残差模块包括并联的第一残差分支和第二残差分支，其中第一残差分支包括串联的卷积组块和残差块，第二残差分支包括单个卷积组块；所述后处理模块的上支路包括全局平均池化层、通道注意力模块、1*1卷积以及激活函数，所述后处理模块的下支路直接连接所述后处理模块的输入端和输出端。3.根据权利要求2所述的细粒度识别模型的构建方法，其特征在于，所述残差模块的第一残差分支包括依次序串联的一个卷积组块以及2个残差块，第二残差分支包括一个卷积组块，第一通道注意力特征输入到所述残差模块的第一残差分支和第二残差分支中分别得到第一分支特征和第二分支特征，第一分支特征和第二分支特征进行通道堆叠后得到第二通道注意力特征。4.根据权利要求2所述的细粒度识别模型的构建方法，其特征在于，所述通道注意力模块包括多层采样层、特征堆叠层、1*1卷积、全局平均池化、全连接层、激活函数，其中输入所述通道注意力模块中的初始特征在经历多层采样层后得到多个层级的层级特征图，多个层级的层级特征图进行特征堆叠后得到层级堆叠特征，所述层级堆叠特征在经历1*1卷积后得到卷积特征，卷积特征经过所述全局平均池化、全连接层、激活函数后得到激活特征，激活特征和卷积特征融合后得到通道融合特征，所述通道融合特征和输入所述通道注意力模块中的初始特征叠加得到输出特征。5.根据权利要求1所述的细粒度识别模型的构建方法，其特征在于，所述卷积和自注意力混合模块包括依次连接的卷积和自注意力融合模块、两个1*1卷积层、层归一化操作以及drop path丢弃层，输入到卷积和自注意力混合模块的输入特征和drop path丢弃层的输出特征融合，其中所述卷积和自注意力融合模块将卷积和自注意力分成两个阶段并进行融合，所述卷积和自注意力融合模块中采用7*7分组卷积。6.根据权利要求5所述的细粒度识别模型的构建方法，其特征在于，卷积和自注意力混合模块的两个1*1卷积层之间使用一层激活层，在7*7分组卷积层和1*1卷积层之间使用归一化层，所有批量归一化层替换成层归一化层。7.根据权利要求1所述的细粒度识别模型的构建方法，其特征在于，卷积操作将大卷积
核的卷积拆分为多个独立的1*1卷积后进行移位并求和后得到卷积特征堆叠，所述自注意力机制利用单独的1*1卷积处理输入特征得到查询、键和值，然后通过计算注意力权重和聚合值得到自注意力特征堆叠；卷积特征堆叠和自注意力特征堆叠融合得到卷积和自注意力混合模块的输出特征。8.根据权利要求7所述的细粒度识别模型的构建方法，其特征在于，卷积操作区分为移位偏移操作阶段和聚合阶段，在移位偏移操作阶段，将k*k的卷积核拆分为k*k个1*1的卷积核，计算每个卷积核的每个元素与特征图相乘的值，得到独立的k*k个计算结果，在聚合阶段，不同1*1卷积核的计算结果在对应位置上相加得到卷积特征堆叠。9.根据权利要求7所述的细粒度识别模型的构建方法，其特征在于，自注意力机制包括生成阶段和权重计算阶段，在生成阶段，输入特征经历3个1*1卷积操作得到查询、键、值，在权重计算阶段，查询,键,值进行注意力权重的计算并拼接不同头得到自注意力特征堆叠。10.一种细粒度识别模型，其特征在于，根据权利要求1到9任一所述的细粒度识别模型的构建方法构建得到。11.一种细粒度目标识别方法，基于依次连接的stem模块、第一层级卷积下采样单元、第二层级卷积下采样单元、第三层级卷积下采样单元、第四层级卷积下采样单元、全局平均池化层、层归一化、全连接层以及分类层进行目标检测，其特征在于，包括以下步骤：获取包含待检测目标的待检测图像；每一层级的卷积下采样单元均包括依次连接的卷积模块和下采样，且依次序的不同层级的卷积下采样单元内的卷积模块的数量比例为1:1:3:1；其中所述第一层级卷积下采样单元中的卷积模块为通道注意力卷积模块，第二层级卷积下采样单元、第三层级卷积下采样单元以及第四层级卷积下采样单元内的卷积模块为卷积和自注意力混合模块，所述卷积和自注意力混合模块将卷积操作和自注意力机制均拆分为两个阶段并进行融合；待检测图像在经过stem模块后得到第一特征，第一特征输入到第一层级卷积下采样单元中输出第二特征，第二特征输入到第二层级卷积下采样单元得到第三特征，第三特征输入到第三层级卷积下采样单元得到第四特征，第四特征输入到第四层级卷积下采样单元得到第五特征，第五特征依次经历全局平均池化层、层归一化、全连接层以及分类层后得到待检测目标。12.一种用于表情识别的细粒度识别模型，其特征在于，利用标注有分类表情的人脸图像训练权利要求10所述的细粒度识别模型得到。13.一种表情识别方法，其特征在于，包括以下步骤：获取涵盖待检测表情的人脸图像；所述人脸图像输入到权利要求12所述的用于表情识别的细粒度识别模型进行检测得到分类表情。14.一种表情识别模型，其特征在于，包括：图像获取单元，用于获取涵盖待检测表情的人脸图像；检测单元，用于将所述人脸图像输入到权利要求11所述的用于表情识别的细粒度识别模型进行检测得到分类表情。15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程
序，所述处理器被设置为运行所述计算机程序以执行权利要求13所述的表情识别方法或权利要求11所述的细粒度目标识别方法。16.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据执行权利要求13所述的表情识别方法或权利要求11所述的细粒度目标识别方法。

技术总结
本申请提出了一种用于表情识别的细粒度识别模型及方法，该细粒度识别模型包括多层级的卷积下采样单元，其中第一层级卷积下采样单元中的卷积模块为通道注意力卷积模块，第二层级卷积下采样单元、第三层级卷积下采样单元以及第四层级卷积下采样单元内的卷积模块为卷积和自注意力混合模块，所述卷积和自注意力混合模块将卷积操作和自注意力机制均拆分为两个阶段并进行融合，通过对细粒度识别模型的优化设计使得整个细粒度识别模型的计算量减小的同时提高了识别精度。的同时提高了识别精度。的同时提高了识别精度。


技术研发人员：张香伟 曹喆 毛云青 彭大蒙 葛俊
受保护的技术使用者：城云科技（中国）有限公司
技术研发日：2022.11.29
技术公布日：2022/12/30