基于Xception网络改进的手势图像特征提取方法

技术特征：
1.一种基于xception网络改进的手势图像特征提取方法，其特征在于：包括如下步骤：1)对手势进行图像采集获得原始图像，对原始图像进行尺寸归一化和标准化处理获得原始手势图像；2)构建卷积神经网络，包括浅层特征提取结构、深层特征提取结构、特征金字塔结构、高阶特征提取结构和输出结构；浅层特征提取结构主要由降采样卷积模块和常规卷积模块组成；深层特征提取结构包括四个依次连接的密集深度可分离卷积模块和三个依次连接的压缩激励模块，相邻两个密集深度可分离卷积模块之间连接有一个压缩激励模块，每个压缩激励模块经局部最大池化层后输出；特征金字塔结构包括逐点卷积层和上采样层；高阶特征提取结构包括依次连接的深度可分离卷积模块、压缩激励模块和局部最大池化层；输出结构包括依次连接的深度可分离卷积模块和分类模块；3)将原始手势图像输入步骤2)的卷积神经网络进行特征提取，输出分类结果。2.根据权利要求1所述的基于xception网络改进的手势图像特征提取方法，其特征在于：所述步骤3)具体为：3.1)浅层特征提取结构：原始手势图像经过降采样卷积模块降低维度，再经常规卷积模块提取浅层特征，得到浅层特征张量；3.2)深层特征提取结构：浅层特征张量依次通过四个密集深度可分离卷积模块，密集深度可分离卷积模块对特征张量中空间相关性和跨通道相关性完全解耦；其中，压缩激励模块对输入的特征进行重标定后再经局部最大池化层缩小尺寸；3.3)特征金字塔结构：第四个密集深度可分离卷积模块的输出经上采样层扩大尺度得到第一融合特征张量，第二个压缩激励模块经局部最大池化层的输出经逐点卷积层改变通道数得到第二融合特征张量，两个融合特征张量进行逐像素叠加操作，得到特征金字塔结构的输出；3.4)高阶特征提取结构：融合多尺度特征的张量依次经过深度可分离卷积模块、压缩激励模块和局部最大池化层，得到高阶多维特征张量；3.5)输出结构：高阶多维特征张量经深度可分离卷积模块和分类模块得到手势图像的分类结果。3.根据权利要求1所述的基于xception网络改进的手势图像特征提取方法，其特征在于：所述的浅层特征提取结构：降采样卷积模块主要由进行降采样的步长为2
×
2的卷积层、批量归一化层和relu激活层依次连接组成，具体由以下公式设置表示：常规卷积模块主要由步长为1
×
1的卷积层、批量归一化层和relu激活层依次连接组成，具体由以下公式设置表示：其中，f1表示降采样卷积模块，f2表示常规卷积模块；z代表输入的图像，代
表卷积核尺寸为i
×
i，步长为n的卷积函数，bn(*)代表批量归一化函数，δ(*)代表relu激活函数。4.根据权利要求1所述的基于xception网络改进的手势图像特征提取方法，其特征在于：所述的密集深度可分离卷积模块主要由多个深度可分离卷积模块密集连接组成，密集连接表示每个深度可分离卷积模块的输入为密集深度可分离卷积模块的输入和所有前继深度可分离卷积模块的输出张量经通道叠加形成；前继深度可分离卷积模块为当前深度可分离卷积模块之前的所有深度可分离卷积模块；具体公式设置如下：其中，x0表示密集深度可分离卷积模块的输入，x
l
表示第l个深度可分离卷积模块的输出，表示通道维度上的叠加，f3(*)表示深度可分离卷积模块。5.根据权利要求4所述的基于xception网络改进的手势图像特征提取方法，其特征在于：四个依次连接的密集深度可分离卷积模块中：前三个密集深度可分离卷积模块由三个深度可分离卷积模块密集连接组成，第四个密集深度可分离卷积模块由两个深度可分离卷积模块密集连接组成。6.根据权利要求4所述的基于xception网络改进的手势图像特征提取方法，其特征在于：密集深度可分离卷积模块的深度可分离卷积模块f3主要由relu激活层、深度可分离卷积层和批量归一化层依次连接组成，具体由以下公式设置表示：其中，z代表输入的图像，δ(*)代表relu激活函数，代表卷积核尺寸为i
×
i，步长为n的深度可分离卷积函数，bn(*)代表批量归一化函数；高阶特征提取结构中的深度可分离卷积模块主要由深度可分离卷积层、relu激活层和批量归一化层依次连接组成。7.根据权利要求1所述的基于xception网络改进的手势图像特征提取方法，其特征在于，所述的压缩激励模块包括压缩模块f
sq
、激励模块f
ex
和重标定模块f
scale
，主要由全局平均池化层、全连接层、relu激活层、全连接层、sigmoid激活层依次连接组成；具体由以下公式设置表示：f
sq
(z)＝gap(z)f
ex
(x)＝σ(w(δ(w(x))))f
scale
(q，d)＝q
×
d其中，z代表输入的图像，gap(*)代表全局平均池化函数，x代表压缩模块获得的全局描述，w(*)全连接函数，δ(*)代表relu激活函数，σ(*)代表sigmoid激活函数，q代表输入压缩激励模块的特征张量，d代表激励模块获得的各个通道的权重；重标定模块f
scale
的输出再经局部最大池化层输出。8.根据权利要求1所述的基于xception网络改进的手势图像特征提取方法，其特征在于，所述特征金字塔结构中：上采样层采用最近邻插值算法。9.根据权利要求1所述的基于xception网络改进的手势图像特征提取方法，其特征在于，所述输出结构中的分类模块包括依次连接的全局平均池化层、全连接层和softmax分类器。

技术总结
本发明公开了一种基于Xception网络改进的手势图像特征提取方法。对手势采集获得原始手势图像；输入降采样卷积模块和常规卷积模块中降低维度和提取浅层特征；浅层特征张量输入深层特征提取结构提取深层特征，特征金字塔结构融合深层特征提取结构中浅层和深层包含的空间信息和语义信息，融合后通过深度可分离卷积模块进行解耦，再通过压缩激励模块和局部最大池化层；最后经过深度可分离卷积模块、分类模块得分类结果。本发明通过密集深度可分离卷积模块提高手势识别的准确率并减少模型的计算量，特征金字塔结构有助于融合多尺度特征，压缩激励模块能够强化重要特征，抑制次要特征，有效提高手势的识别率。有效提高手势的识别率。有效提高手势的识别率。


技术研发人员：周梓豪 田秋红 章立早 阮琼璐 王捷
受保护的技术使用者：浙江理工大学
技术研发日：2022.04.08
技术公布日：2022/6/10