一种多人手势识别方法、装置及介质与流程

1.本发明涉及人工智能技术领域，具体来说，涉及一种多人手势识别方法、装置及介质。


背景技术：

2.手势检测一直是人机交互领域的热门研究方向，手势检测任务包括手部的回归与手势分类，回归即在图像中定位人手的位置，分类即判断这只手属于哪类手势。传统的手势检测十分依赖人工设计特征，精度低、鲁棒性差。成熟的手势识别产品依赖于kinect和leap motion等专用设备，成本昂贵。基于深度学习的方法仅通过单目rgb摄像头就能对手势进行识别，成本低。尽管深度学习的兴起使手势检测得到巨大发展，目前仍存在以下问题：
3.(一)目前复杂背景下多人手势检测算法分为两个过程，即先对图像进行手部检测，检测出图像中所有的手，再把检测到的手逐个送入手势分类网络判断手势。或者把手部检测得到的手部图像依次送入到手部关键点网络得到手部的关键点，再通过关键点之间相对位置用逻辑判断手势。此二阶段方法需要两个网路，内存占用大。当图像中有多只手时，手势分类或者手部关键点网络会运行多次，耗时也会线性成倍增加，不能满足实时运行的需要。而且此二阶段方法一般用到两个数据集，即手部检测数据集以及手势分类或手部关键点数据集。
4.一阶段检测方法把不同的手势当做不同的类别进行目标检测，此方法相对二阶段检测方法虽然精度稍低，但是只需要一次检测就能把图像中所有的手检测出来，速度快，尤其是当图像中有多只手时。
5.(二)传统通道级别注意力机制仅通过取全局平均或者全局最大值操作得到一个数，这一个数很难代表整个通道的信息。
6.(三)在算力极低的边缘设备上，就算图像中只有单只手，用单阶段检测方法也很难达到实时检测。
7.手势检测任务中小目标难以检测除了网络原因外，另一个原因是小目标在数据集中数量少，检测到的特征就很少，使得目标检测模型更关注大目标。
8.本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。


技术实现要素：

9.针对相关技术中的上述技术问题，本发明提出了一种多人手势识别方法，其包括如下步骤：
10.s1，获取待识别图像或视频；
11.s2，将所述待识别图像或视频送入预先训练好的手势识别网络，以识别出手势；其中所述手势识别网络将yolov5的输出头解耦为两个输出头，其中第一个输出头为回归框位
置和前景置信度，第二输出头为类别信息；所述手势识别网络的损失函数为l
fl
＝-(1-p
t
)
γ
logp
t
，其中p
t
表示真实值与预测值之间的接近程度，γ随着训练的轮数从0逐渐增到一预设值γ_max。
12.具体的，所述γ＝(γ_max/total_epoch2)
×
current_epoch2。其中total_epoch、current_epoch分别为总训练轮数与当前训练轮数。
13.具体的，所述预设值γ_max为1。
14.具体的，所述手势识别网络将yolov5的骨干网络backbone替换为pp-15.lcnet。
16.具体的，所述pp-lcnet的特征图逐通道进行一维卷积得到c个数f，f与特征图每个通道的全局平均值和全局最大值一起进行通道注意力机制的“squeeze”操作得到每个通道重要程度。
17.第二方面，本发明的另一个实施例公开了一种多人手势识别装置，其包括如下单元：
18.待识别图像或视频获取单元，用于获取待识别图像或视频；
19.手势识别单元，用于将所述待识别图像或视频送入预先训练好的手势识别网络，以识别出手势；其中所述手势识别网络将yolov5的输出头解耦为两个输出头，其中第一个输出头为回归框位置和前景置信度，第二输出头为类别信息；所述手势识别网络的损失函数为l
fl
＝-(1-p
t
)
γ
logp
t
，其中p
t
表示真实值与预测值之间的接近程度，γ随着训练的轮数从0逐渐增到一预设值γ_max。
20.具体的，所述γ＝(γ_max/total_epoch2)
×
current_epoch2。其中total_epoch、current_epoch分别为总训练轮数与当前训练轮数。
21.具体的，所述预设值γ_max为1。
22.具体的，所述手势识别网络将yolov5的骨干网络backbone替换为pp-lcnet。
23.具体的，所述pp-lcnet的特征图逐通道进行一维卷积得到c个数f，f与特征图每个通道的全局平均值和全局最大值一起进行通道注意力机制的“squeeze”操作得到每个通道重要程度。
24.本发明的多人手势识别方法在低算力设备上对复杂背景多人场景进行实
25.时手势检测。相对现有的二阶段方法即先对场景中的人进行手部检测，再把检测到的手势逐个送入到分类网络进行手势分类，那么多人场景下手有很多个，手势分类网络就会重复运行多次，不能满足实时运行的需要。本发明的手势识别方法把不同的手势当做不同的类进行目标检测，网络只需要运行一次就能把所有手势检测出来并分类。
26.为了进一步降低推理时间，本发明首先把分辨率降到320
×
320，但分辨率降低导致了两个问题，一是多人场景中不同手势之间的特征区分度变得很小，难分样本会变多；二是分辨率降低导致的精度下降。针对不同手势之间区分度变小的问题本实施例改进了focal loss损失函数，可让模型在训练初期能力较弱的时候聚焦简单样本，在训练后期能力较强的时候能加聚焦难分样本，并把yolov5的输出头解耦成两个输出头以加强网络分类能力。针对分辨率降低导致的精度下降的问题，本发明改进了通道注意力机制，仅多引入少量参数，但大大提高了通道注意力机制“squeeze”操作得到的数对本层通道特征图信息的代表性，也提高了模型精度。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1是本发明实施例提供的一种多人手势识别方法流程图；
29.图2是本发明实施例提供的yolov5网络结构示意图；
30.图3是本发明实施例提供的解耦输出头示意图；
31.图4是本发明实施例提供的通道注意力机制se示意图；
32.图5是本发明实施例提供的改进通道注意力机制se示意图；
33.图6是本发明实施例提供的一种多人手势识别装置示意图；
34.图7是本发明实施例提供的一种多人手势识别设备示意图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
36.实施例一
37.参考图1，本实施例提供了一种多人手势识别方法，其包括如下步骤：
38.s1，获取待识别图像或视频；
39.本实施例的多人手势识别方法可以布置在低算力设备上，例如边缘计算设备等，所述低算力设备具有一摄像头，所述摄像头可以用来拍照或者录像获取视频；
40.s2，将所述待识别图像或视频送入预先训练好的手势识别网络，以识别出手势；其中所述手势识别网络将yolov5的输出头解耦为两个输出头，其中第一个输出头为回归框位置和前景置信度，第二输出头为类别信息；所述手势识别网络的损失函数为l
fl
＝-(1-p
t
)
γ
logp
t
，其中p
t
表示真实值与预测值之间的接近程度，γ随着训练的轮数从0逐渐增到一预设值γ_max。
41.参考图2，图2是yolov5包括输入端、骨干网络backbone、neck，以及输出头prediction。
42.本实施例的手势识别网络以yolov5为基础，输入图像进行预处理后送入网络进行预测。
43.参考图3，本实施的多人手势识别方法应用在多人场景，图像中的手势较小，此外为了加快网络推理速度把网络输入改成较小的320
×
320分辨率，导致图像缩放到320
×
320时图像中的手就更小了。网络需要用很少的特征判断手势的类型，这对网络对手势的区分能力有极高的要求。为了加强网络的分类能力，本实施例将yolov5的输出头解耦成两个输出头，即将回归框位置和前景置信度放到一个输出头，类别信息放到另一个输出头。因为用于回归和用于分类的特征是有差异的，用一个较大的卷积做回归和分类两件事不如用两个稍小的卷积分别去做回归和分类。
44.本实施例的手势识别方法经过网络的backbone和neck结构后输出几个分辨率不同网络输出头，分辨率大的用来预测小目标，分辨率小的用来预测大目标。
45.在多人背景下手部区域占的像素很少，图像缩放到较小的网络输入大小320
×
320后不同手势之间的特征区分度会变的很小，因此需要着重加强网络的分类能力，让网络更加聚焦于难分样本。yolov5默认损失函数采用平衡交叉熵损失函数，本实施例采用focal loss损失函数，并对focal loss损失函数进行改进。focal loss损失函数公式为：l
fl
＝-(1-p
t
)
γ
logp
t
，其中p
t
表示真实值与预测值之间的接近程度，p
t
越大说明预测的越准，γ是固定值(0，1，2，3，4)，在一些场景下γ为2时效果最好。γ的作用是调节难分样本和易分样本在总损失函数损失值中变小的程度，γ越大难分样本在总损失值中的权重与易
46.分样本在总损失值中的权重的比例就会越大，网络越倾向于难分样本。例如当γ为2时p
t
为0.9的简单样本的损失函数值相对标准交叉熵损失函数值降低了(1-p
t
)
γ
＝(1-0.9)2＝100倍，而p
t
为0.5的的难分样本的损失函数值相对标准交叉熵损失函数值仅仅降低了(1-p
t
)
γ
＝(1-0.5)2＝4倍，难分样本在总损失函数值中相对占比大大增加，γ越大难分样本和易分样本在总损失函数中占比差距就越大。
47.本实施例将focal loss损失函数中γ参数改成动态的，让其随着训练的轮次epoch从0逐渐增到γ_max，让γ是epoch的二次函数，γ＝(γ_max/total_epoch2)
×
current_epoch2，其中total_epoch、current_epoch分别为总训练轮数与当前训练轮数。本实施例的γ_max为1，实验发现γ_max为1时效果最好。网络刚开始训练时，模型的能力不强，此时γ较小让模型聚焦简单样本即可。随着训练轮数的进行，模型能力越来越强，网络可较好的处理简单样本，此时增大γ可让模型更加聚焦难分样本。
48.本实施例公开了一种多人手势识别方法，通过将yolov5的输出头解耦为两个输出头，其中第一个输出头为回归框位置和前景置信度，第二输出头为类别信息；所述手势识别网络的损失函数为l
fl
＝-(1-p
t
)
γ
logp
t
，其中p
t
表示真实值与预测值之间的接近程度，γ随着训练的轮数从0逐渐增到γ_max。一方面，通过将yolov5的输出头进行解耦，使用分辨率大的用来预测小目标，分辨率小的用来预测大目标，从而增强对小目标的识别能力。此外，将损失函数的γ改为动态的，可以有效的提高在手势识别网络在训练时对难分样本与易分样本对区分能力。γ相比focal loss损失函数中的固定值改成动态的有利
49.与让模型在训练初期聚焦简单样本，在训练后期聚焦难分样本，提高网络对难分样本的检测能力。
50.进一步的，本实施例将yolov5的backbone改为pp-lcnet。
51.pp-lcnet网络由一系列pp-lc block组成，pp-lc block由深度可分离卷积和通道级别的注意力机制(se)组成。se由两部分组成，分别是“squeeze”操作和两个全连接，“squeeze”操作取每个通道的全局平均值或者全局最大值。用全局平均值或全局最大值很难代表特征图某个通道的特征，因此本实施例对se进行了改进。
52.参考图4和图5，假设待应用se的特征图用x表示，其高宽和通道数分别用h、w和c表示。本实施例首先对特征图的每个通道分别应用尺寸为h
×w×
1的卷积核进行卷积得到c个数f＝(f1,f2,......,fc)，从整体上看就是用和特征图x尺寸一样的卷积核进行深度可分离卷积。通过可学习的卷积核得到的参数f比直接应用全局平均和全局池化更具代表性，本实施例不仅用f代表某一通道的特征，而是用f、全局平均值和全局最大值这三个数代表某一
层的特征，因此传统的se经“squeeze”操作后得到c个数，而本实施例的改进se得到3c个数。这样做的好处是提高“squeeze”操作前得到数据的代表性，让这些数据能更好反应特征图某个通道的信息。
53.具体的，对待卷积的尺寸为(h
×w×
c)的特征图逐通道应用与尺寸为(h
×w×
1)的卷积核进行卷积得到c个数f。f与特征图每个通道的全局平均值和全局最大值一起进行通道注意力机制的“squeeze”操作得到每个通道重要程度，这可提高每个通道的重要程度对本通道的代表性。
54.本实施例网络backbone的最后两个block中应用了本实施例提出的增强se结构。
55.本实施例的多人手势识别方法在低算力设备上对复杂背景多人场景进行实时手势检测。相对现有的二阶段方法即先对场景中的人进行手部检测，再把检测到的手势逐个送入到分类网络进行手势分类，那么多人场景下手有很多个，手势分类网络就会重复运行多次，不能满足实时运行的需要。本实施例的手势识别方法把不同的手势当做不同的类进行目标检测，网络只需要运行一次就能把所有手势检测出来并分类。
56.为了进一步降低推理时间，本实施例首先把分辨率降到320
×
320，但分辨率降低导致了两个问题，一是多人场景中不同手势之间的特征区分度变得很小，难分样本会变多；二是分辨率降低导致的精度下降。针对不同手势之间区分度变小的问题本实施例改进了focal loss损失函数，可让模型在训练初期能力较弱的时候聚焦简单样本，在训练后期能力较强的时候能加聚焦难分样本，并把yolov5的输出头解耦成两个输出头以加强网络分类能力。针对分辨率降低导致的精度下降的问题，本实施例改进了通道注意力机制，仅多引入少量参数，但大大提高了通道注意力机制“squeeze”操作得到的数对本层通道特征图信息的代表性，也提高了模型精度。
57.实施例二
58.参考图6，本实施例提供了一种多人手势识别装置，其包括如下单元：
59.待识别图像或视频获取单元，用于获取待识别图像或视频；
60.本实施例的多人手势识别装置可以布置在低算力设备上，例如边缘计算
61.设备等，所述低算力设备具有一摄像头，所述摄像头可以用来拍照或者录像获取视频；
62.手势识别单元，用于将所述待识别图像或视频送入预先训练好的手势识别网络，以识别出手势；其中所述手势识别网络将yolov5的输出头解耦为两个输出头，其中第一个输出头为回归框位置和前景置信度，第二输出头为类别信息；所述手势识别网络的损失函数为l
fl
＝-(1-p
t
)
γ
logp
t
，其中p
t
表示真实值与预测值之间的接近程度，γ随着训练的轮数从0逐渐增到一预设值γ_max。
63.参考图2，图2是yolov5包括输入端、骨干网络backbone、neck，以及输出头prediction。
64.本实施例的手势识别网络以yolov5为基础，输入图像进行预处理后送入网络进行预测。
65.参考图3，本实施的多人手势识别方法应用在多人场景，图像中的手势较小，此外为了加快网络推理速度把网络输入改成较小的320
×
320分辨率，导致图像缩放到320
×
320时图像中的手就更小了。网络需要用很少的特征判断手势的类型，这对网络对手势的区分
能力有极高的要求。为了加强网络的分类能力，本实施例将yolov5的输出头解耦成两个输出头，即将回归框位置和前景置信度放到一个输出头，类别信息放到另一个输出头。因为用于回归和用于分类的特征是有差异的，用一个较大的卷积做回归和分类两件事不如用两个稍小的卷积分别去做回归和分类。
66.本实施例的手势识别方法经过网络的backbone和neck结构后输出几个分辨率不同网络输出头，分辨率大的用来预测小目标，分辨率小的用来预测
67.大目标。
68.在多人背景下手部区域占的像素很少，图像缩放到较小的网络输入大小320
×
320后不同手势之间的特征区分度会变的很小，因此需要着重加强网络的分类能力，让网络更加聚焦于难分样本。yolov5默认损失函数采用平衡交叉熵损失函数，本实施例采用focal loss损失函数，并对focal loss损失函数进行改进。focal loss损失函数公式为：l
fl
＝-(1-p
t
)
γ
logp
t
，其中p
t
表示真实值与预测值之间的接近程度，p
t
越大说明预测的越准，γ是固定值(0，1，2，3，4)，在一些场景下γ为2时效果最好。γ的作用是调节难分样本和易分样本在总损失函数损失值中变小的程度，γ越大难分样本在总损失值中的权重与易分样本在总损失值中的权重的比例就会越大，网络越倾向于难分样本。例如当γ为2时p
t
为0.9的简单样本的损失函数值相对标准交叉熵损失函数值降低了(1-p
t
)
γ
＝(1-0.9)2＝100倍，而p
t
为0.5的的难分样本的损失函数值相对标准交叉熵损失函数值仅仅降低了(1-p
t
)
γ
＝(1-0.5)2＝4倍，难分样本在总损失函数值中相对占比大大增加，γ越大难分样本和易分样本在总损失函数中占比差距就越大。
69.本实施例将focal loss损失函数中γ参数改成动态的，让其随着训练的epoch从0逐渐增到γ_max，让γ是epoch的二次函数，γ＝(γ_max/total_epoch2)
×
current_epoch2，本实施例的γ_max为1，实验发现γ_max为1时效果最好。网络刚开始训练时，模型的能力不强，此时γ较小让模型聚焦简单样本即可。随着训练轮数的进行，模型能力越来越强，网络可较好的处理简单样本，此时增大γ可让模型更加聚焦难分样本。
70.本实施例公开了一种多人手势识别方法，通过将yolov5的输出头解耦为两个输出头，其中第一个输出头为回归框位置和前景置信度，第二输出头为类别信息；所述手势识别网络的损失函数为l
fl
＝-(1-p
t
)
γ
logp
t
，其中p
t
表示真实值与预测值之间的接近程度，γ随着训练的轮数从0逐渐增到γ_max。一方面，通过将yolov5的输出头进行解耦，使用分辨率大的用来预测小目标，分辨率小的用来预测大目标，从而增强对小目标的识别能力。此外，将损失函数的γ改为动态的，可以有效的提高在手势识别网络在训练时对难分样本与易分样本对区分能力。
71.进一步的，本实施例将yolov5的backbone改为pp-lcnet。
72.pp-lcnet网络由一系列pp-lc block组成，pp-lc block由深度可分离卷积和通道级别的注意力机制(se)组成。se由两部分组成，分别是“squeeze”操作和两个全连接，“squeeze”操作取每个通道的全局平均值或者全局最大值。用全局平均值或全局最大值很难代表特征图某个通道的特征，因此本实施例对se进行了改进。
73.参考图4和图5，假设待应用se的特征图用x表示，其高宽和通道数分别用h、w和c表示。本实施例首先对特征图的每个通道分别应用尺寸为h
×w×
1的卷积核进行卷积得到c个数f＝(f1,f2,......,fc)，从整体上看就是用和特征图x尺寸一样的卷积核进行深度可分离
卷积。通过可学习的卷积核得到的参数f比直接应用全局平均和全局池化更具代表性，本实施例不仅用f代表某一通道的特征，而是用f、全局平均值和全局最大值这三个数代表某一层的特征，因此传统的se经“squeeze”操作后得到c个数，而本实施例的
74.改进se得到3c个数。这样做的好处是提高“squeeze”操作得到数据的代表性，让这些数据能更好反应特征图某个通道的信息。
75.具体的，对待卷积的尺寸为(h
×w×
c)的特征图逐通道应用与尺寸为(h
×w×
1)的卷积核进行卷积得到c个数f。f与特征图每个通道的全局平均值和全局最大值一起进行通道注意力机制的“squeeze”操作得到每个通道重要程度，这可提高每个通道的重要程度对本通道的代表性。
76.本实施例网络backbone的最后两个block中应用了本实施例提出的增强se结构。
77.实施例三
78.参考图7，图7是本实施例的一种多人手势识别设备的结构示意图。该实施例的多人手势识别设备20包括处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
79.示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述多人手势识别设备20中的执行过程。例如，所述计算机程序可以被分割成实施例二中的各个模块,各模块具体功能请参考上述实施例所述的装置的工作过程，在此不再赘述。
80.所述多人手势识别设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是多人手势识别设备20的示例，并不构成对多人手势识别设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述多人手势识别设备20还可以包括输入输出设备、网络接入设备、总线等。
81.所述处理器21可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述多人手势识别设备20的控制中心，利用各种接口和线路连接整个多人手势识别设备20的各个部分。
82.所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述多人手势识别设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，
例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
83.其中，所述多人手势识别设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
84.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之
85.间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
86.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。