基于强化学习的连续手语识别方法、电子设备和存储介质

技术特征：
1.基于强化学习的连续手语识别方法，其特征在于，具体包括以下步骤：步骤1，构建强化学习网络模块；步骤2，对连续视频帧进行裁剪处理，获得全身视频帧、手部视频帧和脸部视频帧，分别使用强化学习网络模块选取全身视频帧、手部视频帧、脸部视频帧中的核心视频帧；步骤3，使用二维卷积神经网络分别提取全身核心视频帧、手部核心视频帧、脸部核心视频帧中的特征，并将脸部特征、手部特征和全身特征拼接后输入一维卷积神经网络，提取时间维度上的视频片段；步骤4，使用联结主义时间分类器处理视频片段得到连续手语识别句子。2.根据权利要求1所述的基于强化学习的连续手语识别方法，其特征在于，所述强化学习网络模块包括三维卷积神经网络模块、双向循环神经网络模块和损失函数计算模块；所述三维卷积神经网络模块，用于提取连续手语视频中的视觉特征，并将其转换为为一维特征；所述双向循环神经网络模块，用于获取一维特征的隐藏状态，并基于隐藏状态获得每个视频帧的概率分布；所述损失函数计算模块，用于计算强化学习网络的损失函数，并将计算结果反馈至三维卷积神经网络模块和双向训练神经网络模块，对其参数进行优化更新。3.根据权利要求1或2所述的基于强化学习的连续手语识别方法，其特征在于，所述强化学习网络模块的损失函数loss如下：loss＝-j(θ) β1loss
percentage
β2loss
weight
其中j(θ)表示目标函数，t表示连续手语视频的长度，a
t
表示视频帧挑选动作，p
θ
(a
t
,t)表示在网络参数θ下每一个视频帧被选择的概率分布，表示期望，r(s)表示奖励函数，loss
percentage
表示挑选的帧数范围，β1表示loss
percentage
的正则化加权系数，loss
weight
表示网络参数θ的l2正则，β2表示loss
weight
的正则化加权系数。4.根据权利要求3所述的基于强化学习的连续手语识别方法，其特征在于，所述奖励函数r(s)＝r
div
r
rep
，r
div
、r
rep
的计算如下：的计算如下：其中r
div
表示挑选的所有核心视频帧之间的差异性，r
rep
表示挑选的所有核心视频帧的代表性，y、y
′
均表示核心视频帧的数目变量，y表示挑选的核心视频帧的总张数，y≠y
′
，y＝{y|a
y
＝1,y＝1,
…
,y}，a
y
表示第y张核心视频帧的挑选动作，x
y
表示第y张核心视频帧中的视觉特征，x
y
′
表示第y
′
张核心视频帧中的视觉特征，d(x
y
,x
y
′
)表示x
y
与x
y
′
之间的差异性，t表示视频帧的数目变量，t＝1,2,
…
,t，x
t
表示第t帧视频帧中的视觉特征；所述所述表示x
y
的转置，当|y-y
′
|＞λ时，d(x
y
，x
y
′
)＝1。5.根据权利要求1所述的基于强化学习的连续手语识别方法，其特征在于，所述步骤4
中连续手语识别过程如下：步骤41，在单词表g中加入空标签blank形成新单词表g
′
＝g∪{blank}，使用空标签表示动作端点或非手势段；步骤42，使用双向长短期记忆网络融合手语视频中动作的长期联系，提取视频片段在新单词表g
′
上的概率分布，根据概率分布将每个视频片段对应于新单词表上的单词，组成手语视频的初始识别句子π；步骤43，构建多对一函数，去除识别句子中的重复单词和空标签，得到新的手语识别句子l，将处理后相同的句子归为一类，计算每个手语识别句子l的概率，将概率最大的手语识别句子l输出。6.根据权利要求5所述的基于强化学习的连续手语识别方法，其特征在于，所述手语识别句子l的概率其中b-1
表示多对一函数b的反函数，π∈b-1
(l)表示经过多对一函数b变换后得到手语识别句子l的所有初始识别句子π，p(π|v；θ
′
)表示在网络参数θ
′
下对视频片段v进行识别得到初始识别句子π的概率。7.一种电子设备，其特征在于，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。

技术总结
本发明公开了一种基于强化学习的连续手语识别方法、电子设备和存储介质，所述方法包括：构建强化学习网络模块，对连续视频帧进行裁剪处理，获得全身视频帧、手部视频帧和脸部视频帧，分别使用强化学习网络模块挑选其中的核心视频帧，提取各核心视频帧中的特征，拼接各特征获取视频片段，对视频片段进行识别得到连续手语识别句子；本发明降低了视频帧的处理量，提高了手语识别效率，并使手语识别的准确性得到大幅度提升。性得到大幅度提升。性得到大幅度提升。


技术研发人员：张亮 朱光明 魏彬 梅林 冯明涛 沈沛意 徐旭 宋娟
受保护的技术使用者：西安电子科技大学
技术研发日：2022.03.04
技术公布日：2022/6/4