一种语句级手语识别方法、系统、设备及终端与流程

1.本发明属于动作识别技术领域，尤其涉及一种语句级手语识别方法、系统、设备及终端。


背景技术：

2.目前，尽管口语是当今世界的主流，不可否认，手语对本发明仍然很重要。尤其是在人工智能时代，它的应用范围很广，如智能家居、陈列室、等等。手语不仅方便聋哑人士更快地融入智能生活，也方便了本发明与聋哑人士交流。例如，在历史博物馆，当聋哑人士需要帮助时，工作人员由于不了解手语不能和他们交流。如果博物馆有一个机器人(或其他交互设备)，它能够识别聋哑人士的手语并做出反应，它们就可以为其提供帮助和服务。
3.近年来，关于手语识别的研究主要基于三个类别：基于计算机视觉，基于可穿戴传感器，基于无线信号。大多数研究只关注孤立的单词识别，然而很难在日常生活交流中使用，其中很少可以翻译语句级手语。
4.现有的基于计算机视觉的手语识别系统，使用红外光作为感知机制在语句层面翻译手语。尽管它们的精确度很高，但隐私是一个大问题，尤其是在私人领域环境。基于可穿戴传感器的系统具有侵入性，而且需要用户穿戴昂贵的设备，一定程度上限制了用户的自由。虽然基于无线信号(例如wifi)的无线网络不侵犯人类隐私，也不需要佩戴任何设备，但无线网络的部署不方便，容易受到干扰，因此不是一个好的选择。而基于rfid技术的手语识别系统技术成本低，其标签也易于部署。rfid(radio frequency identification)技术，指的是无限射频识别技术。
5.现有技术很难划分连续的手语并将其翻译成单词。此外，还有单词和从语句中分离出的单词级单词之间差异，例如，“你”这个词和在两句话中的“你”一词(“你”是主语和对象)完全不同。实现手语的自动分割也是一个难题，以前关于手语的相关研究通常手动提取手语，显然，这是一个巨大的工作量。
6.综上，现有的手语识别系统普遍存在以下不足：1)不能实现语句级的手语识别；2)设备不廉价。因此，亟需一种新的语句级手语识别方法及系统，以弥补现有技术存在的缺陷。
7.通过上述分析，现有技术存在的问题及缺陷为：
8.(1)现有的关于手语识别的研究大多数研究只关注孤立的单词识别，然而很难在日常生活交流中使用，其中很少可以翻译语句级手语。
9.(2)现有的基于计算机视觉的手语识别系统在私人领域环境中隐私保护力度不够；同时基于可穿戴传感器的系统具有侵入性，而且需要用户穿戴昂贵的设备，一定程度上限制了用户的自由。
10.(3)现有基于无线信号的无线网络部署不方便，容易受到干扰，不是好的选择；现有技术很难划分连续的手语并将其翻译成单词，实现手语的自动分割也是一个难题，工作量巨大，且设备不廉价。
11.解决以上问题及缺陷的难度为：
12.(1)由于信号的连续性及噪音的干扰，提取有效的手语信号成为了一个显著的挑战，这需要设计合理有效的去噪方法和信号处理方法来实现有效手语数据信号的分割.
13.(2)同时，采用射频识别技术能够有效的做到隐私保护，而且使用户摆脱了穿戴设备，但是确定有效的手语信号接受范围是一个问题，这需要大量的基于不同范围的实验以及在不同场景下的实验以确定合理的手语信号接受范围；
14.(3)最后，关键在于如何让系统区分不同的手语信号，这需要提取有效的信号特征，经过大量的实验并进行分析，最后确定关键而有效的信号特征以达到识别手语信号的目的。
15.解决以上问题及缺陷的意义为：
16.(1)最主要的贡献是实现了语句级手语信号的识别，不同于之前单词级手语信号的识别，这显著提高了手语交流的效率，使得手语交流更加快捷方便。
17.(2)同时，基于射频识别技术的手语分割能够有效的保护用户隐私，无需穿戴设备，极大地方便了用户。
18.(3)合理的部署范围能够增加识别的准确率，此外，射频识别系统和无源标签显著降低了应用成本，具有较高的商业可用性。


技术实现要素：

19.针对现有技术存在的问题，本发明提供了一种语句级手语识别方法、系统、设备及终端，尤其涉及一种基于射频识别rfid的语句级手语识别方法、系统、设备及终端。
20.本发明是这样实现的，一种语句级手语识别方法，所述语句级手语识别方法包括以下步骤：
21.步骤一，基于cost射频识别技术的商业射频识别装置，通过无线电在识别系统和无源标签之间获取特定目标的相位序列，获得原始的手语数据信号。该步骤获得了原始的手语数据信号，为进一步处理做了铺垫；
22.步骤二，进行相位偏移校正和利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的相位偏移，获得纯净的相位序列。该步骤去除了原始的手语数据信号中的噪声，提高了手语识别的准确率；
23.步骤三，利用基于标准偏差的信号处理方法实现有效手语数据信号的分割。该步骤分割了有效的手语数据信号，减少了无用的手语数据信号带来的干扰；
24.步骤四，通过对同一手语信号和不同手语信号之间的每个特征分析，选择在同一手语信号中保持稳定而在不同手语信号之间能够明显区分的特征，进行有效的特征提取。该步骤提取了对于手语识别的有效特征，极大地提高了识别准确率；
25.步骤五，利用随机森林分类器，并使用50个决策树实现手语识别。该步骤最终实现了语句级的手语识别。
26.进一步，步骤二中，所述进行相位偏移校正和利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的相位偏移，获得纯净的相位序列，包括：
27.(1)利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的偏移，公式如下：
28.θ
true
＝θ-θn(θn＝πor2π)；
29.其中，n是序列号，θ
true
是去除相位偏移后的真实相位值，θ是原始的相位序列值，θn是相位偏移值。
30.(2)通过从rfid阅读器的api中获得手语数据信号移除噪声后的相位序列如下：
31.θ＝{θ1，θ2...θi...θn}；
32.其中，n是相位序列数，θ是去除噪声后的相位序列，θi是相位序列中的相位值。
33.(3)利用同一化处理数据以减小不同时刻同一手势的微小差异，计算公式如下：
[0034][0035][0036]
其中，s(i)是标准化后的中间结果，θ(i)是相位序列中的相位值，min(θ)是相位序列中的最小值，max(θ)是相位序列中的最大值，a(i)是归一化后的第i个相序样本。
[0037]
进一步，步骤三中，所述利用基于标准偏差的信号处理方法实现有效手语数据信号的分割，包括：
[0038]
(1)将样本中的每个相位值减去中位数并求绝对值：
[0039]
m(i)＝|a(i)-median(a)|；
[0040]
其中，
[0041]
是中位数，m(i)是相位序列a(i)中的每个数减去中位数median(a)的绝对值。
[0042]
(2)将数据依次分组计算标准差：
[0043][0044]
其中，d(i)是计算标准后的新序列标准差，k是序列的长度，μ是平均值序列k＝50。
[0045]
(3)利用d(i)的值，单个数据大于阈值r(r＝0.1)的数据组是有效数据。
[0046]
进一步，步骤四中，所述通过对同一手语信号和不同手语信号之间的每个特征分析，选择选择在同一手语信号中保持稳定而在不同手语信号之间能够明显区分的特征，进行有效的特征提取，包括：
[0047]
(1)提取得到的有效数据组的十个特征值，包括偏斜度、期望值、三阶中心距离、平均值、方差、标准差、峰度、能量以及主频比最大频率峰值。
[0048]
(2)提取得到的有效数据的sos值：
[0049]
sos：假设n是数组的长度，从第一组数组开始，每个数字和下列(k-1)数字组成一个长度为k的数组，得到每个数组的标准偏差值，得到(n-k 1)个标准偏差，找到和所述(n-k 1)标准偏差的总和，并得到sos：。
[0050]
比较数据的柔和程度波动；当数据波动时，该值很大；当数据波动较小时，会变得较小，公式如下：
[0051][0052]
其中，n是数据集中的数据总数，μ是k个数据的平均值，k是每个标准偏差的数据数量。
[0053]
进一步，步骤五中，所述利用随机森林分类器，并使用50个决策树实现手语识别，包括：
[0054]
(1)将数据打乱并提取出1/10组的数据作为数据测试集，其余数据作为训练集，将测试集和训练集导入rf分类器进行识别。
[0055]
(2)提取另外1/10组的数据作为数据测试集，循环导入rf分类器直至每组数据都进行过测试，最终得到测试结果。
[0056]
本发明的另一目的在于提供一种应用所述的语句级手语识别方法的语句级手语识别系统，所述语句级手语识别系统包括：
[0057]
手语数据信号获取模块，用于基于cost射频识别技术的商业射频识别装置，通过无线电在识别系统和无源标签之间获取特定目标的相位序列，获得原始的手语数据信号；
[0058]
信号去噪处理模块，用于进行相位偏移校正和利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的相位偏移，获得纯净的相位序列；
[0059]
手语信号分割模块，用于利用基于标准偏差的信号处理方法实现有效手语数据信号的分割；
[0060]
特征提取模块，用于通过对同一手语信号和不同手语信号之间的每个特征分析，选择选择在同一手语信号中保持稳定而在不同手语信号之间能够明显区分的特征，进行有效的特征提取；
[0061]
手语识别模块，用于利用随机森林分类器，使用50个决策树实现手语识别。
[0062]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0063]
基于cost射频识别技术的商业射频识别装置，通过无线电在识别系统和无源标签之间获取特定目标的相位序列，获得原始的手语数据信号；进行相位偏移校正和利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的相位偏移，获得纯净的相位序列；利用基于标准偏差的信号处理方法实现有效手语数据信号的分割；
[0064]
通过对同一手语信号和不同手语信号之间的每个特征分析，选择选择在同一手语信号中保持稳定而在不同手语信号之间能够明显区分的特征，进行有效的特征提取；利用随机森林分类器，并使用50个决策树实现手语识别。
[0065]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0066]
基于cost射频识别技术的商业射频识别装置，通过无线电在识别系统和无源标签之间获取特定目标的相位序列，获得原始的手语数据信号；进行相位偏移校正和利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的相位偏移，获得纯净的相位序列；利用基于标准偏差的信号处理方法实现有效手语数据信号的分割；
[0067]
通过对同一手语信号和不同手语信号之间的每个特征分析，选择选择在同一手语信号中保持稳定而在不同手语信号之间能够明显区分的特征，进行有效的特征提取；利用随机森林分类器，并使用50个决策树实现手语识别。
[0068]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的语句级手语识别系统。
[0069]
本发明的另一目的在于提供一种所述的语句级手语识别系统在人工智能技术领域中的应用。
[0070]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的语句级手语识别方法，通过收集商业rfid接收的信号相位序列，得到了相对纯净的相位特征，并给出了一种实现手语分割的方法，可用于根据手语动作波形的手语识别和人与计算机之间的手语信息交换。同时，有效的特征提取和分类器选择是手语识别的关键，所以本发明经过多次的对比，最终确定了11种有效的特征。本发明通过在现实语言环境下对系统进行评价，弥补了相应的低成本语句级手语识别之间的差距。
[0071]
本发明提供的基于rfid的手语识别方法，能够可以在处理大量数据和完整级手语识别任务情况下，实现语句级的手语识别，填补了手语识别系统在rfid语句级识别方面的缺陷，对环境的动态适应性较好，且经济成本低。本发明的手语识别方法仅需要少量的rfid被动式标签和rfid阅读器就可以实现手语识别，即所需经济成本低，避免使用昂贵的设备才能够实现手语识别。
[0072]
本发明的手语识别方法采取去了有效的特征提取方法，即在原有的十个特征基础之上新增了新的特征，即sos(sum ofstandard deviations)，其能够反映数据波动的温和程度，所以本发明能够有效的提取语句级的手语信号特征。本发明采用了随机森林分类器，其中使用了50个决策树，使用经过多次实验确定的此分类器也对手语识别的准确率有好的提升效果。
[0073]
本发明利用rfid系统产生的信号相位序列进语句级的手语识别，突破了目前基于rfid的单词级手语识别，具有良好的实用性。本发明的手语识别方法的鲁棒性非常好，因此能够很好的适用与应用场景，具有一定的普适性。
附图说明
[0074]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0075]
图1是本发明实施例提供的语句级手语识别方法流程图。
[0076]
图2是本发明实施例提供的语句级手语识别方法原理图。
[0077]
图3是本发明实施例提供的语句级手语识别系统结构框图；
[0078]
图中：1、手语数据信号获取模块；2、信号去噪处理模块；3、手语信号分割模块；4、特征提取模块；5、手语识别模块。
[0079]
图4是本发明实施例提供的手语信号进行相位校准处理后的手语信号示意图。
[0080]
图5是本发明实施例提供的手语信号经过小波变换去除环境引起的噪音之后的手
语信号示意图。
[0081]
图6是本发明实施例提供的将相位序列进行归一化和减去相位序列中位数median(a)之后的相位序列样本图。
[0082]
图7是本发明实施例提供的计算样本相位序列的标准差和最后经过阈值处理之后的手语信号分割结果示意图。
[0083]
图8是本发明实施例提供的实验设备和场景布置图。
[0084]
图9是本发明实施例提供的手语识别的混淆矩阵图。
[0085]
图10是本发明实施例提供的随机森林决策树数量和手语识别准确率的关系图。
[0086]
图11是本发明实施例提供的动态多路径对于手语识别系统的干涉图。
[0087]
图12是本发明实施例提供的手语识别数量和识别准确率的关系图。
具体实施方式
[0088]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0089]
针对现有技术存在的问题，本发明提供了一种语句级手语识别方法、系统、设备及终端，下面结合附图对本发明作详细的描述。
[0090]
如图1所示，本发明实施例提供的语句级手语识别方法包括以下步骤：
[0091]
s101，基于cost射频识别技术的商业射频识别装置，通过无线电在识别系统和无源标签之间获取特定目标的相位序列，获得原始的手语数据信号；
[0092]
s102，进行相位偏移校正和利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的相位偏移，获得纯净的相位序列；
[0093]
s103，利用基于标准偏差的信号处理方法实现有效手语数据信号的分割；
[0094]
s104，通过对同一手语信号和不同手语信号之间的每个特征分析，选择选择在同一手语信号中保持稳定而在不同手语信号之间能够明显区分的特征，进行有效的特征提取；
[0095]
s105，利用随机森林分类器，并使用50个决策树实现手语识别。
[0096]
本发明实施例提供的语句级手语识别方法原理图如图2所示。
[0097]
如图3所示，本发明实施例提供的语句级手语识别系统包括：
[0098]
手语数据信号获取模块1，用于基于cost射频识别技术的商业射频识别装置，通过无线电在识别系统和无源标签之间获取特定目标的相位序列，获得原始的手语数据信号；
[0099]
信号去噪处理模块2，用于进行相位偏移校正和利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的相位偏移，获得纯净的相位序列；
[0100]
手语信号分割模块3，用于利用基于标准偏差的信号处理方法实现有效手语数据信号的分割；
[0101]
特征提取模块4，用于通过对同一手语信号和不同手语信号之间的每个特征分析，选择选择在同一手语信号中保持稳定而在不同手语信号之间能够明显区分的特征，进行有效的特征提取；
[0102]
手语识别模块5，用于利用随机森林分类器，使用50个决策树实现手语识别。
[0103]
下面结合具体实施例对本发明的技术方案作进一步描述。
[0104]
实施例1
[0105]
针对上述现有技术中存在的缺陷和不足，本发明的目的在于，提供一种基于rfid的手语识别方法，该方法能够可以在处理大量数据和完整级手语识别任务情况下，实现语句级的手语识别，填补了手语识别系统在rfid语句级识别方面的缺陷，对环境的动态适应性较好，且经济成本低。
[0106]
为达到上述目的，本发明采取如下的技术方案：
[0107]
本发明实施例提供的基于rfid的手语识别方法，具体包括以下步骤：
[0108]
步骤一，基于cost射频识别技术的商业射频识别装置，通过无线电在识别系统和无源标签之间获取特定目标的相位序列，获得原始的手语数据信号；
[0109]
步骤二，进行相位偏移校正和利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的相位偏移，获得纯净的相位序列；
[0110]
步骤三，利用基于标准偏差的信号处理方法实现有效手语数据信号的分割；
[0111]
步骤四，通过对同一手语信号和不同手语信号之间的每个特征分析，选择选择在同一手语信号中保持稳定而在不同手语信号之间能够明显区分的特征，进行有效的特征提取；
[0112]
步骤五，利用随机森林分类器，并使用50个决策树实现手语识别。
[0113]
具体地，所述的步骤二的具体处理方法包括：
[0114]
步骤2.1：利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的偏移，其公式如下：
[0115]
θ
true
＝θ-θi(θi＝πor2π)
[0116]
其中i是序列号，θ是相位。
[0117]
步骤2.2：利用同一化处理数据以减小不同时刻同一手势的微小差异，计算公式如下：
[0118][0119][0120]
其中s(i)是标准化后的中间结果，a(i)是归一化后的第i个相序样本。
[0121]
具体地，所述的步骤三的具体处理方法包括：
[0122]
步骤3.1：将样本中的每个相位值减去中位数并求绝对值：
[0123]
m(i)＝|a(i)-median(a)|
[0124]
其中median(a)是中位数；
[0125]
步骤3.2：将数据依次分组计算标准差：
[0126][0127]
其中d(i)是计算标准后的新序列标准差，k是序列的长度，μ是平均值序列(k＝
50)；
[0128]
步骤3.3：利用d(i)的值，单个数据大于阈值r(r＝0.1)的数据组是有效数据。
[0129]
具体地，所述的步骤四的具体处理方法包括：
[0130]
4.1：提取得到的有效数据组的十个特征值：偏斜度，期望值，三阶中心距离，平均值，方差，标准差，峰度，能量，主频比最大频率峰值；
[0131]
4.2：提取得到的有效数据的sos值，
[0132]
sos：本发明假设n是数组的长度。从第一组数组开始，每个数字和下列(k-1)数字组成一个长度为k的数组。本发明得到每个数组的标准偏差值，然后本发明得到了(n-k 1)个标准偏差，找到和、这些(n-k 1)标准偏差的总和，并得到sos；。
[0133]
功能:可以比较数据的柔和程度波动。当数据波动时，该值很大；当数据波动较小时，会变得较小。
[0134][0135]
其中n是数据集中的数据总数，μ是k个数据的平均值，k是每个标准偏差的数据数量，在这个实验中k取为5。
[0136]
具体地，所述的步骤五的具体处理方法包括：
[0137]
步骤5.1：将数据打乱并提取出1/10组的数据作为数据测试集，其余数据作为训练集，将测试集和训练集导入rf分类器进行识别；
[0138]
步骤5.2：提取另外1/10组的数据作为数据测试集，循环导入rf分类器直至每组数据都进行过测试，最终得到测试结果。
[0139]
实施例2
[0140]
本发明实施例提供了一种手语识别方法，该方法可以应用在多种系统平台，其执行主体可以为计算机终端或各种移动设备的处理器，所述方法的方法流程图如图1所示，具体包括：
[0141]
本发明的基于rfid的手语识别方法，具体包括以下步骤：
[0142]
步骤一，采集原始的手语数据信号
[0143]
基于cost射频识别技术的商业射频识别装置，通过无线电在识别系统和无源标签之间获取特定目标的相位序列。
[0144]
其中rfid系统由rfid标签，rfid阅读器和rfid定向天线组成，商用rfid设备给用户提供了应用程序接口，通过api用户能够获得接收信号强度指示和被动式标签获取相位等特征。api(applicationprograminterface)即应用程序接口，提供给用户的应用操作界面。
[0145]
在这些特征值中，信号的相位序列具有较高的稳定性并且很少会被环境所干扰，因此本发明选择相位序列作为本发明进行手语识别的特征。
[0146]
步骤二，进行手语信号的去噪处理
[0147]
进行相位偏移校正和利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的相位偏移，获得纯净的相位序列。
[0148]
从rfid阅读器的api获得的相位序列包含由于硬件引起的相位偏移和环境引起的高斯噪声。
[0149]
步骤2.1：在接受的信号中有两种类型的相位偏移，通常情况下相位序列偏移了π或2π，具体如下：
[0150]
θ
true
＝θ-θi(θi＝πor2π)
[0151]
其中i是序列号，θ是相位。为了校准相位偏移，计算得到的香味序列的平均值并且通过加减π或2π将其恢复到真实的相位序列，得到相位序列如图4所示。
[0152]
同时为了移除环境产生的高斯噪声，本发明继续对上一步得到的相位序列进行基于阈值的离散小波变换得到如图5所示的相位序列。
[0153]
步骤2.2：通过步骤2.1从rfid阅读器的api中获得手语数据信号移除噪声后的相位序列如下：
[0154]
θ＝{θ1，θ2...θi...θn}其中n是相位序列数，θ(i)是第i个相位值。
[0155]
同时利用同一化处理数据以减小不同时刻同一手势的微小差异，计算公式如下：
[0156][0157][0158]
其中s(i)是标准化后的中间结果，a(i)是归一化后的第i个相序样本。
[0159]
步骤三，利用基于标准偏差的信号处理方法实现有效手语数据信号的分割。
[0160]
步骤3.1：将样本中的每个相位值减去中位数并求绝对值：
[0161]
m(i)＝|a(i)-median(a)|
[0162]
其中median(a)是中位数，m(i)是相位序列a(i)中的每个数减去中位数的绝对值，得到如图6所示的相位序列图。
[0163]
步骤3.2：将数据依次分组计算标准差：
[0164][0165]
其中d(i)是计算标准后的新序列标准差，k是序列的长度，μ是平均值序列(k＝50)；
[0166]
步骤3.3：对于分组后的标准偏差d(i)，将单个数据大于阈值r(r＝0.1)的数据组视为有效数据将其提取出来。
[0167]
经过以上步骤，本发明提取到了有效的手语数据信号并实现了手语数据的分割，见图7。
[0168]
步骤四，通过对同一手语信号和不同手语信号之间的每个特征分析，选择在同一手语信号中保持稳定而在不同手语信号之间能够明显区分的特征，进行有效的特征提取。
[0169]
4.1：提取得到的有效数据组的十个特征值：偏斜度，期望值，三阶中心距离，平均值，方差，标准差，峰度，能量，主频比最大频率峰值；
[0170]
4.2：具体介绍提取到的新特征sos，即标准偏差之和(sumofstandard deviations)，其能够衡量数据波动的严重程度。
[0171]
sos；本发明假设n是数组的长度。从第一组数组开始，每个数字和下列(k-1)数字
组成一个长度为k的数组。本发明得到每个数组的标准偏差值，然后本发明得到了(n-k 1)个标准偏差，找到和、这些(n-k 1)标准偏差的总和，并得到sos；。
[0172]
功能：可以比较数据的柔和程度波动。当数据波动时，该值很大；当数据波动较小时，会变得较小。
[0173][0174]
其中n是数据集中的数据总数，μ是k个数据的平均值，k是每个标准偏差的数据数量，在这个实验中k取为5。
[0175]
步骤五，利用随机森林分类器，并使用50个决策树实现手语识别。
[0176]
步骤5.1：将数据打乱并提取出1/10组的数据作为数据测试集，其余数据作为训练集，将测试集和训练集导入rf分类器进行识别；
[0177]
步骤5.2：提取另外1/10组的数据作为数据测试集，循环导入rf分类器直至每组数据都进行过测试，最终得到测试结果。
[0178]
实施例3
[0179]
使用通用的rfid系统在室内实验室进行实验验证与评估。本实验中，总共有三种不同的实验，用于验证本发明的识别准确率，鲁棒性以及与其他方法相比具有的优势。如图8所示，主要的实验设备包括商用rfid阅读器，所用具体型号为英频杰impinj r420读写器，普通的定向天线和现有的uhf无源标签，具体为az-9662rfid电子标签。此外，使用网线来连接rfid阅读器和电脑，使其能够发送命令得以发送和接受数据。本实验招募了8位志愿者，5位男性和3位女性，年龄从19岁到29岁不等，身高分布范围为1.56m～1.85m，体重分布范围为46kg～70kg。实验过程中的手语数据信号处理基于matlab 2018b。
[0180]
本实例在大约70m2并且包括几张桌子和椅子的实验室中进行。为了确定天线和标签之间的较佳距离，本发明测试了从0.8m～1.5m的距离，步长为0.1m。当两者之间的距离超过1.0m所接收到的手语信号是混乱的难以将有效的相位序列特征提取出来；当两者之间的距离少于1.0m时所提取出的相位序列难以反应其真实性，故确定天线和标签之间的距离为1.0m。同时设备距离地面的高度设置为1.2m，这适合大部分人，若高度少于1.2m，会导致地面对于信号的干扰大大增加。如图8所示，志愿者站在天线和标签中间。
[0181]
本发明实施例提供的基于rfid的语句级手语识别方法，具体包括以下步骤：
[0182]
步骤一，基于cost rfid技术的商业射频识别装置，通过无线电在识别系统和无源标签之间获取原始手语数据信号，通过rfid reader的api提取其相位序列特征，获得原始手语数据信号的相位序列；
[0183]
步骤二，利用步骤一得到的相位序列，进行相位偏移校正和利用基于阈值的小波去噪方法去除由于环境引起的高斯噪声，获得去除噪后的相位序列；
[0184]
步骤三，利用步骤二得到的去除噪后的相位序列，使用基于标准偏差的信号处理方法进行有效手语数据信号相位序列的分割，获得分割后的有效手语数据的相位序列；
[0185]
步骤四，利用步骤三得到的分割后的有效手语数据的相位序列，通过对同一手语数据的相位序列和不同手语数据的相位序列之间的每个特征进行分析，选择在同一手语信号相位序列中保持稳定而在不同手语信号相位序列之间能够明显区分的特征，进行有效的特征提取，获得有效的十一个特征；
[0186]
步骤五，利用步骤四得到的十一个特征，使用集成50个决策树的随机森林分类器进行训练，其输入是对不同手语信号的相位序列提取到的十一个特征，标签是对应的手语实际含义，譬如“how old are you？(hoar)”，“nice to meet you.(ntmy)”等。经过训练后，得到训练好的随机森林分类器模型。
[0187]
步骤六，由步骤五得到了的训练好的随机森林分类器模型。对于新的手语数据信号，由步骤一中所描述的rfid reader的api提取其相位序列特征，经过步骤一，二，三，四处理后，得到对于此新的手语数据信号的十一个特征，将其输入到步骤五中所描述的训练好的分类器中，得到此新的手语数据信号所对应的标签，即所对应的手语实际含义。至此，实现了语句级的手语识别。
[0188]
本实施例的基于rfid的手语识别方法，具体按照以下步骤进行：
[0189]
步骤一，采集原始的手语数据信号
[0190]
基于cost射频识别技术的商业射频识别装置，通过无线电在识别系统和无源标签之间获取特定目标的相位序列。
[0191]
其中rfid系统由rfid标签，rfid阅读器和rfid定向天线组成，商用rfid设备给用户提供了应用程序接口，通过api用户能够获得接收信号强度指示和被动式标签获取相位等特征。api(application program interface)即应用程序接口，提供给用户的应用操作界面。
[0192]
在这些特征值中，信号的相位序列具有较高的稳定性并且很少会被环境所干扰，因此本发明选择相位序列作为本发明进行手语识别的特征。
[0193]
本发明根据历史博物馆中面向聋哑人士常用的交流语，设计了9种不同的手语，分别为“hi”,“da tang treasures exhibition(dtte)”,“digital exhibition hall(deh)”,“how old are you？(hoay)”,“tang dynasty mural exhibition hall(tdmeh)”,“exhibition exchange(ee)”,“nice to meet you.(ntmy)”,“what is yourname？(wiyn)”，“exhibition hall(eh)”，“where is the toilet？(witt)”,“map”，“where is the exit？(wite)”，“closed time(ct)”，“cultural products(cp)”and“parking location(pl)”。每位志愿者在进行实验之前学习了标准的手语，在实验进行过程中每位志愿者对于每个手语手势执行100次，同时信号采样率设置为每秒270次。
[0194]
步骤二，进行手语信号的去噪处理
[0195]
进行相位偏移校正和利用基于阈值的小波去噪方法去除由于环境硬件和高斯噪声引起的相位偏移，获得纯净的相位序列。
[0196]
从rfid阅读器的api获得的相位序列包含由于硬件引起的相位偏移和环境引起的高斯噪声。
[0197]
步骤2.1：在接受的信号中有两种类型的相位偏移，通常情况下相位序列偏移了π或2π，具体如下：
[0198]
θ
true
＝θ-θi(θi＝πor2π)
[0199]
其中i是序列号，θ是相位。为了校准相位偏移，计算得到的香味序列的平均值并且通过加减π或2π将其恢复到真实的相位序列，得到相位序列如图4所示。
[0200]
同时为了移除环境产生的高斯噪声，本发明继续对上一步得到的相位序列进行基于阈值的离散小波变换得到如图5所示的相位序列。
[0201]
步骤2.2：通过步骤2.1从rfid阅读器的api中获得手语数据信号移除噪声后的相位序列如下：
[0202]
θ＝{θ1，θ2...θi...θn}
[0203]
其中n是相位序列数，θ(i)是第i个相位值。
[0204]
同时利用同一化处理数据以减小不同时刻同一手势的微小差异，计算公式如下：
[0205][0206][0207]
其中s(i)是标准化后的中间结果，a(i)是归一化后的第i个相序样本。
[0208]
步骤三，利用基于标准偏差的信号处理方法实现有效手语数据信号的分割。
[0209]
步骤3.1：将样本中的每个相位值减去中位数并求绝对值：
[0210]
m(i)＝|a(i)-median(a)|其中median(a)是中位数，m(i)是相位序列a(i)中的每个数减去中位数的绝对值，得到如图6所示的相位序列图。
[0211]
步骤3.2：将数据依次分组计算标准差：
[0212][0213]
其中d(i)是计算标准后的新序列标准差，k是序列的长度，μ是平均值序列(k＝50)；
[0214]
步骤3.3：对于分组后的标准偏差d(i)，将单个数据大于阈值r(r＝0.1)的数据组视为有效数据将其提取出来。
[0215]
经过以上步骤，本发明提取到了有效的手语数据信号并实现了手语数据的分割，见图7。
[0216]
步骤四，通过对同一手语信号和不同手语信号之间的每个特征分析，选择在同一手语信号中保持稳定而在不同手语信号之间能够明显区分的特征，进行有效的特征提取。
[0217]
4.1：提取得到的有效数据组的十个特征值：偏斜度，期望值，三阶中心距离，平均值，方差，标准差，峰度，能量，主频比最大频率峰值；
[0218]
4.2：具体介绍提取到的新特征sos，即标准偏差之和(sum of standard deviations)，其能够衡量数据波动的严重程度。
[0219]
sos：本发明假设n是数组的长度。从第一组数组开始，每个数字和下列(k-1)数字组成一个长度为k的数组。本发明得到每个数组的标准偏差值，然后本发明得到了(n-k 1)个标准偏差，找到和、这些(n-k 1)标准偏差的总和，并得到sos：。
[0220]
功能：可以比较数据的柔和程度波动。当数据波动时，该值很大；当数据波动较小时，会变得较小。
[0221][0222]
其中n是数据集中的数据总数，μ是k个数据的平均值，k是每个标准偏差的数据数
量，在这个实验中k取为5。
[0223]
步骤五，利用随机森林分类器，并使用50个决策树实现手语识别。
[0224]
步骤5.1：将数据打乱并提取出1/10组的数据作为数据测试集，其余数据作为训练集，将测试集和训练集导入rf分类器进行识别；
[0225]
步骤5.2：提取另外1/10组的数据作为数据测试集，循环导入rf分类器直至每组数据都进行过测试，最终得到测试结果。
[0226]
实施例4：手语识别效果验证：
[0227]
实验i：
[0228]
实验i的目标在于验证本发明的有效性和识别准确率。首先设计并使用了历史博物馆中常用的9种手语，并且对于每个手语数据信号进行迭代计算，使得每种手语数据信号都能够进入训练集并且在测试集中得到评估。
[0229]
实验i的测试结果：
[0230]
通过混淆矩阵来展示手语识别的准确性。混淆矩阵中的每个元素代表了一种手语被识别为其他手语的可能性。如图9所示，手语识别的平均准确率达到了95.6％，其中“deh”，“witt”，“cp”的识别率达到了100％，然而“tdmeh”，“ntmy”的识别率相对而言较低，但是总体来看有着较高的识别率。
[0231]
实验ii：
[0232]
实验ii的目标在于验证本发明的rfid系统对于周边动态多路径的影响抗干扰的鲁棒性。本实验的实验场景基于如图8所示的场景布置。
[0233]
相比于静态多路径的干扰，动态多路径往往具有较大的干扰性，因此在动态多路径场景中进行试验。在试验期间，新增一个志愿者在周围走动。移动范围设置为以做手势的志愿者为中心，半径分别设置为0.8～1.4m(步长为0.1m)的圆环中测试，试验期间，中心志愿者不断地做着相同的手势。
[0234]
实验ii的测试结果：
[0235]
如图10所示，当移动者的范围超过1.4m时，对于此系统的干扰几乎消失，在1.2m时尚且能够识别，由此目前的其他方法识别范围远没有此精度，故此方法对于外界的动态多路径干扰鲁棒性较强。
[0236]
动态多路径对于手语识别系统的干涉图如图11所示，手语识别数量和识别准确率的关系图如图12所示。
[0237]
实验iii：
[0238]
实验iii中，本发明对比其他两种手语识别文献中的方法myosign和wisign在语句级的手语识别。
[0239]
实验iii的测试结果见表1。
[0240]
表1不同文献的语句级手语识别准确性对比
[0241]
[0242]
wisign使用svm(support vector machines)，即支持向量机来对手语数据信号进行处理，myosign使用cnn(convolutional neural networks)，即卷积神经网络来对手语信号进行处理。从表1中可以看到wisign的准确率为93.8％，myosign的准确率为93.1％，而本发明的方法准确率为95.6％，具有一定优势。而且wisign方法使用了三台wi-fi设备来提升性能，同时myosign方法中需要穿戴设备和大的训练数据集。综上，本发明的成本低廉并且识别较高。
[0243]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0244]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。