基于连续手语识别的智能家居控制方法、装置、终端设备及存储介质与流程

摘要: 本技术属于人工智能人机交互、智能家居物联网,尤其涉及一种基于连续手语识别的智能家居控制方法、装置、终端设备及存储介质。背景技术:1、随着智能家居普及,语音交互成...
基于连续手语识别的智能家居控制方法、装置、终端设备及存储介质与流程

本技术属于人工智能人机交互、智能家居物联网,尤其涉及一种基于连续手语识别的智能家居控制方法、装置、终端设备及存储介质。

背景技术:

1、随着智能家居普及,语音交互成为主流控制手段,但听障、语言障碍用户难以使用该方式,现有的手势控制大多仅支持少量固定手势,无法表达复杂语义,而可输出文字的连续手语识别系统直接用于智能家居控制时仍存在诸多缺陷;现有技术一方面存在连续手语动作边界模糊,易将完整控制命令拆分为多个片段、识别出局部词汇就触发设备控制造成误操作、缺少命令完整性判断机制,无法区分不完整输入与可执行命令的问题,另一方面不能依托上一轮控制对象与场景开展连续交互,交互自然度差,同时不同智能家居平台接口、控制协议不统一,系统兼容性不佳。

技术实现思路

1、本技术实施例提供了一种基于连续手语识别的智能家居控制方法、装置、终端设备及存储介质,可以实现听障用户基于手语对智能家居的可靠控制,降低手语误触发概率,提升手语交互控制的稳定性与可用性。

2、第一方面,本技术实施例提供了一种基于连续手语识别的智能家居控制方法,包括:

3、通过数据手套采集用户的连续手语动作数据;其中,连续手语动作数据包含用户手指弯曲数据、手掌姿态数据以及手部运动数据;

4、将连续手语动作数据输入训练后的连续手语识别模型,得到手语识别结果;其中,手语识别结果包含至少一个候选词序列、每个候选词序列对应的置信度以及中间识别结果;其中,中间识别结果包括各滑动采集窗口对应的时间步词类别概率分布、候选词序列、候选词序列置信度、空白标签概率、候选词序列之间的编辑距离以及动作边界预测值中的至少一种;

5、根据连续手语动作数据和手语识别结果判断连续手语输入是否结束;

6、在判定连续手语输入结束后,判断手语识别结果是否构成预设规则的可执行控制命令;

7、在判定手语识别结果构成可执行控制命令后,根据手语识别结果控制目标智能家居设备。

8、在本技术实施例中,利用数据手套采集得到的手指弯曲数据、手掌姿态数据、手部运动数据等原始手语物理数据,以及模型输出的中间识别结果如时间步词类别概率分布、候选词序列、候选词序列置信度、空白标签概率、候选词序列之间的编辑距离以及动作边界预测值中的至少一种,可有效区分手语交互过程中的短暂手势停顿与真实命令结束状态,避免将手势中间停顿错误识别为命令结束;另一方面在手语命令判定结束后,开展可执行控制命令校验,对命令的被控设备、控制动作、语法结构进行合法性筛查,过滤残缺、不匹配、不符合语法规范的无效指令,再依托多候选词序列和置信度提供识别备选结果,弥补单一识别结果出错的缺陷,多重机制共同作用,由此减少错误指令下发,降低手语误触发概率,进而显著提升听障用户使用手语操控智能家居时的交互稳定性与实际使用可用性。

9、在第一方面的一种可能的实现方式中,根据连续手语动作数据和手语识别结果判断连续手语输入是否结束,包括:

10、根据连续手语动作数据提取手部运动状态特征;其中,手部运动状态特征表征手部运动信息与姿态变化信息;

11、根据手语识别结果提取手语识别状态特征;其中,手语识别状态特征表征手语识别结果的收敛与波动信息;

12、从手部运动状态特征提取手指弯曲变化量、手掌角速度变化量和加速度变化量,并对手指弯曲变化量、手掌角速度变化量和加速度变化量进行归一化处理;

13、根据手部运动状态特征、手语识别状态特征以及归一化后的手指弯曲变化量、手掌角速度变化量和加速度变化量,判断连续手语输入是否结束。

14、在本技术实施例中,结合手部运动姿态变化信息以及手语识别结果的收敛波动信息,同时引入归一化后的手部多维度运动变化量综合判断手语命令是否结束,能够降低单一维度判断带来的误判概率,提升连续手语输入结束时刻检测的准确性与可靠性。

15、在第一方面的一种可能的实现方式中,根据手部运动状态特征、手语识别状态特征以及归一化后的手指弯曲变化量、手掌角速度变化量和加速度变化量,判断连续手语输入是否结束,包括:

16、对手部运动状态特征和手语识别状态特征进行归一化处理,并将归一化后的手部运动状态特征和手语识别状态特征按照预设权重进行加权融合,得到动作边界概率;

17、将动作边界概率与第一预设阈值进行比较,并将归一化后的手指弯曲变化量、手掌角速度变化量和加速度变化量分别与第二预设阈值、第三预设阈值和第四预设阈值进行比较;

18、若动作边界概率大于第一预设阈值,且归一化后的手指弯曲变化量不大于第二预设阈值、归一化后的手掌角速度变化量不大于第三预设阈值以及归一化后的加速度变化量不大于第四预设阈值,则确定当前采集窗口满足预设指标,并将连续满足预设指标的滑动采集窗口数量加一;若当前滑动采集窗口不满足预设指标,则将连续满足预设指标的滑动采集窗口数量清零;

19、当连续k个滑动采集窗口均满足预设指标时,判定连续手语输入结束,其中k为预设的正整数。

20、在本技术实施例中,通过对多类特征加权融合得到动作边界概率,并结合多维度归一化运动指标以及连续 k 个滑动窗口的联合判定机制,避免单一特征瞬时噪声造成误判,有效提高连续手语输入结束时刻检测的准确度与抗干扰能力。

21、在第一方面的一种可能的实现方式中,判断手语识别结果是否构成可执行控制命令,包括:

22、提取每个候选词序列对应的目标智能家居设备、目标控制动作和目标语法结构;

23、从手语识别结果中获取多个候选词序列及其对应的置信度,并按照置信度由高到低对候选词序列进行排序;

24、按照排序结果依次对候选词序列进行设备识别、控制动作匹配和语法结构校验,以判定手语识别结果是否构成可执行控制命令。

25、在本技术实施例中,对候选词序列依据置信度降序排序后依次开展设备识别、控制动作匹配以及语法结构校验,优先处理可信度高的识别结果,实现多维度校验筛选,提升可执行控制命令判定的准确性与处理效率。

26、在第一方面的一种可能的实现方式中,提取每个候选词序列对应的目标智能家居设备的步骤,包括:

27、若候选词序列中存在被控设备,则将被控设备确定为目标智能家居设备;

28、若候选词序列中不存在被控设备,则获取上一轮已成功执行的控制命令对应的历史控制上下文信息;

29、在历史控制上下文信息处于预设有效时间范围内,且候选词序列对应的当前控制动作与历史控制上下文信息对应的设备匹配的情况下,根据历史控制上下文信息确定目标智能家居设备。

30、在本技术实施例中,通过直接从候选词序列提取被控设备,或者可在候选词缺少设备词汇时利用有效时间内的历史控制上下文补全目标智能家居设备,支持省略设备的简化手语输入,提升手语控制的使用便捷性,同时保证设备确定的可靠性。

31、在第一方面的一种可能的实现方式中,按照排序结果依次对候选词序列进行设备识别、控制动作匹配和语法结构校验,以判定手语识别结果是否构成可执行控制命令,包括:

32、针对已确定目标智能家居设备的候选词序列,按照排序结果,将所述候选词序列对应的目标智能家居设备和目标控制动作组成的目标控制条目与预设的设备知识库进行匹配;其中,设备知识库包含各类智能家居设备的设备属性信息和支持的控制动作;

33、若设备知识库中记录有目标智能家居设备支持目标控制动作的信息,则确定目标智能家居设备和目标控制动作匹配;

34、在确定目标智能家居设备和目标控制动作匹配后,将候选词序列对应的目标语法结构与预设的控制命令语法模板进行对比;

35、若目标语法结构符合控制命令语法模板对应的结构规则,则判定手语识别结果构成可执行控制命令;

36、当所有候选词序列均未通过校验时,则判定手语识别结果不构成可执行控制命令。

37、在本技术实施例中,通过将设备-动作组成的目标控制条目与设备知识库匹配并结合语法模板校验,对候选词序列逐层筛选,能够有效过滤非法设备动作组合与句式异常的手语识别结果,提升可执行控制命令判定的可靠性。

38、在第一方面的一种可能的实现方式中,根据手语识别结果控制目标智能家居设备,包括:

39、对手语识别结果中的目标候选词序列进行意图解析,得到结构化控制信息;其中,目标候选词序列为按照置信度由高到低排列后第一个通过可执行控制命令校验的候选词序列;结构化控制信息包含控制意图、目标智能家居设备、位置和控制参数;

40、根据预设的设备能力表确定目标智能家居设备的控制策略;其中,所述控制策略包括在所述目标智能家居设备具备开放接口时采用的第一控制策略,或者在所述目标智能家居设备不具备开放接口时采用的第二控制策略;所述第二控制策略包括基于语音指令的控制、网关控制和红外转发控制中的至少一种;根据结构化控制信息和控制策略控制目标智能家居设备。

41、在本技术实施例中,选取首个校验通过的目标候选词序列解析得到结构化控制信息,并依据设备能力表自适应选择对应控制策略,可适配具备开放接口与不具备开放接口的不同智能家居设备,拓宽手语控制的设备兼容范围,保障设备控制的有效执行。

42、第二方面,本技术实施例提供了一种基于连续手语识别的智能家居控制装置,包括:

43、数据获取模块,用于通过数据手套采集用户的连续手语动作数据;其中,连续手语动作数据包含用户手指弯曲数据、手掌姿态数据以及手部运动数据;

44、识别结果获取模块,用于将连续手语动作数据输入训练后的连续手语识别模型,得到手语识别结果;其中,手语识别结果包含至少一个候选词序列、每个候选词序列对应的置信度以及中间识别结果;其中,中间识别结果包括各滑动采集窗口对应的时间步词类别概率分布、候选词序列、候选词序列置信度、空白标签概率、候选词序列之间的编辑距离以及动作边界预测值中的至少一种;

45、第一数据判定模块,用于根据连续手语动作数据和手语识别结果判断连续手语输入是否结束;

46、第二数据判定模块,用于在判定连续手语输入结束后,判断手语识别结果是否构成预设规则的可执行控制命令;

47、智能控制模块,用于在判定手语识别结果构成可执行控制命令后,根据手语识别结果控制目标智能家居设备。

48、第三方面,本技术实施例提供了一种终端设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述第一方面中任一项的基于连续手语识别的智能家居控制方法。

49、第四方面,本技术实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上述第一方面中任一项的基于连续手语识别的智能家居控制方法。

50、第五方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项的基于连续手语识别的智能家居控制方法。

51、可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。