一种基于语音识别的适老化厨房电器智能控制系统

本发明涉及智能家居与家用电器控制领域，尤其涉及一种基于语音识别的适老化厨房电器智能控制系统。

背景技术：

1、随着智能家居技术的发展，语音控制已逐步应用于燃气灶、微波炉、电饭煲及抽油烟机等厨房电器。现有语音控制系统通常按照连续、清晰且表达完整的语音指令进行识别，再将识别文本转换为对应的设备控制命令，能够满足一般用户的基础操作需求。

2、老年用户在使用语音控制时，容易出现停顿时间较长、语句重复、临时修正、表达不完整及同一句话包含多个控制意图等情况。现有技术对上述非连续语音的处理能力有限，容易在停顿处提前结束识别，将重复内容误判为多个指令，或无法根据后续修正内容准确更新原有控制意图，导致电器对象、控制动作、动作强度及执行时机之间发生错误组合。

3、此外，现有厨房电器语音控制通常侧重文本识别准确率，缺少语音内容、控制动作和电器当前运行状态之间的同步校验。生成的控制动作可能不属于电器当前可执行范围，文本内容与控制字段之间也可能缺乏可追溯的对应关系。对于需要确认或禁止执行的高风险操作，现有系统多采用固定权限规则，难以同时结合语音证据、电器可执行状态和安全等级进行可靠判断，因而仍存在误操作及控制安全性不足的问题。

4、因此，如何提供一种基于语音识别的适老化厨房电器智能控制系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于语音识别的适老化厨房电器智能控制系统，本发明通过语音特征序列、语音事件标记集合和电器状态向量构建厨控mamba模型，利用电器状态条件单元生成电器状态关联语音表示，并由断续意图保持单元处理语音停顿、重复语音片段和修正语音片段，生成适老化语音意图表示；动作同构解码单元同步生成语音文本序列和厨房控制动作序列，帧动作校验单元对特征帧、语音文本序列和厨房控制动作序列进行帧级对齐，并结合可执行动作和确认等级生成待执行控制指令、待确认控制指令和禁止执行控制指令。本发明能够提高断续语音和修正语音条件下的控制意图识别准确性，减少厨房控制动作错误组合，提升适老化语音控制的安全性和可靠性。

2、根据本发明实施例的一种基于语音识别的适老化厨房电器智能控制系统，包括：

3、数据采集处理模块，用于采集厨房环境中的老人语音数据和厨房电器状态数据，进行数据预处理，生成语音特征序列、语音事件标记集合和电器状态向量；

4、模型构建模块，用于基于speech-mamba模型构建厨控mamba模型，包括电器状态条件单元、断续意图保持单元、动作同构解码单元和帧动作校验单元；

5、状态条件编码模块，用于基于电器状态条件单元将语音特征序列和电器状态向量共同引入状态空间编码过程，生成电器状态关联语音表示；

6、断续意图保持模块，用于在断续意图保持单元中，根据电器状态关联语音表示构建控制意图保持状态，根据语音事件标记集合更新控制意图保持状态，生成适老化语音意图表示；

7、控制动作解码模块，用于调用动作同构解码单元基于适老化语音意图表示进行解码，生成语音文本序列和厨房控制动作序列；

8、帧动作校验模块，用于基于帧动作校验单元，对语音特征序列、语音文本序列和厨房控制动作序列进行帧级对齐，生成帧级对齐关系，根据帧级对齐关系将厨房控制动作序列转换为控制指令集合；

9、分级控制执行模块，用于基于控制指令集合，执行分级控制响应处理，记录执行反馈，更新电器状态向量。

10、可选的，所述数据预处理包括，对老人语音数据进行端点检测、降噪、声学特征提取和语音事件标记，生成语音特征序列和语音事件标记集合，语音事件标记集合包括语音停顿标记、重复语音片段标记和修正语音片段标记；

11、所述数据预处理还包括，对厨房电器状态数据进行状态编码，生成电器状态向量，包括运行状态、可执行动作和安全等级。

12、可选的，所述模型构建模块包括：

13、调用speech-mamba模型中的mamba encoder、mamba decoder、选择性状态空间模型以及连接时序分类单调对齐机制；

14、基于选择性状态空间模型，将原始仅由语音特征参与的单条件参数生成结构改造为语音特征与电器状态共同参与的双条件参数生成结构，构建电器状态条件单元；

15、基于mamba encoder，将原始单一编码状态组织结构改造为声学即时状态组织结构与控制意图保持状态组织结构，设置事件驱动状态更新路径和状态融合路径，构建断续意图保持单元；

16、基于mamba decoder，将原始单一文本解码结构改造为共享解码状态下的文本解码结构与动作解码结构，构建动作同构解码单元；

17、在动作同构解码单元之后，新增帧动作校验单元，基于连接时序分类单调对齐机制，将原始语音特征帧与文本标记之间的二元对齐结构扩展为语音特征帧、文本标记和动作字段之间的三级对齐结构；

18、基于电器状态条件单元、断续意图保持单元、动作同构解码单元和帧动作校验单元，构建厨控mamba模型。

19、可选的，所述状态条件编码模块包括：

20、按照语音特征序列中的语音帧顺序，将电器状态向量分别与各语音帧对应，将运行状态转换为运行状态嵌入，将可执行动作进行编码，生成动作编码，将安全等级转换为安全等级编码；

21、将各语音帧的语音特征与运行状态嵌入进行拼接、线性映射和非线性激活，生成步长调节系数，对各语音帧对应的步长参数进行调节，并确定各语音帧对应的离散状态转移关系；

22、将各语音帧的语音特征与动作编码进行拼接和线性映射，生成各语音帧对应的输入映射参数，并根据可执行动作生成输入映射掩码，将输入映射参数与输入映射掩码逐元素相乘，得到调节后的输入映射参数；

23、将各语音帧的语音特征与安全等级编码进行拼接、线性映射和归一化处理，生成输出映射权重，将各语音帧对应的输出映射参数与输出映射权重逐元素相乘，得到调节后的输出映射参数；

24、基于语音帧顺序，结合离散状态转移关系、调节后的输入映射参数和调节后的输出映射参数来执行状态空间编码，生成当前状态输出；

25、基于各语音帧对应的当前状态输出，排列生成电器状态关联语音表示。

26、可选的，所述断续意图保持模块包括：

27、基于断续意图保持单元，按照语音事件标记集合标识的位置，将电器状态关联语音表示划分为连续语音片段，进行线性映射，生成当前连续语音片段的声学即时状态；

28、在首个连续语音片段到达时，建立控制意图保持状态，将首个连续语音片段的声学即时状态写入控制意图保持状态，在后续连续语音片段到达时，将前一连续语音片段更新后的控制意图保持状态作为当前连续语音片段对应的控制意图保持状态；

29、读取语音事件标记集合，在电器状态关联语音表示中分别确定语音停顿位置、重复语音片段位置和修正语音片段位置，并根据各位置对应的语音事件类型对控制意图保持状态进行更新；

30、对声学即时状态和更新后的控制意图保持状态进行加权相加，生成适老化语音意图表示。

31、可选的，所述控制动作解码模块包括：

32、将适老化语音意图表示输入动作同构解码单元，构建共享解码状态，并同时提供给文本解码结构和动作解码结构；

33、文本解码结构对当前解码时刻的共享解码状态进行文本标记线性映射，生成各文本标记对应的文本预测分值，并进行归一化，并选择数值最大的文本标记作为当前解码时刻的文本标记，生成语音文本序列；

34、基于电器状态向量中的可执行动作，动作解码结构按照控制动作类别数量，对共享解码状态进行控制动作线性映射，生成各控制动作对应的预测分值，并进行归一化，选取数值最大的控制动作，作为当前解码时刻的控制动作；

35、动作解码结构分别按照电器对象类别数量、动作强度类别数量和执行时机类别数量，对共享解码状态进行线性映射，依次生成电器对象预测分值、动作强度预测分值和执行时机预测分值，分别进行归一化，选取数值最大的类别，得到当前解码时刻的电器对象、动作强度和执行时机；

36、根据电器状态向量中的安全等级，确定当前解码时刻的确认等级；

37、将电器对象、控制动作、动作强度、执行时机和确认等级按照字段顺序组合，生成厨房控制动作字段；

38、在文本解码结构生成解码结束标记后，停止共享解码状态的递推更新，排列各厨房控制动作字段，生成厨房控制动作序列。

39、可选的，所述帧动作校验模块包括：

40、在帧动作校验单元中，按照语音特征序列中的特征帧排列顺序，计算逐帧文本标记结果；

41、根据逐帧文本标记结果中保留的原始特征帧位置，读取每个文本标记在合并前连续对应的特征帧，确定起始特征帧和终止特征帧，建立语音文本序列中各文本标记与起始特征帧、终止特征帧之间的对应关系；

42、读取厨房控制动作序列中各厨房控制动作对应的文本起始位置和文本终止位置，确定各厨房控制动作的起始特征帧和终止特征帧，得到各厨房控制动作对应的特征帧区间；

43、分别读取每个厨房控制动作中的电器对象、控制动作、动作强度和执行时机对应的文本标记，并根据各文本标记的起始特征帧和终止特征帧确定各字段对应的特征帧区间，结合同一厨房控制动作对应的特征帧区间和字段的类别名称，确定字段对齐完整的厨房控制动作和字段对齐异常的厨房控制动作；

44、将各厨房控制动作对应的文本起始位置、文本终止位置、起始特征帧、终止特征帧以及字段对齐完整和字段对齐异常的判断结果进行对应记录，生成帧级对齐关系；

45、对于字段对齐完整的厨房控制动作，将控制动作与电器状态向量中的可执行动作进行比较，生成待执行控制指令和待确认控制指令；

46、基于字段对齐异常的厨房控制动作，同步构建禁止执行控制指令；

47、将待执行控制指令、待确认控制指令和禁止执行控制指令汇集为控制指令集合。

48、可选的，所述分级控制执行模块包括：

49、读取待执行控制指令，发送至电器对象对应的厨房电器，完成状态调整；

50、读取待确认控制指令，将电器对象和控制动作转换为语音确认提示并进行播放，采集老人的确认语音，确定是否执行对应厨房电器的控制动作；

51、读取禁止执行控制指令，不向电器对象对应的厨房电器发送控制动作，保持厨房电器当前的运行状态；

52、在指令执行完成后，记录执行反馈；

53、根据执行反馈更新电器状态向量中的运行状态和可执行动作；

54、读取厨房电器执行后的故障状态、保护状态和报警状态，进行安全等级更新。

55、本发明的有益效果是：

56、首先，本发明根据电器状态向量对语音特征序列进行状态空间编码，并利用断续意图保持单元处理语音停顿、重复语音片段和修正语音片段，能够在老人表达不连续、内容重复或中途修正的情况下保持并更新控制意图，减少停顿导致的意图中断、重复内容导致的指令重复以及修正内容未被替换的问题，提高适老化语音意图识别的准确性。

57、其次，本发明通过动作同构解码单元在共享解码状态下同步生成语音文本序列和厨房控制动作序列，并根据电器状态向量中的可执行动作限定控制动作，使电器对象、控制动作、动作强度、执行时机和确认等级能够随语音文本同步形成，降低文本识别结果与厨房控制动作相互脱离以及动作字段错误组合的概率，提高厨房控制动作生成的完整性和可靠性。

58、此外，本发明利用帧动作校验单元对特征帧、语音文本序列和厨房控制动作序列进行帧级对齐，并结合帧级对齐关系、可执行动作和确认等级生成待执行控制指令、待确认控制指令和禁止执行控制指令，能够对缺少语音依据、字段对应异常或不符合电器当前状态的控制动作进行拦截，避免高风险动作被直接执行，提高厨房电器语音控制的安全性和可追溯性。