基于时空图的智能眼镜指令消歧方法及系统、设备、介质与流程

本申请属于消歧，更具体地说，是涉及基于时空图的智能眼镜指令消歧方法及系统、设备、介质。

背景技术：

1、随着智能可穿戴设备的普及，智能眼镜作为一种新型人机交互终端，其在语音交互场景中的应用日益广泛。然而，智能眼镜佩戴场景具有高度的动态性和复杂性，用户发出的语音指令常常存在语义歧义。例如，用户在驾驶过程中说“吹大风”，该指令可能被理解为“开启空调”或“打开车窗”；用户在家居场景中说“打开窗户”，可能指“打开智能窗帘”或“打开实际窗户”。现有方案多采用静态场景分类或纯语义解析来处理指令歧义，即预先设定若干固定场景标签，或将语音指令上传至云端进行语义理解。此类方案未能充分利用智能眼镜佩戴场景中实时变化的用户物理状态和环境状态信息来辅助指令理解。因此，如何在动态交互场景中利用实时上下文信息提高指令理解的准确率，是当前智能眼镜语音交互技术中亟待解决的问题。

技术实现思路

1、本申请的目的在于提供一种基于时空图的智能眼镜指令消歧方法及系统、设备、介质，以实现在动态交互场景中利用实时上下文信息提高指令理解的准确率。

2、本申请实施例的第一方面，提供了一种基于时空图的智能眼镜指令消歧方法，包括：

3、通过集成于智能眼镜本体上的多个传感器实时采集传感数据；以时钟芯片产生的全局时钟信号为统一时间基准，对各传感器采集的传感数据分别生成硬件级时间戳；若检测到语音信号的起始点，则向硬件锁存阵列发出触发信号；响应于触发信号，经由硬件锁存阵列在同一全局时钟周期内并行锁存各传感器当前时刻采集的传感数据及其对应的硬件级时间戳，形成在时间上对齐的上下文快照数据；

4、以上下文快照数据为输入，动态实例化图节点；根据各传感数据在语音信号起始点时刻的数值变化特征之间的协同关系计算各图节点之间的边权重，基于各图节点及各自对应的边权重构建当前时刻的时空图；

5、将时空图输入预先训练好的图神经网络，沿时空图的边连接关系进行消息传递，聚合各图节点的特征信息，得到各图节点更新后的特征嵌入；

6、对上下文快照数据中的音频信号进行语音识别获得文本指令，基于文本指令解析获得候选指令意图列表；将各图节点更新后的特征嵌入与候选指令意图列表中的各候选指令意图进行匹配，生成各候选指令意图的置信度分布数据；

7、根据置信度分布数据，将置信度最高的候选指令意图确定为消歧结果，生成可执行指令数据。

8、本申请实施例的第二方面，提供了一种基于时空图的智能眼镜指令消歧系统，包括：

9、数据同步与采集模块，用于通过集成于智能眼镜本体上的多个传感器实时采集传感数据；以时钟芯片产生的全局时钟信号为统一时间基准，对各传感器采集的传感数据分别生成硬件级时间戳；若检测到语音信号的起始点，则向硬件锁存阵列发出触发信号；响应于触发信号，经由硬件锁存阵列在同一全局时钟周期内并行锁存各传感器当前时刻采集的传感数据及其对应的硬件级时间戳，形成在时间上对齐的上下文快照数据；

10、时空图构建模块，用于以上下文快照数据为输入，动态实例化图节点；根据各传感数据在语音信号起始点时刻的数值变化特征之间的协同关系计算各图节点之间的边权重，基于各图节点及各自对应的边权重构建当前时刻的时空图；

11、图神经网络推理模块，用于将时空图输入预先训练好的图神经网络，沿时空图的边连接关系进行消息传递，聚合各图节点的特征信息，得到各图节点更新后的特征嵌入；

12、意图匹配模块，用于对上下文快照数据中的音频信号进行语音识别获得文本指令，基于文本指令解析获得候选指令意图列表；将各图节点更新后的特征嵌入与候选指令意图列表中的各候选指令意图进行匹配，生成各候选指令意图的置信度分布数据；

13、指令输出模块，用于根据置信度分布数据，将置信度最高的候选指令意图确定为消歧结果，生成可执行指令数据。

14、本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的基于时空图的智能眼镜指令消歧方法的步骤。

15、本申请实施例的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于时空图的智能眼镜指令消歧方法的步骤。

16、本申请实施例提供的基于时空图的智能眼镜指令消歧方法及系统、设备、介质的有益效果在于，本申请实施例通过内置时钟芯片提供统一全局时钟基准，搭配硬件锁存阵列在语音信号起始时刻同步锁存多传感器数据，获取时序高度对齐的上下文快照数据，彻底规避了多传感器数据时序错位导致的上下文信息失真问题。同时，本申请实施例基于上下文快照数据动态构建时空图，通过传感数据数值协同关系量化节点关联权重，精准刻画语音指令触发瞬间的真实场景特征，再经由图神经网络聚合多模态时空特征。最终将时空特征与候选指令意图匹配打分，依托真实物理场景约束语义判断，有效区分同音、近义及场景指代歧义指令。本申请实施例无需依赖云端静态语义库，可基于终端实时动态上下文完成本地化消歧，提升动态交互场景下智能眼镜语音指令理解的准确性与适配性，大幅优化用户语音交互体验。

1.一种基于时空图的智能眼镜指令消歧方法，应用于智能眼镜，其特征在于，包括：

2.如权利要求1所述的基于时空图的智能眼镜指令消歧方法，其特征在于，所述检测到语音信号的起始点，包括：

3.如权利要求1所述的基于时空图的智能眼镜指令消歧方法，其特征在于，所述对各传感器采集的传感数据分别生成硬件级时间戳，包括：

4.如权利要求1所述的基于时空图的智能眼镜指令消歧方法，其特征在于，所述以所述上下文快照数据为输入，动态实例化图节点，包括：

5.如权利要求1所述的基于时空图的智能眼镜指令消歧方法，其特征在于，所述根据各传感数据在语音信号起始点时刻的数值变化特征之间的协同关系计算各图节点之间的边权重，包括：

6.如权利要求1所述的基于时空图的智能眼镜指令消歧方法，其特征在于，所述将所述时空图输入预先训练好的图神经网络，沿所述时空图的边连接关系进行消息传递，聚合各图节点的特征信息，得到各图节点更新后的特征嵌入，包括：

7.如权利要求1所述的基于时空图的智能眼镜指令消歧方法，其特征在于，所述将各图节点更新后的特征嵌入与所述候选指令意图列表中的各候选指令意图进行匹配，生成各候选指令意图的置信度分布数据，包括：

8.一种基于时空图的智能眼镜指令消歧系统，应用于智能眼镜，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。