一种语音交互方法、装置及电子设备与流程

本技术涉及智能语音交互，具体涉及一种语音交互方法、装置及电子设备。

背景技术：

1、在智能语音交互领域，特别是在智能座舱、智能家居等应用场景中，“可见即可说”功能已成为提升用户体验的核心交互方式，该功能允许用户通过自然语言语音指令直接操控当前电子设备界面中显示的可交互元素，实现与电子设备之间的语音交互。

2、随着用户对自然、流畅语音交互体验需求的日益增长，如何提供一种语音交互方法，以快速、准确地将用户自然口语化语音指令与电子设备当前界面上相应的可交互元素匹配，从而触发正确操作，对提升语音交互体验起着至关重要的作用。

技术实现思路

1、基于上述现有技术的缺陷和不足，本技术提出一种语音交互方法、装置及电子设备，以实现用户自然口语化语音指令与电子设备当前界面上相应可交互元素的快速、准确匹配，进而提升用户的语音交互体验。

2、本技术第一方面提供了一种语音交互方法，包括：

3、获取用户的语音指令文本；

4、确定当前交互界面中可交互元素的文本内容；

5、结合所述可交互元素在所述交互界面中所属界面区域的属性信息对所述可交互元素的文本内容进行处理，生成当前所述交互界面的热词库；所述热词库包括当前所述交互界面中每个所述可交互元素的至少一个热词；

6、确定所述热词库中与所述语音指令文本匹配的目标热词，并触发当前所述交互界面中所述目标热词所属的可交互元素。

7、在一种可能的实现方式中，所述获取用户的语音指令文本，包括：

8、接收用户的原始语音指令文本；

9、去除所述原始语音指令文本中的非语义文本，得到语音指令文本。

10、在一种可能的实现方式中，所述结合所述可交互元素在所述交互界面中所属界面区域的属性信息对所述可交互元素的文本内容进行处理，生成当前所述交互界面的热词库，包括：

11、对所述可交互元素的文本内容进行分词得到所述可交互元素的至少一个分词；

12、确定所述可交互元素在所述交互界面中所属界面区域的属性信息，所述界面区域的属性信息基于当前所述交互界面中不同界面区域之间的差异信息确定；

13、将所述分词和所述属性信息关联生成所述分词对应的热词；当前所述交互界面中各个所述可交互元素的分词对应的热词构成当前所述交互界面的热词库。

14、在一种可能的实现方式中，所述界面区域的属性信息包括所述界面区域的区域类型和/或区域位置，所述区域类型基于所述界面区域的功能定义，所述区域位置基于所述界面区域在当前所述交互界面的位置信息定义。

15、在一种可能的实现方式中，所述确定所述可交互元素在所述交互界面中所属界面区域的属性信息，包括：

16、识别当前所述交互界面中的至少一个逻辑分区，每个所述逻辑分区对应一个界面区域；

17、获取所述至少一个逻辑分区中每个所述逻辑分区的标题文本；

18、根据所述至少一个逻辑分区中各个所述逻辑分区的标题文本之间的差异信息，分别确定每个所述逻辑分区的属性信息。

19、在一种可能的实现方式中，所述确定所述可交互元素在所述交互界面中所属界面区域的属性信息，包括：

20、识别当前所述交互界面中的至少一个逻辑分区，每个所述逻辑分区对应一个界面区域；

21、获取所述至少一个逻辑分区中每个所述逻辑分区在当前所述交互界面中的位置信息；

22、根据所述至少一个逻辑分区中各个所述逻辑分区之间的相对位置信息，分别确定每个所述逻辑分区的属性信息。

23、在一种可能的实现方式中，所述确定所述热词库中与所述语音指令文本匹配的目标热词，包括：

24、确定当前所述交互界面的目标场景信息，所述目标场景信息表征当前所述交互界面的应用场景；

25、基于预训练的文本特征提取模型分别提取所述语音指令文本的第一文本特征以及所述热词库中每个所述热词的第二文本特征；

26、根据所述语音指令文本的第一文本特征和所述热词的第二文本特征，分别计算所述热词库中每个所述热词的相似度；所述热词的相似度表征所述热词与所述语音指令文本之间的语义相似度；

27、确定所述热词库中各个所述热词的最高相似度是否超过所述目标场景信息对应的目标相似度阈值；

28、若所述热词库中各个所述热词的最高相似度超过所述目标场景信息对应的目标相似度阈值，将所述最高相似度所属的热词确定为目标热词。

29、在一种可能的实现方式中，所述文本特征提取模型通过如下方式获得：

30、对第一模型进行蒸馏得到第二模型，所述第一模型为预先设置的大模型，所述第二模型用于文本特征提取；

31、将样本对输入至所述第二模型得到所述样本对中第一样本的第一文本特征以及第二样本的第二文本特征；

32、根据所述第一样本的第一文本特征和所述第二样本的第二文本特征，计算所述第一样本和所述第二样本之间的第一语义相似度；

33、基于所述第一模型确定所述样本对中所述第一样本和所述第二样本之间的第二语义相似度；

34、根据所述第一语义相似度和所述第二语义相似度之间的差异，对所述第二模型进行优化训练得到文本特征提取模型。

35、本技术第二方面提供了一种语音交互装置，包括：

36、语音指令文本获取单元，用于获取用户的语音指令文本；

37、文本内容确定单元，用于确定当前交互界面中可交互元素的文本内容；

38、热词库生成单元，用于结合所述可交互元素在所述交互界面中所属界面区域的属性信息对所述可交互元素的文本内容进行处理，生成当前所述交互界面的热词库；所述热词库包括当前所述交互界面中每个所述可交互元素的至少一个热词；

39、语音交互单元，用于确定所述热词库中与所述语音指令文本匹配的目标热词，并触发当前所述交互界面中所述目标热词所属的可交互元素。

40、本技术第三方面提供了一种电子设备，包括存储器和处理器；

41、所述存储器与所述处理器连接，用于存储程序；

42、所述处理器用于通过运行所述存储器中的程序，实现如本技术第一方面或者本技术第一方面任一可能的实现方式所述的语音交互方法。

43、本技术第四方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时，实现如本技术第一方面或者本技术第一方面任一可能的实现方式所述的语音交互方法。

44、本技术第五方面提供了一种芯片，包括处理器和数据接口，所述处理器通过所述数据接口读取并运行存储器上存储的程序，以执行如本技术第一方面或者本技术第一方面任一可能的实现方式所述的语音交互方法。

45、本技术第六方面提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时，实现如本技术第一方面或者本技术第一方面任一可能的实现方式所述的语音交互方法。

46、本技术提供一种语音交互方法、装置及电子设备，获取用户的语音指令文本；确定当前交互界面中可交互元素的文本内容；结合可交互元素在交互界面中所属界面区域的属性信息对可交互元素的文本内容进行处理，生成当前交互界面的热词库；热词库包括当前交互界面中每个可交互元素的至少一个热词；确定热词库中与语音指令文本匹配的目标热词，并触发当前交互界面中目标热词所属的可交互元素。本技术中结合可交互元素在当前交互界面中所属界面区域的属性信息生成当前交互界面的热词库，缓解了用户口语化输入与结构化页面元素文本之间的语义差异，减少了因语义差异导致的匹配失败问题，实现了用户自然口语化语音指令与电子设备当前界面上相应可交互元素的快速、准确匹配，提升了用户的语音交互体验。