离线在线语义识别仲裁方法、电子设备及存储介质与流程

本发明涉及智能语音交互技术领域，特别是涉及一种离线在线语义识别仲裁方法、电子设备及存储介质。

背景技术：

智能语音助手广泛应用于车载场景，随着车联网的发展，绝大多数的近现代车辆都支持联网，但由于车辆所处环境经常变化，车载设备的网络环境十分不稳定，因此近现代的车载智能语音助手一般采用离在线融合的语音语义处理方式。

云端的算力更为强大，且在线语音语义处理可以采用最新技术，在线语音语义处理效果普遍优于离线效果，因此目前的车载语音助手是采用在线结果进行语音反馈。

然而，采用在线结果进行语音反馈的方案，对网络的依赖性很高，若网络良好则整体交互流畅，反馈结果准确。但车载网络环境十分不稳定，在网络较差的情况下，需要一直等待在线语音处理结果，该过程可能持续近10秒，导致语音交互的时间被拖长。并且，在网络很差时，很可能让用户等待近10秒后反馈用户“网络状态不好，请重试”，可见现有的车载语音交互处理在网络环境不好的情况下，响应速度慢、语音交互不稳定，导致用户体验较差。

技术实现要素：

本发明实施例的目的在于提供一种离线在线语义识别仲裁方法、电子设备及存储介质，以实现提高语音交互的响应速度和稳定性。具体技术方案如下：

为实现上述目的，本申请实施例提供了一种离线在线语义识别仲裁方法，所述方法包括：

获取用户语音指令，并判断网络连接状态；

当网络状态为连接态时，分别对所述用户语音指令执行本地语音语义处理和在线语音语义处理；

当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为离线支持的垂域类别时，判断是否需要针对所述用户语音指令的内容数据，若不需要，则播报针对所述语义识别结果的反馈信息；若需要，则判断本地缓存中是否包含针对所述用户语音指令的内容数据，若包含，则播报所述内容数据；

若不包含，则直接调用在线内容搜索接口，在预设第一时长内等待在线返回的针对所述用户语音指令的内容数据；若在所述第一时长内在线未返回所述内容数据，则播报用于提示未搜索到所述内容数据的语音提示；

当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为仅在线支持的垂域类别时，则在预设第二时长内等待在线返回的基于所述在线语音语义处理的语义识别结果的反馈信息；若在所述第二时长内在线未返回反馈信息，则播报用于提示无法执行针对所述垂域类别相关操作的语音提示。

可选的，所述方法还包括：

当优先得到在线语音语义处理的语义识别结果时，中止执行本地语音语义处理，并接收在线返回的针对在线语音语义处理的语义识别结果的反馈信息。

可选的，所述方法还包括：

当优先得到本地语音语义处理的语义识别结果且所述语义识别结果表征无法理解所述用户语音指令时，在预设第三时长内等待在线返回的基于所述在线语音语义处理的语义识别结果的反馈信息；若在所述第三时长内在线未返回反馈信息，则播报用于提示无法理解所述用户语音指令的语音提示。

可选的，所述方法还包括：

当优先得到本地语音语义处理的语义识别结果且所述语义识别结果表征无法理解针对该语义识别结果包含的垂域类别的命令语义时，播报针对该语义识别结果包含的垂域类别的引导提示。

可选的，所述播报用于提示未搜索到反馈信息的语音提示的步骤，包括：

若所述本地语音语义处理的语义识别结果中包含有效实体，则播报用于提示未搜索到针对该有效实体下所述垂域类别的内容数据的语音提示；

若所述本地语音语义处理的语义识别结果中不包含有效实体，则播报用于提示未搜索到针对所述垂域类别的内容数据的语音提示。

可选的，所述方法还包括：

当网络状态为非连接态时，对所述用户命令语音执行本地语音语义处理；

当本地语音语义处理的语义识别结果包含的垂域类别为离线支持的垂域类别时，判断是否需要针对所述用户语音指令的内容数据，若不需要，则播报针对所述语义识别结果的反馈信息；若需要，则判断本地缓存中是否包含针对所述用户语音指令的内容数据，若包含，则播报所述内容数据；

若不包含，则播报用于提示无法搜索所述内容数据的语音提示；

当本地语音语义处理的语义识别结果包含的垂域类别为仅在线支持的垂域类别时，播报用于提示无法执行针对所述垂域类别相关操作的语音提示。

可选的，所述方法还包括：

当本地语音语义处理的语义识别结果表征无法理解所述用户语音指令时，播报用于提示无法理解所述用户语音指令的语音提示。

可选的，所述方法还包括：

当本地语音语义处理的语义识别结果表征无法理解针对该语义识别结果包含的垂域类别的命令语义时，播报针对该语义识别结果包含的垂域类别的引导提示。

为实现上述目的，本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一方法步骤。

为实现上述目的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法步骤。

本发明实施例有益效果：

应用本申请实施例提供的离线在线语义识别仲裁方法、电子设备及存储介质，获取用户语音指令，并判断网络连接状态；当网络状态为连接态时，分别对用户语音指令执行本地语音语义处理和在线语音语义处理；当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为离线支持的垂域类别时，判断是否需要针对用户语音指令的内容数据，若不需要，则播报针对语义识别结果的反馈信息；若需要，则判断本地缓存中是否包含针对用户语音指令的内容数据，若包含，则播报内容数据；若不包含，则直接调用在线内容搜索接口，在预设第一时长内等待在线返回的针对用户语音指令的内容数据；若在第一时长内在线未返回内容数据，则播报用于提示未搜索到内容数据的语音提示；当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为仅在线支持的垂域类别时，则在预设第二时长内等待在线返回的基于在线语音语义处理的语义识别结果的反馈信息；若在第二时长内在线未返回反馈信息，则播报用于提示无法执行针对垂域类别相关操作的语音提示。

可见，相比于现有的采用在线结果进行语音反馈的方案，在网络较差的情况下，可以基于本地语音语义处理的语义识别结果进行信息反馈，且本地预先缓存不同语义识别结果对应的离线缓存数据，能够满足大部分的语音交互需求，从而明显提升弱网情况下绝大多数交互指令的响应速度。即使需要在线网络搜索，也不会让用户等待过长时间，提高了语音交互的响应速度和稳定性。

此外，由于本地缓存的离线缓存数据能够满足大部分用户命令语音，能够大大减少等待在线反馈结果的场景，从而降低了云端服务器的压力。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本申请实施例提供的离线在线语义识别仲裁方法的一种流程示意图；

图2为本申请实施例提供的离线在线语义识别仲裁方法的另一种流程示意图；

图3为本申请实施例提供的离线在线语义识别仲裁方法的又一种流程示意图；

图4为本申请实施例提供的离线在线语义识别仲裁装置的一种结构示意图；

图5为本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有的车载语音语音语义处理在网络环境不好的情况下，响应速度慢、语音交互不稳定的技术问题，本申请实施例提供了一种离线在线语义识别仲裁方法、电子设备及存储介质。

该方法可以应用于车载设备，具体可以包含语音采集设备、语音语义处理设备和语音播报设备，其中语音语义处理设备可以包括本地语音语义处理设备和在线语音语义处理设备。

参见图1，图1为本申请实施例提供的离线在线语义识别仲裁方法的一种流程示意图，如图1所示，方法可以包括以下步骤：

s101：获取用户语音指令，并判断网络连接状态。

本申请实施例中，语音采集设备可以采集用户语音指令，并将用户语音指令传递至语音语义处理设备。

此外，车载设备可以判断网络连接状态，网络连接状态包括连接态和非连接态。

s102：当网络状态为连接态时，分别对用户语音指令执行本地语音语义处理和在线语音语义处理。

本申请实施例中，当车辆的网络状态为连接态，即接入网络时，可以分别同时对用语音指令执行本地语音语义处理和在线语音语义处理。

具体的，本地端存在本地语音语义处理模块，网络端存在在线语音语义处理模块。

本地语音语义处理模块包括：本地语音识别模块、本地自然语言处理模块；在线语音语义处理模块包括：在线语音识别模块、在线自然语言处理模块。

在本地端，本地语音识别模块对用户语音指令进行识别、转换，得到本地识别文本，本地自然语言处理模块可以结合上下文场景信息进行垂域分类、意图分类及实体提取，得到本地语音语义识别的语义识别结果。

其中，垂域可以表示用户语音指令所涉及的领域，例如音乐、天气等；意图可以表示用户期望进行的操作，例如查询、购买、打开等；实体可以表示具体的操作对象，例如可以是日期、地点、人物等。

作为一个示例，针对语音指令“帮我查询明天北京飞上海的航班”，语义识别结果中，垂域分类为“航班”，意图分类为“查询”，实体提取为“明天”、“北京”和“上海”。

本申请实施例中，本地自然语言处理可以采用深度学习技术实现。

在网络端，在线语音识别模块同步对用户语言指令进行识别、转换，得到在线识别文本，在线自然语言处理模块可以结合上下文场景信息进行垂域分类、意图分类及实体提取，得到在线语义识别的语义识别结果。

本申请实施例中，本地语音语义处理和在线语音语义处理得到的语义识别结果均反馈至本地端的对话管理模块，对话管理模块可以根据本地语音语义处理和在线语音语义处理的反馈速度、语义识别结果、以及本地缓存的数据缓存情况进行判断，完成后续的语音交互。

s103：当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为离线支持的垂域类别时，判断是否需要针对用户语音指令的内容数据，若不需要，则播报针对语义识别结果的反馈信息；若需要，则判断本地缓存中是否包含针对用户语音指令的内容数据，若包含，则播报内容数据。

本申请实施例中，如果优先得到本地语音语义处理的语义识别结果，则判断本地语音语义处理的语义识别结果包含的垂域类别是否为离线支持的垂域类别。

其中，垂域类别可以包括：离线支持的垂域类别和仅在线支持的垂域类别。针对离线支持的垂域类别，既可以在线处理，也可以离线处理。针对仅在线支持的垂域类别，仅可以在线处理。

举例来讲，本申请实施例中，航班、天气等信息均可以提前存储至本地缓存中，因此“航班”和“天气”均为离线支持的垂域类别；“成语接龙游戏”无法离线处理，因此是仅在线支持的垂域类别。

本申请实施例中，当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为离线支持的垂域类别时，可以判断是否需要针对用户语音指令的内容数据。

具体的，当用户语音指令属于控制类指令时，通常不需要针对用户语音指令的内容数据；当用户语音指令属于查询类指令时，通常需要针对用户语音指令的内容数据。

举例来讲，用户语音指令“打开空调”属于控制类指令，无需向用户反馈内容数据；用户指令“查询北京的天气”属于查询类指令，需要向用户反馈内容数据。

若不需要针对用户语音指令的内容数据，则可以直接播报针对语义识别结果的反馈信息。

作为一个示例，用户语音指令为“打开空调”，对应的语义识别结果中垂域类别为空调，是离线支持的，且不涉及内容数据，则可以在操作完成后直接播报反馈信息，例如“已打开空调”。

若需要针对用户语音指令的内容数据，则判断本地缓存中是否包含针对用户语音指令的内容数据。即查询本地缓存中是否包含对应的内容数据，若包含，则播报该内容数据。

作为一个示例，用户语音指令为“看下北京的天气”，对应的语义识别结果中垂域类别为天气，是离线支持的，且涉及内容数据“北京天气”，则可以查询本地缓存中是否已缓存有“北京天气”，若有则进行播报。

其中，本地缓存内容可以是预先从云端获取的，例如，每隔15分钟从云端获取新的“天气”、“航班”等数据。

s104：若不包含，则直接调用在线内容搜索接口，在预设第一时长内等待在线返回的针对用户语音指令的内容数据；若在第一时长内在线未返回内容数据，则播报用于提示未搜索到内容数据的语音提示。

本申请实施例中，若本地缓存中不包含针对用户语音指令的内容数据，则可以直接调用在线内容搜索接口，在预设第一时长内等待在线返回的针对用户语音指令的内容数据。

具体的，可以在车机系统配置在线内容搜索接口，用于搜索本地未缓存的数据。如果在第一时长内在线返回内容数据，则播报内容数据；如果在第一时长内在线未返回内容数据，则播报用于提示未搜索到内容数据的语音提示。

此外，在播报用于提示未搜索到内容数据的语音提示时，若本地语音语义处理的语义识别结果中包含有效实体，则播报用于提示未搜索到针对该有效实体下该垂域类别的内容数据的语音提示；若本地语音语义处理的语音识别结果中不包含有效实体，则播报用于提示未搜索到针对垂域类别的内容数据的语音提示。

作为一个示例，预设第一时长为4秒，若用户语音指令为“看下上海的天气”，对应的语义识别结果中垂域类别为天气，是离线支持的，且能够提取到有效实体“上海”，但本地缓存中没有预先缓存“上海天气”，则调用在线内容搜索接口搜索“上海天气”，若在4秒内得到在线返回的内容数据，则播报内容数据，例如“上海市今天天气晴，气温11摄氏度到23摄氏度”；若在4秒内未得到在线返回的内容数据，则播报用于提示未搜索到针对该有效实体下垂域类别的内容数据的语音提示，例如“查不到上海市的天气信息，请稍后再试吧”；若未提取到有效实体“上海”，则可以播报用于提示未搜索到针对垂域类别的内容数据的语音提示，例如“查不到天气信息，请稍后再试吧”。

s105：当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为仅在线支持的垂域类别时，则在预设第二时长内等待在线返回的基于在线语音语义处理的语义识别结果的反馈信息；若在第二时长内在线未返回反馈信息，则播报用于提示无法执行针对垂域类别相关操作的语音提示。

本申请实施例中，当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为仅在线支持的垂域类别时，需要等待在线返回的基于在线语音语义处理的语义识别结果的反馈信息。

作为一个示例，预设第二时长为4秒，当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为“成语接龙游戏”时，可以在4秒内等待在线返回的基于在线语音语义处理的语义识别结果的反馈信息，若在4秒内返回反馈信息，则进行播报，例如“成语接龙游戏开始了，请说出一个成语”；若在4秒内未返回反馈信息，则播报用于提示无法执行针对该垂域类别相关操作的语音提示，例如“网络不太好，稍后再试一下成语接龙游戏吧”。

应用本申请实施例提供的离线在线语义识别仲裁方法，获取用户语音指令，并判断网络连接状态；当网络状态为连接态时，分别对用户语音指令执行本地语音语义处理和在线语音语义处理；当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为离线支持的垂域类别时，判断是否需要针对用户语音指令的内容数据，若不需要，则播报针对语义识别结果的反馈信息；若需要，则判断本地缓存中是否包含针对用户语音指令的内容数据，若包含，则播报内容数据；若不包含，则直接调用在线内容搜索接口，在预设第一时长内等待在线返回的针对用户语音指令的内容数据；若在第一时长内在线未返回内容数据，则播报用于提示未搜索到内容数据的语音提示；当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为仅在线支持的垂域类别时，则在预设第二时长内等待在线返回的基于在线语音语义处理的语义识别结果的反馈信息；若在第二时长内在线未返回反馈信息，则播报用于提示无法执行针对垂域类别相关操作的语音提示。

可见，相比于现有的采用在线结果进行语音反馈的方案，在网络较差的情况下，可以基于本地语音语义处理的语义识别结果进行信息反馈，且本地预先缓存不同语义识别结果对应的离线缓存数据，能够满足大部分的语音交互需求，从而明显提升弱网情况下绝大多数交互指令的响应速度。即使需要在线网络搜索，也不会让用户等待过长时间，提高了语音交互的响应速度和稳定性。

此外，由于本地缓存的离线缓存数据能够满足大部分用户命令语音，能够大大减少等待在线反馈结果的场景，从而降低了云端服务器的压力。

在本申请的一种实施例中，若优先得到在线语音语义处理的语义识别结果，表示网络质量很好，在这种情况下，可以中止本地语音语义处理，并接收在线返回的针对在线语音语义处理的语义识别结果的反馈信息。

在本申请的一种实施例中，当优先得到本地语音语义处理的语义识别结果且语义识别结果表征无法理解用户语音指令时，在预设第三时长内等待在线返回的基于在线语音语义处理的语义识别结果的反馈信息；若在第三时长内在线未返回反馈信息，则播报用于提示无法理解用户语义指令的语音提示。

具体的，在本地语音语义处理过程中，可能出现垂域类别、意图分类的置信度较低、且垂类类别无法与意图分类相匹配，这种情况下，本地语音语音语义处理设备无法理解用户语音指令，则可以等待在线语音语义处理。

作为一个示例，预设第三时长为4秒，若用户语音指令为“小明最近在干什么呢”，针对该用户语义指令，本地语音语义处理过程中，无法有效识别垂域类别以及意图分类，从而输出的垂域类别、意图分类置信度较低，且垂域类别与意图分类无法匹配，最终的语音识别结果表征无法理解该用户语音指令，则可以在4秒内等待在线返回的基于在线语音语义处理的语义识别结果的反馈信息，若在4秒内返回反馈信息，则播报反馈信息；若在4秒内未返回反馈信息，则播报用于提示无法理解用户语音指令的语音提示，例如“没太理解你的意思，换个说法再说一遍吧，你也可以直接退出”。

在本申请的一种实施例中，当优先得到本地语音语义处理的语义识别结果且语义识别结果表征无法理解针对该语义识别结果包含的垂域类别的命令语义时，播报针对该语义识别结果包含的垂域类别的引导提示。

具体的，在本地语音语义处理过程中，可能出现有效提取到垂域类别，但无法提取针对垂域类别的意图分类信息，从而无法理解针对该垂域类别的命令语义。

作为一个示例，若用户语音指令为“给我整点航班瞅一下子呗”，针对该用户语义指令，本地语音语义处理过程中，能够有效识别垂域类别“航班”，但无法提取针对“航班”的意图分类信息，则可以播报针对该垂域类别的引导提示，例如“你是想查询航班吗，可以对我说查询航班”。

下面结合附图图2，对网络状态为连接态时，离线在线语义识别仲裁方法所涉及的仲裁过程进行进一步说明，图2为本申请实施例提供的离线在线语义识别仲裁方法的另一种流程示意图。

如图2所示，对用户语音指令执行本地语音语义处理和在线语音语义处理，判断是否优先得到在线语音语义处理的语义识别结果，若是，中止执行本地语音语义处理，并接收在线返回的针对在线语音语义处理的语义识别结果的反馈信息。

若未优先得到在线语音语义处理的语义识别结果，即优先得到本地语音语义处理的语义识别结果时，判断该语义识别结果是否表征无法理解用户语音指令，若语义识别结果表征无法理解用户语音指令，则在预设时长内等待在线返回的基于在线语音语义处理的语义识别结果的反馈信息。

若否，即语义识别结果表征能够理解用户语音指令，则判断语义识别结果包含的垂域类别是否为仅在线支持的垂域类别，若是，则在预设时长内等待在线返回的基于在线语音语义处理的语义识别结果的反馈信息。

若否，即语义识别结果包含的垂域类别是离线支持的垂域类别，判断语义识别结果是否表征无法理解针对该语义识别结果包含的垂域类别的命令语义，若是，即语义识别结果表征无法理解针对该语义识别结果包含的垂域类别的命令语义，则播报针对该语义识别结果包含的垂域类别的引导提示。

若否，即语义识别结果表征能够理解针对该语义识别结果包含的垂域类别的命令语义，则判断是否需要针对用户语音指令的内容数据，若不需要，则播报针对语义识别结果的反馈信息；若需要，则判断本地缓存中是否包含针对用户语音指令的内容数据。

若包含，则播报内容数据；若不包含，则直接调用在线内容搜索接口，在预设时长内等待在线返回的针对用户语音指令的内容数据。

在本申请的一种实施例中，当网络状态为非连接态时，只对用户命令语音执行本地语音语义处理。

当本地语音语义处理的语义识别结果包含的垂域类别为离线支持的垂域类别时，判断是否需要针对用户语音指令的内容数据，若不需要，则播报针对语义识别结果的反馈信息；若需要，则判断本地缓存中是否包含针对用户语音指令的内容数据，若包含，则播报内容数据。

若不包含，则播报用于提示无法搜索内容数据的语音提示；

当本地语音语义处理的语义识别结果包含的垂域类别为仅在线支持的垂域类别时，播报用于提示无法执行针对垂域类别相关操作的语音提示。

作为一个示例，用户命令语音为“看下上海的天气”，对应的语义识别结果中垂域类别为天气，是离线支持的，且需要针对用户语音指令的内容数据，则判断本地缓存中是否预先缓存内容数据“上海天气”，如是，则播报该内容数据，例如“上海市今天天气晴，气温11摄氏度到23摄氏度”。若否，则可以直接播报用于提示无法搜索“上海天气”的语音提示，例如“网络未连接，查不到上海的天气信息，请稍后再试”。

作为一个示例，用户命令语音为“我要玩成语接龙游戏”，对应的语义识别结果中垂域类别是仅在线支持的，由于网络未连接，可以直接播报用于提示无法执行针对该垂域类别相关操作的语音提示，例如“成语接龙游戏仅支持联网使用，请连接网络后再试吧”。

在本申请的一种实施例中，当本地语音语义处理的语义识别结果表征无法理解用户语音指令时，播报用于提示无法理解用户语音指令的语音提示。

作为一个示例，若用户语音指令为“小明最近在干什么呢”，针对该用户语义指令，本地语音语义处理的语义识别结果表征无法理解该用户语音指令，则可以直接播报用于提示无法理解用户语音指令的语音提示，例如“没太理解你的意思，换个说法再说一遍吧，你也可以直接退出”。

在本申请的一种实施例中，当本地语音语义处理的语义识别结果表征无法理解针对该语义识别结果包含的垂域类别的命令语义时，播报针对该语义识别结果包含的垂域类别的引导提示。

作为一个示例，若用户语音指令为“给我整点航班瞅一下子呗”，针对该用户语义指令，本地语音语义处理过程中，能够有效识别垂域类别“航班”，但无法提取针对“航班”的意图分类信息，则可以播报针对该垂域类别的引导提示，例如“你是想查询航班吗，可以对我说查询航班”。

下面结合附图图3，对网络状态为非连接态时，离线在线语义识别仲裁方法所涉及的仲裁过程进行进一步说明，图3为本申请实施例提供的离线在线语义识别仲裁方法的又一种流程示意图。

如图3所示，对用户语音指令执行本地语音语义处理，判断本地语音语义处理的语义识别结果是否表征无法理解用户语音指令，若是，则播报用于提示无法理解用户语音指令的语音提示。

若否，即语义识别结果表征可以理解用户语音指令，则判断语义识别结果包含的垂域类别是否为仅在线支持的垂域类别，若是，则播报用于提示无法执行针对垂域类别相关操作的语音提示。

若语义识别结果包含的垂域类别是离线支持的垂域类别，则判断语义识别结果是否表征无法理解针对该语义识别结果包含的垂域类别的命令语义，若是，则播报针对该语义识别结果包含的垂域类别的引导提示。

若否，即语义识别结果表征能够理解针对该语义识别结果包含的垂域类别的命令语义，则判断是否需要针对用户语音指令的内容数据，若不需要，则播报针对语义识别结果的反馈信息；若需要，判断本地缓存中是否包含针对用户语音指令的内容数据，若包含，则播报内容数据；若不包含，则播报用于提示无法搜索内容数据的语音提示。

可见，本申请实施例提供的离线在线语义识别仲裁方法，在网络状态为非连接态时也可以对用户语音指令进行语音语义处理，得到语义识别结果，且本地预先缓存不同语义识别结果对应的离线缓存数据，能够满足部分语音交互需求，提升了无网络连接时语音交互的用户体验。

相应于本申请实施例提供的离线在线语义识别仲裁方法，本申请实施例还提供了一种离线在线语义识别仲裁装置，参见图4，装置可以包括以下模块：

获取模块401，用于获取用户语音指令，并判断网络连接状态；

处理模块402，用于当网络状态为连接态时，分别对用户语音指令执行本地语音语义处理和在线语音语义处理；

判断模块403，用于当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为离线支持的垂域类别时，判断是否需要针对所述用户语音指令的内容数据，若不需要，则播报针对所述语义识别结果的反馈信息；若需要，则判断本地缓存中是否包含针对所述用户语音指令的内容数据，若包含，则播报所述内容数据；

第一反馈模块404，用于若本地缓存中不包含针对用户语音指令的内容数据，则直接调用在线内容搜索接口，在预设第一时长内等待在线返回的针对所述用户语音指令的内容数据；若在所述第一时长内在线未返回内容数据，则播报用于提示未搜索到内容数据的语音提示；

第二反馈模块405，用于当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为仅在线支持的垂域类别时，则在预设第二时长内等待在线返回的基于在线语音语义处理的语义识别结果的反馈信息；若在第二时长内在线未返回反馈信息，则播报用于提示无法执行针对垂域类别相关操作的语音提示。

应用本申请实施例提供的离线在线语义识别仲裁装置，获取用户语音指令，并判断网络连接状态；当网络状态为连接态时，分别对用户语音指令执行本地语音语义处理和在线语音语义处理；当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为离线支持的垂域类别时，判断是否需要针对用户语音指令的内容数据，若不需要，则播报针对语义识别结果的反馈信息；若需要，则判断本地缓存中是否包含针对用户语音指令的内容数据，若包含，则播报内容数据；若不包含，则直接调用在线内容搜索接口，在预设第一时长内等待在线返回的针对用户语音指令的内容数据；若在第一时长内在线未返回内容数据，则播报用于提示未搜索到内容数据的语音提示；当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为仅在线支持的垂域类别时，则在预设第二时长内等待在线返回的基于在线语音语义处理的语义识别结果的反馈信息；若在第二时长内在线未返回反馈信息，则播报用于提示无法执行针对垂域类别相关操作的语音提示。

可见，相比于现有的采用在线结果进行语音反馈的方案，在网络较差的情况下，可以基于本地语音语义处理的语义识别结果进行信息反馈，且本地预先缓存不同语义识别结果对应的离线缓存数据，能够满足大部分的语音交互需求，从而明显提升弱网情况下绝大多数交互指令的响应速度。即使需要在线网络搜索，也不会让用户等待过长时间，提高了语音交互的响应速度和稳定性。

此外，由于本地缓存的离线缓存数据能够满足大部分用户命令语音，能够大大减少等待在线反馈结果的场景，从而降低了云端服务器的压力。

其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。

本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，

存储器503，用于存放计算机程序；

处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：

获取用户语音指令，并判断网络连接状态；

当网络状态为连接态时，分别对所述用户语音指令执行本地语音语义处理和在线语音语义处理；

当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为离线支持的垂域类别时，判断是否需要针对所述用户语音指令的内容数据，若不需要，则播报针对所述语义识别结果的反馈信息；若需要，则判断本地缓存中是否包含针对所述用户语音指令的内容数据，若包含，则播报所述内容数据；

若不包含，则直接调用在线内容搜索接口，在预设第一时长内等待在线返回的针对所述用户语音指令的内容数据；若在所述第一时长内在线未返回所述内容数据，则播报用于提示未搜索到所述内容数据的语音提示；

当优先得到本地语音语义处理的语义识别结果且语义识别结果包含的垂域类别为仅在线支持的垂域类别时，则在预设第二时长内等待在线返回的基于所述在线语音语义处理的语义识别结果的反馈信息；若在所述第二时长内在线未返回反馈信息，则播报用于提示无法执行针对所述垂域类别相关操作的语音提示。

上述电子设备提到的通信总线可以是外设部件互连标准（peripheralcomponentinterconnect，pci）总线或扩展工业标准结构（extendedindustrystandardarchitecture，eisa）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器（randomaccessmemory，ram），也可以包括非易失性存储器（non-volatilememory，nvm），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器（centralprocessingunit，cpu）、网络处理器（networkprocessor，np）等；还可以是数字信号处理器（digitalsignalprocessor，dsp）、专用集成电路（applicationspecificintegratedcircuit，asic）、现场可编程门阵列（field-programmablegatearray，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

应用本申请实施例提供的电子设备，相比于现有的采用在线结果进行语音反馈的方案，在网络较差的情况下，可以基于本地语音语义处理的语义识别结果进行信息反馈，且本地预先缓存不同语义识别结果对应的离线缓存数据，能够满足大部分的语音交互需求，从而明显提升弱网情况下绝大多数交互指令的响应速度。即使需要在线网络搜索，也不会让用户等待过长时间，提高了语音交互的响应速度和稳定性。

此外，由于本地缓存的离线缓存数据能够满足大部分用户命令语音，能够大大减少等待在线反馈结果的场景，从而降低了云端服务器的压力。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一离线在线语义识别仲裁方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一离线在线语义识别仲裁方法的步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（dsl））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质（例如固态硬盘solidstatedisk(ssd)）等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于离线在线语义识别仲裁装置、电子设备、计算机可读存储介质及计算机程序产品实施例而言，由于其基本相似于离线在线语义识别仲裁方法实施例，所以描述的比较简单，相关之处参见离线在线语义识别仲裁方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。