多屏语音交互方法、装置、设备及计算机可读存储介质与流程

1.本公开涉及语音交互技术领域，尤其涉及一种多屏语音交互方法、装置、设备及计算机可读存储介质。


背景技术：

2.随着汽车产业以及车辆智能控制的蓬勃发展，人车智能交互或将成为未来的发展趋势。
3.目前，用户已经可以通过与语音助手的交互便捷地实现多种功能，但是现有的语音交互过程中，语音播报大多是通过车内固定位置的扬声器进行播报，发声区域呆板固定，如何改进这种语音交互方式，进而满足用户在车内良好的语音交互体验成为业内亟待解决的问题。


技术实现要素：

4.为了解决上述技术问题，本公开提供了一种多屏语音交互方法、装置、设备及计算机可读存储介质，使得语音交互更加灵活自然，提高用户的语音交互体验。
5.第一方面，本公开实施例提供一种多屏语音交互方法，包括：
6.响应于唤醒语音，从与所述车机连接的多屏中选择目标屏进行唤醒；
7.判断所述多屏中的非目标屏是否已唤醒，若已唤醒，则将唤醒问候语音由所述非目标屏对应声场的音频播放设备至所述目标屏对应声场的音频播放设备进行相对于用户由远至近地播放。
8.在一些实施例中，所述响应于唤醒语音，从所述车机的多屏中选择目标屏进行唤醒包括：
9.响应于唤醒语音，确定发出所述唤醒语音的用户所处的目标音区；
10.基于所述目标音区，唤醒所述目标音区对应的目标屏。
11.在一些实施例中，所述方法还包括：
12.在所述目标屏上展示语音助手的虚拟互动形象。
13.在一些实施例中，在所述目标屏上展示语音助手的虚拟互动形象包括：
14.在将唤醒问候语音由所述非目标屏对应声场的音频播放设备至所述目标屏对应声场的音频播放设备进行相对于用户由远至近地播放的同时，移除所述非目标屏中的虚拟互动形象，并在所述目标屏上展示所述虚拟互动形象。
15.在一些实施例中，所述多屏包括中控屏和至少一个非中控屏，所述方法还包括：
16.响应于处于非中控屏对应的音区中用户发出的导航请求语音，将导航响应语音由所述非中控屏对应声场的音频播放设备至所述中控屏对应声场的音频播放设备进行相对于用户由近至远地播放。
17.在一些实施例中，所述方法还包括：移除所述非中控屏中的虚拟互动形象，在所述中控屏上展示所述虚拟互动形象以及导航界面。
18.第二方面，本公开实施例提供一种多屏语音交互装置，包括：
19.唤醒模块，用于响应于唤醒语音，从与所述车机连接的多屏中选择目标屏进行唤醒；
20.播放模块，用于判断所述多屏中的非目标屏是否已唤醒，若已唤醒，则将唤醒问候语音由所述非目标屏对应声场的音频播放设备至所述目标屏对应声场的音频播放设备进行相对于用户由远至近地播放。
21.在一些实施例中，所述装置还包括展示模块，用于在所述目标屏上展示语音助手的虚拟互动形象。
22.第三方面，本公开实施例提供一种电子设备，包括：
23.存储器；
24.处理器；以及
25.计算机程序；
26.其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
27.第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
28.第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的多屏语音交互方法。
29.本公开实施例提供的多屏语音交互方法、装置、设备及计算机可读存储介质，通过利用不同声场的音频播放设备达到模拟语音助手由已唤醒的非目标屏对应的声场位置行走至目标屏对应的声场位置的过程中对用户的唤醒语音进行回复的效果，用户在进行语音交互的过程中车内语音播报的区域不再呆板固定，使得语音交互更加灵活自然，提高用户的语音交互体验。
附图说明
30.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
31.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
32.图1为本公开实施例提供的多屏语音交互方法流程图；
33.图2为本公开实施例提供的一种应用场景的示意图；
34.图3为本公开实施例提供的声场布局示意图；
35.图4为本公开实施例提供的声场变换示意图；
36.图5为本公开实施例提供的一种多屏语音交互方法流程图；
37.图6为本公开实施例提供的一种声场变换示意图；
38.图7为本公开实施例提供的多屏语音交互装置的结构示意图；
39.图8为本公开实施例提供的电子设备的结构示意图。
具体实施方式
40.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
41.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
42.本公开实施例提供了一种多屏语音交互方法，下面结合具体的实施例对该方法进行介绍。
43.图1为本公开实施例提供的多屏语音交互方法流程图。该方法可以应用于图2所示的应用场景，在该应用场景中，包括车辆中的多个座位以及多个声场，每个声场中均设置有如扬声器等音频播放设备。其中，车辆中的多个座位包括主驾驶位201、副驾驶位202、二排座位203、二排座位204、三排座位205、三排座位206。车辆中的多个声场包括中控声场210、主驾声场211、副驾声场212、二排左声场213、二排右声场214以及三排左声场215和三排右声场216。另外，车辆中还包括多个车载终端，每个车载终端分别与车机连接，其显示屏幕分别设置在车内的对应位置上。例如主驾驶位201与副驾驶位202之间设置有中控屏，副驾驶位202前方设置有副驾屏，二排座位前方与三排座位前方分别设置有多个后排屏。具体地，车内每个位置所对应的声场布局如图3所示，中控声场210位于主驾驶位201与副驾驶位202之间，即位于中控屏附近；主驾声场211位于主驾驶位201周围；副驾声场212位于副驾驶位202周围；二排左声场213与二排右声场214分别位于二排座位203、204附近；三排左声场215与三排右声场216相较于二排左声场213与二排右声场214更靠后一些。可以理解的是，本公开实施例提供的多屏语音交互方法还可以应用在其他场景中。
44.下面结合图2所示的应用场景，对图1所示的多屏语音交互方法进行介绍，该方法包括的具体步骤如下：
45.s101、响应于唤醒语音，从与所述车机连接的多屏中选择目标屏进行唤醒。
46.车机通过车内的语音采集设备对用户的语音进行采集，当用户需要唤醒语音助手时，发出包含唤醒词的唤醒指令，此时车机检测到所采集的语音中含有唤醒词，确定用户需要唤醒语音助手，则从车辆中多个与车机连接的屏幕中选择用户需要唤醒的目标屏进行唤醒。例如，当副驾驶位202上的乘客发出包含唤醒词的唤醒指令时，则将副驾驶位前方的屏幕确定为目标屏，并对该屏幕进行唤醒。其中，对目标屏进行唤醒可以是将目标屏从息屏状态调整为亮屏状态，也可以是将目标屏的显示界面由待机界面调整为唤醒后的界面，当然并不仅限于此。
47.s102、判断所述多屏中的非目标屏是否已唤醒，若已唤醒，则将唤醒问候语音由所述非目标屏对应声场的音频播放设备至所述目标屏对应声场的音频播放设备进行相对于用户由远至近地播放。
48.声场为车辆中语音助手进行语音播报时声音所处的位置。在如图2所示的应用场景中，车辆内每个位置均设置有的相应的音频播放设备，每个位置上的语音播放设备均可以用于在用户与语音助手进行语音交互时，播放语音助手对用户的语音控制指令的响应语音。例如，当副驾驶位212上的用户发出任意的语音控制指令时，可以由副驾声场212中的音
频播放设备播放语音助手对该语音控制指令的响应语音。
49.当车机通过检测车辆内除目标屏以外的非目标屏，确定这些非目标屏是否处于唤醒状态，若确定有其他任一非目标屏处于唤醒状态时，控制非目标屏对应声场的音频播放设备与目标屏对应声场的音频播放设备以相对于用户由远至近的方式播放语音助手的唤醒问候语，以模仿语音助手由已唤醒的非目标屏对应的声场位置行走至目标屏对应的声场位置的过程中对用户的唤醒语音进行回复。
50.图4为本公开实施例提供的声场变换示意图。如图4所示，在一般情况下，车辆的中控屏处于唤醒状态，此时车机根据车内不同位置用户的唤醒指令，控制唤醒问候语由中控声场210的音频播放设备至用户对应声场位置进行相对于用户由远至近地播放。例如，在车辆中控屏处于唤醒状态时，副驾驶位202上的乘客发出唤醒语音，车机确定副驾驶位202前方的副驾屏为目标屏，由于车机检测到此时作为非目标屏的中控屏已经被唤醒，控制唤醒问候语音由中控声场210的音频播放设备至目标屏对应声场即副驾声场212进行距离副驾驶位202上的乘客由远至近地播放，达到模拟语音助手由中控声场210走向副驾声场212的过程中对用户的唤醒语音进行回复的效果。响应于其他位置上的乘客发出的唤醒语音，车机控制相应声场变换的原理及实现过程与上述内容一致，此处不再赘述。可以理解的是，图4所示的声场位移示意图仅仅是本公开实施例提供的一种示例，在实际情况中，可以根据用户的唤醒语音控制唤醒问候语音由非目标屏对应声场的音频播放设备至目标屏对应声场的音频播放设备进行相对于用户由远至近地播放。
51.本公开实施例通过响应于唤醒语音，从与所述车机连接的多屏中选择目标屏进行唤醒；判断所述多屏中的非目标屏是否已唤醒，若已唤醒，则将唤醒问候语音由所述非目标屏对应声场的音频播放设备至所述目标屏对应声场的音频播放设备进行相对于用户由远至近地播放，利用不同声场的音频播放设备达到模拟语音助手由已唤醒的非目标屏对应的声场位置行走至目标屏对应的声场位置的过程中对用户的唤醒语音进行回复的效果，用户在进行语音交互的过程中车内语音播报的区域不再呆板固定，使得语音交互更加灵活自然，提高用户的语音交互体验。
52.图5为本公开实施例提供的一种多屏语音交互方法流程图，如图5所示，所述方法包括如下步骤：
53.s501、响应于唤醒语音，确定发出所述唤醒语音的用户所处的目标音区。
54.车辆内部有多个位置，每个位置分别对应不同的音区，每个音区中设置有语音采集设备，用于采集相应位置上用户的语音。例如，在如图2所示的应用场景中，车中的主驾驶位201、副驾驶位202、二排座位203、二排座位204、三排座位205、三排座位206分别对应主驾音区、副驾音区、二排左音区、二排右音区、三排左音区、三排右音区。当某个音区内的语音采集设备采集到用户的唤醒语音，则确定该音区为目标音区。或者，还可以利用车内的视觉感知系统、车辆座椅上的重力感应系统等辅助综合判定发出唤醒语音的用户当前所处的位置，进一步确定该用户所处的目标音区。
55.s502、基于所述目标音区，唤醒所述目标音区对应的目标屏。
56.s503、判断所述多屏中的非目标屏是否已唤醒，若已唤醒，则将唤醒问候语音由所述非目标屏对应声场的音频播放设备至所述目标屏对应声场的音频播放设备进行相对于用户由远至近地播放，同时移除所述非目标屏中的虚拟互动形象，并在所述目标屏上展示
所述虚拟互动形象。
57.当车机通过检测车辆内除目标屏以外的非目标屏，确定这些非目标屏是否处于唤醒状态，若确定有其他任一非目标屏处于唤醒状态时，移除非目标屏中的语音助手虚拟互动形象，并将该虚拟互动形象展示在被用户唤醒的目标屏上，进一步与用户进行语音交互。同时，伴随非目标屏中虚拟互动形象流转至目标屏上，将唤醒问候语音由非目标屏对应声场的音频播放设备至目标屏对应声场的音频播放设备进行相对于用户由远至近地播放，形成语音助手的声音随其虚拟互动形象一同由非目标屏转移至目标屏的效果。
58.如图4所示的声场变换示意图中，例如，在车辆中控屏处于唤醒状态时，副驾驶位202对应的副驾音区中的语音采集设备采集到了副驾驶位202上的乘客发出的唤醒语音，车机确定副驾音区对应的副驾屏为目标屏，由于车机检测到此时作为非目标屏的中控屏已经被唤醒，则将非目标屏即中控屏上的语音助手的虚拟互动形象移除，展示在副驾屏上，同时控制唤醒问候语音由中控声场210的音频播放设备至目标屏对应声场即副驾声场212进行距离副驾驶位202上的乘客由远至近地播放，达到模拟语音助手由中控声场210走向副驾声场212的过程中对用户的唤醒语音进行回复的效果。响应于其他位置上的乘客发出的唤醒语音，车机控制语音助手的虚拟互动形象在多屏之间流转以及相应声场变换的原理及实现过程与上述内容一致，此处不再赘述。
59.或者，在车辆中控屏处于唤醒状态时，主驾驶位201对应的主驾音区中的语音采集设备采集到了主驾驶位201上的驾驶员发出的唤醒语音，由于主驾音区对应的显示屏为中控屏，且中控屏已经被唤醒，则控制语音助手的虚拟互动形象继续展示在中控屏上，同时控制唤醒问候语音由中控声场210的音频播放设备至主驾声场211，距离主驾驶位201上的乘客由远至近地播放，达到模拟语音助手由中控声场210走向主驾声场211的过程中对驾驶员的唤醒语音进行回复的效果。
60.本公开实施例通过响应于唤醒语音，确定发出所述唤醒语音的用户所处的目标音区；基于所述目标音区，唤醒所述目标音区对应的目标屏；判断所述多屏中的非目标屏是否已唤醒，若已唤醒，则将唤醒问候语音由所述非目标屏对应声场的音频播放设备至所述目标屏对应声场的音频播放设备进行相对于用户由远至近地播放，同时移除所述非目标屏中的虚拟互动形象，并在所述目标屏上展示所述虚拟互动形象，在用户唤醒语音助手时通过视觉与听觉两个维度共同为用户营造语音助手一边行走一边回复用户的唤醒指令的效果，给用户提供更好的语音交互体验。
61.在上述实施例的基础上，多屏语音交互方法还包括：响应于处于非中控屏对应的音区中用户发出的导航请求语音，将导航响应语音由所述非中控屏对应声场的音频播放设备至所述中控屏对应声场的音频播放设备进行相对于用户由近至远地播放，并移除所述非中控屏中的虚拟互动形象，在所述中控屏上展示所述虚拟互动形象以及导航界面。
62.在车辆行驶过程中，位于主驾驶位210上的驾驶员最需要了解到当前的导航信息，因此可以将导航界面显示在中控屏上方便驾驶员参考。当驾驶员发出导航请求时，若此时只有中控屏被唤醒，则直接在中控屏上展示语音助手的虚拟互动形象以及相应的导航界面，同时将导航响应语音由中控声场210进行播放。
63.同时，除主驾驶位201外的其他位置上的乘客均可以协助驾驶员通过语音交互发起导航请求，当车机通过除中控屏之外的任一屏幕对应的的音区中的语音采集设备采集到
用户的导航请求语音时，即通过任一非中控屏对应的音区中的语音采集设备采集到导航请求语音时，车机发起车内多个屏幕之间的跨屏交互，控制虚拟互动形象由发起导航请求语音的用户所在音区的对应的非中控屏跳转至中控屏进行显示，并在中控屏上显示相应的导航界面，同时控制相应的导航响应语音由该非中控屏对应声场中的音频播放设备至中控屏对应声场中的音频播放设备相对于用户由近至远地播放。可以理解的是，上述多屏幕间跨屏交互的方法并不局限于导航场景下，也不局限于由非中控屏至中控屏的跨屏交互场景，还可以应用于其他的场景中。
64.图6为本公开实施例提供的一种声场变换示意图。如图6所示，例如，当位于三排座位205上的乘客需要发起导航请求时，若中控屏已经被唤醒，三排座位205对应的屏幕并未被唤醒，则该乘客可以先唤醒三排座位205相应的屏幕，车机检测到所采集的用户语音中含有唤醒词，确定该用户语音为唤醒语音，并且确定该用户所处的音区为目标音区，则将中控屏上的语音助手虚拟互动形象移除，将虚拟互动形象展示在三排座位205相应的屏幕上，同时控制唤醒问候语音随着语音助手的虚拟互动形象位置的变换，由中控声场210中的音频播放设备至三排左声场215中的音频播放设备相对于三排座位205上的乘客进行由远至近地播放。该乘客唤醒语音助手后，进一步发出导航请求语音，车机采集到语音后，经过语义分析，确定乘客的意图为进行导航，则将三排座位205相应的屏幕上的语音助手虚拟互动形象移除，将虚拟互动形象展示在中控屏上，并在中控屏上展示相应的导航界面。同时控制导航响应语音随着语音助手虚拟互动形象的位置的变换，由三排左声场215中的音频播放设备至中控声场210中的音频播放设备相对于三排座位205上的乘客进行由近至原地播放。响应于其他位置上的乘客发出的导航请求语音，车机控制语音助手的虚拟互动形象在多屏之间流转以及相应声场变换的原理及实现过程与上述内容一致，此处不再赘述。
65.本公开实施例通过响应于处于非中控屏对应的音区中用户发出的导航请求语音，将导航响应语音由所述非中控屏对应声场的音频播放设备至所述中控屏对应声场的音频播放设备进行相对于用户由近至远地播放，并移除所述非中控屏中的虚拟互动形象，在所述中控屏上展示所述虚拟互动形象以及导航界面，控制响应语音的播报随语音助手的虚拟互动形象在多个屏幕中流转移动播放，使得用户在进行语音交互的过程中，语音助手的声音与虚拟互动形象的位置保持一致，同时可以模拟语音助手一边行走一边对用户的语音进行回复的效果，从而使用户的语音交互更加自然立体，提高用户的语音交互体验。
66.图7为本公开实施例提供的多屏语音交互装置的结构示意图。该多屏语音交互装置可以是如上实施例所述的车机，或者该多屏语音交互装置可以是车机中的部件或组件。本公开实施例提供的多屏语音交互装置可以执行多屏语音交互方法实施例提供的处理流程，如图7所示，多屏语音交互装置70包括：唤醒模块71、播放模块72；其中，唤醒模块71用于响应于唤醒语音，从与所述车机连接的多屏中选择目标屏进行唤醒；播放模块72用于判断所述多屏中的非目标屏是否已唤醒，若已唤醒，则将唤醒问候语音由所述非目标屏对应声场的音频播放设备至所述目标屏对应声场的音频播放设备进行相对于用户由远至近地播放。
67.可选的，唤醒模块71还用于响应于唤醒语音，确定发出所述唤醒语音的用户所处的目标音区；基于所述目标音区，唤醒所述目标音区对应的目标屏。
68.可选的，多屏语音交互装置还包括展示模块73，用于在所述目标屏上展示语音助
手的虚拟互动形象。
69.可选的，展示模块73还用于在将唤醒问候语音由所述非目标屏对应声场的音频播放设备至所述目标屏对应声场的音频播放设备进行相对于用户由远至近地播放的同时，移除所述非目标屏中的虚拟互动形象，并在所述目标屏上展示所述虚拟互动形象。
70.可选的，播放模块72还用于响应于处于非中控屏对应的音区中用户发出的导航请求语音，将导航响应语音由所述非中控屏对应声场的音频播放设备至所述中控屏对应声场的音频播放设备进行相对于用户由近至远地播放。
71.可选的，展示模块73还用于移除所述非中控屏中的虚拟互动形象，在所述中控屏上展示所述虚拟互动形象以及导航界面。
72.图7所示实施例的多屏语音交互装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
73.图8为本公开实施例提供的电子设备的结构示意图。该电子设备可以是如上实施例所述的车机。本公开实施例提供的电子设备可以执行多屏语音交互方法实施例提供的处理流程，如图8所示，电子设备80包括：存储器81、处理器82、计算机程序和通讯接口83；其中，计算机程序存储在存储器81中，并被配置为由处理器82执行如上所述的多屏语音交互方法。
74.存储器81作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本公开实施例中的应用程序的界面显示方法对应的程序指令/模块。处理器82通过运行存储在存储器81中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的多屏语音交互方法。
75.存储器81可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据车辆的使用所创建的数据等。此外，存储器81可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器81可选包括相对于处理器82远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
76.另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的多屏语音交互方法。需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介
质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适-的组合。
77.此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的多屏语音交互方法。
78.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
79.以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。