语音交互方法、服务器及计算机可读存储介质与流程

1.本技术涉及车载语音技术领域，特别涉及一种语音交互方法、服务器及计算机可读存储介质。


背景技术：

2.目前，车载语音技术可支持用户通过语音在车辆座舱内进行交互，例如控制车辆零部件或与车载系统用户界面中的组件进行交互。例如，用户通过语音控制车载系统的用户界面中的音乐播放器控件打开等。在实际用车场景中，为了满足用户需求，车载系统用户界面往往会存在多个系统控件或子用户界面，用户语音请求可能同时命中多个相同表达的控件或子用户界面。相关技术中，当用户需要改变存在多控件或子用户界面内某一控件的状态时，需要持续关注大屏并进行二次选择，确认最终的目标，影响语音交互便捷性。


技术实现要素：

3.本技术提供了一种语音交互方法、服务器及计算机可读存储介质。
4.本技术的语音交互方法，包括：接收车辆转发的与车载系统用户界面进行交互的语音请求；预加载所述车载系统用户界面中的语音交互元素；提取所述语音请求的意图信息和槽位信息，其中，所述槽位信息包括目标参照点和目标相对位置；根据所述槽位信息和所述语音交互元素确定所述语音请求的目标位置；根据所述目标位置、所述意图信息和所述语音交互元素确定目标操作对象；根据所述目标位置和所述目标操作对象生成与所述语音请求对应的车辆控制指令；将所述车辆控制指令转发至所述车辆以完成所述语音交互。
5.如此，本技术中，在用户通过语音与车载系统用户界面进行交互的过程中，服务器预先加载车载系统用户界面中所有的语音交互元素，提取接收到的语音请求的意图信息和槽位信息，其中，槽位信息包括有目标参照点和目标相对位置。由此，服务器可根据槽位信息和语音交互元素信息确定语音请求的目标位置，并进一步根据意图信息，在目标位置中确定目标操作对象，最终生成车辆控制指令。本技术中可提取包括目标参考点和目标相对位置信息在内的槽位信息，根据相对于预加载的语音交互元素的位置信息，可以完成对目标操作对象的定位，无需用户因语音交互元素的不固定而进行多轮澄清，提高语音指令的流畅性和便捷性。
6.所述根据所述槽位信息和所述语音交互元素确定所述语音请求的目标位置，包括：对所述槽位信息中的目标参照点进行归一化处理，以将所述目标参照点与所述语音交互元素对应。
7.如此，可通过归一化处理将在语音请求中提取的目标参照点的槽位信息与预加载的语音交互元素对应起来，以便后续确定语音请求的目标位置。
8.所述对所述槽位信息中的目标参照点进行归一化处理，包括：利用预加载的词表对所述目标参照点进行归一化处理。
9.如此，可将提取到的语音请求槽位信息中的目标参照点进行归一化处理，使目标参照点与预加载的语音交互元素匹配过程更高效，便于在用户界面建立参考坐标系，确定目标的相对位置，有利于目标位置确定过程的准确性。
10.所述根据所述槽位信息和所述语音交互元素确定所述语音请求的目标位置，包括：根据车载系统用户界面建立参考坐标系；根据所述参考坐标系、所述目标参照点和目标相对位置确定所述语音请求的目标位置。
11.如此，完成以目标参照点为基准的参考坐标系建立，并通过目标参照点和目标相对位置确定语音请求的目标位置，便于后续确定目标操作对象的选取及后续语音请求的融合过程。
12.所述根据所述目标位置、所述意图信息和所述语音交互元素确定目标操作对象，包括：根据所述目标位置和预加载的所述语音交互元素的位置信息确定待选操作对象。
13.如此，可通过目标位置信息在语音交互元素中选择出一部分符合目标位置条件的作为待选操作对象。待选操作对象的筛选过程缩小了后续搜索目标操作对象的范围，减轻了计算负担，提高了语音交互的效率。
14.所述根据所述目标位置、所述意图信息和所述语音交互元素确定目标操作对象，包括：根据所述意图信息在所述待选操作对象中查找可操作对象以确定为所述目标操作对象。
15.如此，可根据用户语音请求中的意图信息在待选操作对象中对可操作对象进行二次筛选，得到目标操作对象，以便融合生成车载系统能够识别并执行的指令。
16.所述根据所述目标位置、所述意图信息和所述语音交互元素确定目标操作对象，包括：在所述可操作对象包括多个的情况下，根据预设的优先级顺序，确定多个所述可操作对象中的一个为所述目标操作对象。
17.如此，可根据用户语音请求中的意图信息，在对待选操作对象进行二次筛选得到的多个可操作对象中，根据预设优先级选择出一个，并将其确定为目标操作对象，以便融合生成车载系统能够识别并执行的指令。
18.所述根据预设的优先级顺序，确定多个所述可操作对象中的一个为所述目标操作对象，包括：在所述可操作对象包括多个的情况下，确定多个所述可操作对象中距离所述目标参照点最近的一个为所述目标操作对象。
19.如此，可根据用户语音请求中的意图信息，在对待选操作对象进行二次筛选得到
的多个可操作对象中，将距离目标参照点最近的可操作对象确定为目标操作对象，以便融合生成车载系统能够识别并执行的指令。
20.本技术的服务器，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述的方法。
21.本技术的计算机可读存储介质，存储有计算机程序，当所述计算机程序被一个或多个处理器执行时，实现上述的方法。
22.本技术的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实施方式的实践了解到。
附图说明
23.本技术的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：图1是本技术语音交互方法的流程示意图之一；图2是本技术语音交互方法的场景示意图之一；图3是本技术语音交互方法的场景示意图之二；图4是本技术语音交互方法的流程示意图之二；图5是本技术语音交互方法的流程示意图之三；图6是本技术语音交互方法的状态示意图之一；图7是本技术语音交互方法的状态示意图之二；图8是本技术语音交互方法的状态示意图之三。
具体实施方式
24.下面详细描述本技术的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本技术的实施方式，而不能理解为对本技术的实施方式的限制。
25.请参阅图1至图4，本技术提供一种语音交互方法，包括：01：接收车辆转发的与车载系统用户界面进行交互的语音请求；02：预加载车载系统用户界面中的语音交互元素；03：提取语音请求的意图信息和槽位信息；04：根据槽位信息和语音交互元素确定语音请求的目标位置；05：根据目标位置、意图信息和语音交互元素确定目标操作对象；06：根据目标位置和目标操作对象生成与语音请求对应的车辆控制请求；07：将车辆控制请求转发至车辆以完成语音交互。
26.本技术还提供了一种服务器，服务器包括存储器和处理器。本技术的语音处理方法可以由本技术的服务器实现。具体地，存储器中存储有计算机程序，处理器用于接收车辆转发的与车载系统用户界面进行交互的语音请求，预加载车载系统用户界面中的语音交互元素，并提取语音请求的意图信息和槽位信息，随后根据槽位信息和语音交互元素确定语音请求的目标位置，并根据目标位置、意图信息和语音交互元素确定目标操作对象，以及根
据目标位置和目标操作对象生成与语音请求对应的车辆控制请求，并最终将车辆控制请求转发至车辆以完成语音交互。
27.车载系统用户界面是车载系统与用户之间进行信息交换的媒介。为了方便用户与车辆间的交互，目前，可支持用户通过语音在车辆座舱内进行交互，例如控制车辆零部件或与车载系统用户界面中的各语音交互元素进行交互等。其中，语音交互元素包括控件或子用户界面。当用户界面中多个区域均可显示同一界面，或语音请求同时命中用户界面的多个语音交互元素时，语音助手会进行第二轮澄清询问，用户需要持续关注中控显示屏上的提示信息来进行二次选择，确认最终的参照操作对象。如图2所示实例中，用户界面的左侧和右侧都可显示导航或音乐界面。当用户发出“将屏幕左边切换为音乐”请求时，系统将针对屏幕分区对用户进行二次询问，用户需要对左侧切换还是右侧切换进行二次确认。用户对大屏的持续关注以及对语音助手澄清询问的二次回答，不仅影响了语音交互的便捷性，同时也可能导致用户分心而影响驾驶的安全性。
28.为了解决上述问题，相关技术采用一种基于大屏上固定参照点位置信息的语音交互方法，理论上可在一轮交互过程内，完成针对车载系统用户界面的语音请求中控件和子用户界面的定位及动作的执行。由于用户输入语音请求的随机性，语音请求可能无法总是命中用户界面中位置不随当前所处界面变化而变化的固定参照点，例如“中控显示屏”“仪表盘”等，导致无法定位相应的操作对象。图3所示的实际场景中，用户发出“后雾灯左边的按钮关闭”语音请求。由于语音请求中“后雾灯”并非用户界面中的固定参照点，其位置可能随使用的界面不同而发生变化，服务器未能预先加载其位置信息，则造成无法识别到其左边的按钮，进而无法正确执行按钮关闭的动作的情况。若服务器预先加载界面内的各个语音交互元素，当进入某一界面时，如用户发出语音请求，系统即可通过归一化查找的方法，定位到动态的参照点，进而根据相对动态参照点位置信息定位目标操作所需的语音交互元素。这种交互方法能够将用户界面内任意语音交互元素作为参照点，增加用户语音请求的自由度，并且当界面上存在多个语音交互元素名称相近时，用户可以直接通过多个语音交互元素其相对位置信息定位对应语音交互元素，也不必进行二次澄清。
29.具体地，如图4所示，本技术中，对于用户发出的与车载系统用户界面进行交互的语音请求，例如的“把后雾灯左边的功能关掉”，服务器在接收到车辆转发的该类语音请求后，首先车载系统用户界面中的所有语音交互元素进行预加载，包括用户界面中固定的参照点，如“中控显示屏”、“仪表盘”等，和用户语音请求中可能命中的不固定的部件或区域，如“后雾灯”、“车身”等。预加载完成后，对用户语音请求进行自然语言理解，即利用意图分类模型和槽位提取模型，分别提取语音请求中的意图信息和槽位信息。其中，意图分类模型用于对语音请求中执行指令部分内容进行分类预测，即对语音请求中“功能关掉”的内容进行分类预测，得到意图信息“功能关掉”。所用的意图分类模型可以是车辆控制系统预置的相关模型，可减少调用的时间成本和不一致性。
30.槽位提取模型可针对上述语音请求中的位置定位信息进行提取，包括目标参照点信息的槽位以及目标相对位置信息的槽位。其中，目标参照点是指语音请求中一些描述用户界面部件或区域的自然语言信息，可包括“前车门”、“后雾灯”等；目标相对位置是指语音请求中描述相对于目标参照点位置的区域位置信息，可包括“左侧”、“右边”、“上面”等。对于语音请求“把后雾灯左边的功能关掉”而言，提取到槽位信息包括：目标参照点信息槽位“后雾灯”，目标相对位置信息的槽位“左边”。随后，根据槽位提取的结果和预加载的语音交互元素确定语音请求目标位置，目标位置为目标参照点信息“后雾灯”及目标相对位置信息“左边”表示在参考坐标系上的绝对坐标或坐标范围。并进一步根据目标位置相对语音交互元素的方位及提取到的意图信息在用户界面中寻找目标操作对象，目标操作对象位于槽位信息对应的坐标范围内并能够完成意图信息对应的控制指令。最后，服务器将得到的目标位置和目标操作对象融合成为与用户语音请求对应的车辆控制指令，并将控制指令下发至车辆，最终由车辆执行指令动作。基于用户界面上任意语音交互元素相对位置信息的语音交互方法，根据用户语音请求中相对于预加载的语音交互元素方位的位置信息，可以在一轮内完成语音请求中多个元素定位，直接完成语音请求的执行。语音助手无需向用户发起二轮确认，使语音交互过程更为流畅。
31.综上，本技术中，在用户通过语音与车载系统用户界面进行交互的过程中，服务器预先加载用户界面中所有的语音交互元素，提取接收到的语音请求的意图信息和槽位信息，其中，槽位信息包括有目标参照点和目标相对位置。由此，服务器可根据槽位信息和语音交互元素信息确定语音请求的目标位置，并进一步根据意图信息，在目标位置中确定目标操作对象，最终生成车辆控制指令。本技术中可提取包括目标参考点和目标相对位置信息在内的槽位信息，根据相对于预加载的语音交互元素的位置信息，可以完成对目标操作对象的定位，无需用户因语音交互元素的不固定而进行多轮澄清，提高语音指令的流畅性和便捷性。
32.请参阅图5，步骤04包括：对槽位信息中的目标参照点进行归一化处理，以将目标参照点与语音交互元素对应。
33.处理器用于对槽位信息中的目标参照点进行归一化处理，以将目标参照点与语音交互元素对应。
34.具体地，车载系统的服务器可对提取到的槽位信息中的目标参照点进行归一化处理，将用户输入的语音请求的槽位信息中目标参照点与服务器预加载完成的语音交互元素按照预定语义规则进行实体归一化。
35.实际场景中，用户输入语音请求为“把后雾灯左边的功能关掉”时，将“后雾灯”一词按照预定语义规则进行实体归一化到“后雾灯”，实现了目标参照点“后雾灯”中心点和语音交互元素“后雾灯”中心点之间的对应。其中，对每个目标参照点归一化处理的具体过程将在下文详细说明。
36.如此，可通过归一化处理将在语音请求中提取的目标参照点的槽位信息与预加载的语音交互元素对应起来，以便后续确定语音请求的目标位置。
37.请参阅图5，对槽位信息中的目标参照点进行归一化处理，以将目标参照点与语音交互元素对应的步骤包括：利用预加载的词表对目标参照点进行归一化处理。
38.处理器用于利用预加载的词表对目标参照点进行归一化处理。
39.具体地，服务器将用户输入的语音请求的槽位信息中目标参照点与服务器预加载完成的语音交互元素按照预定语义规则进行实体归一化。预定语义规则包括词向量、编辑距离和归一化词表等。
40.其中，词向量方法包括训练过程和预测阶段。训练过程可以使用预训练模型bert，并在此基础上加入精调finetune任务，通过区分bert每层捕获语言特性的不同，计算出与车辆控件有关的短语相似度。预测阶段使用预训练模型输出计算机对各短语的识别结果，并根据计算出的识别结果的预先相似度进行排序。词向量方法中预训练模型的选择不作限定。
41.编辑距离可以采用动态规划算法，计算两个词之间的编辑距离，即字符串的量化差异程度，距离越小两个词越相似。动态规划算法的选取在此不作限定。
42.归一化词表可以在语义相近但表述差异较大的情况下，通过查找归一化词表实现归一化。
43.在实际场景中，由于车载系统的用户界面处于动态状态，其位置信息数据较大，为了防止由于计算过程复杂带来的超时，服务器利用以上三种方法得到的归一化结果，将语音请求中提取的原始实体词相关的槽位信息及其在场景页面的身份信息进行反向加载，缓存形成反向归一化词表。由此，将语音请求中的目标参照点槽位信息“后雾灯”归一化到用户界面语音交互元素“后雾灯”上的过程将无需进行计算，直接进行判断并输出结果，其匹配的时间复杂度降为o(1)。
44.如此，可将提取到的语音请求槽位信息中的目标参照点进行归一化处理，使目标参照点与预加载的语音交互元素匹配过程更高效，便于在用户界面建立参考坐标系，确定目标的相对位置，有利于目标位置确定过程的准确性。
45.请参阅图6，步骤04包括：根据车载系统用户界面建立参考坐标系；根据参考坐标系、目标参照点和目标相对位置确定语音请求的目标位置。
46.处理器用于根据车载系统用户界面建立参考坐标系，以及根据参考坐标系、目标参照点和目标相对位置确定语音请求的目标位置。
47.具体地，在车载系统用户界面建立参考坐标系，一般情况下取用户界面中心为参考坐标系的原点，坐标(0, 0)，则语音交互元素“后雾灯”的坐标为(20,8)。如此，获取到经归一化后的目标参照点“后雾灯”的坐标为(20,8)。
48.在交互过程中，服务器可根据用户输入语音请求在预加载的语音交互元素中选取一个作为参考坐标系的坐标原点，则预加载的其他语音识别元素的位置信息及区域位置信息均基于选取的坐标原点及通过其建立的参考坐标系来表示。
49.在其他示例中，也可以选取其他语音交互元素作为参考坐标系的坐标原点，例如可以选择用户界面左下角作为坐标原点等，在此不做限定。
50.语音请求目标位置的计算方法即根据目标参照点位置信息，计算以该目标参照点为中心划分的区域位置信息。例如，在实际场景中，基于目标参照点与语音交互元素的对应关系以及目标相对位置信息，可在用户界面中将目标参照点及其对应的语音交互元素“左边”用坐标表示为：（目标参照点横坐标，正无穷），（负无穷，负无穷），即目标参照点“左侧”区域右上角和左下角坐标之间全部区域。类似地，表示目标参照点及其对应的语音交互元素“左上”区域，坐标为：（负无穷，目标参照点纵坐标）（目标参照点横坐标，正无穷），即目标参照点“左上”区域左下角和右上角坐标之间全部区域。最后，代入目标参照点的具体坐标，得到语音请求目标位置区域。
51.如此，完成以目标参照点为基准的参考坐标系建立，并通过目标参照点和目标相对位置确定语音请求的目标位置，便于后续确定目标操作对象的选取及语音请求的融合过程。
52.请参阅图7及图8，步骤05包括：根据目标位置和预加载的语音交互元素的位置信息确定待选操作对象。
53.处理器用于根据目标位置和预加载的语音交互元素的位置信息确定待选操作对象。
54.具体地，可根据目标位置的区域信息在预加载的语音交互元素中筛选出待选操作对象。服务器通过各个语音元素的位置信息，筛选出中心点落在目标位置范围内的语音交互元素，作为待选操作对象。而中心点未落在目标位置范围内的语音交互元素则不在待选操作对象范围内，不参与后续目标对象确定的过程。
55.在实际场景中，用户发出语音请求“把后雾灯左边的功能关掉”，目标参照点为“后雾灯”，对应语音交互元素为“后雾灯”，目标相对位置为“左边”，故可得到搜索范围为（后雾灯横坐标，正无穷），（负无穷，负无穷）之间全部区域，即图中阴影部分。此区域内筛选出的语音交互元素，包括“开关栏1”、“开关栏2”及“非开关栏2”，确定为待选操作对象。
56.进一步地，确定待选操作对象的过程支持更为复杂的位置描述方式。若用户发出的语音请求对目标位置的限定更为复杂，如当用户发出的语音请求为“把后雾灯左下方的功能关掉”时，如图8所示，则采用范围叠加的方式，搜索范围为“左边”和“斜下方”区域的交集，坐标表示为（后雾灯横坐标，后雾灯纵坐标），（负无穷，负无穷）。由于“斜下方”为开区间，不包括后雾灯中心点所在的平行于参考坐标系横轴和纵轴的目标位置区域分界线。由于位于后雾灯正左方向的“开关栏1”中心点位于上述分界线上，则其不在待选操作对象的范围内。此条件下仅有“开关栏2”和“非开关栏2”可作为待选操作对象。
57.如此，可通过目标位置信息在语音交互元素中选择出一部分符合目标位置条件的作为待选操作对象。待选操作对象的筛选过程缩小了后续搜索目标操作对象的范围，减轻了计算负担，提高了语音交互的效率。
58.请参阅图7和图8，步骤05还包括：根据意图信息在待选操作对象中查找可操作对象以确定为目标操作对象。
59.处理器用于根据意图信息在待选操作对象中查找可操作对象以确定为目标操作对象。
60.具体地，可操作对象是车载系统预先设定好能够实现语音请求意图的语音交互元素。当其存在于待选操作对象中时，可能被确定为目标操作对象。
61.在交互过程中，可根据提取到的用户语音请求的意图信息在前一步骤中筛选出的待选操作对象中进行二次筛选，保留其中与意图信息相关的可操作对象。用户语音请求给出的意图信息需要相对应的语音交互元素实现，筛选出存在于目标区域范围内的语音交互元素，即待选操作对象后，进行二次筛选，对不符合语音请求意图信息执行动作需要的待选操作对象进行过滤，选出其中能够实现语音请求意图的可操作对象作为目标操作对象。
62.在实际场景中，用户发出语音请求“把后雾灯左边的功能关掉”，则在目标位置“后雾灯左侧”区域内筛选出的待选操作对象中，寻找能执行意图信息“功能关掉”，即具有开关功能的可操作对象。图中“开关栏1”、“开关栏2”符合要求，而“非开关栏2”无开关功能，不符
合要求。
63.如此，可根据用户语音请求中的意图信息在待选操作对象中对可操作对象进行二次筛选，得到目标操作对象，以便融合生成车载系统能够识别并执行的指令。
64.请参阅图7和图8，步骤05还包括：在可操作对象包括多个的情况下，根据预设的优先级顺序，确定多个可操作对象中的一个为目标操作对象。
65.处理器用于在可操作对象包括多个的情况下，根据预设的优先级顺序，确定多个可操作对象中的一个为目标操作对象。
66.具体地，在对操作对象进行二次筛选时，待选操作对象中如果存在多个可操作对象，为了使语音交互顺利进行，保证最终融合指令指向唯一的语音交互元素，需要在二次筛选后根据预设的优先级顺序进行进一步筛选，最终得到唯一的目标操作对象。预设优先级顺序将在下文中详细说明。
67.如此，可根据用户语音请求中的意图信息，在对待选操作对象进行二次筛选得到的多个可操作对象中根据预设优先级选择出一个，并将其确定为目标操作对象，以便融合生成车载系统能够识别并执行的指令。
68.请参阅图7和图8，在可操作对象包括多个的情况下，根据预设的优先级顺序，确定多个可操作对象中的一个为目标操作对象的步骤包括：在可操作对象包括多个的情况下，确定多个可操作对象中距离目标参照点最近的一个为目标操作对象。
69.处理器用于在可操作对象包括多个的情况下，确定多个可操作对象中距离目标参照点最近的一个为目标操作对象。
70.具体地，在对操作对象进行二次筛选时，待选操作对象中可能存在多个可操作对象。为了进一步筛选最终得到唯一的操作对象，服务器预设的优先级顺序可以是按距离由近及远的顺序，即将距离目标参照点的相对距离较近的可操作对象选择出来作为最终的目标操作对象。
71.在实际场景中，用户发出的语音请求“把后雾灯左边的功能关掉”，根据上述目标操作对象的确定过程，在目标位置（后雾灯横坐标，正无穷），（负无穷，负无穷）区域范围内，存在“开关栏1”和“开关栏2”两个可选参照点。此时根据距离优先级顺序，可直接确定与目标参照点“后雾灯”直线距离最短的“开关栏1”为目标操作对象。
72.如此，可根据用户语音请求中的意图信息，在对待选操作对象进行二次筛选得到的多个可操作对象中，将距离目标参照点最近的可操作对象确定为目标操作对象，以便融合生成车载系统能够识别并执行的指令。
73.本技术的计算机可读存储介质，存储有计算机程序，当计算机程序被一个或多个处理器执行时，实现上述的方法。
74.在本说明书的描述中，参考术语“上述”、“具体地”、“类似地”、“进一步地”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本
说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
75.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多用于实现特定逻辑功能或过程的步骤的可执行请求的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
76.尽管上面已经示出和描述了本技术的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施方式进行变化、修改、替换和变型。