语音交互方法、车辆和存储介质与流程

1.本发明涉及语音交互技术领域，特别涉及一种语音交互方法、车辆和存储介质。


背景技术：

2.目前在用户驾驶过程中，需要完成一项私人定制方案定制时，先要在手机或车辆端的app端进行语音订制后，然后通过服务端上传车辆端，整体数据链路较长，稳定性存在风险。
3.另外，若用户使用手机进行定制，则无法支持用户在驾驶过程中进行便捷定制。尤其地，在网络信号差或者无网络的情况下，车辆不能响应用户的语音指令，无法快速完成个性化订制，用户体验不佳。


技术实现要素：

4.本发明提供一种语音交互方法、车辆和存储介质。
5.本发明提供一种语音交互方法。所述语音交互方法包括：在网络连接异常的状态下，在车辆内对用户利用自然语言完成语音操作车载系统功能定制的语音请求进行语音识别得到识别文本，所述定制可使得所述车载系统在满足预设条件的情况下，自动执行对应所述预设条件的多个功能；对所述识别文本进行槽位抽取；根据所述槽位抽取的结果对所述识别文本进行句式分割；根据所述句式分割的内容生成定制结果。
6.如此，本发明的语音交互方法可以在网络连接异常的状态下，实现用户通过语音请求可以触发车载系统自动完成定制方案对应的执行操作。
7.所述对所述识别文本进行槽位抽取，包括：利用所述车辆内的第一模型对所述识别文本进行第一槽位抽取处理得到第一抽取结果；利用所述车辆内的第二模型对所述识别文本进行第二槽位抽取处理得到第二抽取结果；融合所述第一抽取结果和所述第二抽取结果得到槽位抽取词。
8.如此，本发明的语音交互方法考虑到现有车辆芯片的计算力限制，采用第一模型和第二模型相结合的方案完成槽位抽取，在降低了车辆端芯片使用率的前提下，可以保证在网络异常的情况下，保证后续私人定制抽取分析过程的准确性。
9.所述方法包括：利用训练数据训练预设模型；对训练好的所述预设模型进行蒸馏得到所述第一模型。
10.如此，可以得到第一模型，从而可以通过第一模型对识别文本进行第一槽位抽取处理得到第一抽取结果。
11.所述方法包括：对训练好的所述预设模型和所述第一模型的预测结果进行比对；根据所述比对的结果、所述定制支持的标准说法和所述标准说法对应的泛化说法得到所述第二模型。
12.如此，可以得到第二模型，从而可以通过第二模型对识别文本进行第二槽位抽取处理得到第二抽取结果。
13.所述对所述识别文本进行槽位抽取，还包括：利用关键词的标准说法和所述关键词的泛化说法，将所述槽位抽取词与所述关键词的标准说法进行链接。
14.如此，通过对槽位抽取词链接到标准说法，使得生成的槽位抽取词更加符合车载系统功能的标准定制方案中的关键词的标准说法。
15.所述根据所述槽位抽取的结果对所述识别文本进行句式分割，包括：根据所述关键词的出现顺序和用户表述习惯对所述识别文本进行句式分割得到触发条件和执行指令。
16.如此，本发明可以直接在识别的原始语句中抽取关键词信息，利用标识词，划分触发条件和执行指令，从而可以直接抽取得到私人定制结构化数据，简化了传统语音识别方案的句子划分的前置工作，提高了定制结果生成的效率。
17.所述根据所述句式分割的内容生成定制结果，包括：根据所述触发条件和所述执行指令生成所述定制结果。
18.如此，车载系统可以根据该定制结果完成对应的执行操作。
19.所述语音交互方法包括：向用户反馈所述定制结果。
20.如此，本发明的交互方法可以在网络异常的情况下根据语音触发车辆执行定制方案后，用户可以获得相关的反馈，以及时获知定制结果，提升用户体验。
21.本发明还提供一种车辆。所述车辆包括处理器和存储器，所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现上述实施方式任一项所述的语音交互方法。
22.如此，本发明的车辆在可以在网络连接异常的状态下，实现用户通过语音请求可以触发车载系统自动完成定制方案对应的执行操作。
23.本发明还提供一种计算机程序的非易失性计算机可读存储介质。当所述计算机程序被一个或多个处理器执行时，实现上述任意一项实施方式所述的语音交互方法。
24.如此，本发明的存储介质可以在网络连接异常的状态下，实现用户通过语音请求可以触发车载系统自动完成定制方案对应的执行操作。
25.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
26.本发明的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
27.图1是本发明的语音交互方法的流程示意图；
28.图2是本发明的语音交互装置的结构示意图；
29.图3是本发明的语音交互方法的流程示意图；
30.图4是本发明的语音交互方法的流程示意图；
31.图5是本发明的语音交互方法的流程示意图；
32.图6是本发明的语音交互方法的流程示意图；
33.图7是本发明的语音交互装置的结构示意图；
34.图8是本发明的语音交互方法的流程示意图；
35.图9是本发明的语音交互装置的结构示意图；
36.图10是本发明的语音交互方法的流程示意图；
37.图11是本发明的语音交互方法的流程示意图；
38.图12是本发明的语音交互方法的流程示意图；
39.图13是本发明的语音交互方法的流程示意图；
40.图14是本发明的语音交互方法的流程示意图；
41.图15是本发明的语音交互装置的结构示意图；
42.图16是本发明的车辆的结构示意图；
43.图17是本发明的计算机可读存储介质的结构示意图。
具体实施方式
44.下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。
45.请参阅图1，本发明提供了一种语音交互方法。该语音交互方法包括：
46.01：在网络连接异常的状态下，在车辆内对用户利用自然语言完成语音操作车载系统功能定制的语音请求进行语音识别得到识别文本，定制可使得车载系统在满足预设条件的情况下，自动执行对应预设条件的多个功能；
47.03：对识别文本进行槽位抽取；
48.05：根据槽位抽取的结果对识别文本进行句式分割；
49.07：根据句式分割的内容生成定制结果。
50.请参阅图2，本发明还提供一种语音交互装置10。语音交互装置10包括：语音识别模块11、槽位提取模块13、句式分割模块15和结果生成模块17。
51.步骤01可以由语音识别模块11实现，步骤03可以由槽位提取模块13实现，步骤05可以由句式分割模块15实现，步骤07可以由结果生成模块17实现。也即是，语音识别模块11用于在网络连接异常的状态下，在车辆内对用户利用自然语言完成语音操作车载系统功能定制的语音请求进行语音识别得到识别文本，定制可使得车载系统在满足预设条件的情况下，自动执行对应预设条件的多个功能；槽位提取模块13用于对识别文本进行槽位抽取；句式分割模块15用于根据槽位抽取的结果对识别文本进行句式分割；结果生成模块17用于根据句式分割的内容生成定制结果。
52.网络连接异常的情况包括无网络或网络不佳的情况。用户利用自然语言完成语音操作车载系统功能定制，定制可使得车载系统在满足预设条件的情况下，自动执行对应预设条件的多个功能。满足预设条件为用户的语音请求符合车载系统功能的定制方案中的语音内容及格式，语音内容包括一个或多个触发条件和一个或多个触发方式。也即是说，用户可以通过语音请求触发车载系统功能自动执行定制方案，即自动执行预设条件的多个功能。
53.首先，先对在网络连接异常的状态下，在车辆内对用户利用自然语言完成语音操作车载系统功能定制的语音请求进行语音识别得到识别文本，也即是，用户通过语音请求唤醒车辆后，车辆本地可以进行自动语音识别(automatic speech recognition，asr)，将
用户的语音转换为文本。例如用户语音请求为“每天十点到十一点，我上车后，说我要去上班时，关了全部车窗，音乐播放，暖风打开，调整一下椅子”，则对应识别得到的识别文本为“每天十点到十一点，我上车后，说我要去上班时，关了全部车窗，音乐播放，暖风打开，调整一下椅子”。
54.然后，对识别文本进行槽位抽取。即进行槽位抽取得到用户定制的语音请求中的关键词。关键词中包含触发条件或执行指令等信息。例如，对上述识别文本“每天十点到十一点，我上车后，说我要去上班时，关了全部车窗，音乐播放，暖风打开，调整一下椅子”进行槽位抽取得到“时间1：每天，时间2：十点，时间3：十一点，动作：上车，语音内容：我要去上班，执行指令：关了全部车窗，音乐播放，暖风打开，调整一下椅子”。
55.接着，根据槽位抽取的结果对识别文本进行句式分割。可以通过抽取的关键词的出现先后顺序，进行句式分割。在分割过程中，可以考虑用户的表述习惯，例如祈使句、倒装句的表述习惯，从而得到符合用户习惯的句式分割。
56.最后，根据句式分割的内容生成定制结果。然后可以将定制结果以语音和车辆大屏卡片的形式向用户反馈，以在车辆端完成在无网或网络不佳的情况下的定制过程。
57.如此，本发明的语音交互方法可以在网络连接异常的状态下，实现用户通过语音请求可以触发车载系统自动完成定制方案对应的执行操作。
58.请参阅图3，步骤03包括：
59.031：利用车辆内的第一模型对识别文本进行第一槽位抽取处理得到第一抽取结果；
60.032：利用车辆内的第二模型对识别文本进行第二槽位抽取处理得到第二抽取结果；
61.033：融合第一抽取结果和第二抽取结果得到槽位抽取词。
62.请结合图2，步骤031、032和033可以由槽位提取模块13实现。也即是，槽位提取模块13用于利用车辆内的第一模型对识别文本进行第一槽位抽取处理得到第一抽取结果；利用车辆内的第二模型对识别文本进行第二槽位抽取处理得到第二抽取结果；融合第一抽取结果和第二抽取结果得到槽位抽取词。
63.第一模型包括蒸馏模型。第二模型包括规则引擎。规则引擎可以用于弥补模型蒸馏后语音推理效果下降带来的整体影响，保证后续私人定制抽取分析过程的准确性。
64.先利用车辆内的蒸馏模型对识别文本进行第一槽位抽取处理得到第一抽取结果，然后利用车辆内的规则引擎对识别文本进行第二槽位抽取处理得到第二抽取结果。例如，当识别文本为“每天十点到十一点，我上车后，说我要去上班时，关了全部车窗，音乐播放，暖风打开，调整一下椅子”时，抽取的第一抽取结果和第二抽取结果如图4所示。
65.然后，融合第一抽取结果和第二抽取结果得到槽位抽取词，得到的槽位抽取词也如图5所示。
66.如此，本发明的语音交互方法考虑到现有车辆芯片的计算力限制，采用离线规则引擎和蒸馏模型相结合的方案完成槽位抽取，在降低了车辆端芯片使用率的前提下，可以保证在网络异常的情况下，保证后续私人定制抽取分析过程的准确性。
67.请参阅图6，方法包括：
68.02：利用训练数据训练预设模型；
69.04：对训练好的预设模型进行蒸馏得到第一模型。
70.请参阅图7，语音交互装置10包括第一模型创建模块12。
71.步骤02和04可以第一模型创建模块12实现。也即是，第一模型创建模块12用于利用训练数据训练预设模型；对训练好的预设模型进行蒸馏得到第一模型。
72.第一模型的创建过程为：
73.首先，对私人定制文本数据，进行人工标注，采用boi方式，标注出：触发条件，执行指令等关键词标签。
74.然后，预设模型为标准bert模型。利用标准bert模型进行数据训练，获取模型能力上限，通过对预训练模型进行训练，能够有效利用大量预料语义信息，获取充分泛化。
75.最后，对标准bert模型使用公开模型蒸馏方法，进行蒸馏，达到车机端芯片承载能力范围，得到第一模型。
76.如此，可以得到第一模型，从而可以通过第一模型对识别文本进行第一槽位抽取处理得到第一抽取结果。
77.请参阅图8，方法包括：
78.06：对训练好的预设模型和第一模型的预测结果进行比对；
79.08：根据比对的结果、定制支持的标准说法和标准说法对应的泛化说法得到第二模型。
80.请参阅图9，语音交互装置10包括第二模型创建模块16。
81.步骤06和08可以第二模型创建模块16实现。也即是，第二模型创建模块16用于对训练好的预设模型和第一模型的预测结果进行比对；根据比对的结果、定制支持的标准说法和标准说法对应的泛化说法得到第二模型。
82.第二模型的创建过程为：对训练好的预设模型和第一模型的预测结果进行对比，过滤出第一模型预测不准确的关键词标签和个别高频词。
83.结合第一模型过滤的预测不准确的关键词标签和个别高频词，并利用私人定制支持的标准说法及与标准说法对应的泛化说法，得到第二模型。
84.如此，可以得到第二模型，从而可以通过第二模型对识别文本进行第二槽位抽取处理得到第二抽取结果。
85.请参阅图10，步骤03还包括：
86.034：利用关键词的标准说法和关键词的泛化说法，将槽位抽取词与关键词的标准说法进行链接。
87.请结合图2，步骤034可以由槽位提取模块13实现。也即是，槽位提取模块13用于利用关键词的标准说法和关键词的泛化说法，将槽位抽取词与关键词的标准说法进行链接。
88.关键词的标准说法和关键词的泛化说法，例如关键词的泛化说法“关了”对应的标准说法为“关闭”，泛化说法“调整一下”对应的标准说法为“调整”。
89.槽位抽取词与关键词的标准说法的链接过程为槽位抽取词与关键词的标准说法对齐的过程，也是如图5所示的归一化的处理过程。例如，槽位抽取词“关了全部车窗时”链接得到的标准说法为“关闭全部车窗”。槽位抽取词“调整一下椅子”链接得到的标准说法为“调整座椅”。
90.如此，通过对槽位抽取词链接到标准说法，使得生成的槽位抽取词更加符合车载
系统功能的标准定制方案中的关键词的标准说法。
91.请参阅图11，步骤05包括：
92.051：根据关键词的出现顺序和用户表述习惯对识别文本进行句式分割得到触发条件和执行指令。
93.请参阅图2，步骤051可以由句式分割模块15实现，也即是，句式分割模块15用于根据关键词的出现顺序和用户表述习惯对识别文本进行句式分割得到触发条件和执行指令。
94.在完成关键词抽取后，利用用于对语句的成分进行分离的标识词，例如标识词包括“到”、“后”、“说”和“时”等，以及利用关键词的出现顺序，进行句式分割。在分割过程中，考虑用户的表述习惯，表述习惯包括习惯用祈使句还是倒装句进行表述，从而获取符合用户习惯的句式分割结果，得到触发条件和执行指令，如图12所示。
95.如此，本发明可以直接在识别的原始语句中抽取关键词信息，利用标识词，划分触发条件和执行指令，从而可以直接抽取得到私人定制结构化数据，简化了传统语音识别方案的句子划分的前置工作，提高了定制结果生成的效率。
96.请参阅图13，步骤07包括：
97.071：根据触发条件和执行指令生成定制结果。
98.请参阅图2，步骤071可以由结果生成模块17实现，也即是，结果生成模块17用于根据触发条件和执行指令生成定制结果。
99.最后，根据触发条件和执行指令生成定制结果。如图12所示，由识别文本“每天十点到十一点，我上车后，说我要去上班时，关了全部车窗，音乐播放，暖风打开，调整一下椅子”，得到的触发条件包括“时间：每天，时间：十点，标识词：到，时间：十一点，动作：上车，标识词：说，语音内容：我要去上班时(语音条件)”，得到的执行指令包括“执行指令1：关闭全部车窗，执行指令2：播放音乐，执行指令3：打开空调，温度26，执行指令4：调整座椅”。
100.如此，车载系统可以根据该定制结果完成对应的执行操作。
101.请参阅图14，语音交互方法包括：
102.09：向用户反馈定制结果。
103.请参阅图15，语音交互装置10包括反馈模块19。
104.步骤09可以由反馈模块19实现。也即是，反馈模块19用于向用户反馈定制结果。
105.定制结果向用户反馈的方式包括语音播放反馈的方式和车载显示屏文字显示的方式，反馈的方式还可以为其他方式，在此不作限制。
106.如此，本发明的交互方法可以在网络异常的情况下根据语音触发车辆执行定制方案后，用户可以获得相关的反馈，以及时获知定制结果，提升用户体验。
107.请参阅图16，本发明还提供一种车辆20。该车辆20包括处理器21和存储器22，存储器22上存储有计算机程序221，当计算机程序221被处理器21执行时，实现上述任意一个实施例中的语音交互方法。
108.如此，本发明的车辆在可以在网络连接异常的状态下，实现用户通过语音请求可以触发车载系统自动完成定制方案对应的执行操作。
109.请参阅图17，本发明还提供一种计算机程序的非易失性计算机可读存储介质30。当计算机程序31被一个或多个处理器40执行时，实现上述任意实施例的语音交互方法。
110.例如，计算机程序31被处理器40执行时实现以下语音交互方法的步骤：
111.01：在网络连接异常的状态下，在车辆内对用户利用自然语言完成语音操作车载系统功能定制的语音请求进行语音识别得到识别文本，定制可使得车载系统在满足预设条件的情况下，自动执行对应预设条件的多个功能；
112.03：对识别文本进行槽位抽取；
113.05：根据槽位抽取的结果对识别文本进行句式分割；
114.07：根据句式分割的内容生成定制结果。
115.可以理解，计算机程序31包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、以及软件分发介质等。
116.如此，本发明的存储介质30可以在网络连接异常的状态下，实现用户通过语音请求可以触发车载系统自动完成定制方案对应的执行操作。