一种车外语音交互系统的制作方法

1.本发明涉及车载智能语音系统，具体涉及通过汽车车外麦克风录入音频及语音播放装置播报回复语音实现人在车外与汽车进行智能语音交互。


背景技术：

2.语音交互是当前人机交互的重要方式之一，告别传统手动操作交互方式，语音交互从某种意义上解放了人类双手，并实现了人机之间的远距离交互，为人们生活提供了便捷。
3.车载语音交互在智能座舱中更显得极为重要，然而当前车载智能语音系统仅仅只能满足用户在车内的场景，就算是用户在离车很近的距离，也享受不到这份智能产物带来的便捷。所以，我们有必要开发一款车外语音交互系统。这一设计在行业有不少畅想，却并没有任何一个投入市场、服务大众的案例，其中主要原因便在于没有工程化的系统方案。在汽车相关期刊中已公开的车外语音畅想均存在许多设计缺陷，如使用传统钥匙作为唤醒整车电器功能的媒介、使用车内扬声器输出语音反馈、使用语音控制器本地识别等，导致用户在车外可使用语音的时间太短几近于无、用户很难清晰得获知语音反馈甚至很难听见、用户和语音对话的指令仅十数条难以命中。以上缺陷使得车外语音一直停留在畅想阶段，没有工程化的系统方案。


技术实现要素：

4.本发明提供了一种车外语音交互系统，该方案实现了车外语音的整车唤醒、回声消除、引擎声降噪、快速交互、语音播放装置播报及自然语义理解。该方案是为了让用户可以不依赖于传统钥匙也无需打开车门进入车内，在其靠近车辆时，便可以使用语音在车外唤醒车辆并交互。
5.本发明的技术方案为：本发明实施例提供了一种车外语音交互系统，包括：布置在车外的语音拾取装置和语音播放装置；与所述语音拾取装置连接的车外语音识别模组；与所述车外语音识别模组相连接的车机控制器mcu和数字信号处理器dsp；以及与所述车机控制器mcu和所述数字信号处理器dsp连接的系统集成芯片soc；所述语音播放装置与所述数字信号处理器dsp连接；所述语音拾取装置和所述车外语音识别模组处于常电状态。
6.优选地，所述车外语音识别模组在比对出所述语音拾取装置拾取的车外音频信号中包含有预设的唤醒词时，利用预设的离线指令解析功能对所述车外音频信号进行解析得到控制指令；同时，被唤醒的所述系统集成芯片soc通过被唤醒的所述数字信号处理器dsp从所述车外语音识别模组处获取所述车外音频信号，再利用预设的在线指令解析功能对所述车外音频信号进行解析得到控制指令；被唤醒的所述车机控制器mcu基于所述车外语音识别模组发送的控制指令和/或
所述系统集成芯片soc发送的控制指令，控制整车上对应的执行元件执行对应的指令；同时，所述系统集成芯片soc基于所述车外语音识别模组发送的控制指令和/或所述系统集成芯片soc自身所确定的控制指令进行指令执行；所述车机控制器mcu在确定对应的执行元件完成指令执行和/或所述系统集成芯片soc完成指令执行之后，通过所述数字信号处理器dsp控制被唤醒的所述车外语音播放装置进行语音反馈。
7.优选地，所述车外语音识别模组在执行对所述车外音频信号进行解析和将所述车外音频信号通过所述数字信号处理器dsp发送至所述系统集成芯片soc进行解析之前，先对所述车外音频信号进行回音消除和发动机噪声降噪处理。
8.优选地，所述车机控制器mcu在确定对应执行元件完成指令执行和/或系统集成芯片soc完成指令执行之后，还通过所述数字信号处理器dsp向所述车外语音识别模组反馈参考信号，使所述车外语音识别模组基于所述参考信号对新拾取到的车外音频信号进行回音消除处理。
9.优选地，所述车外语音识别模组基于所述参考信号对新拾取到的车外音频信号进行回音消除处理的步骤包括：所述车外语音识别模组判断接收到所述参考信号和新拾取到的车外音频信号之间的间隔时间差是否小于预设时间差；若小于，则判断所述参考信号和新拾取到的车外音频信号之间的信号幅值比是否位于预设幅值比范围内；若位于，则基于所述参考信号对新拾取到的车外音频信号进行回音消除处理。
10.优选地，所述车外音频模组通过将所述车外音频信号输入预先实验获得的降噪算法中进行发动机噪声降噪处理；其中，预先实验获得的降噪算法的获取步骤包括：步骤1，通过将预先录入的有发动机噪声环境下的车外人声音频信号和有发动机噪声环境下的车辆前机舱内部音频信号输入到试验算法中，使试验算法参照所述车辆前机舱内部音频信号对所述车外人声音频信号进行发动机噪声过滤，得到过滤后的车外人声音频信号；步骤2，再将过滤后的车外人声音频信号和预先录入的无发动机噪声环境下的车外人声音频信号进行相似性比对，得到相似性比对结果；若相似性比对结果不满足设置要求，则将调节试验算法中的相关自变量参数，并重复步骤1和步骤2，直至相似性比对结果满足设置要求时，将当前的试验算法确定为所需的降噪算法。
11.优选地，所述车外语音识别模组对所述车外音频信号进行回音消除和发动机噪声降噪处理的同时，唤醒整车上所有处于休眠状态的电器件。
12.优选地，所述车外语音识别模组通过从所拾取到的车外音频信号中提取声学特征，再将所提取的声学特征与预设的唤醒词进行比对，以确定所述车外音频信号中是否存在预设的唤醒词。
13.优选地，被唤醒的所述车机控制器mcu基于所述车外语音识别模组发送的控制指令和/或所述系统集成芯片soc发送的控制指令，控制整车上对应的执行元件执行对应的指
令的步骤中：若所述车机控制器mcu同时接收到所述车外语音识别模组和所述系统集成芯片soc各自发出的相同控制指令，则所述车机控制器mcu以所述车外语音识别模组发送的控制指令为准控制整车上对应的执行元件执行对应的指令；或若所述车外语音识别模组和所述系统集成芯片soc各自发出的控制指令相同，则所述车机控制器mcu以先接收到的控制指令为准控制整车上对应的执行元件执行对应的指令。
14.本发明的有益效果为：在车辆复杂且严苛的使用环境下，本方案既能不影响整车电器系统休眠，又实现车外语音识别模组在低功耗状态下条件满足时唤醒整车电器系统并快速与用户交互。同时，本方案的离在线融合既保证了在车库等封闭环境下车外语音交互系统可以快速响应用户指令，又使得在有网络连接时，能提供丰富而详尽的自然语义处理能力。本方案的硬件布置提供的回声消除及引擎声降噪确保了在嘈杂的车辆使用环境下，语音唤醒及识别功能仍然正常。
附图说明
15.图1是本申请的一个实施例原理框图；图2为根据本申请的用于车外语音唤醒整车电器系统的一个实施例流程图；图3为根据本申请的用于车外语音音频处理的一个实施例流程图；图4为根据本申请的用户车外语音用户指令识别处理的一个实施例流程图；图中： 2、语音拾取装置，3、车外语音识别模组，4、车机控制器mcu，5、执行元件，6、数字信号处理单元，7、语音播放装置，8、系统集成芯片soc。
具体实施方式
16.下面结合附图对本发明作进一步说明。
17.如图1所示，本发明实施例提供了一种车外语音交互系统，包括：语音拾取装置2、车外语音识别模组3、车机控制器mcu4、数字信号处理器dsp6、系统集成芯片soc8以及语音播放装置7。其中，语音拾取装置2为按照在车外部的车外麦克风，语音播放装置7为安装在车外部的车外扬声器。
18.车外语音识别模组3同车机控制器mcu4、数字信号处理器dsp6连接，数字信号处理器dsp6同系统集成芯片soc8、语音播放装置7和车机控制器mcu4连接，车机控制器mcu4同整车上的执行元件5连接。
19.当用户未靠近车辆时，车辆闭锁且整车电器系统（本实施例中的整车电器系统由车外语音交互系统和执行元件5构成）绝大部电器部件处于休眠状态，绝大部电器部件已断开芯片供电电路，此时车外语音交互系统处于低功耗状态，等待满足特定条件时激活进入工作状态。整车电器系统的休眠状态是一种切断绝大部分电器部件的电源供电，仅保留极少部分电器部件连通电源，且该部分电器部件需保证极低耗电功率以确保车载电源可以供给该部分电器部件在低功耗状态下运行近一个月时间。
20.本实施例中，参照图2，车外语音交互系统在工作时，执行如下流程：
步骤101，通过车外麦克风持续录入或拾取外界声音1形成车外音频信号。
21.其中，车外麦克风布置方案有多种可选，以下仅做部分示例。例如:采用四个双麦阵列微机电麦克风，分别布置于车辆前进气格栅旁、左右侧外后视镜内、背门装饰件内，通过调整四个双麦阵列微机电麦克风的拾音朝向，使得麦克风可唤醒距离包含以车辆为同心圆的5米半径内。
22.步骤102，进行声学特征比对。
23.在拾音范围内录入的音频会经微机电麦克风中的放大器做自动增益调节，由此可更清晰地录入人声，经预处理后的音频进入车外语音识别模组3，在低功耗状态下比对声学特征是否符合其内部预设的唤醒词。
24.步骤103，唤醒整车电器系统。
25.当该车外音频信号的声学特征命中车外语音识别模组3内预设的唤醒词时，车外语音识别模组3唤醒整车电器系统（具体来说，对整车上处于休眠状态的电器件进行换向）。
26.步骤104，车外语音识别模组3进入指令识别状态。
27.当该车外音频信号的声学特征命中车外语音识别模组3内预设的唤醒词时，车外语音识别模组3即进入指令识别状态。
28.车外语音识别模组3在进入指令识别状态后，需要先对拾取到的车外音频信号进行解析，以获得具体的指令信息。考虑到车外麦克风所采集到的车外音频存在噪声干扰，本实施例中，在对车外音频信号解析之前，需要先对拾取到的车外音频信号进行干扰处理。
29.本实施例中，对拾取到的车外音频信号进行干扰处理的过程包括回音消除（图3中的步骤201）和发动机噪声降噪（图3中的步骤202）处理两个处理过程。
30.其中，对车外音频信号进行回音消除的过程是通过利用数字信号处理器dsp反馈给车外语音交互模组的参考信号进行回音消除的。具体来说，在数字信号处理器dsp收到来自车机控制器mcu及系统集成芯片soc各自反馈的表示指令执行成功的音频流时，会在将两路音频流输出至语音播放装置的同时送入两路参考信号至车外语音识别模组进行回声消除。其中，车外语音识别模组对车外音频信号进行回声消除的具体条件为时延和信号相近，即先有参考信号输入再有车外音频信号输入且需要满足：两类信号的间隔大于10毫秒（预设时间差）且参考信号与车外音频信号幅值比为0.8至1.2（预设幅值比范围）之间。在车外语音交互模组所收集到的两类信号不满足上述这些条件时，则无法对所收集到的车外音频信号进行回声消除。
31.进一步地，对车外音频信号进行发动机降噪处理的过程具体包括：将所述车外音频信号输入预先实验获得的降噪算法中进行发动机噪声降噪处理。其中，预先实验获得的降噪算法的获取步骤包括：步骤1，通过将预先录入的有发动机噪声环境下的车外人声音频信号a和有发动机噪声环境下的车辆前机舱内部音频信号c输入到试验算法中，使试验算法参照所述车辆前机舱内部音频信号对所述车外人声音频信号a进行发动机噪声过滤，得到过滤后的车外人声音频信号a’；步骤2，再将过滤后的车外人声音频信号a’和预先录入的无发动机噪声环境下的车外人声音频信号b进行相似性比对，得到相似性比对结果；若相似性比对结果不满足设置要求，则将调节试验算法中的相关自变量参数，并重复步骤1和步骤2，直至相似性比对结果满足设置要求时，将当前的试验算法确定为所需的降噪算法。
32.进而，需要对车外音频信号进行指令解析（即进入步骤203）。本实施例中，车外语音交互系统的进行指令识别的流程可以大致分为离线指令识别和在线指令识别。通过在实施例中融合了离线指令识别与在线指令识别，以使得能兼得离线及在线识别的优点，并互补彼此的缺点。
33.具体来说，在车外语音交互模组3利用离线指令解析功能进行离线指令识别时，车外语音识别模组3将语音拾取装置2拾取的外界声音1持续解析为指令。当解析后的指令有效时，车外语音识别模组3会将解析出的指令经由车机控制器mcu4通过车身can总线将对应的控制指令发送给整车的执行元件5（执行元件包括但不限于车身控制器bcm、apa控制器、电源等），进而达到控制全车的效果。
34.在利用在线指令解析功能进行在线指令识别时，车外语音识别模组3将车外麦克风2拾取的外界声音1进行发动机引擎声降噪处理后将拾取到的音频传输给数字信号处理器dsp6，数字信号处理器dsp6直通，通过i2s协议将该拾取到的车外音频信号传输给系统集成芯片soc8，系统集成芯片soc8将收到的车外音频信号进行语音识别及自然语言处理后执行对应的指令。
35.具体来说，在车外语音识别模组3和系统集成芯片8分别解析出对应的指令后，车外语音识别模组和系统集成芯片soc会根据指令类型将相应解析后的指令发送给车机控制器mcu或数字信号处理器soc自身处理，车机控制器mcu可完成的指令包括但不限于：控制执行元件5中的车窗打开及关闭、天窗打开及关闭、座椅位置调节、发动机启动及停止等，系统集成芯片soc可完成的指令包括但不限于：发起导航地址搜索、播放音乐及检索、播放电台及检索等。
36.考虑到信号传递存在一定的延时，针对同一指令，车外语音识别模组3和系统集成芯片8会分别解析出一个指令。若所述车机控制器mcu4同时接收到所述车外语音识别模组3和所述系统集成芯片soc8各自发出的相同控制指令，则所述车机控制器mcu4以所述车外语音识别模组3发送的控制指令为准控制整车上对应的执行元件5执行对应的指令；或若所述车外语音识别模组3和所述系统集成芯片soc8各自发出的控制指令相同，则所述车机控制器mcu3以先接收到的控制指令为准控制整车上对应的执行元件5执行对应的指令。
37.当相应的执行元件5执行完指令后会会将成功的信息反馈给车机控制器mcu4，车机控制器mcu4收到指令执行成功信息后同步给车外语音识别模组3，车外语音识别模组3再驱动内部外挂flash播放跟执行元件5执行结果相对应的音频文件，该音频文件通过数字信号处理器dsp6时将会传给车外语音识别模组3作为参考信号，供车外语音识别模组3进行回音消除，同时也会通过外置功放将放大后的音频信号直接传输给语音播放装置7，语音播放装置7播放出对应的声音，实现对用户的答复。
38.针对执行在线语音当通过车身控制器mcu4接收到执行元件5执行相应操作的结果后，系统集成芯片soc8会通过tts合成对应的音频文件（表示执行结果对应的音频流），通过i2s协议将合成的音频文件（音频流）传输给数字信号处理器dsp6后，数字信号处理器dsp6接收到该合成的音频信号后会反馈参考信号给系统集成芯片soc8进行回音消除，并同时将该音频信号通过音频放大器传输给语音播放装置7，语音播放装置7播报出用户所发出指令的执行情况。
39.步骤101中，音频录入时车外语音识别模组低功耗工作状态是通过关闭识别功能，
仅保留唤醒词声学特征比对实现的，此时车外语音模块的主要供电消耗来自车外四周布置的麦克风供电。在本实施例的一些可选实现方式中，步骤102为车外语音识别模组将预处理后的音频做分帧截取，逐帧提取声学特征，并将连续的声学特征作为判断的依据在唤醒程序模块中与预设的声学特征比对。预设唤醒词的声学特征为提高唤醒率，需要进行大样本采集并训练优化。声学特征的比对是持续性的，为降低该步骤的供电消耗，需要进行软件设计优化，关闭识别功能，同时充分利用硬件解算特性，降低不必要的算力开销。在成功匹配后，车外语音识别模组将通过启动系统集成芯片soc并唤醒整车电器系统，步骤103需要车外语音识别模组通过将成功匹配的信号发送给车机控制器mcu，由车机控制器mcu控制供电电路为系统集成芯片soc供电并通过车内通讯总线发送网络管理信号唤醒整车电器系统。步骤104为整车电器系统唤醒后，车外语音模块进入识别状态，处于识别状态下的音频处理逻辑可参考图3。
40.进一步参考图3，该流程为识别过程中车外语音交互系统的音频处理流程。步骤201为经由增益放大后的预处理音频进入车外语音识别模组，步骤202需要数字处理器dsp将给语音播放装置播放语音或音乐的内容作为参考信号输出给车外语音识别模组，车外语音识别模组将拾取的车外音频与参考信号结合做回声消除，在确定所拾取的音频中有与参考信号构成回声关系时，会直接将该回声从拾取音频中剔除。步骤203为应对发动机启动后车外语音识别音频经回声消除后仍有较大噪声导致严重影响车外语音交互体验而做的引擎声降噪，引擎声降噪是针对特定噪声环境进行优化，通过大量的训练完成了降噪算法的优化。步骤204为开启离在线融合识别模式，离线时车外语音交互系统可以快速识别用户指令，不受任何外部条件限制，但指令内容较少且固定；车辆与互联网连接通畅时，在线的自然语义理解能力使得用户可以随意地发出指令，不必拘泥于需要发出固定且死板的指令，车外语音交互系统均可准确理解。详细的离在线融合策略可参考图4。
41.进一步参考图4，该流程为开启离在线融合识别模式后，车外语音交互系统内部的融合策略。步骤301为经由图3中所述音频处理流程完成回声消除即引擎声降噪后的音频，该音频将作为离线识别及在线识别的输入。步骤302为车外语音识别模组对收到经处理后的音频进行有效音频检测，通过算法甄别人声及非人声，从而过滤在交互过程中用户开关车门及敲击车内物体的碰撞声，在检测到人声开始的前端点后，将通过算法区分本次对话的结束点。获取到对话结束点后，则截取本次对话开启步骤303进行离在线识别。离线识别为车外语音识别模组本地完成用户指令识别，识别速度快，但因本地算力及资源有限，无法支持众多的用户指令。在线识别为借用云端服务器的算力完成用户指令识别，需要车辆连接互联网且网络通畅。步骤304为收到离线识别结果后，车外语音交互系统根据识别时间和返回结果判断是否采用。在本实施例的一些可选实现方式中，识别结果融合方案有多种可选，以下仅做部分示例。例如：当用户指令较为简单，仅为打开车窗或启动发动机等简单操作，用户下达指令的音频在进行离在线识别时，离线由于部署在本地，反应快速，最先返回了正确的用户指令，此时车外语音交互系统确定该返回结果为第一优先级，根据该指令执行步骤305。当用户指令较为复杂，包含多个意图，如开启天窗并启动空调通风或启动发动机并发起导航，由于指令复杂本地识别无法返回正确结果，被确定为次等优先级，随后云端服务器在算力支撑下返回了正确指令，车外语音交互系统确定在线识别结果优于离线识别结果为第一优先级并根据该指令执行步骤305。步骤305为根据不同指令内容，进行相应控
制，并根据控制反馈，播报对应回复，以告知用户执行结果。
42.在本发明另一实施方式中，车外语音交互系统还可以将手机蓝牙钥匙、智能钥匙、声纹钥匙及人脸识别作为唤醒整车电器系统的媒介。例如，在用户未靠近车辆时，车辆闭锁且整车电器系统处于休眠状态，车外语音识别模组处于低功耗状态，用户使用手机蓝牙钥匙时，靠近车辆，车载蓝牙钥匙模块会在检测到手机蓝牙钥匙时主动唤醒整车电器进入工作状态，车外语音识别模组进入识别状态并开启车外语音离线识别功能和在线识别功能。相似地，智能钥匙靠近时射频信号会通过车内射频接收器唤醒整车电器系统，用户进行人脸识别时点击主副驾门把手pe键会通过车身控制器唤醒整车电器系统，此时整车电器系统进入工作状态，车外语音识别模组进入识别状态。此时，车外语音识别模组进入识别时间极短，仅500毫秒左右便可快速和用户交互，用户从使用感知上并不会察觉到这一极短的等待时长。