基于客户端计算的内容元数据的话音查询QoS的制作方法

技术特征：
1.一种方法，包括：在查询处理后端的数据处理硬件处接收来自用户设备的自动语音识别(asr)请求，所述asr请求包括：语音输入，其被所述用户设备捕获，所述语音输入包括话音查询；以及内容元数据，其与所述语音输入相关联，所述内容元数据由所述用户设备生成；由所述数据处理硬件基于与所述语音输入相关联的所述内容元数据来确定针对所述asr请求的优先级分数；由所述数据处理硬件将所述asr请求缓存在未决asr请求的预处理的待办事项中，每个未决asr请求具有对应优先级分数，所述预处理的待办事项中的所述未决asr请求以所述优先级分数的顺序被排名；以及由所述数据处理硬件从所述预处理的待办事项基于后端侧asr模块的处理可用性来将所述未决asr请求中的一个或多个提供给所述后端侧asr模块，其中，与较高优先级分数相关联的未决asr请求在与较低优先级分数相关联的未决asr请求之前被所述后端侧asr模块处理。2.根据权利要求1所述的方法，其中，所述后端侧asr模块被配置成响应于接收到来自未决asr请求的所述预处理的待办事项的每个未决asr请求，处理所述未决asr请求以生成针对与所述未决asr请求相关联的对应语音输入的asr结果。3.根据权利要求1或2所述的方法，进一步包括响应于在未决asr请求的所述预处理的待办事项中缓存一个或多个新asr请求，由所述数据处理硬件144以所述优先级分数的顺序对所述预处理的待办事项中的所述未决asr请求进行重新排名。4.根据权利要求1至3中任一项所述的方法，进一步包括由所述数据处理硬件拒绝驻留在所述预处理的待办事项中达满足超时阈值的时间段的任何未决asr请求被所述后端侧asr模块处理。5.根据权利要求1至4中任一项所述的方法，进一步包括响应于接收到具有小于优先级分数阈值的相应优先级分数的新asr请求，由所述数据处理硬件拒绝所述新asr请求被所述后端侧asr模块处理。6.根据权利要求1至5中任一项所述的方法，其中，与所述语音输入相关联的所述内容元数据表示所述对应asr请求将被所述后端侧asr模块成功处理的可能性。7.根据权利要求1至6中任一项所述的方法，其中，与所述语音输入相关联的所述内容元数据表示所述对应asr请求的处理将对与所述用户设备相关联的用户有影响的可能性。8.根据权利要求1至7中任一项所述的方法，其中，与所述语音输入相关联且由所述用户设备生成的所述内容元数据包括以下至少一个：登录指示符，其指示与所述用户设备相关联的用户是否被登录到所述用户设备；针对所述语音输入的说话者标识分数，其指示所述语音输入匹配与所述用户设备相关联的说话者配置文件的可能性；针对所述语音输入的广播语音分数，其指示所述语音输入对应于来自非人类源的广播或合成语音输出的可能性；热词置信度分数，其指示所述语音输入中的所述话音查询之前的一个或多个术语对应于预定义的热词的可能性；
活动指示符，其指示所述用户设备与所述查询处理后端之间是否正在进行多轮交互；所述语音输入的音频信号分数；空间定位分数，其指示用户相对于所述用户设备的距离和位置；所述语音输入的转录，其由驻留在所述用户设备上的设备上asr模块生成；用户设备行为信号，其指示所述用户设备的当前行为；或环境情况信号，其指示相对于所述用户设备的当前环境情况。9.根据权利要求1至8中任一项所述的方法，其中，所述用户设备被配置成响应于在口述话语中检测到在所述话音查询之前的热词：捕获包括所述话音查询的所述语音输入；生成与所述语音输入相关联的所述内容元数据；以及向所述数据处理硬件传输所述对应asr请求。10.根据权利要求9所述的方法，其中，所述语音输入进一步包括所述热词。11.根据权利要求1至10中任一项所述的方法，进一步包括将设备上处理指令从所述数据处理硬件传输给所述用户设备，所述设备上处理指令提供当所述用户设备确定所述查询处理后端过载时用于本地处理由所述用户设备在设备上捕获到的任何新语音输入的至少一部分的一个或多个准则。12.根据权利要求11所述的方法，其中，所述用户设备被配置成通过以下至少一个确定所述查询处理后端过载：获得与由所述用户设备传达给所述数据处理硬件的先前asr请求相关联的历史数据；从所述数据处理硬件接收在所述查询处理后端处过去和/或预测的过载情况的计划表；或从运行中的所述数据处理硬件接收指示所述处理后端处的当前过载情况的过载情况状态通知。13.根据权利要求11或12所述的方法，其中，用于本地处理任何新语音输入的至少一部分的所述一个或多个准则包括指导所述用户设备执行以下至少一个：使用驻留在设备上的本地asr模块转录新语音输入；解释所述新语音输入的所述转录以确定对应于所述新语音输入的话音查询；确定所述用户设备是否可以执行与对应于所述新语音输入的所述话音查询相关联的动作；或当所述用户设备无法执行与所述话音查询相关联的所述动作时，将所述语音输入的所述转录传输给所述查询处理系统。14.根据权利要求11至13中任一项所述的方法，其中，提供所述一个或多个准则的所述设备上处理指令包括所述内容元数据的对应部分必须满足以便所述用户设备将所述asr请求传输给所述查询处理后端的一个或多个阈值。15.根据权利要求14所述的方法，其中，当所述阈值中的至少一个不被满足时，所述设备上处理指令进一步指导所述用户设备丢弃所述asr请求。16.一种系统，包括：查询处理后端的数据处理硬件；以及存储器硬件，与所述数据处理硬件通信且存储指令，当在所述数据处理硬件上被执行
时，所述指令使所述数据处理硬件执行包括以下的操作：从用户设备接收自动语音识别(asr)请求，所述asr请求包括：语音输入，被所述用户设备捕获，所述语音输入包括话音查询；以及内容元数据，与所述语音输入相关联，所述内容元数据被所述用户设备生成；基于与所述语音输入相关联的所述内容元数据来确定针对所述asr请求的优先级分数；将所述asr请求缓存在未决asr请求的预处理的待办事项中，每个未决asr请求具有对应优先级分数，所述预处理的待办事项中的所述未决asr请求以所述优先级分数的顺序被排名；以及从所述预处理的待办事项基于后端侧asr模块的处理可用性来将所述未决asr请求中的一个或多个提供给所述后端侧asr模块，其中，与较高优先级分数相关联的未决asr请求在与较低优先级分数相关联的未决asr请求之前被所述后端侧asr模块处理。17.根据权利要求16所述的系统，其中，所述后端侧asr模块被配置成响应于接收到来自未决asr请求的所述预处理的待办事项的每个未决asr请求，处理所述未决asr请求以生成针对与所述未决asr请求相关联的对应语音输入的asr结果。18.根据权利要求16或17所述的系统，其中，所述操作进一步包括响应于在未决asr请求的所述预处理的待办事项中缓存一个或多个新asr请求，以所述优先级分数的顺序对所述预处理的待办事项中的所述未决asr请求进行重新排名。19.根据权利要求16至18中任一项所述的系统，其中，所述操作进一步包括拒绝驻留在所述预处理的待办事项中达满足超时阈值的时间段的任何未决asr请求被所述后端侧asr模块处理。20.根据权利要求16至19中任一项所述的系统，其中，所述操作进一步包括响应于接收到具有小于优先级分数阈值的相应优先级分数的新asr请求，拒绝所述新asr请求被所述后端侧asr模块处理。21.根据权利要求16至20中任一项所述的系统，其中，与所述语音输入相关联的所述内容元数据表示所述对应asr请求将被所述后端侧asr模块成功处理的可能性。22.根据权利要求16至21中任一项所述的系统，其中，与所述语音输入相关联的所述内容元数据表示所述对应asr请求的处理将对与所述用户设备相关联的用户有影响的可能性。23.根据权利要求16至22中任一项所述的系统，其中，与所述语音输入相关联且由所述用户设备生成的所述内容元数据包括以下至少一个：登录指示符，指示与所述用户设备相关联的用户是否被登录到所述用户设备；针对所述语音输入的说话者标识分数，指示所述语音输入匹配与所述用户设备相关联的说话者配置文件的可能性；针对所述语音输入的广播语音分数，指示所述语音输入对应于来自非人类源的广播或合成语音输出的可能性；热词置信度分数，指示所述语音输入中的所述话音查询之前的一个或多个术语对应于预定义的热词的可能性；活动指示符，指示所述用户设备与所述查询处理后端之间是否正在进行多轮交互；
所述语音输入的音频信号分数；空间定位分数，指示用户相对于所述用户设备的距离和位置；所述语音输入的转录，由驻留在所述用户设备上的设备上asr模块生成；用户设备行为信号，指示所述用户设备的当前行为；或环境情况信号，指示相对于所述用户设备的当前环境情况。24.根据权利要求16至23中任一项所述的系统，其中，所述用户设备被配置成响应于在口述话语中检测到在所述话音查询之前的热词：捕获包括所述话音查询的所述语音输入；生成与所述语音输入相关联的所述内容元数据；以及向所述数据处理硬件传输所述对应asr请求。25.根据权利要求24所述的系统，其中，所述语音输入进一步包括所述热词。26.根据权利要求16至25中任一项所述的系统，其中，所述操作进一步包括将设备上处理指令传输给所述用户设备，所述设备上处理指令提供用于本地处理当所述用户设备确定所述查询处理后端过载时由所述用户设备在设备上捕获到的任何新语音输入的至少一部分的一个或多个准则。27.根据权利要求26所述的系统，其中，所述用户设备被配置成通过以下至少一个确定所述查询处理后端过载：获得与由所述用户设备传达给所述数据处理硬件的先前asr请求相关联的历史数据；从所述数据处理硬件接收在所述查询处理后端处过去和/或预测的过载情况的计划表；或从运行中的所述数据处理硬件接收指示所述处理后端处的当前过载情况的过载情况状态通知。28.根据权利要求26或27所述的系统，其中，用于本地处理任何新语音输入的至少所述部分的所述一个或多个准则包括指导所述用户设备执行以下至少一个：使用驻留在设备上的本地asr模块转录新语音输入；解释所述新语音输入的所述转录以确定对应于所述新语音输入的话音查询；确定所述用户设备是否可以执行与对应于所述新语音输入的所述话音查询相关联的动作；或当所述用户设备无法执行与所述话音查询相关联的所述动作时，将所述语音输入的所述转录传输给所述查询处理系统。29.根据权利要求26至28中任一项所述的系统，其中，提供所述一个或多个准则的所述设备上处理指令包括所述内容元数据的对应部分必须满足以便所述用户设备将所述asr请求传输给所述查询处理后端的一个或多个阈值。30.根据权利要求29所述的系统，其中，当所述阈值中的至少一个不被满足时，所述设备上处理指令进一步指导所述用户设备丢弃所述asr请求。

技术总结
一种方法包括从用户设备接收自动语音识别(ASR)请求，该请求包括由用户设备捕获的语音输入和与语音输入相关联的内容元数据。内容元数据由用户设备生成。方法还包括：基于与语音输入相关联的内容元数据来确定针对ASR请求的优先级分数，且将ASR请求缓存在未决ASR请求的预处理的待办事项中，每个未决ASR请求具有对应优先级分数。预处理的待办事项中的未决ASR请求以优先级分数的顺序被排名。方法还包括从预处理的待办事项中向后端侧ASR模块提供未决ASR请求中的一个或多个，其中，与较高优先级分数相关联的未决ASR请求在与较低优先级分数相关联的未决ASR请求之前被处理。数相关联的未决ASR请求之前被处理。数相关联的未决ASR请求之前被处理。


技术研发人员：M.谢里菲 A.克拉库恩
受保护的技术使用者：谷歌有限责任公司
技术研发日：2019.02.06
技术公布日：2021/9/17