当确定是否从某些客户端设备卸载助理相关处理任务时补偿硬件差异的制作方法

技术特征：
1.一种由一个或多个处理器实现的方法，所述方法包括：在客户端计算设备的音频接口处从用户接收正在进行的口头话语；其中，所述正在进行的口头话语指向能经由所述客户端计算设备访问的自动助理；响应于接收到所述正在进行的口头话语，在所述用户继续将所述正在进行的口头话语提供到所述自动助理时，生成表征所述正在进行的口头话语的第一部分的第一音频数据；经由所述客户端计算设备与服务器计算设备之间的网络连接将所述第一音频数据提供到所述服务器计算设备，其中，所述服务器计算设备对所述第一音频数据执行语音到文本处理以生成第一文本数据；响应于所述服务器计算设备从所述客户端计算设备接收到所述第一音频数据，由所述客户端计算设备从所述服务器计算设备接收状态数据；基于所述状态数据来确定是否将第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理，其中，所述第二音频数据表征在所述客户端计算设备接收到所述正在进行的口头话语的所述第一部分之后在所述客户端计算设备的所述音频接口处接收到的所述正在进行的口头话语的第二部分；以及当所述客户端计算设备确定不将所述第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理时：在所述客户端计算设备处生成表征所述正在进行的口头话语的所述第二部分的其它自然语言内容的第二文本数据。2.如权利要求1所述的方法，其中，从所述服务器计算设备接收所述状态数据包括：在一时间段内从所述服务器计算设备接收状态数据的单独实例。3.如权利要求2所述的方法，其中，确定是否将所述第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理包括：确定状态数据的所述单独实例中在所述时间段内接收到的实例的数目，其中，确定是否将所述第二音频数据提供到所述服务器计算设备是基于所述实例的数目。4.如权利要求2或3所述的方法，其中，状态数据的所述单独实例中的状态数据的每个实例指示所述服务器计算设备已经从所述客户端计算设备接收到的数据量。5.如权利要求2或3所述的方法，其中，状态数据的所述单独实例中的状态数据的每个实例指示所述服务器计算设备已经处理的数据量。6.如权利要求1至5中的任一项所述的方法，进一步包括：当所述客户端计算设备确定不将所述第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理时：使所述自动助理执行包括在所述客户端计算设备的显示界面处显示所述自然语言内容和所述其它自然语言内容的一个或多个动作。7.如权利要求1至6中的任一项所述的方法，进一步包括：
当所述客户端计算设备确定将所述第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理时：经由所述网络连接将所述第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理，以及从所述服务器计算设备接收表征所述正在进行的口头话语的所述第二部分的附加自然语言内容的第三文本数据。8.如权利要求1至7中的任一项所述的方法，进一步包括：当所述客户端计算设备确定将所述第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理时：在所述客户端计算设备处使所述客户端计算设备的所述显示界面渲染基于所述第一文本数据的所述自然语言内容和基于所述第三文本数据的所述附加自然语言内容。9.如权利要求1至8中的任一项所述的方法，其中，确定是否将所述第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理包括：确定表征数据处理速率的网络度量，其中，所述数据处理速率是基于已经处理的音频数据量和持续时间的值。10.如权利要求9所述的方法，其中，所述持续时间是自所述客户端计算设备开始将所述第一音频数据提供到所述服务器计算设备以来的时间。11.如权利要求9所述的方法，其中，所述持续时间是自所述客户端计算设备开始从所述用户接收所述正在进行的口头话语以来的时间。12.如权利要求9所述的方法，其中，确定是否将所述第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理包括：确定所述数据处理速率是否满足数据处理速率阈值。13.如权利要求12所述的方法，其中，所述数据处理速率阈值是基于所述自动助理、所述客户端计算设备或所述服务器计算设备的一个或多个操作特性。14.如权利要求12所述的方法，其中，所述数据处理速率阈值是基于所述用户是否被认证为经由所述客户端计算设备访问用户账户。15.如权利要求12所述的方法，其中，所述数据处理速率阈值是基于提供所述正在进行的口头话语所用的特定语言。16.如权利要求13所述的方法，其中，所述数据处理速率阈值是基于所述用户与所述自动助理之间的对话会话的当前持续时间，并且其中，所述对话会话包括所述正在进行的口头话语。17.如权利要求1至16中的任一项所述的方法，其中，当所述客户端计算设备从所述用户接收所述正在进行的口头话语时，所述客户端计算设备连接到正在运输中的车辆，并且其中，所述网络连接是在所述客户端计算设备与所述服务器计算设备之间的蜂窝连接。18.如权利要求1至17中的任一项所述的方法，其中，确定是否将第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理包括：
基于已经处理的音频数据量来确定所述客户端计算设备将所述第二音频数据提供到所述服务器计算设备的预期时间量，其中，当所述预期时间量满足阈值时间量时，所述客户端计算设备确定在所述客户端计算设备处而不是在所述服务器计算设备处处理所述第二音频数据。19.如权利要求1至18中的任一项所述的方法，其中，确定是否将所述第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理是进一步基于：确定所述第一文本数据是否表征能在所述客户端计算设备处排他性地执行的一个或多个用户请求的动作。20.如权利要求1至19中的任一项所述的方法，其中，确定是否将所述第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理包括：确定所述第一文本数据是否表征涉及所述客户端计算设备访问因特网的一个或多个用户请求的动作。21.如权利要求1至20中的任一项所述的方法，进一步包括：当所述客户端计算设备确定将所述第二音频数据提供到所述服务器计算设备以进行进一步语音到文本处理时：由所述客户端计算设备使所述显示界面为所述用户渲染所述客户端计算设备将要暂时停止使用所述服务器计算设备以协助对来自所述用户的所述正在进行的口头话语做出响应的指示。22.如权利要求1至21中的任一项所述的方法，其中，当所述客户端计算设备从所述用户接收所述正在进行的口头话语时，所述客户端计算设备连接到正在运输中的车辆，其中，当所述客户端计算设备从所述用户接收所述正在进行的口头话语时，与所述客户端计算设备分离的个人计算设备与所述客户端计算设备通信，并且其中，所述网络连接由第一网络提供商调节，所述第一网络提供商不同于为所述个人计算设备提供蜂窝网络连接的第二网络提供商。23.如权利要求1至22中的任一项所述的方法，其中，在所述客户端计算设备生成所述第二文本数据之前，在所述显示界面处渲染所述自然语言内容。24.一种由一个或多个处理器实现的方法，所述方法包括：在客户端计算设备处生成第一数据，所述第一数据表征在用户与所述客户端计算设备之间的对话会话期间由所述客户端计算设备接收到的音频的部分；由所述客户端计算设备将所述第一数据提供到服务器计算设备，其中，所述服务器计算设备处理所述第一数据以生成内容数据；在所述客户端计算设备处从所述服务器计算设备接收状态数据，所述状态数据指示所述服务器计算设备已经接收到的所述第一数据的量；基于接收到所述状态数据来确定是否将第二数据提供到所述服务器计算设备以进行处理，其中，所述第二数据表征在所述用户与所述客户端计算设备之间的所述对话会话期间由所述客户端计算设备接收到的所述音频的附加部分；当所述客户端计算设备确定不将所述第二数据提供到所述服务器计算设备以进行处
理时：使所述客户端计算设备至少暂时停止将所述第二数据传送到所述服务器计算设备。25.如权利要求24所述的方法，进一步包括：当所述客户端计算设备确定不将所述第二数据提供到所述服务器计算设备以进行处理时：在所述客户端计算设备处生成其它内容数据，所述其它内容数据表征所述音频的所述附加部分的自然语言内容。26.如权利要求24或权利要求25所述的方法，其中，所述第一数据包括表征基于由所述客户端计算设备对所述音频数据执行语音辨识而生成的音频或文本的部分的音频数据。27.如权利要求24至26中的任一项所述的方法，其中，所述第一数据包括经由指向在所述客户端计算设备上渲染的虚拟键盘的用户接口输入提供的文本，或者由所述客户端计算设备的相机捕获的图像。28.一种由一个或多个处理器实现的方法，所述方法包括：在客户端计算设备的接口处从用户接收输入，其中，所述输入指向能经由所述客户端计算设备访问的自动助理；响应于接收到所述输入，当所述用户继续将附加输入提供到所述自动助理时，生成表征所述输入的部分的输入数据；经由所述客户端计算设备与服务器计算设备之间的网络连接将所述输入的所述部分提供到所述服务器计算设备，其中，所述服务器计算设备处理所述输入数据以生成内容数据；由所述客户端计算设备从所述服务器计算设备接收基于所述输入数据的所述内容数据；基于所述服务器计算设备已经处理的输入数据量来确定是否将附加数据提供到所述服务器计算设备以进行处理；以及当所述客户端计算设备确定不将所述附加数据提供到所述服务器计算设备时：使所述客户端计算设备至少暂时停止将所述附加数据传送到所述服务器计算设备。29.如权利要求28所述的方法，进一步包括：当所述客户端计算设备确定不将所述附加数据提供到所述服务器计算设备时：在所述客户端计算设备处使用所述附加数据来生成表征所述输入的另一部分的附加内容数据，以及使所述客户端计算设备渲染所述内容数据和所述附加内容数据。30.如权利要求28或29所述的方法，进一步包括：当所述客户端计算设备确定将所述附加数据提供到所述服务器计算设备以进行进一步处理时：经由所述网络连接将所述附加数据提供到所述服务器计算设备以进行进一步处理，从所述服务器计算设备接收表征所述输入的附加部分的所述附加内容数据，以及使所述客户端计算设备渲染所述内容数据和所述附加内容数据。31.如权利要求28至30中的任一项所述的方法，其中，确定是否将所述附加数据提供到所述服务器计算设备以进行进一步处理包括：
确定数据处理速率，所述数据处理速率基于由状态数据指示的已经处理的数据量和自所述客户端计算设备从所述用户接收所述输入以来已经经过的时间量。32.如权利要求28至31中的任一项所述的方法，进一步包括：当所述客户端计算设备确定不将所述附加数据提供到所述服务器计算设备时：基于所述客户端计算设备生成所述附加内容数据，将其它状态数据传递到所述服务器计算设备，其中，所述其它状态数据指示所述客户端计算设备完成对来自所述用户的所述输入的处理。

技术总结
本文阐述的实施方式涉及基于不限于信号强度的网络度量将计算任务卸载到单独的计算设备，或暂时停止这种卸载。相反，用于确定是否继续依赖与服务器计算设备的网络连接用于某些计算任务的网络度量能够是基于与服务器计算设备的当前或最近交互。以这种方式，在具有强大天线但以其他方式受限的网络速度的计算设备处执行的应用能够确定暂时排他性地依赖本地处理。例如，即使可能看起来存在足够的信号强度来有效地传送音频数据，自动助理也能够响应于确定网络度量未能满足阈值而在对话会话期间暂时停止将音频数据传递到远程服务器计算设备。计算设备。计算设备。


技术研发人员：维克拉姆
受保护的技术使用者：谷歌有限责任公司
技术研发日：2020.05.27
技术公布日：2023/2/3