响应于来自多个客户端的机器学习请求的制作方法

技术特征：
1.一种方法，包括：用计算设备从第一客户端接收标识机器学习模型和传感器的第一客户端请求；响应于第一客户端请求，用计算设备向模型服务器发送调用以将标识的机器学习模型应用于来自标识的传感器的数据集；用计算设备从第二客户端接收标识与第一客户端请求相同的机器学习模型和传感器的第二客户端请求；以及用计算设备向第一客户端和第二客户端二者发送来自标识的机器学习模型的响应数据，而不响应于第二客户端请求而向模型服务器发送附加调用。2.根据权利要求1所述的方法，并且进一步包括：用计算设备从标识的传感器接收数据集；和用计算设备对数据集施行预处理以生成预处理数据。3.根据权利要求2所述的方法，并且进一步包括：用计算设备向模型服务器发送预处理数据以将标识的机器学习模型应用于预处理数据。4.根据权利要求2所述的方法，其中对数据集的预处理由计算设备中的预处理流水线施行，并且其中所述预处理流水线包括以由配置文件定义的方式链接在一起的多个处理单元。5.根据权利要求4所述的方法，其中每个处理单元接收输入向量，处理输入向量，并且输出输出向量。6.根据权利要求4所述的方法，其中在预处理流水线开始处的处理单元中的第一个处理单元从标识的传感器接收数据集，并且在预处理流水线结束处的处理单元中的最后一个处理单元与模型服务器通信。7.根据权利要求6所述的方法，其中所述处理单元中的最后一个处理单元向模型服务器发送预处理数据并接收响应数据。8.根据权利要求1所述的方法，其中所述计算设备、第一客户端和第二客户端全部是相同本地网络的一部分。9.根据权利要求8所述的方法，其中所述模型服务器是相同本地网络的一部分。10.根据权利要求8所述的方法，其中所述模型服务器不是相同本地网络的一部分。11.根据权利要求1所述的方法，其中所述标识的传感器是相机传感器，并且来自标识的传感器的数据集是视频流。12.一种存储指令的非暂时性计算机可读存储介质，当由处理器执行时，所述指令使处理器进行以下操作：从第一客户端接收标识机器学习模型和传感器的第一机器学习客户端请求；响应于第一机器学习客户端请求，使机器学习模型服务器将标识的机器学习模型应用于来自标识的传感器的传感器数据集并接收响应推断数据；从至少一个附加客户端接收标识与第一机器学习客户端请求相同的机器学习模型和传感器的至少一个附加机器学习客户端请求；以及向第一客户端和所述至少一个附加客户端二者发送响应于第一机器学习客户端请求而接收的响应推断数据。
13.根据权利要求12所述的非暂时性计算机可读存储介质，存储指令，当由处理器执行时，所述指令进一步使处理器进行以下操作：从标识的传感器接收传感器数据集；对传感器数据集施行预处理以生成预处理数据；以及向机器学习模型服务器发送预处理数据以将标识的机器学习模型应用于预处理数据。14.一种系统，包括：服务器计算设备，包括接口，用于从第一客户端接收标识机器学习模型和传感器的第一客户端请求以及从第二客户端接收标识与第一客户端请求相同的机器学习模型和传感器的第二客户端请求；服务器计算设备中的预处理流水线，用于响应于第一客户端请求，对来自标识的传感器的传感器数据施行预处理以生成预处理数据，向模型服务器发送预处理数据以将标识的机器学习模型应用于预处理数据集，并且从模型服务器接收响应推断数据；并且其中所述接口向第一客户端和第二客户端二者发送响应推断数据。15.根据权利要求14所述的系统，其中所述预处理流水线包括链接在一起的多个处理单元，并且其中每个处理单元接收输入向量，处理输入向量，并且输出输出向量。

技术总结
一种方法包括用计算设备从第一客户端接收标识机器学习模型和传感器的第一客户端请求。该方法包括响应于第一客户端请求，用计算设备向服务器发送调用以将标识的机器学习模型应用于来自标识的传感器的数据集。该方法包括用计算设备从第二客户端接收标识与第一客户端请求相同的机器学习模型和传感器的第二客户端请求。该方法包括用计算设备向第一客户端和第二客户端二者发送来自标识的机器学习模型的响应数据，而不响应于第二客户端请求而向服务器发送附加调用。向服务器发送附加调用。向服务器发送附加调用。


技术研发人员：D
受保护的技术使用者：惠普发展公司,有限责任合伙企业
技术研发日：2019.03.14
技术公布日：2021/11/8