推理服务方法、系统、存储介质和电子设备与流程

技术特征：
1.一种推理服务方法，其特征在于，应用于一种推理服务系统，所述推理服务系统包括主程序单元、m个消息队列容器和m
×
n个任务执行容器，其中，每个所述消息队列容器均与n个所述任务执行容器通信连接，不同的所述消息队列容器连接的所述任务执行容器不同，所述n和所述m为大于1的整数；所述推理服务方法包括：所述主程序单元获得用户输入的原始待预测数据；所述主程序单元将所述原始待预测数据拆分成多个数据块；所述主程序单元将所述多个数据块分别发送至相应的所述消息队列容器，以使得各相应的所述消息队列容器所连接的n个所述任务执行容器根据预先建立的预测模型对所述消息队列容器中的数据块进行预测，从而得到相应的预测结果，其中，一个所述数据块对应一个所述消息队列容器，每个所述数据块在相应的所述消息队列容器中的排序均相同。2.根据权利要求1所述的方法，其特征在于，在所述主程序单元获得用户输入的原始待预测数据之后，所述方法还包括：所述主程序单元判断所述原始待预测数据是否具备预设特征组中的全部特征，其中，所述预设特征组中的各所述特征为所述预测模型进行预测所需要的特征；若是，则执行所述将所述原始待预测数据拆分成多个数据块的步骤；若不是，则发出相应的报错告警，并结束本次预测过程。3.根据权利要求1所述的方法，其特征在于，所述主程序单元将所述原始待预测数据拆分成多个数据块，包括：所述主程序单元将所述原始待预测数据拆分成m个所述数据块。4.根据权利要求3所述的方法，其特征在于，所述主程序单元将所述多个数据块分别发送至相应的所述消息队列容器，以使得各相应的所述消息队列容器所连接的n个所述任务执行容器根据预先建立的预测模型对所述消息队列容器中的数据块进行预测，从而得到相应的预测结果，包括：将n个所述数据块分别随机发送至相应的n个所述消息队列容器，以使得各相应的所述消息队列容器所连接的n个所述任务执行容器根据预先建立的预测模型对所述消息队列容器中的数据块进行预测，从而得到相应的预测结果。5.根据权利要求4所述的方法，其特征在于，所述将n个所述数据块分别随机发送至相应的n个所述消息队列容器，以使得各相应的所述消息队列容器所连接的n个所述任务执行容器根据预先建立的预测模型对所述消息队列容器中的数据块进行预测，从而得到相应的预测结果，包括：将n个所述数据块分别随机发送至相应的n个所述消息队列容器，以使得各相应的所述消息队列容器所连接的n个所述任务执行容器分别均执行方式一；所述方式一包括：n个所述任务执行容器并行读取所述预测模型的模型文件和运行环境文件，从而加载所述预测模型；从所述消息队列容器获取相应的所述数据块并输入至所述预测模型，从而获得所述预测模型针对所述数据块输出的数据块预测结果。6.根据权利要求5所述的方法，其特征在于，所述方式一还包括：各所述任务执行容器均将得到的所述数据块预测结果存储至存储单元。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
所述主程序单元根据各所述任务执行容器得到的所述数据块预测结果，确定针对所述原始待预测数据的预测结果。8.一种推理服务系统，其特征在于，包括：主程序单元、m个消息队列容器和m
×
n个任务执行容器，其中，每个所述消息队列容器均与n个所述任务执行容器通信连接，不同的所述消息队列容器连接的所述任务执行容器不同，所述n和所述m为大于1的整数；所述主程序单元包括：原始数据单元、数据拆分单元和数据发送单元；所述原始数据单元，用于获得用户输入的原始待预测数据；所述数据拆分单元，用于将所述原始待预测数据拆分成多个数据块；所述数据发送单元，用于将所述多个数据块分别发送至相应的所述消息队列容器，以使得各相应的所述消息队列容器所连接的n个所述任务执行容器分别根据预先建立的预测模型，以对相应的所述数据块进行预测，从而得到相应的预测结果，其中，每个所述数据块在相应的所述消息队列容器中的排序均相同。9.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的推理服务方法。10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至7中任一项所述的推理服务方法。

技术总结
本发明公开了推理服务方法、系统、存储介质和电子设备，可以通过主程序单元获得用户输入的原始待预测数据；主程序单元将原始待预测数据拆分成多个数据块；主程序单元将多个数据块分别发送至相应的消息队列容器，以使得各相应的消息队列容器所连接的N个任务执行容器根据预先建立的预测模型对所述消息队列容器中的数据块进行预测，从而得到相应的预测结果，其中，一个所述数据块对应一个所述消息队列容器，每个所述数据块在相应的所述消息队列容器中的排序均相同。由此可以看出，本发明在面对大量推理需求时，可以并发多个任务执行容器，且每个任务执行容器只需针对一个数据块进行预测，效率较高，响应较快、可以及时返回预测结果。果。果。


技术研发人员：袁锐
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：2021.12.27
技术公布日：2022/4/5