推理服务平台的运行方法、装置、设备及存储介质与流程

技术特征：
1.一种推理服务平台的运行方法，包括：确定出针对推理服务平台的待分配的推理任务，所述推理服务平台包括至少两个推理服务模组，各个所述推理服务模组的版本不同、且用于执行相同类型的推理服务；确定出每个所述推理服务模组的流量权重，所述推理服务模组的流量权重用于指示该推理服务模组需要被分配的推理任务数量在推理任务总量中的占比；基于各个所述推理服务模组的流量权重，将所述待分配的推理任务中对应数量的推理任务分配给每个所述推理服务模组；利用推理服务模组执行所述推理任务。2.根据权利要求1所述的方法，其中，所述确定出针对推理服务平台的待分配的推理任务，包括：在所述推理服务平台的任务队列中的任务数量达到预设数量时，将所述任务队列中的推理任务确定为待分配的推理任务；或者，每经过一个预设时间周期，将所述推理服务平台的任务队列在所述预设时间周期存储的推理任务确定为待分配的推理任务。3.根据权利要求1所述的方法，其中，所述确定出每个所述推理服务模组的流量权重，包括：确定所述推理服务平台对应的服务场景；根据所述服务场景的类型，确定出每个所述推理服务模组的流量权重。4.根据权利要求1所述的方法，在所述确定出每个所述推理服务模组的流量权重之前，还包括：响应于针对每个所述推理服务模组的权重配置操作，配置每个所述推理服务模组的流量权重；将每个所述推理服务模组的标识信息和对应的流量权重关联记录。5.根据权利要求1至4中任一项所述的方法，其中，所述推理服务模组包括多个推理服务模块，所述多个推理服务模块中不同的推理服务模块分别用于执行所述推理服务中不同的子任务；所述利用推理服务模组执行所述推理任务，包括：针对所述多个推理服务模块中的每个推理服务模块：基于该推理服务模块接收所述推理服务中对应的子任务的待处理数据，其中，所述待处理数据是与该推理服务模块相邻的前一个推理服务模块所生成的处理结果、或者所述推理服务中第一个子任务的原始数据；基于该推理服务模块计算所述待处理数据对应的处理结果，并将该处理结果发送给与该推理服务模块相邻的下一个推理服务模块。6.根据权利要求5所述的方法，其中，所述将该处理结果发送给与该推理服务模块相邻的下一个推理服务模块，包括：从该推理服务模块中确定出与该推理服务模块相邻的下一个推理服务模的服务地址，其中，所述多个推理服务模块中的每个推理服务模块的服务地址已预先被存储到其他的推理服务模块中；将该处理结果通过所述服务地址发送给所述下一个推理服务模块。
7.根据权利要求6所述的方法，每个所述推理服务模块具有第一标识，所述第一标识用于指示对应所述推理服务模块的编排顺序；每个所述推理服务模块的服务地址是基于所述推理服务模块对应的第一标识生成的。8.一种推理服务平台的运行装置，包括：任务确定模块，用于确定出针对推理服务平台的待分配的推理任务，所述推理服务平台包括至少两个推理服务模组，各个所述推理服务模组的版本不同、且用于执行相同类型的推理服务；权重确定模块，用于确定出每个所述推理服务模组的流量权重，所述推理服务模组的流量权重用于指示该推理服务模组需要被分配的推理任务数量在推理任务总量中的占比；任务分配模块，用于基于各个所述推理服务模组的流量权重，将所述待分配的推理任务中对应数量的推理任务分配给每个所述推理服务模组；任务执行模块，用于利用推理服务模组执行所述推理任务。9.根据权利要求8所述的装置，其中，所述任务确定模块在用于确定出针对推理服务平台的待分配的推理任务时，还用于：在所述推理服务平台的任务队列中的任务数量达到预设数量时，将所述任务队列中的推理任务确定为待分配的推理任务；或者，每经过一个预设时间周期，将所述推理服务平台的任务队列在所述预设时间周期存储的推理任务确定为待分配的推理任务。10.根据权利要求8所述的装置，其中，所述权重确定模块在用于确定出每个所述推理服务模组的流量权重时，还用于：确定所述推理服务平台对应的服务场景；根据所述服务场景的类型，确定出每个所述推理服务模组的流量权重。11.根据权利要求8所述的装置，还包括权重配置模块，所述权重配置模块用于：响应于针对每个所述推理服务模组的权重配置操作，配置每个所述推理服务模组的流量权重；将每个所述推理服务模组的标识信息和对应的流量权重关联记录。12.根据权利要求8至11中任一项所述的装置，其中，所述推理服务模组包括多个推理服务模块，所述多个推理服务模块中不同的推理服务模块分别用于执行所述推理服务中不同的子任务；所述任务执行模块在用于利用推理服务模组执行所述推理任务时，还用于：针对所述多个推理服务模块中的每个推理服务模块，基于该推理服务模块接收所述推理服务中对应的子任务的待处理数据，其中，所述待处理数据是与该推理服务模块相邻的前一个推理服务模块所生成的处理结果、或者所述推理服务中第一个子任务的原始数据；基于该推理服务模块计算所述待处理数据对应的处理结果，并将该处理结果发送给与该推理服务模块相邻的下一个推理服务模块。13.根据权利要求12所述的装置，其中，所述任务执行模块在用于将该处理结果发送给与该推理服务模块相邻的下一个推理服务模块时，还用于：从该推理服务模块中确定出与该推理服务模块相邻的下一个推理服务模的服务地址，其中，所述多个推理服务模块中的每个推理服务模块的服务地址已预先被储存到其他的推
理服务模块中；将该处理结果通过所述服务地址发送给所述下一个推理服务模块。14.根据权利要求13所述的装置，每个所述推理服务模块具有第一标识，所述第一标识用于指示对应所述推理服务模块的编排顺序；每个所述推理服务模块的服务地址是基于所述推理服务模块对应的第一标识生成的。15.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1
‑
7中任一项所述的方法。16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1
‑
7中任一项所述的方法。17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1
‑
7中任一项所述的方法。

技术总结
本公开提供了一种推理服务平台的运行方法、装置、设备及存储介质，涉及人工智能领域，尤其涉及人工智能模型的推理服务领域。具体实现方案为：确定出针对推理服务平台的待分配的推理任务；确定出每个推理服务模组的流量权重，推理服务模组的流量权重用于指示该推理服务模组需要被分配的推理任务数量在推理任务总量中的占比；基于各个推理服务模组的流量权重，将待分配的推理任务中对应数量的推理任务分配给每个推理服务模组；利用推理服务模组执行推理任务。上述方法基于流量权重即可自动为每个推理服务模组分配对应数量的推理任务，大大地减轻了用户为推理服务模组因分配任务而增加的工作量，显著地提升了推理服务的工作效率。率。率。


技术研发人员：袁正雄 钱正宇 施恩 胡鸣人 李金麒 褚振方 李润青 黄悦
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2021.08.04
技术公布日：2021/11/4