任务推理方法以及内容推荐方法与流程

本说明书实施例涉及人工智能，特别涉及任务推理方法以及内容推荐方法。

背景技术：

1、随着大规模神经网络模型的发展，混合专家模型被广泛应用于自然语言处理、内容推荐、智能问答等任务中。混合专家模型通常包括多个专家网络和路由器，路由器根据输入数据选择部分专家网络参与计算。为降低推理过程中的计算、存储及通信开销，相关技术通常采用减少参与计算的专家数量、压缩专家集合或对专家进行重路由等方式进行推理加速。

2、然而，现有的混合专家模型加速方式通常通过减少或替换部分专家网络降低推理开销，容易造成被减少或替换的专家网络对应的输出贡献丢失或产生输出偏差，进而影响模型的推理结果。此外，不同推理阶段所面临的资源瓶颈存在差异，现有加速方式难以兼顾不同推理阶段的资源约束以及推理结果的准确性。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种任务推理方法。本说明书一个或者多个实施例同时涉及一种内容推荐方法，一种任务推理装置，一种内容推荐装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种任务推理方法，包括：

3、在目标任务数据的推理过程中，获取目标任务数据的路由信息，其中，路由信息用于指示混合专家模型中参与推理过程的多个候选网络；

4、基于路由信息，将多个候选网络划分为保留网络和待映射网络；

5、根据待映射网络针对保留网络的映射损失，从保留网络中确定待映射网络对应的目标保留网络，并确定待映射网络映射至目标保留网络的映射参数；

6、基于映射参数，调用保留网络，对目标任务数据继续进行推理。

7、根据本说明书实施例的第二方面，提供了一种内容推荐方法，包括：

8、在待推荐内容的推荐过程中，获取待推荐内容的路由信息，其中，路由信息用于指示混合专家模型中参与推荐过程的多个候选网络；

9、基于路由信息，将多个候选网络划分为保留网络和待映射网络；

10、根据待映射网络针对保留网络的映射损失，从保留网络中确定待映射网络对应的目标保留网络，并确定待映射网络映射至目标保留网络的映射参数；

11、基于映射参数，调用保留网络，对待推荐内容继续进行推荐。

12、根据本说明书实施例的第三方面，提供了一种任务推理装置，包括：

13、第一获取模块，被配置为在目标任务数据的推理过程中，获取目标任务数据的路由信息，其中，路由信息用于指示混合专家模型中参与推理过程的多个候选网络；

14、第一划分模块，被配置为基于路由信息，将多个候选网络划分为保留网络和待映射网络；

15、第一确定模块，被配置为根据待映射网络针对保留网络的映射损失，从保留网络中确定待映射网络对应的目标保留网络，并确定待映射网络映射至目标保留网络的映射参数；

16、推理模块，被配置为基于映射参数，调用保留网络，对目标任务数据继续进行推理。

17、根据本说明书实施例的第四方面，提供了一种内容推荐装置，包括：

18、第二获取模块，被配置为在待推荐内容的推荐过程中，获取待推荐内容的路由信息，其中，路由信息用于指示混合专家模型中参与推荐过程的多个候选网络；

19、第二划分模块，被配置为基于路由信息，将多个候选网络划分为保留网络和待映射网络；

20、第二确定模块，被配置为根据待映射网络针对保留网络的映射损失，从保留网络中确定待映射网络对应的目标保留网络，并确定待映射网络映射至目标保留网络的映射参数；

21、推荐模块，被配置为基于映射参数，调用保留网络，对待推荐内容继续进行推荐。

22、根据本说明书实施例的第五方面，提供了一种计算设备，包括：

23、存储器和处理器；

24、所述存储器用于存储计算机程序/指令，所述处理器用于执行所述计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面所提供方法的步骤。

25、根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面所提供方法的步骤。

26、根据本说明书实施例的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面所提供方法的步骤。

27、本说明书一个实施例提供的任务推理方法，通过在目标任务数据的推理过程中获取路由信息，可以确定当前推理过程中参与处理的多个候选网络，为后续针对当前实际参与推理的候选网络进行选择和处理提供数据基础；通过基于路由信息将多个候选网络划分为保留网络和待映射网络，可以区分后续实际调用的网络和无需直接调用的网络，使后续推理无需对多个候选网络均执行相应计算，从而减少网络调用所产生的计算资源开销；通过根据待映射网络针对保留网络的映射损失，从保留网络中确定待映射网络对应的目标保留网络，可以利用映射损失表征不同保留网络承接待映射网络对应贡献时的近似程度，使所确定的目标保留网络与待映射网络具有较为适配的映射关系，并通过确定待映射网络映射至目标保留网络的映射参数，可以表征待映射网络与目标保留网络之间的映射关系，为利用目标保留网络近似承接待映射网络对应的输出贡献提供依据；通过基于映射参数调用保留网络继续对目标任务数据进行推理，可以在无需调用待映射网络的情况下，利用保留网络以及对应的映射参数对待映射网络的相关贡献进行近似体现，减少直接省略或替换待映射网络所造成的输出偏差。由此，可以在减少混合专家模型推理过程中网络调用及相应计算开销的同时，降低减少实际执行网络数量对推理结果造成的影响，从而兼顾混合专家模型的推理效率和推理结果的准确性。

1.一种任务推理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述路由信息，将多个所述候选网络划分为保留网络和待映射网络，包括：

3.根据权利要求2所述的方法，其特征在于，所述获取所述第一候选网络的统计指标，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述映射参数，调用所述保留网络，对所述目标任务数据继续进行推理，包括：

5.根据权利要求4所述的方法，其特征在于，所述调用所述目标保留网络，基于所述目标保留网络的路由权重和对应的所述映射参数，对所述目标任务数据继续进行推理，包括：

6.根据权利要求1所述的方法，其特征在于，所述混合专家模型包括多个原始网络；

7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于所述路由信息，将多个所述候选网络划分为保留网络和待映射网络之前，还包括：

8.根据权利要求7所述的方法，所述当前推理阶段包括预填充阶段，所述目标任务数据包括多个目标数据单元，所述预填充阶段对应的所述目标划分策略用于指示分别基于所述目标数据单元进行划分；

9.根据权利要求7所述的方法，所述当前推理阶段包括解码阶段，所述目标任务数据包括多个目标数据单元集合，所述解码阶段对应的所述目标划分策略用于指示分别基于所述目标数据单元集合进行划分；

10.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

11.一种内容推荐方法，其特征在于，包括：

12.一种计算设备，其特征在于，包括：

13.一种计算机可读存储介质，其特征在于，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至11任一项所述方法的步骤。

14.一种计算机程序产品，其特征在于，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至11任一项所述方法的步骤。