曲目的评分方法、装置、电子设备和存储介质与流程

摘要: 本公开涉及人工智能,尤其是涉及一种曲目的评分方法、装置、电子设备和存储介质。背景技术:1、在基于大语言模型的曲目推荐系统中,精排阶段通常需要针对同一用户计算多个...
曲目的评分方法、装置、电子设备和存储介质与流程

本公开涉及人工智能,尤其是涉及一种曲目的评分方法、装置、电子设备和存储介质。

背景技术:

1、在基于大语言模型的曲目推荐系统中,精排阶段通常需要针对同一用户计算多个候选曲目的匹配评分。在相关技术中,服务框架一般将用户的历史行为序列与候选曲目的元数据序列拼接为完整上下文,再逐条输入大语言模型进行推理计算。由于单个用户通常对应多个候选曲目,且用户历史行为序列在各个候选评分请求中内容一致,上述处理方式客观上形成了重复的序列前缀计算。

2、然而,在面向大体量用户的在线服务场景中,现有的推理服务框架在支撑上述推荐任务时存在明显的计算机系统层面缺陷。一方面,由于各候选请求独立进入模型推理管线,用户历史序列对应的中间表征被重复计算多次,造成图形处理器算力的冗余消耗和推理延迟的线性累积;另一方面,现有框架通常采用统一的物理内存池管理不同请求的中间缓存对象,缺乏长短生命周期的区分机制,长驻留的大体积前缀缓存与短周期的候选后缀缓存混管,导致高外部碎片率和频繁的内存整理停顿;再一方面,在多图形处理器部署环境下,请求通常按到达顺序随机分发,同一用户的多个候选请求易被调度至不同设备,导致本地缓存命中率下降,引发跨设备的数据重算与传输开销。上述系统缺陷共同导致推荐评分服务的端到端延迟显著增加,亟需优化。

技术实现思路

1、有鉴于此,本公开的目的在于提供一种曲目的评分方法、装置、电子设备和存储介质,以降低推荐评分服务的端到端延迟。

2、第一方面,本公开实施例提供了一种曲目的评分方法,方法包括:响应于针对同一用户的候选曲目评分指令,获取所述用户对应的第一令牌序列和多个候选曲目分别对应的第二令牌序列,其中,所述第一令牌序列用于指示所述用户的历史播放信息,所述第二令牌序列用于指示对应候选曲目的元数据;在目标处理单元的缓存中查找是否存在所述第一令牌序列对应的第一键值张量;若不存在,则生成所述第一令牌序列对应的第一键值张量,存储至所述目标处理单元的缓存中;针对每个所述第二令牌序列,生成对应的第二键值张量;针对每个候选曲目,基于缓存中的第一键值张量,对所述第一键值张量与对应候选曲目的第二键值张量进行注意力计算,获得对应候选曲目的评分结果。

3、第二方面,本公开实施例提供了一种曲目的评分装置,装置包括:令牌获取模块,用于响应于针对同一用户的候选曲目评分指令,获取所述用户对应的第一令牌序列和多个候选曲目分别对应的第二令牌序列,其中,所述第一令牌序列用于指示所述用户的历史播放信息,所述第二令牌序列用于指示对应候选曲目的元数据;缓存查找模块,用于在目标处理单元的缓存中查找是否存在所述第一令牌序列对应的第一键值张量; 第一生成模块,用于若不存在,则生成所述第一令牌序列对应的第一键值张量,存储至所述目标处理单元的缓存中;第二生成模块,用于针对每个所述第二令牌序列,生成对应的第二键值张量;评分计算模块,用于针对每个候选曲目,基于缓存中的第一键值张量,对所述第一键值张量与对应候选曲目的第二键值张量进行注意力计算,获得对应候选曲目的评分结果

4、第三方面,本公开实施例提供了一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,处理器执行机器可执行指令以实现上述曲目的评分方法。

5、第四方面,本公开实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现上述曲目的评分方法。

6、本公开实施例带来了以下有益效果:

7、上述曲目的评分方法、装置、电子设备和存储介质,通过以用户的第一令牌序列为键在目标处理单元缓存空间中查找对应的第一键值张量,仅当缓存不存在第一键值张量时生成一次,并在后续针对多个第二令牌序列的处理中复用该第一键值张量,避免同一用户历史序列的键值张量被重复计算;同时,由于同一用户的全部候选曲目在同一目标处理单元上处理,充分利用了该gpu本地的缓存数据,减少了跨设备重算与数据传输;并且,第二键值张量的生成及注意力计算均直接基于已缓存的第一键值张量,整体计算开销显著降低,从而降低推荐评分服务的端到端延迟。

8、本公开的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开而了解。本公开的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

9、为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

1.一种曲目的评分方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,在响应于针对同一用户的候选曲目评分指令,获取所述用户对应的第一令牌序列和多个候选曲目分别对应的第二令牌序列的步骤之前,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,在目标处理单元的缓存中查找是否存在所述第一令牌序列对应的第一键值张量的步骤,包括:

6.根据权利要求1所述的方法,其特征在于,若不存在,则生成所述第一令牌序列对应的第一键值张量的步骤,包括:

7.根据权利要求1所述的方法,其特征在于,针对每个所述第二令牌序列,生成对应的第二键值张量的步骤,包括:

8.一种曲目的评分装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现权利要求1-7任一项所述的曲目的评分方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,所述计算机可执行指令促使所述处理器实现权利要求1-7任一项所述的曲目的评分方法。