一种视频模型推理方法及装置与流程

摘要: 本发明涉及计算机,尤其涉及一种视频模型推理方法及装置。背景技术:1、自然语言模型的注意力计算随着序列长度的延长,其计算量呈平方速度增长。在面对视频数据时,由于每...
一种视频模型推理方法及装置与流程

本发明涉及计算机,尤其涉及一种视频模型推理方法及装置。

背景技术:

1、自然语言模型的注意力计算随着序列长度的延长,其计算量呈平方速度增长。在面对视频数据时,由于每秒视频有多帧,每帧画面需要编码为多个词元序列,因此输入输出序列长度较长,算力需求大,成本高,训练、推理效率低。

2、因此,为降低计算量,现有技术采用稀疏注意力方法,对所有词元统一处理。然而,视频模型的输入词元来源多样,不同类型的词元在注意力计算中的需求存在差异,导致计算效率与生成质量难以兼顾。

技术实现思路

1、本发明提供了一种视频模型推理方法及装置,在降低计算量的同时,兼顾计算效率与生成质量。

2、第一方面,本发明实施例提供了一种视频模型推理方法,包括:

3、获取输入序列,所述输入序列至少包括视觉词元;

4、根据所述输入序列中各词元所满足的注意力条件,为所述词元分配对应的注意力策略,所述注意力策略至少包括稠密处理策略和稀疏处理策略;

5、根据所述注意力策略,对相应的所述词元进行注意力计算。

6、第二方面,本发明实施例提供了一种视频模型推理装置,包括:

7、输入序列获取模块,用于获取输入序列,所述输入序列至少包括视觉词元;

8、策略分配模块,用于根据所述输入序列中各词元所满足的注意力条件,为所述词元分配对应的注意力策略,所述注意力策略至少包括稠密处理策略和稀疏处理策略;

9、注意力计算模块,用于根据所述注意力策略,对相应的所述词元进行注意力计算。

10、第三方面,本发明实施例提供了一种电子设备,包括:

11、至少一个处理器;以及

12、与至少一个处理器通信连接的存储器;其中,

13、存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行上述第一方面实施例提供的一种视频模型推理方法。

14、第四方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现上述第一方面实施例提供的一种视频模型推理方法。

15、第五方面,本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现上述第一方面实施例提供的一种视频模型推理方法。

16、本发明实施例的技术方案,包括获取输入序列,所述输入序列至少包括视觉词元;根据所述输入序列中各词元所满足的注意力条件,为所述词元分配对应的注意力策略,所述注意力策略至少包括稠密处理策略和稀疏处理策略;根据所述注意力策略,对相应的所述词元进行注意力计算,得到视频模型推理结果。上述技术特征,根据词元的注意力条件分配对应的处理策略,并至少通过稠密和稀疏两种处理策略执行注意力计算,使不同词元能够获得匹配其需求的处理方式,提高了注意力计算的适应性和灵活性,在降低计算量的同时保持了模型性能,兼顾计算效率与生成质量。

17、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种视频模型推理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述输入序列包括文本词元、音频词元和视觉词元中的至少一种;相应的,所述根据所述输入序列中各词元所满足的注意力条件,为所述词元分配对应的注意力策略,包括:

3.根据权利要求2所述的方法,其特征在于,所述视觉词元包括目标视频词元、参考视频词元、帧条件词元和参考图像词元中的至少一种;所述稀疏处理策略包括联合稀疏拓扑、视觉稀疏拓扑和独立稀疏拓扑;

4.根据权利要求1所述的方法,其特征在于,所述根据所述注意力策略,对相应的所述词元进行注意力计算,得到视频模型推理结果,包括:

5.根据权利要求4所述的方法,其特征在于,所述对分配至所述稀疏处理策略的视觉词元按照时间和空间维度进行分组,生成至少一个词元立方体结构,包括:

6.根据权利要求5所述的方法,其特征在于,还包括:

7.根据权利要求4所述的方法,其特征在于,所述对每个所述词元立方体结构进行评分,并根据评分结果确定目标词元立方体结构,包括:

8.根据权利要求4所述的方法,其特征在于,所述对每个所述词元立方体结构进行评分,并根据评分结果确定目标词元立方体结构,包括:

9.根据权利要求4所述的方法,其特征在于,所述对分配至所述稀疏处理策略的视觉词元按照时间和空间维度进行分组,生成至少一个词元立方体结构,包括:

10.一种视频模型推理装置,其特征在于,包括: