一种模型推理方法、装置、集群、产品及存储介质与流程

摘要: 本技术涉及人工智能(artificialintelligence,ai)领域,尤其涉及一种模型推理方法、装置、集群、产品及存储介质。背景技术:1、众所周知,在t...
一种模型推理方法、装置、集群、产品及存储介质与流程

本技术涉及人工智能(artificial intelligence,ai)领域,尤其涉及一种模型推理方法、装置、集群、产品及存储介质。

背景技术:

1、众所周知,在transformer模型的注意力(attention)矩阵计算过程中,需要分别生成不同头(head)的查询query矩阵(简称:q矩阵)、键key矩阵(简称:k矩阵)以及数值vlaue矩阵(简称:v矩阵);其中,k矩阵与v矩阵的头的数量相同(简称:kv头数量)。然后,基于q矩阵、k矩阵和v矩阵,计算注意力矩阵。

2、然而,在kv(即:k矩阵和v矩阵)头数量与q矩阵的头数量为一对多的情况下,一个kv矩阵a(即:k矩阵a和v矩阵a)对应的多个头q矩阵所在的多个计算节点均需要缓存该kv矩阵a,以使该多个计算节点缓存的数据的冗余度较高,因此,造成计算节点的缓存资源的浪费。

技术实现思路

1、本技术提供一种模型推理方法、装置、集群、产品及存储介质,能够节约计算节点的缓存资源。

2、为达到上述目的,本技术实施例采用如下技术方案:

3、第一方面,本技术实施例提供了一种模型推理方法,该模型基于多头注意力机制执行推理;该模型部署在多个计算节点上,该方法应用在多个计算节点中的第一计算节点,该方法包括:接收推理请求;响应于推理请求,运行该模型,以执行以下步骤:生成第一kv矩阵;其中,第一kv矩阵包括:推理请求对应的k矩阵的多个头k矩阵中的至少一个头k矩阵,和推理请求对应的v矩阵的多个头v矩阵中的至少一个头v矩阵;获取头q矩阵集;其中,头q矩阵集包括:第一头q矩阵和第二头q矩阵;第一头q矩阵是多个头q矩阵中的第一计算节点生成的头q矩阵,第二头q矩阵是多个头q矩阵中的第二计算节点生成的头q矩阵,多个头q矩阵是推理请求对应的q矩阵的多个头矩阵;不同计算节点用于生成多个头q矩阵中的不同头q矩阵,第二计算节点生成的kv矩阵为第一kv矩阵;基于第一k矩阵、第一v矩阵和头q矩阵集,得到推理请求对应的推理结果;第一k矩阵是至少一个头k矩阵中的部分矩阵,第一v矩阵是至少一个头v矩阵中的部分矩阵。

4、本技术实施例提供的模型推理方法应用在多个计算节点中的第一计算节点,第一计算节点响应于推理请求,通过运行模型执行包括:生成第一kv矩阵;其中,第一kv矩阵包括:推理请求对应的k矩阵的至少一个头k矩阵,和推理请求对应的v矩阵的至少一个头v矩阵。获取头q矩阵集;头q矩阵集包括:第一头q矩阵和第二头q矩阵;第一头q矩阵是多个头q矩阵中的第一计算节点生成的头q矩阵,第二头q矩阵是多个头q矩阵中的第二计算节点生成的头q矩阵;第二计算节点生成的kv矩阵为第一kv矩阵。然后,基于至少一个头k矩阵中的部分矩阵和至少一个头v矩阵中的部分矩阵,以及头q矩阵集得到推理请求对应的推理结果。可见,本技术中第一计算节点只需缓存第一kv矩阵中的部分k矩阵和部分v矩阵即可,并不需要在第一计算节点上缓存第一kv矩阵的全量数据;因此,节约了计算节点的缓存资源。

5、一种可能的实现方式中,基于预设切分策略,将第一kv矩阵切分为目标数量个k矩阵和目标数量个v矩阵;其中,预设切分策略包括:按照batch维度切分和/或按照序列长度维度切分;目标数量大于等于2;目标数量个k矩阵中包括第一k矩阵;目标数量个v矩阵中包括第一v矩阵;在预设切分策略包括按照batch维度切分的情况下,第一k矩阵和第一v矩阵属于同一批次;在预设切分策略包括按照序列长度维度切分的情况下,第一k矩阵和第一v矩阵属于序列的同一位置区间。

6、本技术实施例通过基于按照batch维度切分和/或按照序列长度维度切分的预设切分策略,将第一kv矩阵切分为目标数据个k矩阵和目标数量个v矩阵;由于该目标数量个k矩阵中包括第一k矩阵,且该目标数量个v矩阵中包括第一v矩阵。继而后续基于该第一k矩阵和第一v矩阵得到推理结果,所以第一计算节点上并不需要缓存第一kv矩阵,只需缓存第一k矩阵和第一v矩阵即可;从而减少了第一计算节点上缓存的第一kv矩阵的数据量,因此,节约了第一计算节点的缓存资源。

7、一种可能的实现方式中,目标数量是多个计算节点中生成的kv矩阵是第一kv矩阵的计算节点的数量。

8、本技术中的目标数据具体可以为:第一计算节点所在的多个计算节点中生成kv矩阵是第一kv矩阵的计算节点的数量;即:目标数据是生成kv矩阵相同的计算节点的数量;也就是说,目标数据是第二计算节点的数量与1(即:第一计算节点)的和。从而使不同计算节点基于目标数量个k矩阵和目标数量个v矩阵中的,不同k矩阵和不同v矩阵确定推理结果;解决了不同计算节点冗余存储kv矩阵的问题,因此,提高了计算节点中的缓存利用率。

9、一种可能的实现方式中,该方法还包括:获取第一计算节点的标识;基于第一计算节点的标识,从目标数量个k矩阵中确定第一k矩阵;基于第一计算节点的标识,从目标数量个v矩阵中确定第一v矩阵。

10、本技术实施例基于第一计算节点的标识,分别从目标数量个k矩阵和目标数量个v矩阵中确定第一k矩阵和第一v矩阵,从而确保了生成kv矩阵相同的多个计算节点,基于不同的k矩阵和v矩阵得到各自的推理结果的准确性,因此,提高了推理结果的准确性。

11、一种可能的实现方式中,在预设切分策略包括按照batch维度切分的情况下,头q矩阵集具体包括:第一批头q矩阵和第二批头q矩阵;其中,第一批头q矩阵是第一头q矩阵中的,且与第一k矩阵和第一v矩阵属于同批次的矩阵;第二批头q矩阵是第二头q矩阵中的,且与第一k矩阵和第一v矩阵属于同批次的矩阵。

12、一种可能的实现方式中,获取头q矩阵集,包括:生成第一头q矩阵;基于第一集合通信原语,对第一头q矩阵和第二计算节点生成的第二头q矩阵执行batch维度的矩阵交换,得到头q矩阵集。

13、本技术实施例通过对第一kv矩阵按照batch维度切分,确定第一k矩阵和第一v矩阵。然后,基于第一集合通信原语,对第一计算节点生成的第一头q矩阵和第二计算节点生成的第一头q矩阵执行batch维度的矩阵交换,以使第一计算节点中的头q矩阵集所包括的头q矩阵的批次与,第一k矩阵和第一v矩阵的批次一致;从而保证了基于第一k矩阵、第一v矩阵和头q矩阵集,确定的第一注意力矩阵的准确性。

14、一种可能的实现方式中,在预设切分策略包括按照序列长度维度切分的情况下,获取头q矩阵集,包括:生成第一头q矩阵;基于第二集合通信原语,对第一头q矩阵和第二计算节点生成的第二头q矩阵执行全量同步,得到头q矩阵集;同步后的第一计算节点和第二计算节点均包括头q矩阵集。

15、本技术实施例通过对第一kv矩阵按照序列长度维度切分,确定第一k矩阵和第一v矩阵。然后,基于第二集合通信原语,对第一头q矩阵和第二计算节点生成的第二头q矩阵执行全量同步,所以同步后的第一计算节点和第二计算节点中均包括第一头q矩阵和第二头q矩阵。从而保证了第一头q矩阵和第二头q矩阵均分别与至少一个头k矩阵不同序列区间的矩阵进行运算,从而保证了运算结果的准确性。

16、一种可能的实现方式中,上述基于第一k矩阵、第一v矩阵和头q矩阵集,得到推理请求对应的推理结果,包括:基于第一k矩阵、第一v矩阵和头q矩阵集,确定第一注意力矩阵;其中,在预设切分策略包括按照batch维度切分的情况下,第一注意力矩阵包括:第一子q注意力矩阵和第二子q注意力矩阵;第一子q注意力矩阵是第一批头q矩阵对应的注意力矩阵,第二子q注意力矩阵是第二批头q矩阵对应的注意力矩阵;第一批头q矩阵是第一头q矩阵中的,且与第一k矩阵和第一v矩阵属于同批次的矩阵;第二批头q矩阵是第二头q矩阵中的,且与第一k矩阵和第一v矩阵属于同批次的矩阵;在预设切分策略包括按照序列长度维度切分的情况下,第一注意力矩阵包括:第一子kv注意力矩阵和第二子kv注意力矩阵;第一子kv注意力矩阵是第一头q矩阵、第一k矩阵和第一v矩阵对应的注意力矩阵,第二子kv注意力矩阵是第二头q矩阵、第一k矩阵和第一v矩阵对应的注意力矩阵;基于第一注意力矩阵,得到目标注意力矩阵;其中,目标注意力矩阵是第一头q矩阵、第一kv矩阵对应的注意力矩阵;基于目标注意力矩阵,得到推理结果。

17、本技术实施例通过基于按照batch维度切分和/或按照序列长度维度切分的预设切分策略,将第一kv矩阵切分为目标数据个k矩阵和目标数量个v矩阵。然后,基于第一计算节点的标识,从目标数量个k矩阵和目标数量个v矩阵中,分别确定第一k矩阵和第一v矩阵。然后,基于第一k矩阵、第一v矩阵和头q矩阵集,确定第一注意力矩阵;其后,第一计算节点基于第一注意力矩阵,得到目标注意力矩阵,并基于目标注意力矩阵,得到推理结果。由于第一k矩阵是至少一个头k矩阵中的部分矩阵,且第一v矩阵是至少一个头v矩阵中的部分矩阵;继而并不需要在第一计算节点上缓存第一kv矩阵的全量数据;因此,节约了计算节点的缓存资源。

18、一种可能的实现方式中,在预设切分策略包括按照batch维度切分的情况下,基于第一注意力矩阵,得到目标注意力矩阵,包括:基于第一集合通信原语,对第一注意力矩阵与第二计算节点生成的第二注意力矩阵执行头维度的矩阵交换,得到目标注意力矩阵;其中,第二注意力矩阵包括:第三子q注意力矩阵和第四子q注意力矩阵;第三子q注意力矩阵是第三批头q矩阵对应的注意力矩阵,第三批头q矩阵是第一头q矩阵中除第一批头q矩阵以外的其他批次的矩阵;第四子q注意力矩阵是第四批头q矩阵对应的注意力矩阵,第四批头q矩阵是第二头q矩阵中除第二批头q矩阵以外的其他批次的矩阵;目标注意力矩阵包括:第一子q注意力矩阵和第三子q注意力矩阵。

19、本技术实施例基于第一集合通信原语,对第一计算节点生成的第一头q矩阵和第二计算节点生成的第一头q矩阵执行batch维度的矩阵交换。并在基于第一k矩阵、第一v矩阵和头q矩阵集,确定第一注意力矩阵后,基于第一集合通信原语,对第一注意力矩阵与第二计算节点生成的第二注意力矩阵执行头维度的矩阵交换,得到目标注意力矩阵。由于第二注意力矩阵包括:第三子q注意力矩阵和第四子q注意力矩阵。由于第三子q注意力矩阵是第三批头q矩阵对应的注意力矩阵,第三批头q矩阵是第一头q矩阵中除第一批头q矩阵以外的其他批次的矩阵。第四子q注意力矩阵是第四批头q矩阵对应的注意力矩阵,第四批头q矩阵是第二头q矩阵中除第二批头q矩阵以外的其他批次的矩阵。又由于目标注意力矩阵包括:第一子q注意力矩阵和第三子q注意力矩阵;可见,目标注意力矩阵包括第一头q矩阵对应的注意力矩阵;继而后续第一计算节点基于该目标注意力矩阵得到推理结果,从而提高了推理结果的准确性。

20、一种可能的实现方式中,在预设切分策略包括按照序列长度维度切分的情况下,基于第一注意力矩阵,得到目标注意力矩阵,包括:基于第三集合通信原语,对第一注意力矩阵与第二计算节点生成的第二注意力矩阵执行头维度的矩阵交换,得到中间注意力矩阵;其中,第二注意力矩阵包括:第三子kv注意力矩阵和第四子kv注意力矩阵;第三子kv注意力矩阵是第一头q矩阵与第二k矩阵和第二v矩阵对应的注意力矩阵,第四子kv注意力矩阵是第二头q矩阵与第二k矩阵和第二v矩阵对应的注意力矩阵;其中,第二k矩阵是至少一个头k矩阵中除第一k矩阵以外的矩阵,第二v矩阵是至少一个头v矩阵中除第一v矩阵以外的矩阵;中间注意力矩阵包括:第一子kv注意力矩阵和第三子kv注意力矩阵;将第一子kv注意力矩阵和第三子kv注意力矩阵中批次相同的注意力矩阵拼接,得到目标注意力矩阵。

21、本技术实施例将第一计算节点确定的第一注意力矩阵与第二计算节点生成的第二注意力矩阵,基于第三集合通信原语执行头维度的矩阵交换,以使第一计算节点得到第一头q矩阵与第一kv矩阵中的不同序列长度区间的矩阵对应的注意力矩阵(即:第一子kv注意力矩阵和第三子kv注意力矩阵),以及使第二计算节点得到第二头q矩阵与第一kv矩阵中的不同序列长度区间的矩阵对应的注意力矩阵(即:第二子kv注意力矩阵和第四子kv注意力矩阵)。然后,第一计算节点将第一子kv注意力矩阵和第三子kv注意力矩阵中批次相同的注意力矩阵拼接,得到目标注意力矩阵;继而后续第一节点基于该目标注意力矩阵得到推理结果,从而提高了推理结果的准确性。

22、一种可能的实现方式中,在获取头q矩阵集之前,该方法还包括:输出第一界面;第一界面包括切分选项和不切分选项;获取用户从第一界面选定的目标选项;上述获取头q矩阵集,包括:在目标选项为切分选项的情况下,获取头q矩阵集。

23、本技术实施例通过获取用户从第一界面选定的目标选项,确定是否执行本技术实施例提供的方法,从而提高了执行本技术实施例提供的模型推理方法的灵活性。

24、一种可能的实现方式中,切分选项包括:第一切分选项、第二切分选项和自适应切分选项中的至少一种;第一切分选项用于指示预设切分策略是按照batch维度切分;第二切分选项用于指示预设切分策略是按照序列长度维度切分;自适应切分选项用于指示:在第一kv矩阵的batch大小大于第一阈值,且第一kv矩阵的序列长度小于第二阈值的情况,预设切分策略包括:按照batch维度切分;在第一kv矩阵的batch大小小于第一阈值,且第一kv矩阵的序列长度大于第二阈值的情况,预设切分策略包括:按照序列长度维度切分;在第一kv矩阵的batch大小大于第一阈值,且第一kv矩阵的序列长度大于第二阈值的情况,预设切分策略包括:按照batch维度切分和按照序列长度维度切分。

25、本技术实施例中的第一界面中的切分选项包括:第一切分选项、第二切分选项和自适应切分选项中的至少一种。由于第一切分选项用于指示预设切分策略是按照batch维度切分;第二切分选项用于指示预设切分策略是按照序列长度维度切分。自适应切分选项用于指示:在第一kv矩阵的batch大小大于第一阈值,且第一kv矩阵的序列长度小于第二阈值的情况,预设切分策略包括:按照batch维度切分;在第一kv矩阵的batch大小小于第一阈值,且第一kv矩阵的序列长度大于第二阈值的情况,预设切分策略包括:按照序列长度维度切分;在第一kv矩阵的batch大小大于第一阈值,且第一kv矩阵的序列长度大于第二阈值的情况,预设切分策略包括:按照batch维度切分和按照序列长度维度切分。从而通过用户在第一界面中的选择,确定预设切分策略,从而提高了预设切分策略的灵活性。

26、一种可能的实现方式中,该方法还包括:删除至少一个头k矩阵中除第一k矩阵以外的矩阵;删除至少一个头v矩阵中除第一v矩阵以外的矩阵。

27、本技术实施例,在确定第一k矩阵后,该方法还包括:第一计算节点删除至少一个头k矩阵(即:目标数量个k矩阵)中除第一k矩阵以外的矩阵;相应的,第一计算节点删除至少一个头v矩阵(即:目标数量个v矩阵)中除第一v矩阵以外的矩阵。这样,减少了第一计算节点上缓存的第一kv矩阵的数据量,因此,节约了第一计算节点的缓存资源。

28、第二方面,本技术实施例提供了一种模型推理装置,该模型基于多头注意力机制执行推理;该模型部署在多个计算节点上,模型推理装置应用在多个计算节点中的第一计算节点,该模型推理装置包括:收发模块、运行模块、生成模块以及推理模块;收发模块用于接收推理请求;运行模块用于响应于推理请求,运行模型,以执行以下步骤:生成模块用于生成第一kv矩阵;其中,第一kv矩阵包括:推理请求对应的k矩阵的多个头k矩阵中的至少一个头k矩阵,和推理请求对应的v矩阵的多个头v矩阵中的至少一个头v矩阵;收发模块还用于获取头q矩阵集;其中,头q矩阵集包括:第一头q矩阵和第二头q矩阵;第一头q矩阵是多个头q矩阵中的第一计算节点生成的头q矩阵,第二头q矩阵是多个头q矩阵中的第二计算节点生成的头q矩阵,多个头q矩阵是推理请求对应的q矩阵的多个头矩阵;不同计算节点用于生成多个头q矩阵中的不同头q矩阵,第二计算节点生成的kv矩阵为第一kv矩阵;推理模块用于基于第一k矩阵、第一v矩阵和头q矩阵集,得到推理请求对应的推理结果;第一k矩阵是至少一个头k矩阵中的部分矩阵,第一v矩阵是至少一个头v矩阵中的部分矩阵。

29、一种实现方式中,模型推理装置还包括:切分模块;切分模块,用于基于预设切分策略,将第一kv矩阵切分为目标数量个k矩阵和目标数量个v矩阵;其中,预设切分策略包括:按照batch维度切分和/或按照序列长度维度切分;目标数量大于等于2;目标数量个k矩阵中包括第一k矩阵;目标数量个v矩阵中包括第一v矩阵;在预设切分策略包括按照batch维度切分的情况下,第一k矩阵和第一v矩阵属于同一批次;在预设切分策略包括按照序列长度维度切分的情况下,第一k矩阵和第一v矩阵属于序列的同一位置区间。

30、一种实现方式中,目标数量是多个计算节点中生成的kv矩阵是第一kv矩阵的计算节点的数量。

31、一种实现方式中,收发模块用于获取第一计算节点的标识;推理模块用于基于第一计算节点的标识,从目标数量个k矩阵中确定第一k矩阵;推理模块还用于基于第一计算节点的标识,从目标数量个v矩阵中确定第一v矩阵。

32、一种实现方式中,在预设切分策略包括按照batch维度切分的情况下,头q矩阵集具体包括:第一批头q矩阵和第二批头q矩阵;其中,第一批头q矩阵是第一头q矩阵中的,且与第一k矩阵和第一v矩阵属于同批次的矩阵;第二批头q矩阵是第二头q矩阵中的,且与第一k矩阵和第一v矩阵属于同批次的矩阵。

33、一种实现方式中,生成模块用于生成第一头q矩阵;推理模块用于基于第一集合通信原语,对第一头q矩阵和第二计算节点生成的第二头q矩阵执行batch维度的矩阵交换,得到头q矩阵集。

34、一种实现方式中,生成模块用于生成第一头q矩阵;推理模块用于基于第二集合通信原语,对第一头q矩阵和第二计算节点生成的第二头q矩阵执行全量同步,得到头q矩阵集;同步后的第一计算节点和第二计算节点均包括头q矩阵集。

35、一种实现方式中,推理模块用于基于第一k矩阵、第一v矩阵和头q矩阵集,确定第一注意力矩阵;其中,在预设切分策略包括按照batch维度切分的情况下,第一注意力矩阵包括:第一子q注意力矩阵和第二子q注意力矩阵;第一子q注意力矩阵是第一批头q矩阵对应的注意力矩阵,第二子q注意力矩阵是第二批头q矩阵对应的注意力矩阵;第一批头q矩阵是第一头q矩阵中的,且与第一k矩阵和第一v矩阵属于同批次的矩阵;第二批头q矩阵是第二头q矩阵中的,且与第一k矩阵和第一v矩阵属于同批次的矩阵;在预设切分策略包括按照序列长度维度切分的情况下,第一注意力矩阵包括:第一子kv注意力矩阵和第二子kv注意力矩阵;第一子kv注意力矩阵是第一头q矩阵、第一k矩阵和第一v矩阵对应的注意力矩阵,第二子kv注意力矩阵是第二头q矩阵、第一k矩阵和第一v矩阵对应的注意力矩阵;推理模块还用于基于第一注意力矩阵,得到目标注意力矩阵;其中,目标注意力矩阵是第一头q矩阵、第一kv矩阵对应的注意力矩阵;推理模块还用于基于目标注意力矩阵,得到推理结果。

36、一种实现方式中,推理模块用于基于第一集合通信原语,对第一注意力矩阵与第二计算节点生成的第二注意力矩阵执行头维度的矩阵交换,得到目标注意力矩阵;其中,第二注意力矩阵包括:第三子q注意力矩阵和第四子q注意力矩阵;第三子q注意力矩阵是第三批头q矩阵对应的注意力矩阵,第三批头q矩阵是第一头q矩阵中除第一批头q矩阵以外的其他批次的矩阵;第四子q注意力矩阵是第四批头q矩阵对应的注意力矩阵,第四批头q矩阵是第二头q矩阵中除第二批头q矩阵以外的其他批次的矩阵;目标注意力矩阵包括:第一子q注意力矩阵和第三子q注意力矩阵。

37、一种实现方式中,推理模块用于基于第三集合通信原语,对第一注意力矩阵与第二计算节点生成的第二注意力矩阵执行头维度的矩阵交换,得到中间注意力矩阵;其中,第二注意力矩阵包括:第三子kv注意力矩阵和第四子kv注意力矩阵;第三子kv注意力矩阵是第一头q矩阵与第二k矩阵和第二v矩阵对应的注意力矩阵,第四子kv注意力矩阵是第二头q矩阵与第二k矩阵和第二v矩阵对应的注意力矩阵;其中,第二k矩阵是至少一个头k矩阵中除第一k矩阵以外的矩阵,第二v矩阵是至少一个头v矩阵中除第一v矩阵以外的矩阵;中间注意力矩阵包括:第一子kv注意力矩阵和第三子kv注意力矩阵;推理模块用于将第一子kv注意力矩阵和第三子kv注意力矩阵中批次相同的注意力矩阵拼接,得到目标注意力矩阵。

38、一种实现方式中,收发模块用于输出第一界面;第一界面包括切分选项和不切分选项;收发模块用于获取用户从第一界面选定的目标选项;上述获取头q矩阵集,包括:收发模块用于在目标选项为切分选项的情况下,获取头q矩阵集。

39、一种实现方式中,切分选项包括:第一切分选项、第二切分选项和自适应切分选项中的至少一种;第一切分选项用于指示预设切分策略是按照batch维度切分;第二切分选项用于指示预设切分策略是按照序列长度维度切分;自适应切分选项用于指示:在第一kv矩阵的batch大小大于第一阈值,且第一kv矩阵的序列长度小于第二阈值的情况,预设切分策略包括:按照batch维度切分;在第一kv矩阵的batch大小小于第一阈值,且第一kv矩阵的序列长度大于第二阈值的情况,预设切分策略包括:按照序列长度维度切分;在第一kv矩阵的batch大小大于第一阈值,且第一kv矩阵的序列长度大于第二阈值的情况,预设切分策略包括:按照batch维度切分和按照序列长度维度切分。

40、一种实现方式中,推理模块用于删除至少一个头k矩阵中除第一k矩阵以外的矩阵;推理模块用于删除至少一个头v矩阵中除第一v矩阵以外的矩阵。

41、第三方面,本技术提供一种计算设备集群,包括至少一个计算设备,每个计算设备包括处理器和存储器;该至少一个计算设备的处理器用于执行至少一个计算设备的存储器中存储的指令,以使得计算设备集群执行第一方面及其可能的实现方式中任意之一所述的方法。

42、第四方面,本技术提供一种计算机可读存储介质,其上存储有计算机指令,当计算机指令在计算设备上运行时,使得计算设备执行上述第一方面及其可能的实现方式中任意之一所述的方法。

43、第五方面,本技术提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面及其可能的实现方式中任意之一所述的方法。

44、应当理解的是,本技术的第二方面至第五方面技术方案及对应的可能的实施方式所取得的有益效果可以参见上述对第一方面及其对应的可能的实施方式的技术效果,此处不再赘述。