一种基于量子线路的量子注意力模型参数确定方法及装置与流程

本发明涉及量子计算机，尤其涉及一种基于量子线路的量子注意力模型参数确定方法及装置。

背景技术：

1、transformer模型是一种基于自注意力机制(self-attention mechanism)的模型，它能够并行处理序列中的所有位置，而不像循环神经网络(rnn)那样依赖于顺序处理。然而，自注意力机制本身并不包含位置信息，因此需要额外的位置编码来引入位置信息。位置编码确保模型能够捕捉到序列中的顺序信息，这对于理解语言的语法和语义非常重要。通过引入位置信息可以显著提高模型的表现，特别是在处理长序列和复杂语言结构时，而传统的正弦和余弦位置编码在高维空间中可能会导致位置信息的衰减。

2、但现有技术中利用旋转位置编码对transformer模型中的参数矩阵q以参数矩阵k进行旋转位置编码时候，需要分别对维度为[序列长度s，特征维度d]的参数矩阵q和参数矩阵k与对应的旋转位置矩阵进行内积计算，其计算复杂度为s*d2，随着特征维度提升，矩阵之间的内积计算复杂度大大提升，导致计算资源消耗较大；同时参数矩阵q和参数矩阵k与对应的旋转位置矩阵进行内积计算时，需要对各个参数矩阵进行存储以及对内积计算过程进行存储空间占用，导致占用计算机存储空间较多。

技术实现思路

1、本发明提供了一种基于量子线路的量子注意力模型参数确定方法及装置，用以解决现有技术中量子注意力模型中的参数矩阵随着特征维度提升，矩阵之间的内积计算复杂度大大提升，导致计算资源消耗较大；同时需要对各个参数矩阵进行存储以及对内积计算结果进行存储导致占用计算机存储空间较多问题。

2、本说明书实施例提供一种基于量子线路的量子注意力模型参数确定方法，包括：

3、获取量子注意力模型中的参数矩阵；其中，所述参数矩阵具有位置索引和各位置索引对应的多维向量；

4、构建所述多维向量对应的旋转位置矩阵；将目标位置索引对应的旋转位置矩阵编码至第一量子比特形成第一量子态，以及利用振幅编码将所述目标位置索引对应的多维向量编码到第二量子比特形成第二量子态；其中，第一量子比特和第二量子比特的数量等于多维向量的特征维度以2为底的对数；

5、在第一量子比特和第二量子比特上作用实现第一量子态和第二量子态纠缠的量子逻辑门并测量得到目标多维向量作为量子注意力模型更新的参数矩阵。

6、可选的，所述在第一量子比特和第二量子比特上作用实现第一量子态和第二量子态纠缠的量子逻辑门并测量得到目标多维向量作为量子注意力模型更新的参数矩阵，包括：

7、基于量子算法确定实现第一量子态和第二量子态纠缠的量子逻辑门；其中，所述量子算法包括交换测试、奇异值估计或线性方程求解算法中的至少一种；

8、在第一量子比特和第二量子比特上作用所述量子逻辑门并测量得到目标多维向量；

9、将所述参数矩阵中目标位置索引对应的多维向量更新为所述目标多维向量；

10、返回将目标位置索引对应的旋转位置矩阵编码至第一量子比特形成第一量子态步骤直至所述参数矩阵中所有位置索引对应的多维向量更新完全，得到量子注意力模型更新的参数矩阵。

11、可选的，所述参数矩阵包括查询向量矩阵、关键向量矩阵；

12、所述获取量子注意力模型中的参数矩阵，包括：

13、获取待训练词向量数据；

14、对所述待训练词向量数据进行线性变换得到查询向量矩阵及关键向量矩阵。

15、可选的，所述构建所述多维向量对应的旋转位置矩阵，包括：

16、根据所述参数矩阵的序列长度构建序列长度中每个序列下的多维向量对应的具有位置索引的旋转位置矩阵；其中，所述旋转位置矩阵的个数与所述序列长度相等，各个位置索引与序列长度中的每个序列对应。

17、可选的，所述将目标位置索引对应的旋转位置矩阵编码至第一量子比特形成第一量子态，包括：

18、在所述第一量子比特上作用单量子比特旋转门以使目标位置索引对应的旋转位置矩阵在第一量子比特上进行量子态演化形成第一量子态。

19、可选的，所述第一量子比特和第二量子比特的数量计算公式如下：

20、

21、其中，n为量子线路中的量子比特数量，d为参数矩阵的特征维度，表示向上取整。

22、本说明书实施例还提供一种基于量子线路的量子注意力模型参数确定装置，包括：

23、参数矩阵获取模块，用于获取量子注意力模型中的参数矩阵；其中，所述参数矩阵具有位置索引和各位置索引对应的多维向量；

24、量子态形成模块，用于构建所述多维向量对应的旋转位置矩阵；将目标位置索引对应的旋转位置矩阵编码至第一量子比特形成第一量子态，以及利用振幅编码将所述目标位置索引对应的多维向量编码到第二量子比特形成第二量子态；其中，第一量子比特和第二量子比特的数量等于多维向量的特征维度以2为底的对数；

25、参数矩阵更新模块，用于在第一量子比特和第二量子比特上作用实现第一量子态和第二量子态纠缠的量子逻辑门并测量得到目标多维向量作为量子注意力模型更新的参数矩阵。

26、一种量子控制系统，利用如上述所述的基于量子线路的量子注意力模型参数确定方法进行量子计算任务的执行，或包括上述所述的基于量子线路的量子注意力模型参数确定装置。

27、一种量子计算机，包括如上述所述的量子控制系统。

28、一种可读存储介质，其上存储有计算机程序，所述计算机程序被一处理器执行时能实现上述所述的基于量子线路的量子注意力模型参数确定方法。

29、其有益效果在于：本申请通过构建参数矩阵中多维向量对应的旋转位置矩阵的方式，并结合将目标位置索引对应的旋转位置矩阵编码至第一量子比特形成第一量子态，以及利用振幅编码将所述目标位置索引对应的多维向量编码到第二量子比特形成第二量子态；在第一量子比特和第二量子比特上作用实现第一量子态和第二量子态纠缠的量子逻辑门并测量得到目标多维向量的方式替换传统的正弦和余弦位置编码在高维空间的方式，避免了传统的正弦和余弦位置编码在高维空间中可能会导致位置信息的衰减问题，同时，旋转位置编码的整体计算复杂度从s*d2级别变更为s*log2d级别，大大降低旋转位置编码的内积计算复杂度，从而减少计算资源消耗；同时降低了占用计算机存储空间。

1.一种基于量子线路的量子注意力模型参数确定方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述在第一量子比特和第二量子比特上作用实现第一量子态和第二量子态纠缠的量子逻辑门并测量得到目标多维向量作为量子注意力模型更新的参数矩阵，包括：

3.如权利要求1所述的方法，其特征在于，所述参数矩阵包括查询向量矩阵、关键向量矩阵；

4.如权利要求1所述的方法，其特征在于，所述构建所述多维向量对应的旋转位置矩阵，包括：

5.如权利要求1所述的方法，其特征在于，所述将目标位置索引对应的旋转位置矩阵编码至第一量子比特形成第一量子态，包括：

6.如权利要求1所述的方法，其特征在于，所述第一量子比特和第二量子比特的数量计算公式如下：

7.一种基于量子线路的量子注意力模型参数确定装置，其特征在于，包括：

8.一种量子控制系统，其特征在于，利用如权利要求1-6中任一项所述的基于量子线路的量子注意力模型参数确定方法进行量子计算任务的执行，或包括权利要求7所述的基于量子线路的量子注意力模型参数确定装置。

9.一种量子计算机，其特征在于，包括如权利要求8所述的量子控制系统。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被一处理器执行时能实现权利要求1至6中任一项所述的基于量子线路的量子注意力模型参数确定方法。