一种基于分组纠缠量子编码的多模态对齐融合方法及系统

摘要: 本发明涉及量子计算与多模态机器学习的交叉,尤其涉及一种基于分组纠缠量子编码的多模态对齐融合方法及系统。背景技术:1、多模态学习旨在跨模态对齐与融合视觉、语言、音...
一种基于分组纠缠量子编码的多模态对齐融合方法及系统

本发明涉及量子计算与多模态机器学习的交叉,尤其涉及一种基于分组纠缠量子编码的多模态对齐融合方法及系统。

背景技术:

1、多模态学习旨在跨模态对齐与融合视觉、语言、音频等多源信息,是现代人工智能的核心范式之一。在视觉-语言跨模态检索场景中,需将图像与文本映射至统一语义空间以计算跨模态相似度;在医学影像多标签分类、多模态情感分析等场景中,需将影像与文本报告等多源特征融合以输出诊断或分析结果。当前主流方法可大致分为三类:基于经典余弦相似度的对比预训练方法(如clip)、基于张量外积的经典融合方法(如tfn、lmf)以及基于量子神经网络的量子多模态方法。

2、然而,现有的量子多模态方法中,直接采用余弦相似度或全局保真度作为相似性核,并没有充分利用量子态的复振幅相位结构,由此可能会导致相位信息丢失,或者因全局保真度梯度随编码深度指数衰减而引发贫瘠高原现象,从而影响对齐精度与训练稳定性。此外,分组纠缠量子编码中纠缠度作为可调旋钮的设计潜力未被挖掘,限制了多模态任务的自适应优化能力。

技术实现思路

1、本发明的主要目的在于提供一种基于分组纠缠量子编码的多模态对齐融合方法。

2、本发明的另一个目的在于提出基于分组纠缠量子编码的多模态对齐融合装置。

3、本发明的第三个目的在于提出一种电子设备。

4、本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

5、为达上述目的,本发明第一方面实施例提出了基于分组纠缠量子编码的多模态对齐融合方法,包括:

6、s1,获取成对的多模态数据,由已预训练并冻结参数的特征提取模块分别提取第一模态特征向量与第二模态特征向量,通过可训练的对齐器将第一模态特征向量与第二模态特征向量各自映射为d个量子编码角度;

7、s2,将d个量子比特划分为g个分组,每个分组包含g个量子比特,对每个分组依次应用层分组酉操作,按数据重上传旋转、环状受控相位纠缠、可训练旋转的顺序执行,得到g个分组量子态;

8、s3,对每对第一模态分组量子态与第二模态分组量子态,计算每分组保真度,并将多个分组保真度以均值聚合为局部相似度;

9、s4,以局部相似度作为相似性核,构造对称双向量子对比infonce损失对对齐器与可训练旋转的参数进行训练,得到训练完成的多模态对齐模型;

10、s5,将g个分组的第一模态量子态与第二模态量子态输入至合取证据融合电路,对每个分组应用p层合取证据门与逐层可训练旋转操作,得到g维融合特征向量。

11、可选的,通过可训练的对齐器将第一模态特征向量与第二模态特征向量各自映射为d个量子编码角度,包括:

12、通过所述对齐器中的角度编码子单元,将所述第一模态特征向量与所述第二模态特征向量分别输入至可训练权重矩阵与可训练偏置向量构成的线性变换层,经sigmoid激活函数压缩后乘以圆周率,得到位于区间内的d个量子编码角度,其中d为量子比特总数。

13、可选的,将d个量子比特划分为g个分组,每个分组包含g个量子比特,包括:

14、将d个量子比特划分为g个分组,每个分组包含g个量子比特,满足d=g·g,g与g均为正整数;

15、通过调节分组大小g控制每组内的纠缠程度,其中g=1对应无纠缠的直积态,g=2对应两两纠缠,g≥3对应多体纠缠态。

16、可选的,对每个分组依次应用层分组酉操作,按数据重上传旋转、环状受控相位纠缠、可训练旋转的顺序执行,得到g个分组量子态,包括:

17、对每个分组k,依次应用层分组酉操作,每层所述分组酉操作按数据重上传旋转、环状受控相位纠缠、可训练旋转的顺序执行;

18、所述数据重上传旋转根据该分组的g个量子编码角度对该分组内每个量子比特施加旋转门;

19、所述环状受控相位纠缠,在该分组内对相邻量子比特及首尾量子比特依次施加cz门以形成环状纠缠结构;

20、所述可训练旋转对该分组内每个量子比特施加参数可训练的旋转门。

21、可选的,对每对第一模态分组量子态与第二模态分组量子态,计算每分组保真度,并将多个分组保真度以均值聚合为局部相似度,包括:

22、每分组保真度计算公式为:

23、

24、其中,为第一模态分组量子态,为第二模态分组量子态;

25、局部相似度计算公式为:

26、

27、其中,为第k分组的保真度,g为分组总数;

28、所述局部相似度的梯度方差随分组数g的增长维持o(1/g)量级,避免采用全局保真度作为相似性核时因梯度方差随编码深度指数衰减而导致的贫瘠高原现象。

29、可选的,构造对称双向量子对比infonce损失对对齐器与可训练旋转的参数进行训练,包括:

30、对于一批b个图像-文本对,对每个图像,将其与批内所有b个文本配对计算局部相似度,构建图像到文本方向的softmax分类损失;对称地,对每个文本,将其与批内所有b个图像配对计算局部相似度,构建文本到图像方向的softmax分类损失;两个方向的损失求平均得到所述对称双向量子对比infonce损失;

31、对称双向量子对比infonce损失计算公式为:

32、

33、其中,b为批大小,e为自然对数底数,表示图像与文本的局部相似度,表示文本与图像的局部相似度,为温度参数且。

34、可选的,合取证据融合电路,包括:

35、对第k分组,按公式执行融合操作,其中表示以第一模态分组量子态为控制、第二模态分组量子态为目标的合取受控旋转门,为该层合取门的角度参数,为施加于目标量子比特的逐层可训练旋转门,为该层的逐层旋转参数,为合取证据融合电路的层索引且,表示按层从到的连乘;

36、通过对所述目标量子比特寄存器测量z期望值,得到g维融合特征向量;

37、将所述g维融合特征向量输入至经典多层感知机融合头,得到分类logits;所述经典多层感知机融合头的隐藏层维度为256,输出维度等于分类任务的类别数。

38、为达上述目的,本发明第二方面实施例提出了一种基于分组纠缠量子编码的多模态对齐融合装置,包括:

39、映射单元,用于获取成对的多模态数据,由已预训练并冻结参数的特征提取模块分别提取第一模态特征向量与第二模态特征向量,通过可训练的对齐器将第一模态特征向量与第二模态特征向量各自映射为d个量子编码角度;

40、对齐单元,用于将d个量子比特划分为g个分组,每个分组包含g个量子比特,对每个分组依次应用层分组酉操作,按数据重上传旋转、环状受控相位纠缠、可训练旋转的顺序执行,得到g个分组量子态;

41、聚合单元,用于对每对第一模态分组量子态与第二模态分组量子态,计算每分组保真度,并将多个分组保真度以均值聚合为局部相似度;

42、训练单元,用于以局部相似度作为相似性核,构造对称双向量子对比infonce损失对对齐器与可训练旋转的参数进行训练,得到训练完成的多模态对齐模型;

43、融合单元,用于将g个分组的第一模态量子态与第二模态量子态输入至合取证据融合电路,对每个分组应用p层合取证据门与逐层可训练旋转操作,得到g维融合特征向量。

44、关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

45、为达上述目的,本技术第三方面实施例提出了一种电子设备,包括:处理器和存储器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如第一方面实施例所述的基于分组纠缠量子编码的多模态对齐融合方法。

46、为达上述目的,本技术第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面实施例所述的基于分组纠缠量子编码的多模态对齐融合方法。

47、本发明实施例的具有以下有益效果:

48、本发明通过量子保真度替换余弦相似度作为相似性核,搭配相位门可引入复振幅,统计表现更优;对分组保真度取均值计算局部相似度,将梯度方差控制在低量级,避免全局保真度乘积带来的衰减与优化停滞;分组尺寸可自由调节纠缠程度,适配不同任务;对齐、融合模块共享量子编码结构,参数量不足1.35m,可同时支撑检索、分类任务;各组保真度独立测量,在一千次采样的硬件限制下检索指标仅小幅下降,适配现有超导量子设备的相干时长条件。