面向不完整多模态学习的残差方向消歧与状态校准方法

本发明属于人工智能与多模态信息处理，尤其涉及一种面向不完整多模态学习的残差方向消歧与状态校准方法。

背景技术：

1、随着人工智能技术的快速发展，多模态学习在情感分析、虚假信息检测等领域取得了显著进展。然而在现实世界的多模态数据应用中，数据常常呈现不完整的状态。例如，社交媒体帖子在爬取过程中可能丢失图像，短视频可能缺少音频，用户记录可能因隐私控制、传输失败及平台特定的预处理而部分不可用。因此，不完整多模态学习旨在仅从可用的模态子集中进行可靠的预测，这已成为当前多模态信息处理领域的重要研究课题。

2、现有针对不完整多模态学习的技术方法主要可以分为以下三个技术路线：

3、1.模态重建与证据补全方法：该类方法将模态缺失视为一种证据衰减问题，试图通过生成模型或翻译网络来还原缺失的模态信息。其核心技术手段包括利用循环翻译学习鲁棒的联合表示、借助想象力网络或扩散模型恢复缺失模态特征，以及采用基于图补全的技术进行模态重建。这类方法的核心思想在于，不同的观测模态子集包含不同数量的标签相关信息，通过重建缺失模态或补全证据来提高预测性能。

4、2.鲁棒表示与正则化方法：该类方法不显式重建缺失模态，而是通过设计鲁棒的融合机制、跨模态正则化、知识蒸馏或模态增强来提升共享表示的质量。其技术路径涵盖利用掩码融合、跨模态正则化及蒸馏技术来增强模型的鲁棒性，以及采用相对优势感知的跨模态学习、代理正则化或模态增强策略来优化隐空间结构。这类方法的核心目标在于从内部改进可用证据的质量或丰富其表征数量，从而应对模态缺失带来的信息衰减。

5、3.检索增强与上下文提示方法：该类方法通过从记忆库或外部知识源中检索与当前样本相似的辅助样本，并将其作为演示、动态提示或关联推理的上下文引入模型，以增强预测性能。其技术手段涵盖基于上下文学习的多模态补全、检索增强的动态提示调优以及跨样本关联推理等。这类方法的核心在于将其他历史样本信息转化为演示、提示或辅助监督信号，从而弥补当前模态缺失带来的信息不足。

6、然而，上述现有技术在处理不完整多模态数据时仍存在明显的局限性。现有方法主要致力于增加或提高可用证据的数量与质量，却忽略了一个关键的失败模式：在模型利用现有模态得出一个粗略的初步预测后，无法确定潜在状态应该向减小预测误差的正向还是负向进行校正。这种现象被称为“残差方向模糊性”。

7、现有的基于相似度的检索增强方法虽然能够找到与当前状态相近的辅助样本，但单纯的相似度度量并不蕴含标签的顺序信息或几何方向。邻近的参考样本可能同时包含标签值较大和较小的实例，导致其无法为当前状态的修正提供带有明确符号指引的有向校准信号。因此，现有技术难以有效消解因模态缺失引发的残差方向模糊问题，限制了模型在高度缺失或低信息量场景下的预测准确性与鲁棒性。

8、综上所述，现有技术虽然能够在模态缺失条件下形成初步预测，但无法解决以下技术需求：在不依赖测试标签的前提下，如何从历史状态-标签对中提取带符号的隐式校正方向，使得校准后的状态满足梯度相关的技术条件，从而在预测值偏高时将其向低标签方向调整、在预测值偏低时将其向高标签方向调整。这一技术需求在不完整多模态学习领域长期存在，但现有技术尚未提供有效的解决方案。

技术实现思路

1、本发明目的在于提供一种面向不完整多模态学习的残差方向消歧与状态校准方法，该方法由计算机设备执行，针对包含一个或多个缺失模态的多模态输入样本，首先基于可用性掩码和可靠性加权融合机制生成质量一致性锚点状态；然后基于训练样本的历史状态-标签对构建全局状态-标签记忆库；再根据当前样本的初步预测值，将检索到的历史参考样本划分为高标签参考样本集合与低标签参考样本集合，并根据高标签参考样本集合与低标签参考样本集合的状态质心差异和标签均值差异构造双极参考方向；最后利用门控校准网络，根据当前锚点状态在双极参考框架中的相对位置生成有符号潜在状态更新，得到校准后的任务状态和最终预测结果。以解决现有技术中不完整多模态学习方法在模态缺失条件下仅能形成粗略预测、但难以确定潜在状态校正方向的技术问题。

2、与仅基于相似度检索辅助样本的方式不同，本发明将历史状态-标签对构造为具有标签顺序关系的局部参考坐标系，使检索信息不再仅作为无向上下文，而是转化为能够指示潜在状态向高标签方向或低标签方向调整的有符号校准信号。由此，在不依赖当前测试样本真实标签的情况下，能够降低残差方向判断错误的概率，提高模型在高缺失率、低信息量和多模态观测不完整场景下的预测稳定性与鲁棒性。

3、为解决上述技术问题，本发明的具体技术方案如下：

4、一种面向不完整多模态学习的残差方向消歧与状态校准方法，所述方法包括如下步骤：

5、步骤s1：获取多模态样本，对多模态样本构建质量一致性锚点状态，生成初步预测值。

6、在此步骤中，系统接收不完整的多模态输入数据，构建多模态样本。所述多模态输入数据主要来源于社交媒体内容分析、短视频理解或人机交互记录等实际应用场景，通常包含图像帧与视频片段等视觉模态、帖子正文与评论及字幕等文本模态、以及语音信号与背景音乐等音频模态中的一种或多种组合。并通过可用性掩码和可靠性加权融合机制，构建一个平滑且不含缺失模态人工贡献的潜在任务状态锚点。具体如下：

7、步骤s11： 获取多模态样本，对多模态样本进行模态编码得到各模态下的槽位序列，对槽位序列进行均值池化得到模态摘要向量。

8、对于第个多模态样本，令表示所有模态的集合，，模态，表示第个多模态样本模态是否被观测到的可用性指示符，其中表示模态可用，表示模态缺失。可用模态集合定义为，观测输入为，表示第个多模态样本在模态下的输入特征，表示多模态样本由所有可用模态输入组成的观测输入集合。

9、每个多模态样本对应一个有序标量标签，该标签是在数据采集阶段通过人工标注、专家审核或基于事实核查机构的结果获得的。例如，在情感分析中，为连续的情感强度值；在谣言检测中，为映射后的有序标量。对于任意样本，其所有可用模态共享同一个真实标签，即有序标量标签。将包含标签的多模态数据集划分为训练集、验证集和测试集。训练集用于执行步骤s4所述的模型参数优化，以及在步骤s2中构建和更新全局状态-标签记忆库；验证集与测试集用于评估模型性能。在验证和测试阶段，全局状态-标签记忆库保持冻结状态，仅利用训练阶段构建的记忆库对当前样本进行状态校准，不会将验证集或测试集的标签信息写入记忆库，以防止数据泄露。

10、对于每个可用模态，首先通过对应模态的特征编码器提取每个可用模态特征，随后经过一维卷积和池化操作，并加上可学习的槽位位置嵌入向量，得到紧凑的槽位序列：

11、（1）

12、其中表示第个多模态样本在模态下的槽位序列，表示针对模态的特征编码器，表示针对模态的一维卷积，表示针对模态的池化操作，表示可学习的槽位位置嵌入向量。

13、接着，对槽位序列进行均值池化得到模态摘要向量：

14、（2）

15、其中，表示第个多模态样本在模态下的模态摘要向量，表示对槽位序列进行均值池化操作。

16、步骤s12：基于模态摘要向量计算各个模态的可靠性得分与融合权重。

17、基于步骤s11得到的模态摘要向量，为每个模态计算可靠性得分，并基于所述可靠性得分计算可用性掩码约束下的融合权重。

18、所述可靠性得分的计算公式为：

19、（3）

20、其中，表示第个多模态样本在模态下的可靠性得分，表示可学习的权重向量，表示可学习的权重矩阵，表示可学习的偏置向量，表示双曲正切激活函数，表示向量的转置。

21、基于所述可靠性得分和可用性指示符，计算融合权重，计算方式如下：

22、（4）

23、其中，表示第个多模态样本在模态下的最终融合权重，表示第个多模态样本模态是否被观测到的可用性指示符，表示指数函数，分母中的求和操作遍历所有模态，表示第个多模态样本模态是否被观测到的可用性指示符，表示第个多模态样本在模态下的可靠性得分。

24、由于分子中包含可用性指示符，当模态缺失时，，使得该缺失模态对应的融合权重严格为0；同时，分母仅对可用模态进行归一化，使所有可用模态对应的融合权重之和为 1。

25、步骤s13：初始化联合序列，通过多层掩码自注意力处理模块对联合序列进行迭代更新，得到第层联合序列，基于第层联合序列生成质量一致性锚点状态。

26、基于步骤s12得到的融合权重，对各模态摘要向量进行加权求和，并加入全局种子类型的可学习嵌入，得到全局种子向量；对于各模态，将对应的槽位序列与模态类型的可学习嵌入相加，并利用可用性指示符进行处理，得到经可用性指示符处理的各模态槽位序列；将所述全局种子向量与经可用性指示符处理的各模态槽位序列进行拼接，构建初始联合序列。并通过多层掩码自注意力处理模块对可用模态之间的交互关系进行精炼，得到第层联合序列，最终提取第层联合序列的第一个位置向量作为质量一致性锚点状态。

27、初始联合序列的构建公式为：

28、（5）

29、其中，表示初始化的初始联合序列，包含一个全局种子向量（）和经可用性指示符处理的各模态槽位序列（），表示第个多模态样本在模态下的最终融合权重，表示第个多模态样本在模态下的模态摘要向量，表示全局种子类型的可学习嵌入，表示第个多模态样本在模态下的槽位序列，表示第个多模态样本模态是否被观测到的可用性指示符，表示模态类型的可学习嵌入，表示所有模态的集合。

30、随后，将初始联合序列通过层掩码自注意力处理模块jointblock进行迭代更新：

31、（6）

32、其中，，、表示第层和第层掩码自注意力处理模块处理后的联合序列，表示第层的掩码自注意力处理模块。

33、经层掩码自注意力处理模块的处理，得到第层联合序列。

34、最终提取第层联合序列的第一个位置向量作为质量一致性锚点状态：

35、（7）

36、其中，表示最终提取的第个多模态样本的质量一致性锚点状态，表示取第层联合序列（即层掩码自注意力处理模块最终层输出序列）的第一个位置向量。

37、步骤s14：将质量一致性锚点状态输入预测头函数，得到初步预测值。

38、基于步骤s13得到的质量一致性锚点状态，通过预测头函数生成初步预测值：

39、（8）

40、其中，表示预测头函数，表示第个多模态样本的初步预测值。

41、步骤s2：维护全局状态-标签记忆库，构建候选参考样本集合，维护高标签尾部原型向量和低标签尾部原型向量。

42、在此步骤中，系统维护一个全局状态-标签记忆库，用于存储训练样本的历史质量一致性锚点状态及其对应标签，并为当前样本提供局部参考样本。所述全局状态-标签记忆库用于构建具有标签顺序关系的局部参考坐标系，使后续校准过程能够基于历史状态-标签对生成有符号的潜在状态修正方向。在训练阶段，所述全局状态-标签记忆库由训练集样本的质量一致性锚点状态及其真实标签构建或更新；在验证阶段或测试阶段，所述全局状态-标签记忆库保持冻结并作为只读检索源，此时全局状态-标签记忆库中仅存储训练阶段积累的历史状态-标签对。当前来自验证集或测试集的待预测样本的真实标签不参与记忆库写入、邻域划分、双极参考方向构造或门控校准计算，仅用于最终的性能评估。

43、步骤s21：构建全局状态-标签记忆库，计算多模态样本查询键向量及全局状态-标签记忆库键向量；选取多模态样本查询键向量与所有全局状态-标签记忆库键向量余弦相似度最高的前个样本，构成候选参考样本集合。

44、利用训练集样本的质量一致性锚点状态及其真实标签构建全局状态-标签记忆库，其中表示第个历史训练样本在写入所述全局状态—标签记忆库时保存的质量一致性锚点状态，所述质量一致性锚点状态通过步骤s1所述方法获得，表示第个历史训练样本对应的有序标量标签，表示记忆库容量大小，为记忆库中历史训练样本的索引，；表示第个用于检索的记忆库键向量。

45、所述第个用于检索的记忆库键向量的计算公式为：

46、（9）

47、其中，表示归一化操作，表示可学习的线性投影矩阵。对于第个历史训练样本，将其质量一致性锚点状态经所述线性投影矩阵投影并进行归一化，得到记忆库键向量。通过该投影与归一化操作，历史训练样本的质量一致性锚点状态被映射到适于相似度检索的键空间中。

48、对当前第个多模态样本的质量一致性锚点状态，计算其查询键向量：

49、（10）

50、其中，表示第个多模态样本的查询键向量；为可学习的投影矩阵。

51、随后，计算查询键向量与所有全局状态-标签记忆库键向量之间的余弦相似度，余弦相似度计算公式如下：

52、（11）

53、其中，表示第个多模态样本的查询键向量与第个用于检索的记忆库键向量之间的余弦相似度；表示向量的欧几里得范数。由于和均已归一化，余弦相似度简化为二者的点积：。

54、接着从全局状态-标签记忆库中选择计算出的余弦相似度最高的前个样本，构成候选参考样本集合。

55、步骤s22：基于指数移动平均（exponential moving average，ema）维护高标签尾部原型向量和低标签尾部原型向量。

56、为避免当前样本的候选参考样本集合经双极划分后，高标签参考样本集合或低标签参考样本集合为空而无法稳定构造双极参考方向，分别维护高标签尾部原型向量和低标签尾部原型向量。其中，高标签尾部原型向量用于表征训练集中真实标签较高的样本所对应的代表性质量一致性锚点状态，低标签尾部原型向量用于表征训练集中真实标签较低的样本所对应的代表性质量一致性锚点状态。给定尾部量化分位数，动量系数，以及训练集样本的真实有序标量标签范围，定义高标签阈值和低标签阈值：

57、（12）

58、（13）

59、其中，表示高标签阈值，表示低标签阈值；表示训练集样本的真实有序标量标签的最小值；表示训练集样本的真实有序标量标签的最大值。真实有序标量标签满足的训练样本构成高标签尾部样本集合，真实有序标量标签满足的训练样本构成低标签尾部样本集合。

60、基于所述高标签阈值和低标签阈值，分别计算高标签尾部样本集合和低标签尾部样本集合中质量一致性锚点状态的平均值，得到高标签尾部平均状态和低标签尾部平均状态。采用指数移动平均方式更新高标签尾部原型向量和低标签尾部原型向量，更新规则为：

61、（14）

62、（15）

63、其中，表示高标签尾部原型向量，表示低标签尾部原型向量，表示高标签尾部平均状态，为当前写入记忆库的训练样本中，真实标签不小于高标签阈值的训练样本的质量一致性锚点状态平均值；表示低标签尾部平均状态，为当前写入记忆库的训练样本中，真实标签不大于低标签阈值的训练样本的质量一致性锚点状态平均值，表示动量系数。

64、步骤s3：双极参考感知校准：基于候选样本参考集合构建双极参考样本集合，基于双极参考样本集合对多模态样本的质量一致性锚点状态进行校准，得到最终的校准预测值。

65、在此步骤中，系统将检索到的带标签历史邻居转化为有符号的潜在状态修正信号，从而解决不完整多模态学习中的残差方向模糊问题。具体而言，系统根据当前样本的初步预测值，将候选样本参考集合划分为高标签参考邻域和低标签参考邻域，并利用两侧邻域的状态质心差异和标签均值差异构造双极参考方向，随后通过门控符号更新生成校准后的任务状态和最终预测值。

66、步骤s31：基于候选样本参考集合和初步预测值构建高标签参考样本集合与低标签参考样本集合。

67、基于步骤s2检索到的候选样本参考集合，根据步骤s14得到的初步预测值将候选样本参考集合划分为高标签参考样本集合和低标签参考样本集合：

68、（16）

69、（17）

70、其中，为第个多模态样本高标签参考样本集合，表示候选参考样本的真实有序标量标签相对于初步预测值具有显著更高标签值的邻居集合，为第个多模态样本低标签参考样本集合，表示候选参考样本的真实有序标量标签相对于初步预测值具有显著更低标签值的邻居集合，表示预设的标签间隔阈值；表示第个候选参考样本的真实有序标量标签。

71、第个多模态样本高标签参考样本集合与低标签参考样本集合构成第个多模态样本的双极参考样本集合。

72、步骤s32：基于高标签参考样本集合与低标签参考样本集合，分别计算多模态样本在高标签参考样本集合和低标签参考样本集合内的相似度权重、加权状态质心及加权标签均值。

73、对于高标签参考样本集合或低标签参考样本集合中的邻居，其相似度权重和的计算公式为：

74、（18）

75、（19）

76、其中，表示第个多模态样本与高标签参考样本集合中的邻居的相似度权重，表示第个多模态样本与低标签参考样本集合中的邻居的相似度权重；表示温度系数，表示余弦相似度计算函数，表示第个多模态样本的查询键向量，表示第个用于检索的记忆库键向量，表示对双极参考样本集合中各参考样本进行遍历的求和索引，表示第个用于检索的记忆库键向量。

77、基于多模态样本在高/低标签参考样本集合相似度权重，计算多模态样本在高/低标签参考样本集合加权状态质心与加权标签均值：

78、（20）

79、（21）

80、（22）

81、（23）

82、其中，表示第个多模态样本在高标签参考样本集合的加权状态质心，表示第个多模态样本在低标签参考样本集合的加权状态质心，表示第个多模态样本在高标签参考样本集合的加权标签均值，表示第个多模态样本在低标签参考样本集合的加权标签均值，表示记忆库中第个历史训练样本的质量一致性锚点状态。

83、进一步地，多模态样本在高/低标签参考样本集合加权状态质心与加权标签均值计算双极参考方向，计算方式如下：

84、（24）

85、其中，表示第个多模态样本双极参考方向，表示局部潜在空间中从低标签参考样本集合指向高标签参考样本集合的方向向量，是一个微小的正常数，用于防止分母为零。

86、所述双极参考方向通过高低标签参考质心的差异表达局部状态变化方向，并通过标签均值差异进行尺度归一化，从而形成可用于状态校准的有向参考信号。

87、步骤s33：多模态样本在高标签参考样本集合和低标签参考样本集合内的加权状态质心构建多模态样本的门控输入向量。

88、基于步骤s32得到的高标签参考样本集合的加权状态质心、低标签参考样本集合的加权状态质心，构建门控输入向量并预测有符号位移。所述门控输入向量的构建公式为：

89、（25）

90、其中，表示第个多模态样本的门控输入向量；表示向量拼接操作。门控输入向量同时包含当前质量一致性锚点状态、高标签参考样本集合的加权状态质心、低标签参考样本集合的加权状态质心以及高低标签参考样本集合的加权状态质心的差异，因此能够表征当前多模态样本在双极参考框架中的相对位置和局部标签变化方向。

91、步骤s34：多模态样本的门控输入向量预测多模态样本的步长门控和有符号位移，计算多模态样本的潜在状态更新量。

92、将门控输入向量输入门控校准网络。门控校准网络包括用于预测逐维更新幅度的门控分支（预测每个维度的步长门控）和用于预测有符号位移的位移分支（预测有符号位移）。

93、基于所述门控输入向量，预测每个维度的步长门控和有符号位移：

94、（26）

95、（27）

96、其中， 表示sigmoid激活函数，和表示可学习的神经网络映射，表示第个多模态样本的步长门控，为控制更新幅度的门控向量，表示第个多模态样本的有符号位移，为由网络预测的有符号方向位移。

97、进一步地，计算最终潜在状态更新量：

98、（28）

99、其中，表示第个多模态样本的潜在状态更新量；表示逐元素乘法。

100、步骤s35：基于多模态样本的潜在状态更新量，对多模态样本的质量一致性锚点状态进行校准，得到多模态样本校准后的任务状态，并对校准后的任务状态预测得到最终的校准预测值。

101、基于所述潜在状态更新量，得到校准后的任务状态：

102、（29）

103、其中，表示第个多模态样本校准后的任务状态；，表示最终提取的第个多模态样本的质量一致性锚点状态。

104、接着通过预测头函数输出最终的校准预测值：

105、（30）

106、其中，表示示第个多模态样本最终的校准预测值；表示预测头函数。

107、步骤s4：通过损失函数对模型训练，得到训练好的残差方向消歧与状态校准模型。

108、训练过程分为预热阶段和完整校准训练阶段。预热阶段用于稳定质量一致性锚点状态和全局状态-标签记忆库，完整校准训练阶段用于学习双极参考框架下的有符号校准更新。

109、步骤s41：预热训练阶段：通过预热阶段的损失函数对生成质量一致性锚点状态和初步预测值的模型参数进行优化。

110、在前个训练周期中，禁用步骤s3中的双极参考校准路径，仅对步骤s1中用于生成质量一致性锚点状态和初步预测值的模型参数进行优化。预热阶段的损失函数为：

111、（31）

112、其中，表示预热阶段的损失函数；表示参与当前预热损失计算的训练样本数量，表示第个训练样本的真实有序标量标签，表示绝对值。

113、步骤s42：完整校准训练阶段：使用方向一致性损失和预测任务损失构成的全局损失进行训练，得到训练好的残差方向消歧与状态校准模型。

114、预热阶段结束后，重置并重新构建全局状态-标签记忆库，将训练样本的质量一致性锚点状态及其标签写入全局状态-标签记忆库，并激活双极参考校准路径。在该阶段，同时优化最终预测任务损失和方向一致性损失。定义方向一致性损失。

115、为正残差样本集合，为负残差样本集合。表示真实有序标量标签高于初步预测值的训练样本集合，表示真实有序标量标签低于初步预测值的训练样本集合，训练样本的方向损失为：

116、（32）

117、其中， 表示第个训练样本的方向损失；表示方向边距，表示整流线性单元函数，表示符号函数。该方向损失用于约束校准预测值的移动方向，当真实有序标量标签高于初步预测值时，鼓励校准后的预测值相对于初步预测值向上移动；当真实有序标量标签低于初步预测值时，鼓励校准后的预测值相对于初步预测值向下移动。

118、方向一致性损失为：

119、（33）

120、其中，表示方向一致性损失；表示正残差样本集合的样本数量；表示负残差样本集合的样本数量。

121、任务预测损失通过如下方式计算：

122、（34）

123、其中，表示任务预测损失，为最终预测值与真实有序标量标签之间的任务预测损失。

124、最终的全局损失为：

125、（35）

126、其中，表示全局损失；表示任务预测损失；和分别为任务预测损失和方向一致性损失的权重系数。

127、通过上述两阶段训练方式，模型首先学习稳定、可比较的质量一致性锚点状态，再利用全局状态-标签记忆库学习双极参考框架下的有符号校准规律，最终得到训练好的残差方向消歧与状态校准模型。该模型包含固定的模态编码器与质量一致性锚点状态参数、预测头函数参数、门控校准网络参数以及在训练阶段构建完成的全局状态-标签记忆库。

128、步骤s5：利用训练好的残差方向消歧与状态校准模型对验证集样本进行状态校准，最终得到校准后的预测值。

129、在验证阶段，利用该训练好的残差方向消歧与状态校准模型对验证集样本进行状态校准，最终得到校准后的预测值，并通过比较校准后的预测值与真实有序标量标签计算准确率等指标以验证本发明的有益效果。从而提高不完整多模态输入条件下预测结果的稳定性和鲁棒性。

130、相对于现有技术，本发明具有以下有益技术效果：

131、1. 降低残差方向判断错误的概率

132、本发明根据当前多模态样本的初步预测值，将所述候选样本参考集合划分为高标签参考样本集合与低标签参考样本集合，并基于两个参考样本集合内的加权状态质心及加权标签均值构造双极参考方向，从而将无方向的相似样本检索结果转化为具有标签顺序关系的有符号校准信号，使质量一致性锚点状态能够向减小预测误差的方向进行校准，有利于降低残差方向判断错误的概率并提高最终预测结果的准确性。

133、2. 提高质量一致性锚点状态的稳定性

134、本发明基于各模态的模态摘要向量计算可靠性得分，并结合可用性指示符计算融合权重，使缺失模态对应的融合权重严格为0，且所有可用模态对应的融合权重之和为1；同时，通过多层掩码自注意力处理模块对可用模态之间的交互关系进行迭代更新，避免缺失模态对质量一致性锚点状态产生人工贡献，从而为后续双极参考感知校准提供稳定且一致的任务状态表示。

135、3. 提高高标签参考样本集合或低标签参考样本集合为空时的校准鲁棒性

136、本发明通过指数移动平均维护高标签尾部原型向量和低标签尾部原型向量。当所述高标签参考样本集合与低标签参考样本集合中的任一集合为空时，使用对应的高标签尾部原型向量或低标签尾部原型向量作为回退参考；当对应的尾部原型向量尚未初始化时，使用当前多模态样本的质量一致性锚点状态作为回退状态，使潜在状态更新趋于收缩，避免因高标签参考样本集合或低标签参考样本集合为空而产生任意方向的状态更新，从而提高高缺失率场景下双极参考感知校准的稳定性和鲁棒性。

137、4. 实现理论驱动的有符号校准，降低错误方向更新的概率

138、本发明根据高标签参考样本集合与低标签参考样本集合内的加权状态质心之间的状态差异以及对应加权标签均值之间的差异构造双极参考方向，并基于质量一致性锚点状态、两个加权状态质心及其未归一化位移构建门控输入向量；通过所述门控输入向量预测步长门控和有符号位移，计算潜在状态更新量。结合方向一致性损失，使最终的校准预测值相对于初步预测值的调整方向与真实残差方向保持一致，从而降低错误方向更新的概率。

139、5. 提高模型训练和预测的稳定性

140、本发明采用预热训练阶段和完整校准训练阶段组成的两阶段训练方式。在预热训练阶段禁用双极参考校准路径，通过预热阶段的损失函数对生成质量一致性锚点状态和初步预测值的模型参数进行优化；预热训练结束后，重置全局状态-标签记忆库，并利用训练集样本的质量一致性锚点状态及其对应标签进行初始化；在完整校准训练阶段启用双极参考校准路径，并使用方向一致性损失和预测任务损失构成的全局损失进行训练，从而避免训练初期不稳定的状态表示影响候选样本参考集合的构建和后续校准过程，提高模型在低信息量和高缺失率场景下的预测稳定性。