一种开放世界多模态持续学习方法及系统

本发明涉及人工智能，特别是涉及一种开放世界多模态持续学习方法及系统。

背景技术：

1、持续广义类别发现是开放世界持续学习的核心任务，要求模型在接收顺序到达的无标注数据流时，同时完成已知类别分类、新类别检测与发现以及动态扩展标签空间，并防止对已学类别产生灾难性遗忘。

2、现有持续广义类别发现方法通常在带标签的基础类别数据集上预训练视觉模型，获取判别性特征表示，随后接收无标注数据流，利用固定或人工调优的阈值将样本划分为已知类别候选与新类别候选，对新类别候选执行聚类以发现新类别，并通过经验回放等机制抑制灾难性遗忘；上述方法主要依赖单模态视觉特征进行识别与聚类。

3、然而，上述现有技术存在两个具体缺陷：其一，固定阈值在类别分布随时间动态演变的非平稳数据流中缺乏鲁棒性，导致系统性误分类，进而污染训练信号；其二，单模态视觉特征在区分视觉相似但语义不同的细粒度类别时存在局限，而无标注数据缺乏类别名称，使得视觉-语言模型的跨模态语义能力无法被有效利用，造成特征空间语义区分能力不足。

技术实现思路

1、为了解决上述问题，本发明提出了一种开放世界多模态持续学习方法及系统，本发明在不依赖类别名称的条件下建立统一的多模态特征空间，通过自适应阈值与空间一致性验证提升伪标签质量，通过混合抗遗忘策略有效抑制灾难性遗忘。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供了一种开放世界多模态持续学习方法，包括如下步骤：

4、利用持续学习模型中的视觉编码器提取数据流中样本的视觉特征；利用持续学习模型中的文本嵌入合成器根据视觉特征生成伪文本特征；将视觉特征与伪文本特征进行融合，得到多模态融合特征；

5、基于能量自适应阈值对数据流中的样本进行粗判，将能量分数超过阈值的样本路由至新类别缓冲区，将能量分数未超过阈值的样本确定为已知类别候选样本并分配伪标签；基于空间一致性验证对已知类别候选样本的伪标签进行验证，将一致性分数低于设定值的样本重新路由至新类别缓冲区；

6、当新类别缓冲区达到饱和状态时，对新类别缓冲区内的样本执行聚类操作，得到新类别聚类结果，并将新类别注册为已知类别，更新类别原型；

7、在新类别注册后，对持续学习模型执行增量更新，增量更新采用混合抗遗忘策略，所述混合抗遗忘策略包括经验回放、知识蒸馏以及动态架构扩展。

8、进一步的技术方案，所述文本嵌入合成器学习从视觉特征到冻结的文本编码器输入的映射，在不依赖类别名称的条件下为无标签样本生成伪文本嵌入；所述视觉特征与伪文本嵌入按可学习权重参数进行加权融合，得到多模态融合特征。

9、进一步的技术方案，所述能量自适应阈值的确定方式为：对数据流中无标签样本的能量分数拟合高斯分布，获得均值和标准差，根据均值和标准差确定全局基准阈值；并针对每个具有伪标签的类别的平均能量确定类别特定阈值，以类别特定阈值作为对样本进行粗判的判决边界。

10、进一步的技术方案，所述空间一致性验证的方式为：在多模态融合特征空间中，对已知类别候选样本的邻域划分同心壳层，统计各壳层中与伪标签一致和不一致的已标记样本数量，计算空间一致性分数，一致性分数高于设定阈值的候选样本确认为已知类别样本并保留其伪标签；一致性分数低于设定阈值的候选样本重新路由至新类别缓冲区。

11、进一步的技术方案，所述经验回放具体为：基于存储有每个已知类别的代表性样本的记忆缓冲区，在增量更新期间，从记忆缓冲区中回放已知类别样本，与当前数据流中的高置信度伪标签样本混合后共同用于持续学习模型训练。

12、进一步的技术方案，所述知识蒸馏通过计算教师模型与学生模型在已知类别上的软化输出概率分布之间的散度损失来实现，以散度损失约束学生模型参数更新，限制已知类别响应的偏移。

13、进一步的技术方案，所述动态架构扩展具体为：在持续学习模型的分类器中，为新注册的类别动态添加对应的分类头，同时保留已有类别对应的分类头，使分类器的输出空间随已知类别数量的增加而动态扩展。

14、第二方面，本发明提供了一种开放世界多模态持续学习系统，包括如下模块：

15、多模态特征提取与融合模块，被配置为：利用持续学习模型中的视觉编码器提取数据流中样本的视觉特征；利用持续学习模型中的文本嵌入合成器根据视觉特征生成伪文本特征；将视觉特征与伪文本特征进行融合，得到多模态融合特征；

16、两阶段判别模块，被配置为：基于能量自适应阈值对数据流中的样本进行粗判，将能量分数超过阈值的样本路由至新类别缓冲区，将能量分数未超过阈值的样本确定为已知类别候选样本并分配伪标签；基于空间一致性验证对已知类别候选样本的伪标签进行验证，将一致性分数低于设定值的样本重新路由至新类别缓冲区；

17、新类别发现与注册模块，被配置为：当新类别缓冲区达到饱和状态时，对新类别缓冲区内的样本执行聚类操作，得到新类别聚类结果，并将新类别注册为已知类别，更新类别原型；

18、混合抗遗忘增量更新模块，被配置为：在新类别注册后，对持续学习模型执行增量更新，增量更新采用混合抗遗忘策略，所述混合抗遗忘策略包括经验回放、知识蒸馏以及动态架构扩展。

19、与现有技术相比，本发明的有益效果为：

20、本发明通过引入文本嵌入合成器为无标签样本生成伪文本嵌入，在不依赖类别名称的条件下建立统一的多模态特征空间，使得原型计算、置信度估计和聚类均能在语义结构丰富的空间中进行，解决了现有技术中单模态视觉特征在细粒度类别间语义区分能力不足的技术问题，对视觉相似但语义不同的类别具有更强的判别力。并且通过基于能量的自适应阈值动态估计已知与新类别的决策边界，对无标签数据流的能量分数拟合高斯分布获取全局基准阈值，并针对每个具有伪标签的类别推导类别特定阈值，避免了固定阈值在非平稳数据流中因类别分布动态演变而导致的系统性误分类，显著提升了伪标签的可靠性。

21、本发明通过经验回放、知识蒸馏与动态架构扩展三种互补机制协同组成的混合抗遗忘策略，分别在数据层面提供直接监督、在功能层面约束参数漂移、在架构层面隔离新旧知识，在持续整合新类别的过程中有效抑制灾难性遗忘，实现了稳定性与可塑性的平衡。

1.一种开放世界多模态持续学习方法，其特征在于，包括：

2.如权利要求1所述的一种开放世界多模态持续学习方法，其特征在于，所述文本嵌入合成器学习从视觉特征到冻结的文本编码器输入的映射，在不依赖类别名称的条件下为无标签样本生成伪文本嵌入；所述视觉特征与伪文本嵌入按可学习权重参数进行加权融合，得到多模态融合特征。

3.如权利要求1所述的一种开放世界多模态持续学习方法，其特征在于，所述能量自适应阈值的确定方式为：对数据流中无标签样本的能量分数拟合高斯分布，获得均值和标准差，根据均值和标准差确定全局基准阈值；并针对每个具有伪标签的类别的平均能量确定类别特定阈值，以类别特定阈值作为对样本进行粗判的判决边界。

4.如权利要求1所述的一种开放世界多模态持续学习方法，其特征在于，所述空间一致性验证的方式为：在多模态融合特征空间中，对已知类别候选样本的邻域划分同心壳层，统计各壳层中与伪标签一致和不一致的已标记样本数量，计算空间一致性分数，一致性分数高于设定阈值的候选样本确认为已知类别样本并保留其伪标签；一致性分数低于设定阈值的候选样本重新路由至新类别缓冲区。

5.如权利要求1所述的一种开放世界多模态持续学习方法，其特征在于，所述经验回放具体为：基于存储有每个已知类别的代表性样本的记忆缓冲区，在增量更新期间，从记忆缓冲区中回放已知类别样本，与当前数据流中的高置信度伪标签样本混合后共同用于持续学习模型训练。

6.如权利要求1所述的一种开放世界多模态持续学习方法，其特征在于，所述知识蒸馏通过计算教师模型与学生模型在已知类别上的软化输出概率分布之间的散度损失来实现，以散度损失约束学生模型参数更新，限制已知类别响应的偏移。

7.如权利要求1所述的一种开放世界多模态持续学习方法，其特征在于，所述动态架构扩展具体为：在持续学习模型的分类器中，为新注册的类别动态添加对应的分类头，同时保留已有类别对应的分类头，使分类器的输出空间随已知类别数量的增加而动态扩展。

8.一种开放世界多模态持续学习系统，其特征在于，包括如下模块：

9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种开放世界多模态持续学习方法中的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种开放世界多模态持续学习方法中的步骤。