基于视觉参考与持续学习的VLM知识外开放识别方法及系统

摘要: 本发明涉及计算机视觉、多模态大模型,公开了一种基于视觉参考与持续学习的vlm知识外开放识别方法及系统,尤其适用存在较多非常见场景类型下的视觉语言模型(vlm)能...
基于视觉参考与持续学习的VLM知识外开放识别方法及系统

本发明涉及计算机视觉、多模态大模型,公开了一种基于视觉参考与持续学习的vlm知识外开放识别方法及系统,尤其适用存在较多非常见场景类型下的视觉语言模型(vlm)能力拓展。

背景技术:

1、视觉语言模型(vlm)在常见自然类型的零样本识别任务中表现优异。然而,在机器人操作、工业检测等封闭且专业的场景中,存在大量vlm模型在预训练阶段未见的非常见类型目标,如特定夹具、专用零件。现有vlm受限于其固化的先验知识,难以识别此类目标。

2、传统方法通常依赖大量的标注数据进行微调,这种数据标注方法成本高昂且无法适应动态变化的环境。另外还可通过少样本学习来缓解vlm模型训练过程的数据依赖,如公开号为cn117273150a的专利申请公开的一种基于少样本学习的视觉大语言模型方法,但往往采用静态的模型更新,缺乏在测试阶段根据新数据流进行自我修正和泛化的能力,不能达到人类在面对新事物时,通过少数样本进行“举一反三”,并在测试中持续学习修正认知的效果。因此,亟需一种能够借助极少样本启动,并在测试阶段动态更新认知的视觉识别方案。

技术实现思路

1、本发明解决的技术问题是:针对现有视觉语言模型对非常见类型目标难以识别的问题,提供一种基于视觉参考与持续学习的vlm知识外开放识别方法及系统。

2、本发明采用如下技术方案实现:

3、基于视觉参考与持续学习的vlm知识外开放识别方法,包括以下步骤:

4、s1、通过标签随机采样策略为vlm知识外的场景新类型生成多个初始视觉参考表征;

5、s2、构建一个维度保持的mlp映射层,基于场景新类型的多个初始视觉参考表征构建正负样本对输入mlp映射层,通过单步对比学习优化所述mlp映射层参数,将所述场景新类型的所有初始视觉参考表征映射至具有辨识度的判别子空间,获得辨识度更优的优化视觉参考表征;

6、s3、获取包含场景新类型样本测试图像的区域视觉表征,所述区域视觉表征经优化后的mlp映射层变换后,与所述判别子空间中场景新类型的多个优化视觉参考表征进行最优匹配,选择与区域视觉表征匹配概率最高的场景新类型标签作为区域语义分割结果,实现测试图像的场景新类型样本识别;

7、s4、从测试图像中提取对应场景新类型的高置信度预测区域,利用所述高置信度预测区域的区域视觉表征构建场景新类型的测试时动态视觉参考库,基于场景新类型的测试时动态视觉参考库与更新前的优化视觉参考表征构建新的正负样本对,对所述mlp映射层执行在线单步梯度更新及滑动平均,实现mlp映射空间的持续校准。

8、在本发明基于视觉参考与持续学习的vlm知识外开放识别方法中,进一步的,所述步骤s1具体包括如下子步骤:

9、s11、给定所述场景新类型的参考图像及其初始二值掩膜,利用vlm视觉编码器提取参考图像的密集视觉特征矩阵;

10、s12、对初始二值掩膜下采样至与密集视觉特征矩阵同分辨率,并对下采样后的初始二值掩膜数值为1的区域实施随机置0,获得更新二值掩膜,并将所述更新二值掩膜与参考图像的密集视觉特征矩阵逐像素相乘,得到场景新类型的随机像素特征子集后进行平均池化,输出该场景新类型的一个初始视觉参考表征;

11、s13、对s12重复执行k次,随机获得该场景新类型的k个不同的初始视觉参考表征,形成初始视觉参考表征矩阵;

12、s14、对于不同的场景新类型,重复s11到s13,从而为每个场景新类型生成k个初始视觉参考表征,从而获得包含多个场景新类型的初始视觉参考表征库。

13、在本发明基于视觉参考与持续学习的vlm知识外开放识别方法中,进一步的,所述步骤s2具体包括如下子步骤:

14、s21、构建一个多层感知机mlp映射层,将mlp特征映射参数初始化为单位矩阵;

15、s22、任意采样一个场景新类型的其中一个初始视觉参考表征作为锚点,并从所选场景新类型剩下的初始视觉参考表征中随机采样一个正样本,然后将其它所有场景新类型的所有初始视觉参考表征视为负样本,构建对比损失函数:

16、,

17、其中,c为总的场景新类型的数量,为采样的场景新类型c的锚点样本,为采样的正样本,为采样的负样本,k为每一场景新类型的初始视觉参考表征数量,为温度系数,控制对困难负样本的惩罚强度;

18、s23、对剩下的场景新类型执行执行步骤s22,并累加所获对比损失后取平均对比损失;

19、s24、利用s23的平均对比损失计算s21中mlp特征映射参数梯度,并基于梯度下降更新mlp特征映射参数;

20、s25、利用s24更新后的mlp特征映射参数,对步骤s1所获得的所有场景新类型的初始视觉参考表征进行特征变换,获得所有场景新类型辨识度更优的优化视觉参考表征库。

21、在本发明基于视觉参考与持续学习的vlm知识外开放识别方法中,进一步的,所述步骤s3中的测试图像中场景新类型样本的识别具体包括如下子步骤:

22、s31、利用过分割或者超像素分割方法对测试图像进行过分割,得到n个分割区域的测试二值掩膜;

23、s32、利用vlm视觉编码器获得整个测试图像的密集视觉特征矩阵;

24、s33、将s31获得的每个分割区域的测试二值掩膜下采样至与测试图像的密集视觉特征矩阵同分辨率,并与所述密集视觉特征矩阵逐元素相乘后做平均池化,获得每个分割区域的区域视觉表征,将所述区域视觉表征经优化后的mlp映射层变换,整个测试图像的n个分割区域表征形成区域视觉表征矩阵;

25、s34、将s33获得的区域视觉表征矩阵与步骤s2获得的所有场景新类型的优化视觉参考表征进行最优传输匹配,获得区域-类型的匹配概率分布,并从中选择匹配概率最高的场景新类型样本作为区域语义分割结果。

26、在本发明基于视觉参考与持续学习的vlm知识外开放识别方法中,进一步的,所述步骤s4中的高置信度预测区域的识别具体包括如下子步骤:

27、s41、基于测试图像所有区域视觉表征和所有场景新类型优化视觉参考表征的区域-类型匹配概率分布,计算测试图像中每个分割区域的预测信息熵:

28、,

29、其中,为测试图像的分割区域n对场景新类型c的匹配概率,c为场景新类型的数量,通过设定信息熵阈值,将预测信息熵低于信息熵阈值的分割区域判定为高置信度预测区域;

30、s42、对于高置信度预测区域的区域视觉表征,根据其区域语义分割结果对应场景新类型标签,纳入该场景新类型的测试时动态视觉参考库。

31、在本发明基于视觉参考与持续学习的vlm知识外开放识别方法中,进一步的,所述步骤s4中,通过原型平均融合的方式动态更新对应场景新类型的优化视觉参考表征,将获得的测试时动态视觉参考库对其所属场景新类型现有的每一优化视觉参考表征逐一进行原型平均融合更新,

32、,

33、其中,为更新前场景新类型c的第k个优化视觉参考表征,为更新后场景新类型c的第k个优化视觉参考表征,为场景新类型c的第i个动态视觉参考原型,m为测试图像中高置信预测且预测类型为该场景新类型c的分割区域数量,以更新后的优化视觉参考表征获得场景新类型c的视觉参考库,用于下一次测试图像区域视觉表征的最优匹配。

34、在本发明基于视觉参考与持续学习的vlm知识外开放识别方法中,进一步的,所述步骤s4中的mlp映射层在线单步梯度更新及滑动平均的具体过程如下:

35、基于步骤s42所获的测试时动态视觉参考库与所有场景新类型更新前的优化视觉参考表征库构建正负样本对,对mlp映射层参数执行在线单步梯度更新,并采用如下滑动平均机制对mlp特征映射参数进行平滑处理:

36、,

37、其中,为当前mlp特征映射参数,为基于滑动平均统计获得的mlp特征映射参数,为更新后的mlp特征映射参数,m为滑动平均系数。

38、本发明还公开了一种基于视觉参考与持续学习的vlm知识外开放识别系统,包括:

39、视觉参考表征初始化模块,通过标签随机采样策略为场景新类型生成多个初始视觉参考表征;

40、视觉参考表征优化模块,构建一个维度保持的mlp映射层,基于场景新类型的多个初始视觉参考表征构建正负样本对输入mlp映射层,通过单步对比学习优化所述mlp映射层参数,将所述场景新类型的所有初始视觉参考表征映射至具有辨识度的判别子空间,获得辨识度更优的优化视觉参考表征;

41、在线识别模块,获取包含场景新类型样本测试图像的区域视觉表征,所述区域视觉表征经优化后的mlp映射层变换后,与所述判别子空间中场景新类型样本的优化多视觉参考表征进行最优匹配,选择与区域视觉表征匹配概率最高的场景新类型标签作为区域语义分割结果,实现测试图像的场景新类型样本识别;

42、还包括动态更新模块,从测试图像中提取对应场景新类型的高置信度预测区域,利用所述高置信度预测区域的区域视觉表征构建场景新类型的测试时动态视觉参考库,基于场景新类型的测试时动态视觉参考库与更新后的优化视觉参考表征构建新的正负样本对,对所述mlp映射层执行在线单步梯度更新及滑动平均,实现mlp映射空间的持续校准。

43、本发明还公开了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明上述的基于视觉参考与持续学习的vlm知识外开放识别方法。

44、本发明还公开了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明上述的基于视觉参考与持续学习的vlm知识外开放识别方法。

45、本发明提供的一种基于视觉参考与持续学习的vlm知识外开放识别方法及系统,通过极少量场景新类型样本作为视觉参考提示,实现了测试过程中对非常见类型目标的识别,并通过视觉语言模型(vlm)在测试时持续学习这类不常见类别目标特征,不断拓展vlm模型的能力边界,克服了现有视觉语言模型驱动的开放知识识别的不足,特别是针对现有vlm驱动的开放识别均假设新类型在vlm所覆盖的知识体系内,然而,实际应用中,如工业现场、特种作业、医学图像等专业领域知识通常vlm难以覆盖,致使现有方法难以跨域vlm知识边界,开展vlm知识外新类型的开放识别。针对vlm知识外的新类型,本发明通过引入少量(如一个样本)场景新类型支撑图像,在利用vlm视觉编码器提取场景新类型样本视觉特征的基础上,通过随机采样以及多类型对比学习为所有场景新类型生成多样化、高辨识度的视觉参考表征,随后利用视觉相似性对比完成对未知场景新类别目标的识别。

46、此外,鉴于少量特定样本难以支撑场景新类型多样化样本的持续泛化识别,本发明进一步引入测试时场景新类型知识的持续学习机制,即利用每次测试时的高置信预测样本,持续更新场景新类型的视觉参考表征,以及视觉参考表征辨识度优化模型,实现在测试中持续吸收场景新类型样本知识并演化为可支撑后续识别的泛化表征,有效解决了现有vlm开放识别局限于vlm内知识的问题。

47、本发明特别适用于存在较多非常见类型目标的机器人操作、工业检测等封闭且专业的工业场景目标识别以及医疗场景目标识别,通过引入少量对应场景vlm模型外的场景新类型,完成对更多非常见类型目标的识别判断。

48、以下结合附图和具体实施方式对本发明作进一步说明。