一种基于多提示词召回与三重一致性免训练视频计数方法
本发明涉及计算机视觉与视频分析,尤其涉及一种基于多提示词召回与三重一致性免训练视频计数方法。
背景技术:
1、视频对象计数是计算机视觉领域的核心任务之一,旨在统计视频中出现的特定类别对象的数量,在监控安防、交通管理、生态监测等场景中具有广泛应用。随着视觉-语言模型的快速发展,免训练视频对象计数方法逐渐成为研究热点,该类方法无需针对目标场景进行标注数据训练即可实现跨场景部署。
2、目前与本发明最相近的现有技术主要包括以下五类:
3、第一类为免训练视频对象计数方法,其典型代表为countvid。该方法将文本引导检测模型与视频分割模型相结合,通过单一文本提示词生成候选检测框并由分割模型生成实例掩码,利用分割模型的时序传播能力在跨帧间维持掩码跟踪,对新候选对象仅依据其掩码与已有跟踪实例掩码的空间交并比判别是否为新目标。该方法仅使用单一文本提示词,系统性地遗漏部分可见、遮挡或远距离小目标;新目标判别仅依赖几何空间非重叠判据,缺乏语义理解能力;缺乏身份重关联机制,在密集遮挡导致掩码传播断裂后产生重复计数。
4、第二类为“先检测-后验证”范式,其典型代表为dave。该方法针对少样本对象计数任务,第一阶段基于密度估计生成高召回检测集合,第二阶段通过离群点检测器对每个候选验证其真实性与类别归属。该方法仅适用于单张静态图像,不支持视频流处理和跨帧时序推理,且验证阶段依赖统计特征,未利用多教师蒸馏视觉基础模型的语义与外观表征能力。
5、第三类为视觉基础模型驱动的对象计数方法,其典型代表为pseco。该方法采用类无关对象定位器检测可能对象的关键点作为分割模型的点提示,生成实例分割掩码后使用视觉-语言嵌入的分类器对所有掩码提案进行分类。该方法同样仅适用于单张静态图像,不提供累积唯一计数和跨帧身份跟踪能力,且采用双独立模型组合,语义判别与空间分割特征分属不同特征空间,无法在单次前向传播中同时获得文本对齐语义特征和细粒度外观特征。
6、第四类为监督式视频人群计数专利方案,如cn121564642a和cn119810744a。前者构建跨域特征交互网络,通过空间域分支和频域分支的多尺度级联融合输出人群密度图;后者采用目标检测网络与密度检测网络并行处理每帧图像。这两类方法均需要标注数据监督训练,无法在未见场景上零样本部署,仅输出逐帧可见人数,不提供累积唯一人数统计和跨帧身份推理。
7、第五类为基于多教师蒸馏的视觉基础模型,其典型代表为am-radio。该方法将视觉-语言对齐模型、自监督空间特征模型和类无关分割模型三个互补视觉模型的表征能力统一蒸馏至单一骨干网络,通过适配器模块同时输出文本对齐语义特征和细粒度外观特征。但该方法本身为通用视觉基础模型,未针对免训练视频对象计数任务设计专门的验证流水线。
8、综上,现有技术存在以下三个相互交织的核心缺陷:第一,候选召回不足,现有免训练方法仅使用单一文本提示词进行候选检测,系统性地遗漏部分可见、遮挡或远距离小目标;第二,语义判别缺失,现有方法的候选判别仅依赖几何空间非重叠判据,导致干扰物被错误计入,而引入语义验证的方法仅限于单张图像,未扩展到视频和累积计数场景;第三,身份混淆与重复计数,现有方法在密集遮挡导致掩码传播断裂后,仅凭几何匹配无法重新关联目标身份,导致累积唯一计数被系统性高估。
9、进一步地,本领域存在一种技术偏见:认为将目标检测、视频分割和特征提取等现有模块简单串联即可实现免训练对象计数。然而,这种简单串联面临两个根本障碍:其一,各模块之间的数据接口是固定的、单向的,上游的几何信息无法传递至下游的语义判别环节以调整其判别标准;其二,验证模块的引入并非总是有益的,当上游候选生成器的召回率不足时,验证模块会过度拒绝特征判别力不足的小尺度候选,反而使计数精度恶化。
技术实现思路
1、本发明的主要目的在于提供一种基于多提示词召回与三重一致性免训练视频计数方法。
2、本发明的另一个目的在于提出一种基于多提示词召回与三重一致性免训练视频计数装置。
3、本发明的第三个目的在于提出一种计算机设备。
4、为达上述目的,本发明第一方面实施例提出了一种基于多提示词召回与三重一致性免训练视频计数方法,包括:
5、构建包含整体提示词和局部提示词的正向提示词集合,将各提示词分别输入文本引导目标检测模型以生成候选检测框,并经合并得到候选检测框集合;
6、将所述候选检测框集合输入视频对象分割模型,生成各候选对象的实例掩码,并利用时序传播机制建立跨帧跟踪实例集合;
7、依据候选对象掩码与活跃跟踪实例掩码之间的空间重叠程度,筛选与现有实例不重叠的潜在新目标;
8、对每个潜在新目标通过冻结视觉基础模型提取视觉特征,分别进行基于正负提示词差分的语义一致性验证、基于在线外观原型记忆库的外观一致性验证以及基于跟踪实例外观特征的时序身份新颖性验证,并根据候选对象掩码面积自适应调整语义阈值,仅当候选目标同时满足语义一致性、外观一致性和时序新颖性约束时,接受为新的唯一目标对象,输出计数结果。
9、在本发明的一个实施例中,所述构建包含整体提示词和局部提示词的正向提示词集合,包括:
10、根据目标对象类别,选取用于召回完整可见目标对象的整体描述提示词和用于召回遮挡状态下局部可见目标对象的局部部位提示词,共同构成正向提示词集合。
11、在本发明的一个实施例中,所述依据候选对象掩码与活跃跟踪实例掩码之间的空间重叠程度,筛选与现有实例不重叠的潜在新目标,包括:
12、当当前活跃跟踪实例集合为空时,直接将候选对象标记为潜在新目标;
13、当当前活跃跟踪实例集合非空时,计算候选对象掩码与所有活跃跟踪实例掩码的最大空间重叠程度,若低于预设阈值,则将候选对象标记为潜在新目标。
14、在本发明的一个实施例中,所述基于正负提示词差分的语义一致性验证,包括:
15、编码正向提示词和负向提示词的文本表示;
16、计算候选目标视觉特征与正向提示词文本特征的相似度,减去候选目标视觉特征与负向提示词文本特征的相似度,得到语义一致性分数。
17、在本发明的一个实施例中,所述根据候选对象掩码面积自适应调整语义阈值,包括:
18、根据所述候选对象掩码面积动态调整语义一致性验证的判定阈值,其中掩码面积越小,语义阈值越高。
19、在本发明的一个实施例中,所述基于在线外观原型记忆库的外观一致性验证,包括:
20、维护由已确认目标对象视觉特征构成的在线外观原型记忆库;
21、当在线外观原型记忆库为空时,直接通过外观一致性验证;
22、当在线外观原型记忆库非空时,计算候选目标视觉特征与记忆库中所有原型特征的最大相似度,得到外观一致性分数;
23、当记忆库非空且新接受候选与所有现有原型的最大相似度低于预设更新阈值时,将该新接受候选的特征加入记忆库作为新原型。
24、在本发明的一个实施例中,所述基于跟踪实例外观特征的时序身份新颖性验证,包括:
25、当跟踪实例集合为空时,直接通过时序身份新颖性验证;
26、当跟踪实例集合非空时,计算候选目标与所有跟踪实例的外观特征之间的最大相似度,得到身份新颖性分数。
27、在本发明的一个实施例中,所述仅当候选目标同时满足语义一致性、外观一致性和时序新颖性约束时,接受为新的唯一目标对象,包括:
28、当语义一致性分数大于面积自适应语义阈值、外观一致性分数大于预设外观阈值、身份新颖性分数大于预设新颖性阈值且候选掩码面积大于预设最小面积阈值时,将候选目标接受为新的唯一目标对象。
29、为达上述目的,本发明第二方面实施例提出了一种基于多提示词召回与三重一致性免训练视频计数装置,包括:
30、候选检测框生成模块,用于构建包含整体提示词和局部提示词的正向提示词集合,将各提示词分别输入文本引导目标检测模型以生成候选检测框,并经合并得到候选检测框集合;
31、实例掩码生成与跟踪模块,用于将所述候选检测框集合输入视频对象分割模型,生成各候选对象的实例掩码,并利用时序传播机制建立跨帧跟踪实例集合;
32、潜在新目标筛选模块,用于依据候选对象掩码与活跃跟踪实例掩码之间的空间重叠程度,筛选与现有实例不重叠的潜在新目标;
33、多重一致性验证模块,用于对每个潜在新目标通过冻结视觉基础模型提取视觉特征,分别进行基于正负提示词差分的语义一致性验证、基于在线外观原型记忆库的外观一致性验证以及基于跟踪实例外观特征的时序身份新颖性验证,并根据候选对象掩码面积自适应调整语义阈值,仅当候选目标同时满足语义一致性、外观一致性和时序新颖性约束时,接受为新的唯一目标对象,输出计数结果。
34、为达上述目的,本技术第三方面实施例提出了一种计算机设备,包括:处理器和存储器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如第一方面实施例所述的一种基于多提示词召回与三重一致性免训练视频计数方法。
35、本发明实施例具有以下有益效果:
36、(1)本发明通过接收用户自由指定的文本描述确定目标对象类别,使计数框架可扩展至任意可文本描述的对象类别,实现了通用的免训练对象计数;
37、(2)通过整体提示词与局部提示词联合召回,提高了远距离、遮挡和部分可见对象的候选覆盖率;
38、(3)通过基于正负提示词差分的语义一致性验证,降低了非目标干扰物引起的误报;
39、(4)通过在线外观原型记忆库与时序身份新颖性验证,降低了轨迹断裂和重新出现导致的重复计数;
40、(5)在全程冻结模型参数、无需目标域训练的条件下,实现了跨场景快速部署,并同时输出每帧可见对象数和累积唯一对象数;
41、(6)通过几何信息跨域传递至语义判别环节以自适应调整语义阈值、外观原型记忆库与时序身份验证共享同一冻结视觉基础模型的特征空间、联合门控输出反向驱动原型记忆库初始化与更新,形成了跨特征域的数据强耦合协同作用,产生了超越各模块独立效果之和的协同技术效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com