一种基于球面量化的大规模视觉数据压缩与检索方法及系统与流程

摘要: 本发明涉及图像检索,尤其涉及一种基于球面量化的大规模视觉数据压缩与检索方法及系统。背景技术:1、随着多媒体大数据的爆发式增长,基于深度学习的近似最近邻(ann)...
一种基于球面量化的大规模视觉数据压缩与检索方法及系统与流程

本发明涉及图像检索,尤其涉及一种基于球面量化的大规模视觉数据压缩与检索方法及系统。

背景技术:

1、随着多媒体大数据的爆发式增长,基于深度学习的近似最近邻(ann)搜索技术已成为大规模图像检索的主流方案。特别是深度量化方法,其中球面量化方法通过在特定的几何空间上构建语义中心并进行特征对齐,将高维图像特征压缩为紧凑的量化索引,在保持较高检索精度的同时大幅降低存储与计算成本。

2、然而,现有的通用深度量化方法在面对智能电网等特定领域的复杂应用场景时,仍存在显著的不足,无法满足精细化运维与监测的需求:

3、第一、现有方法难以处理“小目标”的层次化语义结构,导致故障检索精度不足。在电网运维与监测任务中,关键目标往往不是孤立的物体,而是具有天然层级关系的“小目标”(如:电力设施、变压器、油枕或绝缘子、裂纹)。由于电网小目标的高质量标注数据稀缺,现有方法仅利用单一层级的扁平标签进行训练,难以充分挖掘有限样本中的层级语义关联。这种对层次化监督信息的忽视,使得模型无法区分视觉上相似但功能或故障类型不同的细粒度组件,极易产生误报。

4、第二,复杂环境下的“域偏移”问题显著,特征鲁棒性亟待提升。现有的量化模型通常假设训练与测试数据分布一致。但在实际的电网巡检中,设备长期处于复杂地理和气候环境(如雨雾、逆光、树木遮挡等)下,采集的数据存在严重的域偏移现象。现有方法提取的特征往往不够紧凑且抗干扰能力差,在面对这些高噪、模糊的巡检图像时,特征表达能力大幅衰退,难以满足鲁棒性要求。

5、第三,多模态异构数据的存储传输瓶颈。随着远程智能系统的广泛接入,巡检机器人、无人机及声纹装置产生了海量的异构多模态数据(可见光、红外图谱、音频等)。如何在保证多粒度语义不丢失的前提下,对这些海量数据进行极致的压缩,以适应偏远地区有限的网络带宽和存储资源,是当前亟需解决的技术难题。

6、因此,面对上述问题,亟需一种能够将已知的层次化监督信息有效融入深度量化模型,并利用有效技术增强特征对复杂环境鲁棒性的方法,以实现电网大规模视觉数据的高效、精准检索。

技术实现思路

1、为解决上述现有技术中存在的技术问题,本发明提出了一种基于球面量化的大规模视觉数据压缩与检索方法及系统,通过在球面集中量化的基础上引入子类与超类的层次语义信息,并经logit变分强化,使量化表示能更准确捕捉多粒度语义,提升语义丰富性。

2、一方面,为实现上述目的,本发明提供了一种基于球面量化的大规模视觉数据压缩与检索方法,包括:

3、利用深度神经网络提取输入图像的特征向量;

4、基于预定义的、位于超球面上的子类原型和超类原型,通过最小化层次化特征对齐损失,将所述特征向量同时向对应的子类原型和超类原型对齐;

5、将经过层次化特征对齐后的特征向量,通过具有层次化语义偏好机制的量化器进行压缩,生成量化索引,并通过最小化层次化量化总损失优化所述量化器;其中,所述量化器的码本被划分为若干与子类标签对应的码字子集,并根据所述特征向量所属的子类或超类,仅激活对应的一个或多个码字子集参与量化过程;

6、联合优化所述深度神经网络和所述量化器,使所述层次化特征对齐损失与所述层次化量化总损失之和最小化,直至模型收敛,获得训练好的深度神经网络和量化器;

7、对于查询图像,利用所述训练好的深度神经网络和量化器生成量化索引,并计算与数据库中图像的量化索引之间的距离,根据距离排序返回检索结果。

8、优选地,所述子类原型通过优化汤姆逊问题获得,所述汤姆逊问题的势能函数定义为两个子类原型之间的实际相似度与预定义的语义相关性矩阵中期望相似度之间的差异;

9、所述超类原型通过对所属所有子类原型的平均向量进行归一化获得。

10、优选地,所述层次化特征对齐损失包括:

11、子类收集损失,用于计算所述特征向量与对应的所述子类原型之间的余弦相似度及幅度差异;

12、超类收集损失,用于计算所述特征向量与对应的所述超类原型之间的余弦相似度及幅度差异;

13、变分交叉熵损失,通过对原始分类logit进行变换得到变分logit后计算得出。

14、优选地,所述变分交叉熵损失中的变分logit通过以下方式获得:

15、将所述原始分类logit与类别引导滤波逐元素相乘,再与所述原始分类logit的平方相加,获得所述变分logit。

16、优选地,所述层次化语义偏好机制包括:

17、将总的码本划分为若干子码本,每个子码本中的码字被平均划分为与子类标签数量相等的码字子集,每个码字子集唯一对应一个子类标签;

18、对于给定的特征向量,量化过程仅在对应的子类标签所关联的码字子集,或在对应的超类标签所关联的所有子类标签对应的码字子集的并集内进行加权软量化。

19、优选地,所述层次化量化总损失包括:

20、层次语义损失,用于约束所述量化索引的语义区分性,其中,所述层次语义损失包括原型损失和实例损失,所述原型损失用于计算所述量化索引与对应的子类原型及超类原型之间的相似度,所述实例损失用于计算当前图像的量化索引与同一批次中属于相同子类或相同超类的其他图像的量化索引之间的相似度;

21、层次化失真感知量化损失,用于衡量量化前后特征的差异。

22、优选地,所述层次化失真感知量化损失采用退火策略控制量化松弛程度,并引入多样性调节项以拉远码本中最近的两个码字;

23、所述层次化失真感知量化损失在计算时仅针对由所述层次化语义偏好机制所激活的码字子集进行。

24、优选地,所述联合优化采用两阶段交替优化策略,其中,第一阶段固定量化器参数,优化深度神经网络以最小化所述层次化特征对齐损失;第二阶段固定深度神经网络参数,优化量化器以最小化所述层次化量化总损失;

25、重复第一阶段和第二阶段直至模型收敛。

26、另一方面,为实现上述目的,本发明还提供了一种基于球面量化的大规模视觉数据压缩与检索系统,包括:

27、特征提取模块,用于利用深度神经网络提取输入图像的特征向量;

28、特征对齐模块,用于基于预定义的、位于超球面上的子类原型和超类原型,通过最小化层次化特征对齐损失,将所述特征向量同时向对应的子类原型和超类原型对齐;

29、量化模块,用于将经过层次化特征对齐后的特征向量,通过具有层次化语义偏好机制的量化器进行压缩,生成量化索引,并通过最小化层次化量化总损失优化所述量化器;其中,所述量化器的码本被划分为若干与子类标签对应的码字子集,并根据所述特征向量所属的子类或超类,仅激活对应的一个或多个码字子集参与量化过程;

30、联合训练模块,用于联合优化所述深度神经网络和所述量化器,使所述层次化特征对齐损失与所述层次化量化总损失之和最小化,直至模型收敛,获得训练好的深度神经网络和量化器;

31、检索模块,用于对于查询图像,利用所述训练好的深度神经网络和量化器生成量化索引,并计算与数据库中图像的量化索引之间的距离,根据距离排序返回检索结果。

32、本发明还提供一种基于球面量化的大规模视觉数据压缩与检索设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述基于球面量化的大规模视觉数据压缩与检索方法的步骤。

33、与现有技术相比,本发明具有如下优点和技术效果:

34、本发明在球面集中量化的基础上引入子类与超类的层次语义信息,并经logit变分强化,使量化表示能更准确捕捉多粒度语义,提升语义丰富性。通过层次监督和增强的特征紧凑性,能更好地区分同一超类下的不同子类,显著提高细粒度检索精度且直接利用已有层次标签,避免昂贵的无监督挖掘,更高效准确。