一种基于归一化流局部非线性互逆度量学习的图像分类方法及系统

摘要: 本发明属于计算机视觉、度量学习和归一化流模型,尤其涉及一种基于归一化流局部非线性互逆度量学习的图像分类方法及系统。背景技术:1、图像分类任务中,判别性特征空间的...
一种基于归一化流局部非线性互逆度量学习的图像分类方法及系统

本发明属于计算机视觉、度量学习和归一化流模型,尤其涉及一种基于归一化流局部非线性互逆度量学习的图像分类方法及系统。

背景技术:

1、图像分类任务中,判别性特征空间的构建是影响分类性能的重要因素。传统马氏距离学习方法通常学习一个全局线性正定矩阵a,通过减小同类样本距离、增大异类样本距离实现分类;深度度量学习方法通常利用神经网络提取特征后施加对比损失、三元组损失或类中心损失。这些方法多数只在单一正向特征空间中进行约束,缺乏对正向度量与逆向度量之间互逆几何关系的显式建模。

2、gmml(geometric mean metric learning)方法提出了具有几何解释的线性度量学习思想:对同类样本使用马氏距离,对异类样本使用逆马氏距离,利用a与的反向单调关系形成同类压缩与异类分离的协同优化。该思想说明,若关于矩阵a的梯度为,则关于a的梯度为,二者在参数空间中呈负相关优化趋势。

3、然而,gmml仍然属于全局线性度量学习方法,其学习到的矩阵a对整个特征空间施加相同的线性变换。当样本局部呈现非线性流形结构或对称几何分布时,单一全局线性变换难以改变局部相对距离关系。例如,当同类样本位于等边三角形顶点而异类样本位于中心区域时,单纯依靠全局线性距离压缩可能无法同时实现同类聚合和异类分离。该问题是本发明希望解决的核心问题之一。

4、normalizing flow具有可微、精确可逆、雅可比矩阵可计算等特点。其局部雅可比矩阵能够在不同样本邻域内诱导不同的局部马氏度量,因此具备将gmml的线性互逆度量推广为非线性局部互逆度量的可能。但由于normalizing flow是非线性模型,直接训练可能产生局部过度弯曲、正逆向度量失配或训练振荡,因此需要引入局部线性一致性约束和相邻迭代单调性约束,以保证局部非线性推广的稳定性。

技术实现思路

1、为解决上述技术问题,本发明提出了一种基于归一化流局部非线性互逆度量学习的图像分类方法及系统,以解决上述现有技术存在的问题。

2、为实现上述目的,本发明提供了一种基于归一化流局部非线性互逆度量学习的图像分类方法,包括:

3、获取输入图像的深度特征向量;将所述深度特征向量输入归一化流模型映射至流空间;

4、根据所述归一化流模型的正向映射和逆向映射,分别确定同类样本对在正向流空间中的距离和异类样本对在逆向对偶流空间中的距离,并构造gmml型正逆向判别损失;基于所述归一化流模型的一阶局部近似误差构造局部线性一致性约束;基于相邻训练迭代中同类正向距离的变化和异类逆向距离的变化构造单调性约束;

5、联合优化所述gmml型正逆向判别损失、所述局部线性一致性约束和所述单调性约束,得到训练好的归一化流模型;

6、基于所述训练好的归一化流模型的正向流空间特征对待分类的输入图像进行分类。

7、可选的,所述归一化流模型包括realnvp仿射耦合层、glow型可逆1×1卷积层、神经样条流层或条件归一化流层中的至少一种。

8、可选的,所述gmml型正逆向判别损失等于同类样本对在正向流空间中的距离之和减去权重系数乘以异类样本对在逆向对偶流空间中的距离之和,其中通过所述归一化流模型的正向映射计算同类样本对在正向流空间中的距离,通过所述归一化流模型的逆向映射计算异类样本对在逆向对偶流空间中的距离。

9、可选的,所述局部线性一致性约束为:对局部邻域内的样本对,计算所述归一化流模型的正向映射差值减去雅可比矩阵乘以深度特征向量差值的二范数平方,除以深度特征向量差值的二范数平方加防止分母为零的常数,并对所有局部邻域样本对求和。

10、可选的,所述单调性约束包括:对同类样本对,惩罚当前迭代的正向距离减去上一迭代的正向距离再减去正向边距的正数部分;对异类样本对,惩罚逆向边距减去当前迭代的逆向距离与上一迭代的逆向距离之差的正数部分。

11、可选的,所述联合优化中采用的总损失函数为所述gmml型正逆向判别损失、第一权重系数乘以所述单调性约束、第二权重系数乘以所述局部线性一致性约束以及第三权重系数乘以正则项之和。

12、可选的,使用所述归一化流模型的正向流空间特征进行k近邻分类、类原型分类或基于流空间距离的分类。

13、本发明还提供了一种基于归一化流局部非线性互逆度量学习的图像分类系统,用于执行上述方法,包括:

14、深度特征提取模块,用于获取输入图像的深度特征向量;

15、normalizing flow度量映射模块,用于将所述深度特征向量映射至流空间,输出正向流空间特征并提供逆向对偶流空间距离计算;

16、gmml型损失计算模块,用于基于同类正向流空间距离和异类逆向对偶流空间距离计算gmml型正逆向判别损失;

17、局部线性一致性约束模块,用于根据局部雅可比矩阵计算一阶近似误差以构造局部线性一致性约束;

18、相邻迭代单调性约束模块,用于根据相邻迭代中正向距离和逆向距离的变化构造单调性约束;

19、分类模块,用于基于正向流空间特征输出图像分类结果。

20、与现有技术相比,本发明具有如下优点和技术效果:

21、本发明将gmml的线性互逆度量思想推广到normalizing flow诱导的局部非线性度量空间。与全局线性马氏度量相比,本发明能够在不同样本邻域内形成不同的局部度量,从而处理等边三角形中心点等对称几何分布下难以建立分类边界的问题;与普通深度度量学习相比,本发明同时利用正向流空间同类聚合和逆向对偶空间异类分离,并通过局部线性一致性约束和相邻迭代单调性约束抑制训练过程中的局部过度弯曲与正逆向度量失配,使收敛过程更加平稳可靠。

1.一种基于归一化流局部非线性互逆度量学习的图像分类方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于归一化流局部非线性互逆度量学习的图像分类方法,其特征在于,

3.根据权利要求1所述的基于归一化流局部非线性互逆度量学习的图像分类方法,其特征在于,

4.根据权利要求1所述的基于归一化流局部非线性互逆度量学习的图像分类方法,其特征在于,

5.根据权利要求1所述的基于归一化流局部非线性互逆度量学习的图像分类方法,其特征在于,

6.根据权利要求1所述的基于归一化流局部非线性互逆度量学习的图像分类方法,其特征在于,

7.根据权利要求1所述的基于归一化流局部非线性互逆度量学习的图像分类方法,其特征在于,

8.一种基于归一化流局部非线性互逆度量学习的图像分类系统,用于执行权利要求1至7任一项所述的方法,其特征在于,包括: