一种基于多尺度图对比学习的高光谱图像聚类方法及系统

摘要: 本发明涉及遥感图像处理,具体涉及一种基于多尺度图对比学习的高光谱图像聚类方法及系统,用于实现高光谱图像的无监督聚类分析。背景技术:1、高光谱图像聚类因无需标注数...
一种基于多尺度图对比学习的高光谱图像聚类方法及系统

本发明涉及遥感图像处理,具体涉及一种基于多尺度图对比学习的高光谱图像聚类方法及系统,用于实现高光谱图像的无监督聚类分析。

背景技术:

1、高光谱图像聚类因无需标注数据的特性,在遥感数据分析等领域得到广泛应用,然而,高光谱图像存在高维冗余特征以及复杂的空间-光谱关联,传统聚类方法如k-means、谱聚类等难以有效处理这些问题,导致聚类精度不高。

2、在现有技术中,深度学习模型虽能通过非线性映射提升特征表达能力,但在无监督场景下面临伪标签噪声放大的风险,图学习技术凭借对非结构化关系的建模能力展现出优势,图对比学习的高光谱聚类算法通过融合图结构建模与对比表示学习,实现了一定程度的鲁棒特征表达与聚类优化。

3、但现有方法仍存在一些不足:

4、例如多数依赖浅层图卷积或多层感知机提取特征,难以捕获多尺度光谱-空间信息,特征提取粒度单一;

5、或是应对复杂图操作时计算开销大,难以应用于大规模高光谱图像处理;

6、或是构建图结构时采用固定阈值或全连接方式,易引入噪声干扰,制约算法性能。

7、为此,本技术特提出一种基于多尺度图对比学习的高光谱图像聚类方法及系统,能有效提取多尺度特征、平衡局部与全局信息、在提升聚类精度的同时控制计算复杂度,以解决上述技术问题。

技术实现思路

1、本发明的主要目的在于提供一种基于多尺度图对比学习的高光谱图像聚类方法及系统,以解决背景技术中所提出的现有方法特征提取粒度单一、计算开销大、聚类精度有待提升的技术问题。

2、本发明采用以下技术方案解决上述技术问题:

3、一种基于多尺度图对比学习的高光谱图像聚类方法,通过计算机设备执行包括以下步骤:

4、步骤s1.输入高光谱图像进行超像素分割,划分同质区域,构建包含空间结构矩阵和光谱相似矩阵的超像素图结构;

5、步骤s2.提取超像素图结构中不同尺度的局部至全局特征,并对超像素图结构节点的平均光谱特征进行多尺度增强;

6、步骤s3.将经过多尺度增强后的特征输入至基于多层感知机构建的轻量级编码器,生成锚嵌入矩阵、正嵌入矩阵和负嵌入矩阵,其中轻量级编码器通过随机行洗牌方式获得所述负嵌入,用于对锚嵌入矩阵行索引进行随机置换以破坏光谱连续性;

7、步骤s4.构建包含光谱-空间嵌入损失、邻域嵌入损失和边界约束损失的多重边界损失函数对轻量级编码器进行模型训练,并通过联合优化特征嵌入与聚类中心分配,输出高光谱图像的聚类结果。

8、优选的,所述步骤s1中空间结构矩阵基于图节点间空间邻接性构建,所述图节点指代经超像素分割后形成的每个同质区域,每个超像素区域视为一个节点,此处图节点基于超像素分割划分的同质区域计算得到,此时借助超像素分割将像素级图转换为区域级图,能够显著减小邻接矩阵规模,降低存储与计算负担,所述光谱相似矩阵基于图节点间光谱相似性构建,所述图节点间光谱相似性基于光谱特征计算得到,具体通过计算各节点(超像素)的平均光谱特征之间的余弦相似度或欧氏距离得到,且空间结构矩阵及光谱相似矩阵两者均经过对称归一化处理,以避免梯度爆炸和训练不稳定,此时通过对空间结构矩阵及光谱相似矩阵的对称归一化,能够保证稳定训练过程并提升特征判别性,同时联合使用归一化后的空间结构矩阵及光谱相似矩阵,还能够使后续构建的轻量级编码器模型在保持轻量化的同时提高后续聚类精度,存在计算公式为:

9、

10、

11、

12、其中,为原始空间结构矩阵,为归一化处理后的空间结构矩阵,为对应空间结构矩阵的度矩阵,为单位矩阵,为原始光谱相似矩阵,为对应光谱相似矩阵的度矩阵,表示为添加了自连接(自环)的空间结构矩阵,此项操作用于确保在特征传播时,每个节点能同时融合邻居信息与自身信息,防止特征过度平滑,为归一化处理后的光谱相似矩阵。

13、优选的,所述步骤s2中多尺度增强处理用于对超像素图结构中的超像素节点特征进行增强,具体包括:

14、采用1×1、3×3、5×5的并行卷积核提取超像素图结构中不同尺度的局部至全局特征,分别得到多尺度特征、和;

15、拼接提取的多尺度特征并通过1×1卷积降维实现特征融合,有特征融合后的平均光谱特征为:;

16、引入光谱注意力权重对特征融合的平均光谱特征进行加权调整,有调整计算公式为:,其中,为光谱注意力权重,同时还通过通道压缩减少参数。

17、优选的,所述光谱注意力权重的计算公式为:

18、

19、

20、

21、该计算能够在通道维度建立光谱依赖,使同一超像素内关键波段响应得到强化,提升融合特征的判别能力;

22、其中,为特征融合后的平均光谱特征,和分别为查询矩阵和键矩阵,和均为可学习的权重矩阵,分别用于将特征融合后的平均光谱特征  线性投影为查询(query)矩阵和键(key)矩阵 ,为缩放因子,并通过通道压缩减少参数,该方式在同一超像素内建立通道依赖,强化关键波段响应,提升多尺度特征的判别性。

23、优选的,所述步骤s3中锚嵌入矩阵、正嵌入矩阵和负嵌入矩阵的生成包括:

24、锚嵌入矩阵,将多尺度增强后的平均光谱特征输入基于多层感知机构建的轻量级编码器后直接输入生成,表示为行数为、列数为的实数矩阵;

25、正嵌入矩阵,利用空间结构矩阵和光谱相似矩阵生成;

26、负嵌入矩阵,采用随机行洗牌方式,对锚嵌入矩阵按行索引进行随机置换得到,此时使原始光谱连续性被破坏,该破坏迫使模型学习高阶结构而非绝对强度;同时该操作仅涉及索引重排,不增加参数与计算量,却为对比损失提供更具挑战性的负样本,从而提升嵌入判别性。

27、优选的,利用空间结构矩阵和光谱相似矩阵生成正嵌入矩阵的具体生成流程包括:

28、输入与结构引入:编码器接收相同的多尺度增强特征 作为输入,并显式引入由步骤s1构建的原始空间结构矩阵和原始光谱相似矩阵;

29、图结构引导的特征聚合:为了将上述图结构信息融入特征表示,因此通过特征传播机制实现节点间的信息聚合,具体而言,利用矩阵聚合每个节点的空间邻居特征,利用矩阵聚合与当前节点光谱相似的节点特征。

30、经过上述过程,最终输出正嵌入矩阵 ,该嵌入同时编码了节点自身特征、局部空间上下文与非局部光谱相似性,能够确保锚点-正样本对在语义上的一致性。

31、优选的,所述特征聚合过程的具体操作通过以下图卷积形式完成,具体操作计算步骤包括:

32、

33、

34、

35、其中,为可学习的权重矩阵,用于对输入特征进行投影变换,为多尺度增强特征的特征维度,为非线性激活函数,如relu函数,代表一种特征归一化操作,例如层归一化,用于稳定训练过程,与分别代表基于原始空间结构矩阵和原始光谱相似矩阵卷积得到的卷积样本。

36、优选的,所述步骤s4中轻量级编码器进行模型训练所采用的多重边界损失函数为:

37、

38、其中,为光谱-空间嵌入损失,为邻域嵌入损失,为边界约束损失,、为权重系数,通过同步反向传播一体优化三项损失约束,使模型在单一路径下同时兼顾光谱-空间一致性、邻域关系保持和类间边界推开,以减少分阶段调参工作量。

39、优选的,基于多重边界损失函数对模型进行训练正样本对距离度量设为:

40、

41、其中,为最终特征,为正嵌入的最终特征,控制多尺度特征对齐强度。

42、另一方面,本发明还公开一种基于多尺度图对比学习的高光谱图像聚类系统,具体包括

43、(1)超像素图构建模块,用于对输入的高光谱图像进行超像素分割,构建包含空间结构矩阵和光谱相似矩阵的超像素图结构;

44、(2)多尺度特征提取模块,用于对超像素节点的平均光谱特征进行多尺度增强处理,该模块采用 1×1、3×3、5×5 的并行卷积核提取不同尺度的局部至全局特征,拼接提取的多尺度特征并通过 1×1 卷积降维实现特征融合,引入光谱注意力权重对融合后的特征进行加权调整;

45、(3)轻量级编码模块,基于多层感知机构建,用于处理经过多尺度增强处理后的特征,生成锚嵌入、正嵌入和负嵌入;

46、(4)训练与聚类模块,用于基于包含光谱 - 空间嵌入损失、邻域嵌入损失和边界约束损失的多重边界损失函数对模型进行训练,通过联合优化特征嵌入与聚类中心分配,输出高光谱图像的聚类结果;

47、其中所述超像素图构建模块对空间结构矩阵和光谱相似矩阵进行对称归一化处理,以避免梯度爆炸和训练不稳定,且所述多尺度特征提取模块通过通道压缩减少多尺度模块参数,以维持计算效率。

48、又一方面,本发明还公开一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如上述方法的步骤。

49、再一方面,本发明还公开一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上方法的步骤。

50、由上述技术方案可知,本发明提供了一种基于多尺度图对比学习的高光谱图像聚类方法及系统。与现有技术相比本发明的具有以下优势:

51、1.本发明通过多尺度特征提取模块,采用不同尺度卷积核捕获多尺度空间上下文信息,结合注意力机制动态加权不同尺度特征,能够有效增强模型对不同尺度地物结构的表征能力,进而提升聚类精度。

52、2.本发明在引入多尺度特征提取模块的同时,还通过通道压缩减少参数,采用轻量级编码器,使训练时间仅比原模型略有增加,从而能够保持模型的轻量化和高效性,适用于大规模高光谱图像处理。

53、3.本发明通过动态调整邻接矩阵权重,结合多重边界损失函数,能够提升图构建的鲁棒性,减少噪声干扰,进而降低类间相似性较高情况下的误分类率。

54、4.综上,本发明能够捕捉多尺度空间-光谱信息,有效提取多尺度特征、平衡局部与全局信息、在提升聚类精度的同时控制计算复杂度,保持模型轻量化,以解决了传统方法特征提取粒度单一、计算开销大、聚类精度有待提升的问题。

55、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。