基于分数阶联合谱与方向一致性的图像配准方法及系统

摘要: 本发明属于图像配准,尤其涉及一种基于分数阶联合谱与方向一致性的图像配准方法。背景技术:1、可见光图像与合成孔径雷达(sar)图像是遥感观测中两类主流数据源,二者...
基于分数阶联合谱与方向一致性的图像配准方法及系统

本发明属于图像配准,尤其涉及一种基于分数阶联合谱与方向一致性的图像配准方法。

背景技术:

1、可见光图像与合成孔径雷达(sar)图像是遥感观测中两类主流数据源,二者成像机理存在显著差异:可见光图像纹理丰富、视觉特征直观,但易受光照、云雾、天气影响;sar图像具备全天时、全天候观测能力,不受昼夜和云雨干扰,但存在严重的相干斑噪声,且辐射特性与可见光图像差异巨大。可见光-sar跨模态图像配准是图像融合、变化检测、地物识别、灾害监测等遥感应用的前置核心步骤,配准精度直接决定后续任务效果。

2、现有的可见光-sar图像配准方法主要分为传统特征方法与深度学习方法两大类,均存在明显短板:

3、传统特征方法:以sift、sar-sift、cfog、hopc等算法为代表,普遍依赖由梯度统计描述的局部纹理特征。面对荒漠、海面、冰雪等低纹理遥感场景,特征区分度大幅下降;同时sar图像的强相干斑噪声与两类图像的非线性辐射畸变会严重干扰特征提取与匹配。此外,传统方法普遍采用先去噪、后提特征的级联流程,前置滤波操作极易弱化弱纹理区域有效信息,造成误差逐级传递。

4、深度学习配准方法:如me-ssm、f3net、aesf等模型,依托海量标注样本学习跨模态特征映射关系,配准精度相对更高。但该类方法存在三大缺陷:一是高度依赖标注数据集,在极地、境外无控区域、突发灾害等缺乏标注样本的场景中泛化能力急剧下降;二是模型推理依赖gpu硬件,嵌入式遥感设备、地面小型观测终端难以部署,应用成本高;三是网络结构复杂,推理时延较大,无法满足实时配准需求。

5、同时,现有分数阶统计特征相关研究仅将分数阶累积量(foc)、分数阶累积量谱(fosc)应用于单幅sar图像降噪,未拓展至可见光-sar跨模态联合特征建模,无法同时解决非线性辐射差异与噪声干扰造成的伪匹配多、配准精度不足的问题。因此,针对现有技术的不足,目前亟待设计一种无训练、低算力、强鲁棒的跨模态图像配准方法,以适配低纹理、强噪声等极端遥感场景。

技术实现思路

1、本发明的目的在于提供一种基于分数阶联合谱与方向一致性的图像配准方法及系统,旨在解决上述背景技术提出的问题。

2、本发明是这样实现的,一种基于分数阶联合谱与方向一致性的图像配准方法,包括以下步骤:

3、获取多模态图像,并对多模态图像执行滑动分块,计算单模态分数阶累积量谱,生成多种单模态特征图;所述多模态图像包括可见光图像与sar图像;

4、基于快速互相关算法,对多种单模态特征图执行全局粗匹配,得到初始粗匹配点矩阵;

5、基于初始粗匹配点矩阵,对多模态图像进行粗配准,重新计算sar图像的单模态分数阶累积量谱和跨模态分数阶联合累积量谱,得到新的sar单模态特征图和联合特征图;

6、对新的sar单模态特征图和联合特征图分别提取多方向梯度,构建多频率多尺度特征向量;

7、根据多频率多尺度特征向量,基于多方向一致性和图像特征进行精准匹配,得到精准匹配集;

8、基于精准匹配集,求解仿射变换矩阵,对sar图像执行几何变换与亚像素插值,获得配准后的sar图像,完成多模态图像的配准。

9、进一步,获取多模态图像,并对多模态图像执行滑动分块,计算单模态分数阶累积量谱,生成多种单模态特征图的步骤,具体包括:

10、对可见光图像、sar图像分别进行滑动分块,定义可见光图像块为、sar图像块为;

11、计算可见光图像块的一阶、二阶和三阶的单模态分数阶矩,分别表示为、、,其数学表达式为:

12、;

13、;

14、;

15、式中,为图像块的中心位置;为空域二维间隔;m、n为图像块的行列像素数;1b、2b、3b为分数阶阶次,;

16、基于可见光图像块的单模态分数阶矩、、,计算其3b阶单模态分数阶累积量,其数学表达式为:

17、;

18、计算不同空域间隔的mittag-leffler函数的值,其数学表达式为:

19、;

20、式中,为空域间隔;为选择的第k个角频率;γ为伽马函数,是分数阶微积分理论的核心函数;为虚数单位;

21、基于可见光图像块的单模态分数阶累积量,计算其3b阶单模态分数阶累积量谱,生成可见光单模态特征图,其数学表达式为:

22、;

23、式中,为角频率;

24、计算sar图像块的一阶、二阶和三阶的单模态分数阶矩,分别表示为、、,其数学表达式为:

25、;

26、;

27、;

28、式中,为图像块的中心位置;为空域二维间隔;m、n为图像块的行列像素数;1b、2b、3b为分数阶阶次,;

29、基于sar图像块的单模态分数阶矩、、,计算其3b阶单模态分数阶累积量,其数学表达式为:

30、;

31、基于sar图像块的单模态分数阶累积量,计算3b阶sar单模态分数阶累积量谱,生成sar单模态特征图,其数学表达式为:

32、;

33、对可见光单模态特征图和sar单模态特征图执行全局归一化,再映射至预设像素范围内,获得归一化sar单模态特征图和归一化可见光单模态特征图。

34、进一步,基于快速互相关算法,对多种单模态特征图执行全局粗匹配,得到初始粗匹配点矩阵的步骤,具体包括:

35、对归一化sar单模态特征图和归一化可见光单模态特征图执行二维快速互相关运算,生成全局相似度热力图,其数学表达式为:

36、;

37、式中,i和j表示特征图的像素点行列坐标,u和v表示行列偏移量;m1和n1为特征图的行列像素数;

38、根据图像尺寸m2×n2,预设粗匹配点数量阈值k,提取全局相似度热力图中排名前k的峰值坐标,按照矩阵堆叠方法,组成初始粗匹配点矩阵和。

39、进一步,基于初始粗匹配点矩阵,对多模态图像进行粗配准,重新计算sar图像的单模态分数阶累积量谱和跨模态分数阶联合累积量谱,得到新的sar单模态特征图和联合特征图的步骤,具体包括:

40、根据初始粗匹配点矩阵和,计算粗配准仿射变换矩阵,其数学表达式为:

41、;

42、式中,为的转置矩阵;

43、根据粗配准仿射变换矩阵,对原始的sar图像进行全局几何变换,获得变换后的sar图像,其数学表达式为:

44、;

45、根据变换后的sar图像,重新计算并生成新的sar单模态特征图,再执行全局归一化,而后映射至预设像素范围内,生成新的归一化sar单模态特征图;

46、计算分数阶联合矩,其数学表达式为:

47、;

48、式中,为可见光图像块,为sar图像块;为图像块的中心位置;为空域二维间隔;m、n为图像块的行列像素数;1b、2b、3b为分数阶阶次,;

49、根据可见光图像块的单模态分数阶矩和、sar图像块的单模态分数阶矩和、分数阶联合矩计算3b阶跨模态分数阶联合累积量,其数学表达式为:

50、;

51、根据mittag-leffler函数,计算二维分数阶联合累积量谱,生成联合特征图,其数学表达式为:

52、;

53、对联合特征图执行全局归一化,再映射至预设像素范围内,获得归一化联合特征图。

54、进一步,对新的sar单模态特征图和联合特征图分别提取多方向梯度,构建多频率多尺度特征向量的步骤,具体包括:

55、为新的归一化sar单模态特征图和归一化联合特征图分别创建角频率为、、、时的高斯金字塔,并检测关键点;

56、根据高斯金字塔,同时在四个角频率组合的高斯金字塔的所有关键点圆形区域内按照方向和角频率计算梯度幅值,其数学表达式为:

57、;

58、式中,表示高斯金字塔中的特征图,u、v为特征图的像素坐标;和分别为横纵方向偏导数;

59、将多个尺度下检测到的关键点的梯度统计结果按角频率分组,组内按角度从小到大排序,组间按角频率从小到大排序,生成sar特征向量、联合特征向量。

60、进一步,根据多频率多尺度特征向量,基于多方向一致性和图像特征进行精准匹配,得到精准匹配集的步骤,具体包括:

61、采用余弦相似度计算特征向量和的匹配度,其数学表达式为:

62、;

63、式中,为二范数运算;

64、当特征向量的匹配度大于预设阈值时,则认为匹配对为有效匹配,剔除伪匹配对,保留有效匹配点,形成精准匹配点对矩阵和,得到精准匹配集。

65、进一步,基于精准匹配集,求解仿射变换矩阵,对sar图像执行几何变换与亚像素插值,获得配准后的sar图像,完成多模态图像的配准的步骤,具体包括:

66、根据精准匹配点对矩阵和,计算精准配准的仿射变换矩阵,其数学表达式为:

67、;

68、根据仿射变换矩阵,进行全局几何变换,获得变换后的sar图像,其数学表达式为:

69、;

70、根据变换后的sar图像,逐个选取浮点坐标为的亚像素周围的四个整数邻域像素对变换后的sar图像执行亚像素插值处理,得到配准后的sar图像,其数学表达式为:

71、;

72、式中,。

73、根据初始的可见光图像和配准后的sar图像,输出最终配准图像,完成可见光图像和sar图像的配准,其数学表达式为:

74、;

75、式中,为矩阵逐元素相乘运算。

76、本发明的另一个目的在于提供一种基于分数阶联合谱与方向一致性的图像配准系统,用于实现上述的基于分数阶联合谱与方向一致性的图像配准方法,包括:

77、特征图生成模块,用于获取多模态图像,并对多模态图像执行滑动分块,计算单模态分数阶累积量谱,生成多种单模态特征图;所述多模态图像包括可见光图像与sar图像;

78、特征图粗匹配模块,用于基于快速互相关算法,对多种单模态特征图执行全局粗匹配,得到初始粗匹配点矩阵;

79、图像粗配准模块,用于基于初始粗匹配点矩阵,对多模态图像进行粗配准,重新计算sar图像的单模态分数阶累积量谱和跨模态分数阶联合累积量谱,得到新的sar单模态特征图和联合特征图;

80、特征向量构建模块,用于对新的sar单模态特征图和联合特征图分别提取多方向梯度,构建多频率多尺度特征向量;

81、精准匹配模块,用于根据多频率多尺度特征向量,基于多方向一致性和图像特征进行精准匹配,得到精准匹配集;

82、配准图像输出模块,用于基于精准匹配集,求解仿射变换矩阵,对sar图像执行几何变换与亚像素插值,获得配准后的sar图像,完成多模态图像的配准。

83、本发明提供的基于分数阶联合谱与方向一致性的图像配准方法,利用图像的单模态分数阶累积量谱的噪声抑制特性,结合快速互相关算法将可见光图像和sar图像进行了粗配准,然后将单模态分数阶累积量谱拓展为跨模态分数阶联合累积量谱,通过可见光图像与sar图像的联合统计建模,弱化两类图像的非线性辐射差异,而后通过建立多频率金字塔和梯度统计构建了多方向一致性的分数阶图像特征,最后利用多方向一致性约束剔除伪匹配对,实现了跨模态图像配准。本发明能在不依赖标注数据和噪声预处理的情况下,解决可见光图像与sar图像因成像机理差异大导致的匹配伪点多、配准精度不足的问题,实现跨模态图像的准确配准。