无人机全景图像变化检测方法和装置、设备及介质
本发明实施例涉及计算机视觉与遥感图像处理,尤其涉及一种无人机全景图像变化检测方法和装置、设备及介质。
背景技术:
1、变化检测是指通过多时相的遥感数据,采用图像处理和模式识别方法提取变化信息的过程。随着无人机技术的普及,利用无人机搭载全景相机进行城市监察、灾害监测和违建排查已成为重要手段。全景图像能够提供360度的超大视场角,相较于传统视角的影像,具有极高的信息密度和全方位的场景感知能力。
2、然而,当前基于无人机全景图的变化检测任务面临着三大尚未被彻底解决的工程痛点:
3、第一,无人机非严格复飞导致的强三维视差(parallax)伪影。由于受到气流、gps误差等影响,无人机在不同时相(t1和t2)的飞行轨迹、悬停高度和偏航角难以做到毫米级一致。这种视角的微小偏移会在具有高度差的物体(如建筑物、树木)边缘产生强烈的三维视差,现有的二维特征对齐模块无法从根本上消除此类几何错位,极易产生大量的虚警(伪变化)。
4、第二,全景图(等距柱状投影,erp)固有的球形几何畸变。现有的卷积神经网络(cnn)或vision transformer架构通常将全景图作为普通的平面图像处理,但在erp格式下,图像的高纬度区域(两极)会被严重拉伸。常规的方形卷积核或规则的窗口自注意力机制会提取到形变的错误特征,导致高纬度区域的检测精度严重下降。
5、第三,超高分辨率带来的计算瓶颈。无人机全景图通常为4k或8k以上的超高分辨率,现有的transformer模型计算复杂度与序列长度呈二次方关系,难以直接处理如此密集的像素序列;而盲目下采样则会导致细小目标(如早期裂缝、小型违章搭盖)的变化特征永久丢失。
6、综上,现有方法存在无人机轨迹不一致导致的视差伪影、全景图两极畸变以及超分辨率计算复杂度高的技术问题。
技术实现思路
1、本发明实施例提供了一种无人机全景图像变化检测方法和装置、设备及介质,利用三维高斯溅射在三维空间进行绝对视角对齐,引入线性复杂度的球面状态空间模型解决全景畸变和高分辨率计算瓶颈,并通过球面谐波系数实现高低频解耦,从而在物理层面、几何层面与频域层面三位一体地提升复杂场景下的全景变化检测性能,以解决无人机轨迹不一致导致的视差伪影、全景图两极畸变以及超分辨率计算复杂度高的技术问题。
2、第一方面,本发明实施例提供了一种无人机全景图像变化检测方法,包括:
3、获取无人机在不同时相采集的高分辨率全景图像对;
4、将所述全景图像对输入至单目深度估计大模型进行伪三维点云构建,得到三维高斯溅射场景表征;
5、利用所述三维高斯溅射场景表征对不同时相场景进行同位重渲染,生成绝对视角一致的基准全景图对;
6、将所述基准全景图对输入至频域增强球面状态空间模型中,通过纬度补偿的球面自适应扫描机制提取超高分辨率下的多尺度特征;
7、提取三维高斯场景中的球面谐波系数进行高低频解耦,得到频域响应;
8、将所述频域响应和所述多尺度特征输入至不确定性估计网络,得到变化置信度掩膜;
9、以所述变化置信度掩膜为权重,对所述多尺度特征进行差分融合和拼接,得到融合特征;
10、将所述融合特征输入至解码器,得到二值变化掩码图,将所述二值变化掩码图传输至终端。
11、在一些实施例中,所述将所述全景图像对输入至单目深度估计大模型进行伪三维点云构建,得到三维高斯溅射场景表征,包括:
12、将所述全景图像对分别输入至预训练的单目深度估计大模型,输出各像素对应的稠密深度图;
13、基于全景相机的球面投影模型,依据像素坐标及其对应的深度值,将二维图像像素反投影至三维空间,生成包含空间位置信息的伪三维点云;
14、以所述伪三维点云中的空间点位作为几何先验,初始化各三维高斯体的中心位置,并结合表征物体尺寸与朝向的各向异性协方差矩阵、不透明度属性以及用于拟合视角相关颜色的球面谐波系数,构建所述三维高斯溅射场景表征。
15、在一些实施例中,所述利用所述三维高斯溅射场景表征对不同时相场景进行同位重渲染,生成绝对视角一致的基准全景图对,包括:
16、以所述全景图像对对应的伪三维点云分别初始化第一时相和第二时相的三维高斯溅射场景;
17、通过可微分α混合渲染及基于l1损失与结构相似性损失的联合优化函数,对所述三维高斯溅射场景的参数进行迭代优化;
18、在同一世界坐标系下设定一位姿固定的虚拟基准相机,所述虚拟基准相机的位姿基于所述第一时相和第二时相的相机位姿确定;
19、利用优化后的三维高斯溅射场景,在所述虚拟基准相机的统一视角下进行α混合重渲染,生成绝对视角一致的基准全景图对,其中,所述基准全景图对包括第一时相基准全景图和第二时相基准全景图。
20、在一些实施例中,所述将所述基准全景图对输入至频域增强球面状态空间模型中,通过纬度补偿的球面自适应扫描机制提取超高分辨率下的多尺度特征,包括:
21、将所述基准全景图对分割为非重叠的图像块,经线性嵌入映射为令牌序列,并记录各令牌对应的像素中心纬度值;
22、在选择性状态空间模型的离散化状态转移过程中,引入纬度补偿函数w(θ)=cosθ对状态转移矩阵进行动态调制,得到状态转移矩阵,其中,θ为纬度值;
23、基于所述状态转移矩阵对所述令牌序列进行线性复杂度的特征扫描与提取,并通过多级下采样得到所述多尺度特征。
24、在一些实施例中,所述提取三维高斯场景中的球面谐波系数进行高低频解耦,得到频域响应,包括:
25、提取三维高斯溅射场景中各高斯体的球面谐波系数,其中,所述球面谐波系数包含表征全局光照的低阶分量和表征物体结构的高阶分量;
26、分别计算第一时相与第二时相的球面谐波系数差值,得到系数差序列;
27、基于预设的抑制因子和放大因子,对所述系数差序列中的低阶分量进行抑制,并对所述系数差序列中的高阶分量进行放大,生成变化敏感的频域响应。
28、在一些实施例中,所述将所述频域响应和所述多尺度特征输入至不确定性估计网络,得到变化置信度掩膜,包括:
29、将所述频域响应与所述多尺度特征在通道维度上进行拼接,形成融合输入特征图;
30、将所述融合输入特征图输入至轻量化卷积神经网络构成的不确定性估计网络中,通过卷积操作提取伪变化特征,经由sigmoid激活函数输出逐像素的变化置信度掩膜。
31、在一些实施例中,所述以所述变化置信度掩膜为权重,对所述多尺度特征进行差分融合和拼接,得到融合特征,包括:
32、计算第一时相特征图与第二时相特征图的像素级差值,得到差分特征图;
33、将所述差分特征图与所述变化置信度掩膜进行逐像素相乘,在高置信度区域增强差异特征,在低置信度区域抑制差异特征,得到相乘结果;
34、将所述相乘结果与所述第一时相特征图、所述第二时相特征图在通道维度上进行拼接,得到所述融合特征。
35、第二方面,本发明实施例还提供了一种无人机全景图像变化检测装置,所述装置包括:
36、获取模块,用于获取无人机在不同时相采集的高分辨率全景图像对;
37、构建模块,用于将所述全景图像对输入至单目深度估计大模型进行伪三维点云构建,得到三维高斯溅射场景表征;
38、渲染模块,用于利用所述三维高斯溅射场景表征对不同时相场景进行同位重渲染,生成绝对视角一致的基准全景图对;
39、提取模块,用于将所述基准全景图对输入至频域增强球面状态空间模型中,通过纬度补偿的球面自适应扫描机制提取超高分辨率下的多尺度特征;
40、解耦模块,用于提取三维高斯场景中的球面谐波系数进行高低频解耦,得到频域响应;
41、估计模块,用于将所述频域响应和所述多尺度特征输入至不确定性估计网络,得到变化置信度掩膜;
42、融合模块,用于以所述变化置信度掩膜为权重,对所述多尺度特征进行差分融合和拼接,得到融合特征;
43、输出模块,用于将所述融合特征输入至解码器,得到二值变化掩码图,将所述二值变化掩码图传输至终端。
44、第三方面,本发明实施例还提供了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如第一方面所述的无人机全景图像变化检测方法。
45、第四方面,本发明实施例还提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如第一方面所述的无人机全景图像变化检测方法。
46、根据本发明实施例提供的无人机全景图像变化检测方法和装置、设备及介质,其中,无人机全景图像变化检测方法包括:获取无人机在不同时相采集的高分辨率全景图像对;将全景图像对输入至单目深度估计大模型进行伪三维点云构建,得到三维高斯溅射场景表征;利用三维高斯溅射场景表征对不同时相场景进行同位重渲染,生成绝对视角一致的基准全景图对;将基准全景图对输入至频域增强球面状态空间模型中,通过纬度补偿的球面自适应扫描机制提取超高分辨率下的多尺度特征;提取三维高斯场景中的球面谐波系数进行高低频解耦,得到频域响应;将频域响应和多尺度特征输入至不确定性估计网络,得到变化置信度掩膜;以变化置信度掩膜为权重,对多尺度特征进行差分融合和拼接,得到融合特征;将融合特征输入至解码器,得到二值变化掩码图,将二值变化掩码图传输至终端。本发明通过获取无人机在不同时相采集的高分辨率全景图像对,经图像预处理后引入单目深度估计大模型构建伪三维点云,并以该点云作为几何先验初始化和训练跨时相三维高斯溅射场景表征;其次,设定统一的虚拟基准相机,利用三维高斯表征对不同时相场景进行同位重渲染,生成绝对视角一致的跨时相基准全景图,从而实现由二维图像配准向三维表征对齐的转换,并从物理机制上消除三维视差伪影;接着,将基准图像输入至频域增强球面状态空间模型中,通过纬度补偿的球面自适应扫描机制提取超高分辨率下的多尺度特征;然后,提取三维高斯场景中的球面谐波系数进行高低频解耦,结合不确定性估计网络过滤光照差异、季节变化等伪变化,并对跨时相特征进行变化敏感融合;最后,通过解码器输出高精度二值变化掩码图并回传至工作人员终端。基于此,本发明利用三维高斯溅射在三维空间进行绝对视角对齐,引入线性复杂度的球面状态空间模型解决全景畸变和高分辨率计算瓶颈,并通过球面谐波系数实现高低频解耦,从而在物理层面、几何层面与频域层面三位一体地提升复杂场景下的全景变化检测性能。本发明能够有效解决无人机轨迹不一致导致的视差伪影、全景图两极畸变以及超分辨率计算复杂度高的技术问题,大幅提升了复杂场景下无人机全景变化检测的精度、鲁棒性与计算效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com