融合KAN网络与阴影监督的神经辐射场三维重建方法

摘要: 本发明属于三维重建的,具体涉及一种融合kan网络与阴影监督的神经辐射场三维重建方法。背景技术:1、数字表面模型(dsm)是城市三维建模、地形分析、灾害检测、土地...
融合KAN网络与阴影监督的神经辐射场三维重建方法

本发明属于三维重建的,具体涉及一种融合kan网络与阴影监督的神经辐射场三维重建方法。

背景技术:

1、数字表面模型(dsm)是城市三维建模、地形分析、灾害检测、土地覆盖变化监测和遥感场景理解的基础数据产品。与机载lidar等主动测量方法相比,多视图卫星影像具有覆盖范围广、时间分辨率高和获取成本低等优势,已成为大范围三维重建的关键数据源。然而,从多视图卫星影像重建dsm在以下区域仍面临严峻挑战:高程突变区域、弱纹理区域和复杂地物边界,光照变化和几何约束不足往往导致显著的高程误差。

2、目前的多视角卫星影像三维重建方法主要分为传统多视图立体方法、基于神经辐射场的隐式重建方法与基于三维高斯的显式重建方法三大类,其中,传统多视图立体方法主要是通过影像匹配、代价聚合和深度估计来恢复三维结构,并通过引入深度特征和代价体提高匹配鲁棒性;基于神经辐射场的隐式重建方法则是利用连续隐式场和可微体渲染,联合建模场景的几何与外观;基于三维高斯的显式重建方法是近年来应用较多的高效方法,主要通过显式高斯基元和可微光栅化来提升表示与渲染效率。然而,上述方法在多时相光照变化、弱纹理及复杂边界区域仍存在几何不稳定问题,具体如下:

3、1. mlp主干网络表示能力有限:当前卫星nerf框架主要依赖mlp或残差mlp作为主干网络(如sat-nerf、rds-nerf(图1))。标准mlp对局部高频几何细节(如建筑边缘、道路边界、水岸线)的解析能力不足,导致这些区域出现过度平滑或高程漂移。虽然siren等周期性激活函数能扩展网络的频率带宽,但缺乏在需要的位置精确部署高频表示的能力。

4、2. 多日期影像辐射不一致性干扰密度场学习:多日期卫星影像之间存在显著的阴影、光照和季节性外观差异。仅依赖rgb重建损失无法区分光照引起的亮度变化与真实的几何变化,导致模型将瞬态阴影模式错误地编码为密度场中的几何结构。现有的阴影处理方法(如sat-nerf中的阴影不确定性建模)仅通过隐式学习来处理这一问题,缺乏对阴影区域的显式监督,在阴影密集区域的表现仍然有限。

5、3. 全kan主干网络在弱纹理区域产生伪影:kolmogorov-arnold网络(kan)虽然具有强大的局部函数表示能力,但若完全替代mlp作为主干网络,其在弱纹理区域的强局部响应倾向会引入密度斑点和 elevation 不连续性。如何在保持全局场连续性的前提下有效利用kan的局部表示能力,是现有技术尚未解决的问题。

技术实现思路

1、本发明提供了一种融合kan网络与阴影监督的神经辐射场三维重建方法,以解决现有基于mlp的卫星nerf主干网络对局部高频几何变化表示能力不足,导致局部区域过度平滑或高程漂移;多时相卫星影像中的阴影和光照变化干扰密度场学习,模型易将瞬态亮度变化误判为高程变化等技术问题。

2、为实现上述目的,本发明提供了如下技术方案为:

3、一种融合kan网络与阴影监督的神经辐射场三维重建方法,包括以下步骤:

4、步骤一、获取目标重建区域的多视角、多时相卫星影像及其相关图像信息,再根据图像信息为采样像素构建三维观测射线,以获得沿射线采样的多个三维空间采样点,计算得到太阳方向向量,并为不同输入影像设置可学习的时间嵌入向量;

5、步骤二、以三维空间采样点及其对应的太阳方向向量、时间嵌入向量作为输入,主干网络的前端采用siren-mlp层提取高层隐式特征,并通过跳跃连接保留原始空间位置信息,后端采用grbf-kan层对高层隐式特征进行局部自适应精修,从而输出包含极高局部几何保真度的基础特征;

6、基于基础特征,利用基础检测头分支分别预测出基础颜色、基础体密度、基础太阳可见性、基础天空光照项和基础不确定性参数,共五个基础预测结果,同时利用引入轻量级残差模块的残差检测头分支,对基础预测结果进行局部补偿,得到最终输出;

7、步骤三、基于体渲染计算像素颜色和深度,并联合rgb重建损失、太阳校正损失、辅助深度监督损失、阴影先验损失和kan平滑正则损失对网络模型进行训练,训练完成后,将渲染深度转换为空间三维坐标并生成dsm高程图。

8、进一步,所述主干网络的前端采用七层结构的多层感知机mlp,其后端采用kan网络结构,所述kan网络结构包括残差相加的基础分支和样条分支,所述基础分支采用silu激活函数和线性映射来保证特征变换的全局稳定性,所述样条分支通过可学习权重,对各个输入维度的局部网格基函数响应进行加权组合,并采用双阶混合范数,构建kan平滑正则化损失项参与反向传播。

9、进一步,在每个输入维度上,定义个固定且等间距的网格中心,先构建形式为[输出维度, 输入维度, 网格数]的三维样条权重张量,其元素表示第个输入维度上第个网格处的基函数响应,对第个输出分量的贡献权重,再沿网格维度对所述三维样条权重张量进行错位相减,一次性计算出全局一阶差分张量和全局二阶差分张量,

10、

11、

12、

13、其中,表示沿网格维度取固定索引的二维切片矩阵,

14、利用如下公式,计算kan平滑正则损失,

15、

16、其中,是控制平滑正则化强度的超参数,∥∥1是l1范数,用于促进样条权重变化的稀疏性,使得网络倾向于生成分段线性的平滑过渡;是l2范数的平方,用于严厉惩罚样条权重在个别网格上的突变和极端尖峰。

17、进一步,在所述步骤三中,利用外部阴影检测结果生成阴影概率图,并将阴影概率图转换为太阳可见性伪标签,再根据体渲染权重聚合采样点太阳可见性,得到射线级太阳可见性预测,并采用加权二元交叉熵构建阴影先验损失。

18、进一步,在构建阴影先验损失时,先利用外部预训练的阴影检测模型fdrnet对原始卫星影像进行像素级推理,生成二维阴影概率图,其中,表示二维图像上的像素坐标,并将其转换为太阳可见性的真实伪标签;

19、同时利用如下公式,基于阴影概率的确定性构造像素置信度权重,

20、

21、其中,为控制置信度衰减速率的超参数;

22、利用如下公式,得到射线级别的太阳可见性期望预测值,

23、

24、其中,为射线上的采样点总数,为对应第个三维空间采样点的体渲染权重,

25、最终,采用置信度加权的二元交叉熵计算太阳可见性期望预测值与真实伪标签之间的误差,构成阴影先验损失::

26、

27、其中,表示通过置信度筛选后的有效训练光线集合;是控制阴影损失在总优化目标中占比的权重系数;与分别代表射线对应图像像素的置信度权重与太阳可见性伪标签;bce(,)是二元交叉熵损失函数;是一个极小的常数,用于防止分母为 0 导致数值计算不稳定。

28、进一步,利用如下公式,计算总损失函数,

29、

30、其中,为不确定性感知颜色重建损失,为太阳校正损失,为辅助密集深度监督,为阴影先验损失,为kan平滑正则损失。

31、进一步,在所述步骤二中,对于基础检测头分支,首先,通过单层全连接网络得到用于下游分支的中间特征:

32、

33、直接由基础特征经过单层全连接网络预测,再经由softplus 激活函数得到基础体密度:

34、

35、由中间特征经过两层全连接网络提取,再经由激活函数将rgb颜色限制在(0,1)范围内容,得到基础颜色:

36、

37、将太阳方向向量ω与中间特征拼接,送入包含四层全连接网络中,预测该点被太阳直射的概率,得到基础太阳可见性:

38、

39、以太阳方向向量ω作为输入进行两层全连接网络预测,再经由softplus 激活函数得到基础天空光照项:

40、

41、将可学习的时间嵌入向量t与中间特征拼接输入两层全连接网络,再经由激活函数预测得到基础不确定性:

42、

43、对于残差检测头分支,先由轻量级残差模块将原始空间信息与基础特征进行拼接融合,随后通过两层轻量级全连接网络得到残差特征:

44、

45、

46、其中,表示对所有三维空间采样点的坐标通过fourier频域映射得到的位置编码;

47、直接由残差特征经过单层全连接网络预测,并利用softplus激活函数保证非负,得到残差体密度:

48、

49、将太阳方向向量与残差特征拼接后,经过两层全连接网络提取颜色修正量,并通过 sigmoid 限制值域,得到残差颜色:

50、

51、直接由残差特征经过单层全连接网络预测,得到残差太阳可见性:

52、

53、直接由残差特征经过单层全连接网络预测,得到残差天空光照:

54、

55、将时间嵌入向量与残差特征拼接,通过两层全连接网络预测多时相瞬态不确定性的修正量,得到残差不确定性:

56、

57、最终,基础检测头分支的预测结果与残差检测头分支的预测结果相加得到网络输出:

58、

59、

60、

61、

62、。

63、进一步,在所述步骤一中,获取目标重建区域的多视角、多时相卫星影像及其对应的rpc成像参数、太阳高度角、太阳方位角和成像时间信息,并根据rpc成像模型为采样像素构建三维观测射线,并在预设高程范围内沿射线进行分层采样,得到多个三维空间采样点,同时根据太阳高度角和太阳方位角计算太阳方向向量,并为不同输入影像设置可学习的时间嵌入向量。

64、与现有技术相比,本发明的有益效果是:

65、首先,本发明兼顾了全局连续性与局部高频锐度,成功突破了传统隐式几何表达的瓶颈。本发明首创性地提出了一种由 siren-mlp 与后置 grbf-kan 组成的“先全局、后局部”的混合隐式神经场主干(hykan-nerf)。传统的 mlp 主干往往倾向于低频平滑,难以准确恢复建筑直角和陡峭悬崖等高频细节;而若完全采用 kan 架构,虽具备极强的局部拟合能力,却极易在卫星影像广阔的弱纹理区域(如水面和平地)产生剧烈的高程震荡与密度斑点。为克服这一固有矛盾,本发明巧妙地利用 siren 层构建稳定且平滑的全局地形骨架,随后再利用后置的 kan 边缘可学习函数在特征空间中进行“靶向精修”。配合专门设计的 kan 平滑正则项,在数学层面上严格抑制了权重一阶与二阶差分的突变。在数字表面模型(dsm)生成过程中,该设计不仅彻底消除了弱纹理区域的异常漂浮物和噪声噪点,更在建筑边缘、道路边界及复杂海岸线等高程突变区域实现了极高的几何锐度与保真度,有效降低了高程重建的平均绝对误差(mae)和均方根误差(rmse)。

66、其次,本发明通过引入显式阴影感知先验,彻底阻断了辐射不一致性对地形几何提取的干扰。多视角卫星影像通常拍摄于不同日期和季节,场景内存在严重的瞬态阴影与光照变化。传统的卫星 nerf 方法仅依靠 rgb 重建损失进行隐式优化,导致网络极易“走捷径”,即通过在密度场中挖掘虚假的凹陷地形来强行拟合二维图像上的深色阴影像素。针对这一痛点。

67、最后,本发明引入了基于 fdrnet 检测概率的太阳可见性伪标签,并通过设计置信度加权机制构建了独立的阴影先验损失。该约束机制强制网络从物理光学层面学习光照属性与几何遮挡的解耦关系,从而赋予了模型极强的光照和阴影鲁棒性。即便在密集的城市楼群阴影区或树冠阴影区内,模型依然能够推断出真实且平整的地表高程,从根本上避免了由瞬态亮度变化引起的 dsm 高程异常起伏,大幅提高了模型在多期卫星遥感数据集上的重建精度与稳定性。