推理期建筑立面颜色物理提取方法及系统与流程
本公开涉及数据处理,具体而言,涉及一种推理期建筑立面颜色物理提取方法及系统。
背景技术:
1、随着高分辨率遥感影像和计算机视觉技术的发展,基于遥感影像进行建筑属性提取已得到广泛应用。现有建筑立面颜色提取通常采用监督学习方式,通过大量具有立面颜色标注的训练样本训练神经网络,并由网络直接预测立面颜色;或者在多任务学习框架中设置立面颜色预测分支,与建筑轮廓、高度等任务进行联合训练。
2、然而,建筑立面颜色标注过程复杂,需要人工识别建筑实例、确定立面区域并标注颜色信息,导致训练数据获取成本较高,且当影像数据源或应用区域发生变化时,往往需要重新补充标注数据,使立面颜色提取对监督标注具有较强依赖。此外,现有方法通常依据学习得到的影像特征与颜色标签之间的映射关系直接输出立面颜色,未充分利用建筑轮廓及视差偏移等几何信息确定实际立面像素区域,容易受到屋顶、地面或相邻建筑等非立面区域的影响,导致提取结果与实际可见立面颜色存在偏差。
技术实现思路
1、本公开实施例的目的在于提供一种推理期建筑立面颜色物理提取方法、推理期建筑立面颜色物理提取系统、电子设备以及计算机可读存储介质,能够通过基于建筑实例的轮廓边界和二维偏移向量确定立面区域在遥感影像中的像素坐标范围,并在像素坐标范围内进行像素采样、统计聚合和标准色映射,进而提高建筑立面颜色提取的准确性,并获得具有统一表示形式的立面标准颜色。
2、本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
3、根据本公开实施例的第一方面,提供了一种推理期建筑立面颜色物理提取方法,包括:在推理期,获取神经网络模型对遥感影像进行前向推理所输出的建筑实例的轮廓信息与二维偏移向量;其中,二维偏移向量表示建筑实例在遥感影像中的视差偏移方向及幅值,所述神经网络模型的训练过程不采用建筑立面颜色标注,且所述建筑实例的立面颜色不参与所述神经网络模型的训练;解析轮廓信息的边界点坐标,确定建筑实例的轮廓边界;以轮廓边界为起点,根据二维偏移向量确定投影方向,并按照与二维偏移向量中对应投影方向的分量幅值正相关的投影距离向轮廓边界之外投影,确定建筑实例的立面区域在遥感影像中的像素坐标范围;在像素坐标范围内,根据二维偏移向量确定采样方向,并沿采样方向对遥感影像进行像素采样,得到立面区域的颜色样本集合;对颜色样本集合进行统计聚合,得到建筑实例的立面代表颜色;将立面代表颜色映射至预设标准色系,输出建筑实例的立面标准颜色。
4、在本公开一示例性实施例中,基于前述方案,所述按照与所述二维偏移向量中对应投影方向的分量幅值正相关的投影距离向所述轮廓边界之外投影,确定所述建筑实例的立面区域在所述遥感影像中的像素坐标范围,包括:根据所述轮廓信息的边界点坐标确定所述建筑实例的外接矩形及所述外接矩形的各边界位置;根据所述二维偏移向量的横向分量的符号,在所述横向分量非零的情况下,从所述外接矩形的左边界和右边界中确定与所述横向分量对应的可见立面边界;根据所述二维偏移向量的纵向分量的符号,在所述纵向分量非零的情况下,从所述外接矩形的上边界和下边界中确定与所述纵向分量对应的可见立面边界;按照与所述横向分量的幅值正相关的横向投影距离,将与所述横向分量对应的可见立面边界沿所述横向分量所指方向向所述轮廓边界之外延伸,并按照与所述纵向分量的幅值正相关的纵向投影距离,将与所述纵向分量对应的可见立面边界沿所述纵向分量所指方向向所述轮廓边界之外延伸;将各所述可见立面边界与对应的延伸边界之间所覆盖的区域分别确定为立面区域,并读取各所述立面区域的边界像素坐标,得到对应的像素坐标范围。
5、在本公开一示例性实施例中,基于前述方案,所述横向投影距离和所述纵向投影距离的确定方式包括:根据所述二维偏移向量的模值和所述遥感影像的地面分辨率数值确定投影系数;其中,所述投影系数随所述二维偏移向量的模值增大而增大,并随所述遥感影像的地面分辨率数值增大而减小;将所述投影系数与所述横向分量的幅值之积确定为所述横向投影距离,并将所述投影系数与所述纵向分量的幅值之积确定为所述纵向投影距离。
6、在本公开一示例性实施例中,基于前述方案,所述对所述遥感影像进行像素采样,得到所述立面区域的颜色样本集合,包括:根据所述立面区域对应的轮廓边界方向,从所述二维偏移向量的横向分量和纵向分量中确定与所述立面区域对应的采样分量;其中,与左立面或右立面对应的采样分量为所述横向分量,与上立面或下立面对应的采样分量为所述纵向分量;将所述采样分量对应的坐标维度确定为采样维度,并将另一坐标维度确定为分布维度;在所述分布维度上均匀设置多个采样位置;其中,多个所述采样位置的数量随所述立面区域在所述分布维度上的尺寸增大而增加;自每个所述采样位置起,沿所述采样分量所指方向设置采样线;其中,所述采样线的长度为所述立面区域在所述采样维度上的宽度;读取每条所述采样线上各个像素位置的颜色值,得到所述颜色样本集合。
7、在本公开一示例性实施例中,基于前述方案,所述像素采样采用多尺度采样方式,所述多尺度采样方式包括:针对每个所述采样位置,沿所述采样分量所指方向设置长度互不相同的多个采样窗口;其中,多个所述采样窗口分别对应不同采样尺度;分别读取每个所述采样窗口内的颜色值,并对每个所述采样窗口内的颜色值进行聚合,得到与每个所述采样窗口一一对应的尺度颜色;对多个所述尺度颜色进行加权融合,得到与所述采样位置对应的颜色样本。
8、在本公开一示例性实施例中,基于前述方案,所述对所述颜色样本集合进行统计聚合,得到所述建筑实例的立面代表颜色,包括:从所述颜色样本集合中剔除亮度低于预设亮度阈值的颜色值以及与所在采样线的颜色中位数之间的偏差大于预设偏差阈值的颜色值;分别计算所述颜色样本集合中剩余的颜色值在各个颜色通道上的中位数,并将各个所述颜色通道上的中位数组合为所述建筑实例的立面代表颜色。
9、在本公开一示例性实施例中,基于前述方案,在所述建筑实例具有多个可见立面区域的情况下,在对任一所述可见立面区域进行像素采样之前,还包括:检测所述可见立面区域内的阴影覆盖范围;对位于所述阴影覆盖范围内的像素位置的颜色值进行光照补偿;获取同一所述遥感影像中同一所述建筑实例的其他可见立面区域的颜色统计值,并根据所述颜色统计值对完成光照补偿后的所述可见立面区域的颜色值进行一致性校正。
10、在本公开一示例性实施例中,基于前述方案,所述将所述立面代表颜色映射至预设标准色系,包括:分别计算所述立面代表颜色与所述预设标准色系中各个标准色之间的颜色空间距离;从各个所述标准色中选取所述颜色空间距离最小的两个以上标准色;以选取的各个所述标准色对应的所述颜色空间距离的倒数为权重,对两个以上所述标准色进行加权插值,得到所述立面标准颜色;其中,所述预设标准色系为自然色系统标准色表。
11、在本公开一示例性实施例中,基于前述方案,所述推理期建筑立面颜色物理提取方法还包括:针对所述建筑实例的多个可见立面边界,分别确定与每个所述可见立面边界对应的立面区域,并分别对各所述立面区域进行所述像素采样、所述统计聚合以及所述映射,得到与每个所述可见立面边界一一对应的立面标准颜色;按照与每个所述可见立面边界对应的融合权重,对多个所述立面标准颜色进行加权融合,得到所述建筑实例的整体立面颜色;其中,与每个所述可见立面边界对应的所述融合权重随所述二维偏移向量在对应可见立面方向上的分量幅值增大而增大。
12、根据本公开实施例的第二方面,提供了一种推理期建筑立面颜色物理提取系统,用于实现上述任意实施例所述的推理期建筑立面颜色物理提取方法,所述系统包括:数据获取模块,用于在推理期,获取神经网络模型对遥感影像进行前向推理所输出的建筑实例的轮廓信息与二维偏移向量;其中,所述二维偏移向量表示所述建筑实例在所述遥感影像中的视差偏移方向及幅值,所述神经网络模型的训练过程不采用建筑立面颜色标注,且所述建筑实例的立面颜色不参与所述神经网络模型的训练;轮廓解析模块,用于解析所述轮廓信息的边界点坐标,确定所述建筑实例的轮廓边界;立面定位模块,用于以所述轮廓边界为起点,根据所述二维偏移向量确定投影方向,并按照与所述二维偏移向量中对应投影方向的分量幅值正相关的投影距离向所述轮廓边界之外投影,确定所述建筑实例的立面区域在所述遥感影像中的像素坐标范围;像素采样模块,用于在所述像素坐标范围内,根据所述二维偏移向量确定采样方向,并沿所述采样方向对所述遥感影像进行像素采样,得到所述立面区域的颜色样本集合;颜色聚合模块,用于对所述颜色样本集合进行统计聚合,得到所述建筑实例的立面代表颜色;标准映射模块,用于将所述立面代表颜色映射至预设标准色系,输出所述建筑实例的立面标准颜色。
13、根据本公开实施例的第三方面,提供了一种电子设备,包括:处理器;以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如第一方面中的推理期建筑立面颜色物理提取方法。
14、根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面中的推理期建筑立面颜色物理提取方法。
15、本公开实施例提供的技术方案可以包括以下有益效果:
16、根据本示例实施例中的推理期建筑立面颜色物理提取方法,一方面,通过获取建筑实例的轮廓信息和二维偏移向量,并以轮廓边界为起点,根据二维偏移向量确定投影方向和投影距离,从而确定立面区域在遥感影像中的像素坐标范围,使立面颜色的提取位置受到建筑几何信息约束,减少屋顶、地面及相邻建筑等非立面区域对颜色提取结果的干扰,为提高建筑立面颜色提取的准确性提供基础。另一方面,通过在所述像素坐标范围内根据二维偏移向量确定采样方向,并沿所述采样方向对遥感影像进行像素采样,再对颜色样本集合进行统计聚合,使立面代表颜色来源于当前遥感影像中的实际立面像素,而无需由神经网络直接预测立面颜色,从而降低对立面颜色监督标注数据以及训练数据颜色分布的依赖,并减少影像数据源变化对立面颜色提取结果的影响,进一步提高建筑立面颜色提取的准确性。再一方面,通过将统计聚合得到的立面代表颜色映射至预设标准色系,使不同建筑实例获得的颜色结果能够按照统一的标准颜色形式进行输出,避免不同颜色表示方式造成的结果不一致。由此,在提高建筑立面颜色提取的准确性的同时,能够获得具有统一表示形式的立面标准颜色。
17、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com