基于可提示分割模型的文物保护建筑倾斜测量方法
本发明涉及文物保护建筑图像测量,尤其涉及一种基于可提示分割模型的文物保护建筑倾斜测量方法。
背景技术:
1、文物保护建筑通常具有年代久、结构形态复杂和保护限制严格等特点,倾斜状态会受到地基不均匀沉降、构件变形及环境扰动影响,对这类建筑进行定期倾斜监测,需要在尽量不接触、不附加测量构件的条件下,从图像或其他现场观测数据中确定建筑主体的方向变化,实际拍摄中,建筑立面常与脚手架、树枝、檐口附属物及天空背景相邻或局部遮挡,建筑主体边界的可靠提取和图像坐标与相机姿态的对应,成为图像测量流程中的基础问题。
2、公开的房屋倾斜监测方案中,有方案采用人工设置可识别目标并结合图像几何关系计算建筑位移和倾斜角,以cn107917695a《一种基于图像识别技术的房屋倾斜监测方法》为例,该方案在建筑物各层设置多个同心圆靶标,利用无人机采集相邻靶标图像,建立图像直角坐标系,依据凸透镜成像规律和圆拟合处理获得靶标中心位置,计算相邻靶标的相对位移,并根据起点与终点靶标的位移关系求取房屋倾斜角,通过多次测量还可得到房屋倾斜变化量,该方案的测量对象是预先设置的靶标,图像识别结果通过靶标几何中心和层间位移传递到倾斜角计算。
3、该方案的测量对象是预先设置的靶标,不能直接处理不便设置靶标的文物保护建筑图像,在文物建筑立面与脚手架、树枝等单侧附着物接触或遮挡的情况下,若直接依据建筑候选区域的整体外轮廓或最终二值区域拟合中心线,单侧外凸会被当作建筑主体边界变化,导致中心位置和倾斜方向受到牵引,上述公开方案未涉及在分割模型输出的连续逻辑值阶段,对左右边界位移进行分解并按发生侧别和外扩或内缩方向实施定向校正。
技术实现思路
1、本发明的一个目的在于提出一种基于可提示分割模型的文物保护建筑倾斜测量方法,本技术旨在解决包含脚手架、树枝等单侧附着物的文物保护建筑非接触图像测量场景中,识别单侧附着物造成的候选建筑边界外凸,并在形成建筑目标掩膜和建筑投影中心线之前,对该边界外凸进行与分割模型内部逻辑值路径相适配的定向校正,以减小其对倾斜方向和倾斜角度测量的牵引,该问题还要求边界分析、校正位置、校正极性与原生上采样顺序保持一致,并与相机横滚姿态校正后的测量结果衔接。
2、根据本发明实施例的基于可提示分割模型的文物保护建筑倾斜测量方法,包括:
3、s1、获取包含待测文物保护建筑的目标图像、建筑提示信息及目标图像对应的相机姿态基准,形成倾斜测量输入;
4、s2、将倾斜测量输入中的目标图像和建筑提示信息输入可提示分割模型,经图像编码、提示编码和掩膜解码,得到低分辨率候选掩膜逻辑值;
5、s3、沿建筑高度方向对低分辨率候选掩膜逻辑值表征的候选区域进行分层,提取相邻高度层的左边界位移和右边界位移,根据左边界位移与右边界位移的同向部分计算中心偏移分量,根据左边界位移与右边界位移的反向部分计算宽度变化分量,根据中心偏移分量和宽度变化分量相对于边界位移局部基准的联合偏离幅度、边界位移发生侧别以及边界位移发生侧别对应边界的外扩或内缩方向,形成带方向的边界位移耦合特征,根据带方向的边界位移耦合特征确定校正量、待校正边界的位置和校正极性,在待校正边界邻域生成与低分辨率候选掩膜逻辑值同尺度的有符号边界校正场,在掩膜解码器逻辑值输出端与可提示分割模型的原生上采样端之间,将有符号边界校正场叠加至低分辨率候选掩膜逻辑值,得到校正掩膜逻辑值;
6、s4、通过可提示分割模型的原生上采样端对校正掩膜逻辑值执行原生上采样和阈值判定,形成待测文物保护建筑的建筑目标掩膜;
7、s5、在建筑目标掩膜内沿建筑高度方向提取多个分层中心点,并对多个分层中心点进行直线拟合,得到建筑投影中心线,根据建筑投影中心线确定建筑投影倾斜角;
8、s6、根据相机姿态基准对建筑投影倾斜角进行横滚姿态校正,确定待测文物保护建筑的倾斜方向和倾斜角度,生成待测文物保护建筑的倾斜测量结果。
9、可选地,s1具体为:
10、获取包含待测文物保护建筑的目标图像;
11、在目标图像中确定包围待测文物保护建筑的建筑区域框,并分别确定建筑内部点提示和建筑外部点提示,由建筑区域框、建筑内部点提示和建筑外部点提示形成建筑提示信息;
12、获取目标图像采集时相机绕光轴的横滚姿态,根据横滚姿态确定目标图像对应的相机姿态基准;
13、将目标图像、建筑提示信息及相机姿态基准建立对应关系,形成倾斜测量输入。
14、可选地,s2具体为:
15、对目标图像进行图像块投影和位置编码,将形成的图像块特征输入包含窗口注意力编码层和全局注意力编码层的多层编码结构,形成保留建筑空间位置关系的图像编码特征;
16、对建筑提示信息中的建筑区域框、建筑内部点提示和建筑外部点提示分别进行坐标位置编码和提示类型编码,形成与图像编码特征对应的提示编码特征;
17、将图像编码特征和提示编码特征输入掩膜解码器,通过提示特征自注意力、提示特征至图像特征的交叉注意力以及图像特征至提示特征的交叉注意力,形成更新图像特征和掩膜标记特征;
18、对更新图像特征进行逐级上采样,将掩膜标记特征映射为掩膜投影向量,并将掩膜投影向量与上采样后的更新图像特征进行矩阵乘法,得到低分辨率候选掩膜逻辑值。
19、可选地,s3具体为:
20、对低分辨率候选掩膜逻辑值进行sigmoid运算和临时前景判定,沿建筑高度方向划分多个相邻高度层,并根据每个高度层中的最左前景位置和最右前景位置确定左边界位置和右边界位置;
21、对相邻高度层的左边界位置作差得到左边界位移,对相邻高度层的右边界位置作差得到右边界位移;
22、将左边界位移与右边界位移相加后取二分之一,得到中心偏移分量,将右边界位移减去左边界位移后取二分之一,得到宽度变化分量,并分别计算中心偏移分量和宽度变化分量相对于边界位移局部基准的偏离量,根据偏离量计算联合偏离幅度、确定边界位移发生侧别和边界位移发生侧别对应边界的外扩或内缩方向,形成带方向的边界位移耦合特征;
23、根据带方向的边界位移耦合特征确定校正量、待校正边界的位置和校正极性,按照待校正边界的位置将具有校正极性的校正值写入待校正边界邻域,生成与低分辨率候选掩膜逻辑值同尺度的有符号边界校正场;
24、在掩膜解码器逻辑值输出端与可提示分割模型的原生上采样端之间,将有符号边界校正场与低分辨率候选掩膜逻辑值逐位置相加,得到校正掩膜逻辑值。
25、可选地,s4具体为:
26、将校正掩膜逻辑值输入可提示分割模型的原生上采样端,按照可提示分割模型的原生上采样路径将校正掩膜逻辑值映射为与目标图像对应分辨率一致的高分辨率掩膜逻辑值;
27、对高分辨率掩膜逻辑值执行sigmoid运算,得到各图像位置对应的建筑前景概率;
28、将建筑前景概率与预设前景判定阈值进行比较,将建筑前景概率达到预设前景判定阈值的图像位置确定为建筑前景,将其余图像位置确定为建筑背景,形成建筑目标掩膜。
29、可选地,s5具体为:
30、沿建筑高度方向对建筑目标掩膜划分多个测量层,在每个测量层提取建筑目标掩膜的左边界横坐标和右边界横坐标;
31、将每个测量层的左边界横坐标与右边界横坐标相加后取二分之一,得到对应测量层的分层中心点,并建立分层中心点与测量层高度坐标之间的对应关系;
32、根据多个分层中心点及对应的测量层高度坐标进行直线拟合,得到建筑投影中心线;
33、根据建筑投影中心线相对于图像竖直方向的夹角,确定建筑投影倾斜角。
34、可选地,s6具体为:
35、从相机姿态基准中提取目标图像采集时相机绕光轴的横滚角基准,并确定目标图像的图像竖直方向基准;
36、将建筑投影倾斜角与横滚角基准进行差值计算,得到经过横滚姿态校正的建筑倾斜角;
37、根据经过横滚姿态校正的建筑倾斜角的正负确定待测文物保护建筑的倾斜方向,根据经过横滚姿态校正的建筑倾斜角的绝对值确定待测文物保护建筑的倾斜角度;
38、将倾斜方向和倾斜角度组合,生成待测文物保护建筑的倾斜测量结果。
39、可选地,针对具有前后相邻高度层的每个高度层,分别对高度层前后相邻高度层的中心偏移分量和宽度变化分量取中值,得到中心偏移分量局部基准和宽度变化分量局部基准,分别对高度层前后相邻高度层的左边界位移和右边界位移取中值,得到左边界位移局部基准和右边界位移局部基准,将中心偏移分量与中心偏移分量局部基准之间的偏离幅度和宽度变化分量与宽度变化分量局部基准之间的偏离幅度进行联合,得到联合偏离幅度,分别计算左边界位移相对于左边界位移局部基准的偏离幅度和右边界位移相对于右边界位移局部基准的偏离幅度,得到左边界偏离幅度和右边界偏离幅度,将左边界偏离幅度大于右边界偏离幅度时的边界位移发生侧别确定为左边界,将右边界偏离幅度大于左边界偏离幅度时的边界位移发生侧别确定为右边界,将左边界偏离幅度与右边界偏离幅度相同时的边界位移发生侧别确定为左右边界共同发生。
40、可选地,在有符号边界校正场与低分辨率候选掩膜逻辑值叠加前,不对低分辨率候选掩膜逻辑值执行用于形成建筑目标掩膜的sigmoid运算和阈值判定,将有符号边界校正场与低分辨率候选掩膜逻辑值逐位置相加,形成校正掩膜逻辑值,将校正掩膜逻辑值直接输入可提示分割模型的原生上采样端,由可提示分割模型的原生上采样端对校正掩膜逻辑值执行原生上采样、用于形成建筑目标掩膜的sigmoid运算和阈值判定。
41、可选地,将掩膜解码器逻辑值输出端输出的低分辨率候选掩膜逻辑值沿掩膜解码器逻辑值输出端与可提示分割模型的原生上采样端之间的掩膜逻辑值传输路径传递,根据低分辨率候选掩膜逻辑值表征的候选区域边界位移形成带方向的边界位移耦合特征,根据带方向的边界位移耦合特征生成有符号边界校正场,在掩膜逻辑值传输路径中,将有符号边界校正场叠加至低分辨率候选掩膜逻辑值,形成校正掩膜逻辑值,并将校正掩膜逻辑值沿可提示分割模型的原生上采样路径输入可提示分割模型的原生上采样端。
42、本发明的有益效果是:
43、(1)本发明提出一种改进的候选建筑边界位移分析方法,将低分辨率候选掩膜逻辑值转换得到的临时前景区域沿建筑高度方向分层,提取相邻高度层的左边界位移和右边界位移,以左右位移的同向部分形成中心偏移分量、反向部分形成宽度变化分量,针对中心偏移、宽度变化、左边界位移和右边界位移分别建立局部中值基准,利用各分量相对对应基准的偏离量形成联合偏离幅度,再结合边界位移发生侧别以及对应边界的外扩或内缩方向,构成带方向的边界位移耦合特征,该处理把建筑整体倾斜引起的中心移动、建筑自身宽度变化与单侧附着物引起的局部异常分开表达,使校正边界和校正方向具有场景依据,生成的有符号边界校正场能够对外扩位置降低前景逻辑值、对内缩位置提高前景逻辑值。
44、(2)本发明提出一种嵌入可提示分割模型掩膜逻辑值传输路径的定向校正方法,有符号边界校正场不在最终二值掩膜上进行外部裁剪,而是在掩膜解码器逻辑值输出端与原生上采样端之间,与低分辨率候选掩膜逻辑值逐位置执行add,形成校正掩膜逻辑值,临时sigmoid和临时阈值仅用于提取候选区域边界,校正完成后,连续逻辑值仍沿模型原生上采样路径处理,再执行最终sigmoid和阈值判定,由此,边界位移分析获得的场景信息直接改变后续处理的连续输入,保留边界响应的强弱和空间连续性,并将校正位置固定在模型内部逻辑值路径的唯一嵌入点,避免二值化后再修补造成的边界细节丢失。
45、(3)本发明提出一种面向文物保护建筑倾斜测量的分割—几何—姿态校正方法,将校正后的建筑目标掩膜沿建筑高度方向划分测量层,利用各层建筑前景的左、右边界横坐标确定分层中心点,以高度坐标为自变量、中心点横坐标为因变量进行直线拟合,得到建筑投影中心线和建筑投影倾斜角,再将投影倾斜角与采集图像对应的相机横滚角基准进行同方向差值,输出倾斜方向和倾斜角度,该流程把提示分割、单侧边界失效识别、连续逻辑值校正、中心线拟合及相机姿态补偿串联为闭合测量链,可用于建筑与脚手架、树枝等附着物相邻的文物保护建筑非接触图像测量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com