一种基于超分辨率重建的建筑地震位移监测方法及系统

本发明属于结构健康监测、计算机视觉、地震工程、图像超分辨率重建，尤其涉及一种基于超分辨率重建的建筑地震位移监测方法及系统。

背景技术：

1、当前基于超分辨率的结构视觉位移测量方法虽然能够在一定程度上改善低分辨率图像的纹理质量和位移测量精度，但在面向户外建筑地震位移监测时，仍存在以下不足：

2、（1）低分辨率地震视频中的有效运动特征难以稳定恢复，位移测量精度和鲁棒性仍受到限制。户外监控视频受相机硬件分辨率、监测距离、光照变化及多次传输压缩等因素影响，建筑边缘、角点和表面纹理等特征容易模糊或丢失，导致特征检测与连续跟踪过程中出现漂移、平直段、阶梯状变化或跟踪失效。现有超分辨率方法多以提高图像视觉质量或一般结构位移测量精度为主要目标，尚未充分针对建筑地震响应中小幅、快速、连续运动特征的恢复和稳定跟踪需求形成专门处理流程。

3、（2）现有超分辨率处理方式难以同时兼顾测量精度、计算效率和坐标一致性。完整视频帧超分辨率重建会同时处理天空、远景、道路等与位移测量无关的背景区域，计算量和存储量较大；在本技术的验证条件下，单帧低分辨率全图进行4倍重建约需60s，难以满足地震视频快速处理的需要。部分感兴趣区域（roi）超分辨率方案虽然能够减少处理区域，但仍需将超分辨率roi还原或拼接至完整图像后再进行测量，增加了图像存储、插值和拼接步骤。对于固定或动态roi，现有方案还较少系统考虑局部坐标、裁剪原点、超分辨率倍率、原始视频坐标及相机标定坐标之间的一致转换，容易因roi位置变化引入附加坐标误差或虚假位移。

4、（3）现有方法对户外地震场景中的相机共同运动考虑不足。在城市户外监控条件下，相机通常安装于相邻建筑、杆塔或其他载体上，地震发生时相机及其安装载体可能与待测结构同时运动。若仅跟踪待测建筑结构特征，所获得的像素运动中可能同时包含结构真实运动和相机共同运动分量。现有超分辨率结构位移测量方案多针对单一结构目标、人工标靶或受控试验环境，尚未普遍形成在同一成像模型下同步获取建筑结构特征和地面参考特征，并通过二者相对运动计算建筑相对地面地震位移的完整技术链。

5、（4）场景专用模型训练、局部损失适配及处理质量闭环仍不完善。通用超分辨率训练数据与具体监控视角、建筑纹理、成像距离及视频压缩退化方式之间可能存在域差异，直接采用通用模型容易生成与真实结构纹理不一致的细节，而大规模采集场景专用高、低分辨率样本又会增加工程成本。此外，将完整图像训练所采用的损失权重直接迁移至小尺寸roi后，各损失项的数值量级可能发生变化，造成正则约束或像素一致性约束不足，进而产生噪声、伪影和颜色偏移，影响后续特征跟踪。现有方案还较少将有效特征数量、跟踪误差、特征越界、roi范围、处理耗时和模型版本等信息纳入统一的质量控制与结果追溯机制，难以根据处理质量动态调整图像区域并复核从图像重建到物理位移输出的完整坐标链。

技术实现思路

1、为解决上述技术问题，本发明提出了一种基于超分辨率重建的建筑地震位移监测方法及系统，通过结构—地面联合roi局部重建、损失函数重平衡和局部坐标回映，提高位移识别精度和处理效率。

2、为实现上述目的，本发明提供了一种基于超分辨率重建的建筑地震位移监测方法，包括：

3、获取目标低分辨率地震监控视频，并在监控视频的同一视场内确定结构特征区域和地面参考区域；

4、根据所述结构特征区域和地面参考区域，确定待处理区域；

5、根据所述待处理区域的分辨率、区域类别和目标放大倍率调用相匹配的超分辨率生成模型，对所述待处理区域进行超分辨率重建，得到超分辨率图像；

6、在所述超分辨率图像中分别检测建筑结构特征和地面参考特征，获取所述建筑结构特征和地面参考特征在超分辨率图像中的局部像素坐标；

7、根据所述局部像素坐标、待处理区域在原始低分辨率视频中的实际裁剪原点和目标放大倍率，将所述局部像素坐标回映至原始低分辨率视频坐标系，获取回映像点坐标；

8、根据所述回映像点坐标、相机标定参数和对应的空间高度约束，计算建筑结构相对于地面的地震位移；

9、根据用于计算所述地震位移的建筑结构特征和地面参考特征，对所述地震位移的计算结果进行质量判定，并在判定结果满足预设条件时输出所述建筑结构相对于地面的地震位移时程。

10、可选的，获取目标低分辨率地震监控视频之前包括：

11、获取高分辨率代表图像和低分辨率代表图像；

12、对所述高分辨率代表图像和低分辨率代表图像进行几何配准，并在配准后的图像中同步截取训练区域，通过同步旋转、镜像及按所述目标放大倍率设置滑窗步长的滑窗采样，构建高分辨率与低分辨率成对训练样本；

13、利用所述成对训练样本训练超分辨率生成模型，并利用交替对抗训练所述超分辨率生成模型，获取训练好的超分辨率生成模型。

14、可选的，利用所述成对训练样本训练超分辨率生成模型，并利用交替对抗训练所述超分辨率生成模型，获取训练好的超分辨率生成模型包括：

15、根据所述成对训练样本，构建包含生成器和鉴别器的超分辨率生成对抗网络，先以像素一致性损失预训练所述生成器，再以所述生成器和鉴别器交替更新的方式进行对抗训练，获取训练好的超分辨率生成模型。

16、可选的，所述待处理区域包括完整视频帧、同时覆盖所述结构特征区域和地面参考区域的连续联合感兴趣区域、或者分别对应所述结构特征区域和地面参考区域的多个分离感兴趣区域；

17、根据所述结构特征区域和地面参考区域中有效特征的分布、预期地震位移范围、边缘留量、设备算力及处理时限，确定所述待处理区域的尺寸和位置，并在采用感兴趣区域方式时逐帧记录所述实际裁剪原点及区域尺寸。

18、可选的，在所述超分辨率图像中分别检测建筑结构特征和地面参考特征，获取所述建筑结构特征和地面参考特征在超分辨率图像中的局部像素坐标包括：

19、在所述超分辨率图像中分别检测建筑边缘交点、窗角、外墙纹理、地面标志或稳定灰度梯度特征作为所述建筑结构特征和地面参考特征，并采用角点检测和金字塔光流法进行逐帧亚像素跟踪；

20、剔除越界、遮挡、前后向跟踪误差超限、纹理梯度不足、连续丢失或同类位移离群的特征点，分别记录通过筛选的建筑结构特征和地面参考特征的局部像素坐标。

21、可选的，获取回映像点坐标包括：

22、将所述局部像素坐标按所述目标放大倍率进行缩放，再叠加所述待处理区域在原始低分辨率视频中的实际裁剪原点，以将所述局部像素坐标回映至原始低分辨率视频坐标系，获取所述回映像点坐标，其中，采用固定感兴趣区域时裁剪原点不变，在采用动态感兴趣区域时使用每帧更新后的裁剪原点。

23、可选的，根据所述回映像点坐标、相机标定参数和对应的空间高度约束，计算建筑结构相对于地面的地震位移包括：

24、将所述回映像点坐标、相机投影矩阵以及对应的高度约束代入反投影关系，获得所述建筑结构特征和地面参考特征的物理坐标，其中地面参考特征的高度取零，结构特征的高度取现场测量或设计资料确定的高度值；

25、对多个建筑结构特征的物理坐标或多个地面参考特征的物理坐标进行鲁棒聚合，得到建筑结构特征聚合位置和地面参考特征聚合位置；

26、根据所述建筑结构特征聚合位置与所述地面参考特征聚合位置相对于初始时刻的变化量之差，计算所述建筑结构相对于地面的地震位移。

27、可选的，根据所述建筑结构特征和地面参考特征进行质量判定，并在判定结果满足预设条件时输出所述建筑结构相对于地面的地震位移时程包括：

28、分别根据所述建筑结构特征和地面参考特征的有效数量、前后向跟踪误差、到边界的距离、连续丢失帧数、同类位移离散程度及单帧处理时间计算质量分数；

29、在所述建筑结构特征和地面参考特征均满足质量阈值时，输出所述地震位移时程，并关联保存视频时间信息、模型版本、放大倍率、实际裁剪原点、有效特征数量、跟踪误差及处理耗时；

30、在任一类特征不满足质量阈值时，执行特征重新检测、感兴趣区域调整或缺测标记。

31、本发明还提供了一种基于超分辨率重建的建筑地震位移监测系统，包括：

32、视频获取模块，用于获取目标低分辨率地震监控视频，并在监控视频的同一视场内确定结构特征区域和地面参考区域；

33、待处理区域确定模块，用于根据所述结构特征区域和地面参考区域，确定待处理区域；

34、超分辨率重建模块，用于根据所述待处理区域的分辨率、区域类别和目标放大倍率调用相匹配的超分辨率生成模型，对所述待处理区域进行超分辨率重建，得到超分辨率图像；

35、特征跟踪模块，用于在所述超分辨率图像中分别检测建筑结构特征和地面参考特征，获取所述建筑结构特征和地面参考特征在超分辨率图像中的局部像素坐标；

36、坐标回映模块，用于根据所述局部像素坐标、待处理区域在原始低分辨率视频中的实际裁剪原点和目标放大倍率，将所述局部像素坐标回映至原始低分辨率视频坐标系，获取回映像点坐标；

37、位移结算模块，用于根据所述回映像点坐标、相机标定参数和对应的空间高度约束，计算建筑结构相对于地面的地震位移；

38、质量判定模块，根据用于计算所述地震位移的建筑结构特征和地面参考特征，对所述地震位移的计算结果进行质量判定，并在判定结果满足预设条件时输出所述建筑结构相对于地面的地震位移时程。

39、可选的，所述系统还包括：

40、代表图像获取模块，用于获取高分辨率代表图像和低分辨率代表图像；

41、样本构建模块，用于对所述高分辨率代表图像和低分辨率代表图像进行几何配准，并在配准后的图像中同步截取训练区域，通过同步旋转、镜像及按所述目标放大倍率设置滑窗步长的滑窗采样，构建高分辨率与低分辨率成对训练样本；

42、模型训练模块，用于利用所述成对训练样本训练超分辨率生成模型，并利用交替对抗训练所述超分辨率生成模型，获取训练好的超分辨率生成模型。

43、与现有技术相比，本发明具有如下优点和技术效果：

44、（1）提高低分辨率视频的地震位移识别精度。

45、通过超分辨率生成模型恢复低分辨率视频中缺失或弱化的结构边缘、角点和表面纹理等高频信息，可减少特征跟踪过程中出现的漂移、平直段和阶梯状失真，提高建筑地震位移测量结果与真实响应之间的一致性。振动台实验中，在pga为0.2g且追踪自然特征的工况下，位移结果的rmse由1.2904mm降低至0.1630mm，相关系数由0.7435提高至0.9791，r²由-1.7140提高至0.9567。

46、（2）降低超分辨率重建的计算量。

47、本发明既可以对完整视频帧进行超分辨率重建，也可以优选地仅对包含结构特征和地面参考特征的局部roi进行处理，避免对天空、远景、道路等无关背景区域进行重复计算。验证环境中，单帧全图4倍超分辨率重建平均耗时约为60s，而roi局部重建平均耗时约为1.4s，处理速度提高近43倍。

48、（3）提高建筑相对地面地震位移测量的可靠性。

49、本发明在同一监控视频中同时跟踪建筑结构特征和地面参考特征，通过二者的相对运动计算建筑结构相对于地面的地震位移，从而减小相机随安装建筑共同运动产生的影响。对于roi局部重建，还可根据roi裁剪原点和超分辨率放大倍率，将局部特征坐标直接回映至原始视频坐标系，无需将roi重新拼接为完整超分辨率图像，并可避免动态roi移动产生虚假位移。

50、（4）具有较好的训练可实施性、稳定性和可扩展性。

51、本发明可利用少量近似同视角的高、低分辨率代表图像，通过配准、同步旋转、镜像和滑窗采样构建大量成对训练子块，降低对大规模现场数据和人工标注的依赖。针对roi像素量较少的特点，对正则化项和像素一致性项的权重进行调整，可减少局部重建中的噪声、伪影和颜色偏移。同时，本发明可适用于完整视频帧、单个roi、连续联合roi或多个分离roi，并可扩展采用不同的超分辨率模型及视觉特征跟踪方法。