基于智慧灯杆的户外广告牌变形监测方法、系统及设备与流程

本技术属于城市公共设施安全监测与机器视觉领域，具体涉及基于智慧灯杆的户外广告牌变形监测方法、系统及设备。

背景技术：

1、随着城市道路、商业街区、交通枢纽及公共建筑周边户外广告设施的持续增多，户外广告牌作为长期暴露于开放环境中的公共附属设施，其结构状态会受到风荷载、雨雪、温度变化、支撑连接松动、基础变形以及人为维护差异等因素影响。当广告牌发生整体偏移、局部翘曲、板面倾斜或连接部位变形而未被及时发现时，可能影响广告设施的正常展示效果，并进一步产生公共安全隐患。因此，对户外广告牌进行持续、及时、可靠的变形监测，对于城市公共设施安全管理具有重要意义。

2、现有的图像变形监测方法通常通过相机采集监测目标图像，并利用图像匹配、相关计算或立体视觉等方式获得监测目标的位移或形变信息。例如，已有方法可以通过双目相机分别采集包括监测目标的第一图像和第二图像，确定第一图像和第二图像之间的汉明距离，基于汉明距离进行代价聚合以确定监测图像的深度信息，并通过归一化互相关准则确定位移初始值，再结合迭代算法确定监测图像的平面位移值。类方法能够在一定程度上实现对监测目标的图像化变形测量，并提高深度方向和平面方向位移计算的精度。

3、然而，户外广告牌的实际监测环境不同于相对规则的结构物实验场景或固定目标测量场景。户外广告牌通常设置于道路两侧、建筑外立面、商业综合体外墙或公共广场周边，其图像中往往同时包含道路车辆、行人、绿化、建筑立面、灯杆、电缆、天空背景、反光区域以及其他广告设施；并且，不同广告牌在材质、尺寸、边界形态、显示方式和安装姿态上存在明显差异，普通平面广告牌、发光广告牌、格栅广告牌及电子显示广告牌在图像纹理和边缘特征上也不完全一致。在上述复杂开放场景下，如果仅依赖常规图像匹配或单一位移计算方式，容易将背景区域、遮挡区域或光照变化区域误作为有效监测区域，导致广告牌目标区域提取不稳定，进而影响广告牌位移、倾斜、翘曲或局部形变状态的判断。

技术实现思路

1、第一方面，针对现有技术的不足，本技术的目的在于提供基于智慧灯杆的户外广告牌变形监测方法，解决了现有技术中仅依赖常规图像匹配或单一位移计算方式，容易将背景区域、遮挡区域或光照变化区域误作为有效监测区域，导致广告牌目标区域提取不稳定，进而影响广告牌位移、倾斜、翘曲或局部形变状态的判断的问题。

2、本技术的目的可以通过以下技术方案实现：

3、基于智慧灯杆的户外广告牌变形监测方法，包括：

4、获取待监测户外广告牌的图像数据，图像数据包括在智慧灯杆布设点位采集的当前图像数据，以及与待监测户外广告牌对应的基准图像数据；

5、对当前图像数据和基准图像数据进行预处理，生成当前标准化图像数据和基准标准化图像数据；

6、对当前标准化图像数据和基准标准化图像数据分别进行广告牌像素区域提取，生成当前广告牌目标区域数据和基准广告牌目标区域数据；

7、根据当前广告牌目标区域数据和基准广告牌目标区域数据，确定处于同一图像坐标系中的当前变形计算区域和基准变形计算区域；

8、根据当前变形计算区域和基准变形计算区域，分别生成至少两组候选变形数据，至少两组候选变形数据包括基于特征点位移生成的第一候选变形数据和基于区域互相关位移生成的第二候选变形数据；

9、根据同一变形类型对应的至少两组候选变形数据生成偏差率数据，并根据偏差率数据对至少两组候选变形数据进行一致性校验，生成变形监测结果；

10、当变形监测结果包括通过一致性校验的真实物理变形数据，且真实物理变形数据大于对应的预设安全阈值时，生成并输出待监测户外广告牌的报警数据。

11、进一步地，获取待监测户外广告牌的图像数据，包括：

12、获取与待监测户外广告牌对应的视频流地址和广告牌标识；

13、根据视频流地址获取户外广告牌视频流；

14、按照预设采样频率从户外广告牌视频流中提取当前帧图像；

15、将当前帧图像与广告牌标识、采集时间和采集位置信息进行关联，生成当前图像数据；

16、根据广告牌标识，读取与待监测户外广告牌对应的基准图像数据；

17、将当前图像数据和基准图像数据输出至预处理步骤；

18、其中，基准图像数据为预先采集并标记为合格状态的广告牌图像数据。

19、进一步地，对当前图像数据和基准图像数据进行预处理，生成当前标准化图像数据和基准标准化图像数据，包括：

20、接收当前图像数据和基准图像数据；

21、根据预设图像裁剪参数，分别对当前图像数据和基准图像数据进行图像裁剪，生成当前裁剪图像数据和基准裁剪图像数据；

22、分别对当前裁剪图像数据和基准裁剪图像数据进行灰度化处理，生成当前灰度图像数据和基准灰度图像数据；

23、分别对当前灰度图像数据和基准灰度图像数据进行去噪处理，生成当前去噪图像数据和基准去噪图像数据；

24、根据当前去噪图像数据和基准去噪图像数据的灰度分布，对当前去噪图像数据进行光照归一化处理，生成当前光照归一化图像数据；

25、对当前光照归一化图像数据和基准去噪图像数据进行尺度归一化处理，生成具有相同图像尺寸和相同像素坐标系的当前标准化图像数据和基准标准化图像数据。

26、进一步地，对当前标准化图像数据和基准标准化图像数据分别进行广告牌像素区域提取，生成当前广告牌目标区域数据和基准广告牌目标区域数据，并确定当前变形计算区域和基准变形计算区域，包括：

27、将当前标准化图像数据输入经训练的u-net语义分割模型，生成当前广告牌目标掩膜；

28、根据当前广告牌目标掩膜，从当前标准化图像数据中提取当前广告牌像素区域，并生成包括当前广告牌目标掩膜和当前目标区域边界的当前广告牌目标区域数据；

29、将基准标准化图像数据输入u-net语义分割模型，生成基准广告牌目标掩膜；

30、根据基准广告牌目标掩膜，从基准标准化图像数据中提取基准广告牌像素区域，并生成包括基准广告牌目标掩膜和基准目标区域边界的基准广告牌目标区域数据；

31、根据当前目标区域边界和基准目标区域边界，在相同像素坐标系中确定用于变形计算的roi区域；

32、根据roi区域，从当前标准化图像数据中截取当前变形计算区域，并从基准标准化图像数据中截取基准变形计算区域。

33、进一步地，u-net语义分割模型接收当前标准化图像数据或者基准标准化图像数据后，生成编码特征图，对编码特征图进行通道权重计算，并根据计算得到的通道权重对编码特征图进行加权处理，生成加权特征图，根据加权特征图生成广告牌目标掩膜。

34、进一步地，基于特征点位移生成第一候选变形数据，包括：

35、在基准变形计算区域内提取基准orb特征点，并在当前变形计算区域内提取当前orb特征点；

36、计算各基准orb特征点和各当前orb特征点的orb响应值；

37、根据每一orb特征点邻域内的orb响应最大值对orb特征点进行筛选，得到筛选后的基准orb特征点和筛选后的当前orb特征点；

38、对筛选后的基准orb特征点和筛选后的当前orb特征点进行特征描述子匹配，生成匹配特征点对；

39、根据匹配特征点对中的基准特征点坐标和当前特征点坐标，生成横向像素位移和纵向像素位移；

40、根据基准变形计算区域的平均灰度值和当前变形计算区域的平均灰度值，对横向像素位移和纵向像素位移进行光照鲁棒性修正，生成修正后的横向像素位移和修正后的纵向像素位移；

41、根据待监测户外广告牌的实际宽度和待监测户外广告牌在图像中的像素宽度生成比例系数；

42、根据比例系数将修正后的横向像素位移和修正后的纵向像素位移转换为真实物理位移；

43、根据各匹配特征点对的匹配距离生成对应的权重；

44、基于权重对多个匹配特征点对对应的真实物理位移进行加权计算，生成第一候选变形数据；

45、其中，横向像素位移和纵向像素位移根据如下方式生成：

46、

47、

48、比例系数根据如下方式生成：

49、

50、光照鲁棒性修正根据如下方式执行：

51、

52、

53、权重根据如下方式生成：

54、

55、其中，；

56、加权真实物理位移根据如下方式生成：

57、

58、其中，为第k个匹配特征点，n为匹配特征点对的数量。

59、进一步地，基于区域互相关位移生成第二候选变形数据，包括：

60、分别对当前变形计算区域和基准变形计算区域进行高斯平滑处理，生成当前平滑区域数据和基准平滑区域数据；

61、在基准平滑区域数据中选取像素的纹理丰富区域作为模板子区域；

62、在当前平滑区域数据中确定与模板子区域对应的搜索区域；

63、将模板子区域作为模板图像，将当前平滑区域数据中的候选子区域作为实时图像；

64、对模板图像和实时图像进行灰度均值归一化和灰度标准差归一化处理；

65、计算模板图像与各实时图像之间的互相关系数；

66、根据互相关系数最大的候选子区域的位置生成整像素最佳匹配位置；

67、基于整像素最佳匹配位置邻域内的互相关系数进行亚像素精度提升，生成模板子区域在当前变形计算区域中的亚像素位移数据；

68、根据比例系数将亚像素位移数据转换为真实物理位移，并根据转换后的真实物理位移生成第二候选变形数据；

69、其中，互相关系数根据如下方式生成：

70、

71、其中，为模板图像，为实时图像，为模板图像对应区域的灰度均值，为实时图像对应区域的灰度均值；

72、高斯平滑处理采用如下高斯平滑核函数：

73、

74、其中，为平滑系数；

75、亚像素精度提升根据如下方式执行：

76、

77、

78、其中，、为整像素最佳匹配位置，、分别为方向拟合二次曲线的一次项系数和二次项系数，、分别为方向拟合二次曲线的一次项系数和二次项系数。

79、进一步地，在生成当前广告牌目标区域数据和基准广告牌目标区域数据之后，还包括：

80、从基准广告牌目标区域数据中读取基准目标区域边界，并从当前广告牌目标区域数据中读取当前目标区域边界；

81、将基准目标区域边界和当前目标区域边界映射至相同像素坐标系；

82、计算基准目标区域边界和当前目标区域边界之间的边界位置差异，生成目标区域边界位移数据；

83、根据比例系数将目标区域边界位移数据转换为真实物理位移，并根据转换后的真实物理位移生成第三候选变形数据；

84、其中，第三候选变形数据用于与第一候选变形数据和第二候选变形数据中的至少一组进行一致性校验。

85、进一步地，根据同一变形类型对应的至少两组候选变形数据生成偏差率数据，并根据偏差率数据对至少两组候选变形数据进行一致性校验，生成变形监测结果，以及生成并输出待监测户外广告牌的报警数据，包括：

86、获取至少两组候选变形数据中属于同一变形类型的数据值，变形类型包括整体平移量、倾斜量和局部形变量中的至少一种；

87、以第一候选变形数据中属于同一变形类型的数据值作为基准数据值，计算其他候选变形数据中属于同一变形类型的数据值相对于基准数据值的偏差率，生成偏差率数据；

88、当偏差率数据小于或等于第一偏差阈值时，根据第一候选变形数据生成包括通过一致性校验的真实物理变形数据的变形监测结果；

89、当偏差率数据大于第一偏差阈值且小于或等于第二偏差阈值时，生成重新检测指令，重新检测指令用于触发重新获取当前图像数据并再次生成候选变形数据；

90、当偏差率数据大于第二偏差阈值时，生成包括异常数据标记和复核提示数据的变形监测结果；

91、当变形监测结果包括通过一致性校验的真实物理变形数据时，获取真实物理变形数据中的整体平移量、倾斜量和局部形变量中的至少一种，并获取与整体平移量、倾斜量和局部形变量分别对应的预设安全阈值；

92、响应于整体平移量、倾斜量和局部形变量中的至少一种大于对应的预设安全阈值，将广告牌标识、采集时间、采集位置信息、变形类型、真实物理变形数据值、当前图像数据、当前广告牌目标区域数据、环境参数、异常数据标记和复核提示数据中的至少一种写入预设报警数据结构，生成并输出报警数据；

93、将变形监测结果和报警数据封装为上传消息，并根据预设远程管理地址发送上传消息，以生成历史监测记录数据和可视化展示数据。

94、第二方面，针对现有技术的不足，本技术的目的在于提供基于智慧灯杆的户外广告牌变形监测方法，解决了现有技术中仅依赖常规图像匹配或单一位移计算方式，容易将背景区域、遮挡区域或光照变化区域误作为有效监测区域，导致广告牌目标区域提取不稳定，进而影响广告牌位移、倾斜、翘曲或局部形变状态的判断的问题。

95、本技术的目的可以通过以下技术方案实现：

96、一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现第一方面的基于智慧灯杆的户外广告牌变形监测方法。

97、本技术的有益效果：

98、本发明并非仅依赖单一图像匹配结果判断广告牌是否变形，而是基于当前变形计算区域和基准变形计算区域，分别生成基于特征点位移的第一候选变形数据和基于区域互相关位移的第二候选变形数据；其中，第一候选变形数据通过orb特征点筛选、特征描述子匹配、光照鲁棒性修正、比例系数k转换真实物理位移以及匹配距离加权计算获得，第二候选变形数据通过纹理区域互相关、整像素最佳匹配位置和亚像素精度提升获得。由此，本发明能够从特征点变化和局部纹理相关性两个不同角度获得广告牌变形信息，并将像素层面的变化转换为可与安全阈值对应比较的真实物理变形数据，避免单一像素匹配或单一互相关结果难以可靠反映户外广告牌实际结构状态的问题。

99、本发明进一步根据同一变形类型对应的至少两组候选变形数据生成偏差率数据，并根据偏差率数据对候选变形数据进行一致性校验；仅当变形监测结果包括通过一致性校验的真实物理变形数据，且真实物理变形数据大于对应的预设安全阈值时，才生成并输出报警数据。相较于现有技术中以单次位移计算结果直接作为监测输出的方式，本发在报警前对不同来源的变形结果进行交叉验证，能够减少因局部遮挡、光照变化、纹理不稳定、特征点误匹配或目标边界异常造成的误报警风险，使监测结果能够更可靠地支撑户外广告牌安全预警。