一种基于物理约束光晕生成的拱桥吊杆边缘坐标识别方法与流程

本发明涉及桥梁检测，特别涉及一种基于物理约束光晕生成的拱桥吊杆边缘坐标识别方法。

背景技术：

1、拱桥吊杆是拱桥结构中的关键受力构件。基于视觉的桥梁监测方法通常需要从吊杆图像或视频帧中提取吊杆边缘、轮廓或中心线，为后续的几何位置跟踪、振动分析等任务提供基础数据，因此吊杆边缘位置识别的稳定性直接影响监测数据的可靠性。

2、在实际桥梁现场，吊杆图像常因强日照、逆光、天空背景反射、相机传感器饱和及大气散射等因素，在吊杆边缘附近出现不同程度的光晕或亮度扩散现象。光晕导致吊杆边缘灰度过渡区变宽、边缘梯度减弱、局部轮廓膨胀或模糊，使得传统边缘检测算子及常规深度学习边缘检测网络在现场实拍图像上的识别结果产生偏移、断裂或抖动。

3、为应对光晕干扰，一种直接方案是人工标注大量真实带光晕吊杆图像并训练边缘识别网络。然而，真实带光晕图像中吊杆物理边界与光晕外缘之间通常不存在清晰的断崖式灰度分界，标注者难以稳定判断逐行边缘列坐标，不同标注者或同一标注者在不同时间标注的边缘位置也容易产生主观偏差。此外，现场真实带光晕样本受拍摄时段、天气、桥位背景和相机参数限制，难以充分覆盖不同吊杆粗细、位置偏移和光晕强度组合，导致训练样本覆盖不足。

4、生成对抗网络（gan）可用于图像风格转换或样本生成，但直接将常规图像域转换网络用于吊杆光晕样本生成，容易产生以下问题：第一，生成网络可能改变吊杆主体边界或背景中与光晕无关的像素，导致原有标注无法继承；第二，生成的光晕外观可能仅满足判别器的统计判断，而缺少与真实光晕扩散规律相一致的约束；第三，下游边缘识别网络若仅输出边缘概率图，而未将训练目标和最终输出统一为边缘列坐标矩阵，则难以满足逐帧边缘坐标识别的实际需求。

5、专利cn113378830b公开了利用生成对抗网络将已标注源域图像转换为中间域合成图像，并将源域标签与中间域合成图像组合形成已标注数据集的方案。该方案侧重于目标检测数据集的域适应构建，未针对吊杆光晕生成设置像素级空间限制，也未说明如何通过生成结构保证逐行边缘坐标在转换前后保持不变。cn119316722a公开了根据成对拍摄图像获取眩光掩膜并提取眩光特征，cn121304833a公开了通过多次模糊处理并与原始图像叠加生成光晕效果。上述方案分别涉及眩光掩膜和光晕外观生成，但未根据吊杆基准几何边界限定生成器可修改的候选区域，也未建立光晕生成与边缘坐标监督标签之间的坐标保持关系。

6、综上，现有技术未能将光晕生成的空间约束、像素坐标保持和边缘坐标监督建立为相互关联的技术链路，导致在光晕干扰下难以高效获得大量带标注的训练样本，且边缘识别结果难以直接形成可用的坐标数据。

技术实现思路

1、针对上述现有技术存在的不足，本发明提供了一种基于物理约束光晕生成的拱桥吊杆边缘坐标识别方法，旨在通过保守主体掩膜边界提取与空间约束光晕生成实现坐标标签的无损继承，并训练端到端模型直接输出边缘列坐标矩阵，以解决光晕干扰下边缘标注困难、生成样本标签偏移及识别结果非结构化的问题。

2、具体技术方案如下：

3、一种基于物理约束光晕生成的拱桥吊杆边缘坐标识别方法，包括：获取无光晕吊杆图像及其对应的基准边缘列坐标矩阵，所述基准边缘列坐标矩阵从吊杆的保守主体掩膜经几何变换后的边界提取得到；

4、利用图像生成模型将所述无光晕吊杆图像转换为带光晕生成图像；其中，所述图像生成模型的生成过程被约束为：根据所述基准边缘列坐标矩阵所定义的边界，在受限区域内改变像素外观，并以像素位置对齐的方式生成所述带光晕生成图像，以使得所述基准边缘列坐标矩阵在转换前后对应的像素空间位置保持不变；

5、将所述基准边缘列坐标矩阵作为所述带光晕生成图像的监督标签，训练边缘坐标识别模型，以使所述边缘坐标识别模型能够由输入的带光晕吊杆图像直接输出边缘列坐标矩阵；

6、获取待识的现场吊杆图像，输入训练完成的所述边缘坐标识别模型，输出所述现场吊杆图像对应的边缘列坐标矩阵。

7、优选地，所述基准边缘列坐标矩阵从吊杆的保守主体掩膜经几何变换后的边界提取得到，包括：

8、从吊杆样本图像中提取保守主体掩膜，所述保守主体掩膜的边界位于吊杆可辨识主体区域内；

9、对基于所述保守主体掩膜提取的吊杆前景图像及所述保守主体掩膜本身，同步进行相同的几何变换；

10、将变换后的吊杆前景图像与背景图像合成，得到所述无光晕吊杆图像；

11、从变换后的保守主体掩膜中提取左右边界，形成所述基准边缘列坐标矩阵。

12、优选地，提取所述保守主体掩膜时，其边界通过向吊杆主体内部偏置得到，对于吊杆样本图像第行，单侧偏置量满足：，其中表示左侧或右侧，为该行吊杆受光晕影响的表观宽度。

13、优选地，所述图像生成模型的生成过程被约束，包括：

14、根据所述基准边缘列坐标矩阵确定基准几何边界，并基于所述基准几何边界构建一个受限的候选区域；

15、由所述图像生成模型在所述候选区域内预测一个门控图，所述门控图表征了每个像素处发生光晕外观变化的权重；

16、采用像素位置对齐的生成方式，将所述无光晕吊杆图像与基于所述门控图调制的外观变化相结合，生成所述带光晕生成图像；

17、其中，在所述候选区域之外，所述门控图被约束为使外观变化为零，从而使所述基准边缘列坐标矩阵对应的像素空间位置保持不变。

18、优选地，所述候选区域为根据像素位置到所述基准几何边界的有符号距离构建的最大候选光晕带；

19、所述门控图为软门控权重图，通过获得，其中，为所述最大候选光晕带在像素位置处的二值指示函数，为所述图像生成模型输出的门控响应；

20、所述像素位置对齐的生成方式为残差生成，表示为：；其中，为所述带光晕生成图像在像素位置处的值，为所述无光晕吊杆图像在像素位置处的值，为像素位置p处的所述软门控权重，为所述图像生成模型预测的在像素位置处的残差。

21、优选地，所述最大候选光晕带在背景侧的宽度满足：；在吊杆主体内侧的宽度满足：；其中，为训练样本图像宽度，为第行变换后的吊杆主体宽度。

22、优选地，所述图像生成模型通过损失函数训练得到，所述损失函数包括光晕统计先验损失和非光晕区域保持损失；

23、所述光晕统计先验损失基于最大均值差异构建，所述最大均值差异为所述带光晕生成图像与真实带光晕吊杆图像在光晕特征统计分布上的差异；所述光晕特征包括多尺度高斯扩散响应、亮度过渡宽度和法向亮度梯度衰减率；

24、所述非光晕区域保持损失根据像素差异计算，所述像素差异为所述门控图权重低于阈值的区域内，所述带光晕生成图像与所述无光晕吊杆图像之间的差异。

25、优选地，所述边缘坐标识别模型用于接收单幅图像输入，并直接输出与输入图像行数对应的n行2列矩阵，其中第一列为左边缘列坐标序列，第二列为右边缘列坐标序列；

26、所述边缘坐标识别模型包括卷积特征提取模块和坐标输出模块，所述坐标输出模块通过可微计算得到每一图像行的边缘列坐标；

27、所述可微计算包括针对每个图像行生成并归一化左、右边缘响应分布，并基于归一化后的响应分布计算横向坐标的期望值作为边缘列坐标。

28、优选地，所述可微计算通过行级边缘响应分布层和可微坐标期望层实现；其中，所述行级边缘响应分布层输出的左、右边缘响应不设置人工软标签，且训练时不单独计算响应分布损失；所述可微坐标期望层不通过阈值判断或峰值搜索获得边缘列坐标。

29、优选地，将待识别的现场吊杆图像输入训练完成的所述边缘坐标识别模型之前，不对所述现场吊杆图像进行灰度化、亮度归一化、直方图均衡化或平滑滤波预处理；并且，输出所述边缘列坐标矩阵后，不通过阈值判断、峰值搜索、强制平滑或直线拟合对所述边缘列坐标矩阵中的坐标值进行修正。

30、与现有技术相比，本发明的有益效果为：

31、本发明通过获取无光晕吊杆图像及其对应的基准边缘列坐标矩阵，并利用图像生成模型在受限区域内以像素位置对齐的方式生成带光晕图像，使得基准边缘列坐标矩阵在转换前后对应的像素空间位置保持不变，从而能够以该坐标矩阵作为监督标签训练边缘坐标识别模型，最终实现从单幅现场吊杆图像直接输出边缘列坐标矩阵，有效克服了光晕干扰导致的识别偏移，且无需对真实带光晕图像进行逐行人工标注。

32、本发明通过向吊杆主体内部偏置提取保守主体掩膜，并对吊杆前景与掩膜进行同步几何变换，使得基准边缘坐标的确定客观可靠，且图像与坐标标签保持空间一致，降低了人工标注难度，并为后续生成样本继承明确标签奠定基础。

33、本发明采用像素位置对齐的残差生成方式，并引入光晕统计先验约束和非光晕区域保持约束，使得生成网络主要学习吊杆边缘邻域的光晕外观变化，而不改变基准几何边界的空间坐标，并减少对无关背景区域的改变，保证了生成样本的真实性和标签的准确性。

34、本发明边缘坐标识别模型通过可微计算直接输出边缘列坐标矩阵，无需阈值判断或峰值搜索等后处理，使识别结果可直接用于后续分析，避免了传统边缘概率图需进一步处理的问题。

35、本发明无需真实带光晕图像与无光晕合成样本一一对应，能够利用现场真实光晕图像的域分布信息提升生成样本的多样性和边缘识别网络的泛化能力。