一种基于视觉识别的隧道掌子面安全监测系统及方法与流程

摘要: 本发明涉及隧道工程安全监测与图像识别,尤其涉及一种基于视觉识别的隧道掌子面安全监测系统及方法。背景技术:1、随着隧道工程施工规模的不断扩大和智能化安全管控需求的...
一种基于视觉识别的隧道掌子面安全监测系统及方法与流程

本发明涉及隧道工程安全监测与图像识别,尤其涉及一种基于视觉识别的隧道掌子面安全监测系统及方法。

背景技术:

1、随着隧道工程施工规模的不断扩大和智能化安全管控需求的提升,针对隧道掌子面裂隙、渗水、掉块以及支护构件状态的图像识别与安全监测技术受到广泛关注。现有隧道掌子面安全监测方式主要依赖人工巡检、单帧图像识别或普通语义分割模型进行异常区域判断,但是在实际应用中普遍存在以下问题:

2、隧道施工现场光照不均、粉尘遮挡、设备振动和拍摄角度变化明显,采集到的掌子面图像容易出现失焦、局部过曝以及粉尘覆盖的情况,导致裂隙、渗水、掉块和支护构件等结构区域边界不清,现有图像分割结果容易出现漏检和误分割;掌子面结构区域之间存在明显空间邻接和风险传导关系,传统方法多关注单一区域的像素识别结果,难以将不同结构片元之间的空间承接关系转化为风险结构关联信息,导致对局部裂隙扩展、渗水蔓延和掉块风险的整体判断不足;连续施工过程中,掌子面状态具有动态演化特征,现有单帧识别或简单帧间比对方式难以稳定追踪结构片元的面积变化、位置变化和邻接关系变化,容易受单帧误识别影响;同时,现有深度学习模型通常缺少将风险演化片段回映至像素特征的操作,难以在分割解码阶段保持风险片元之间的连续承接关系,影响掌子面安全风险值和安全等级判定的准确性。

3、因此,如何提供一种基于视觉识别的隧道掌子面安全监测系统及方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于视觉识别的隧道掌子面安全监测系统及方法,本发明通过获取并预处理隧道掌子面图像数据,识别裂隙、渗水、掉块、岩层纹理以及支护构件结构识别片元,构建掌子面空间承接网和风险结构关联图;再利用risk-dtw算法追踪连续时刻的片元变化,形成风险演化片段和失稳诱导场图,并将其与掌子面视觉状态图像集输入改进oneformer模型,输出掌子面安全风险值和安全等级,实现掌子面风险的连续、准确以及可追溯监测。

2、根据本发明实施例的一种基于视觉识别的隧道掌子面安全监测方法,包括如下步骤:

3、步骤一:获取隧道掌子面图像数据,对所述隧道掌子面图像数据进行预处理,生成掌子面视觉状态图像集;

4、步骤二:基于所述掌子面视觉状态图像集识别结构识别片元,并为各结构识别片元配置片元类型标记和空间位置标记,生成结构识别片元集;

5、步骤三:根据所述结构识别片元集构建掌子面空间承接网,并基于结构识别片元之间的空间邻接关系生成掌子面风险结构关联图;

6、步骤四:基于risk-dtw算法对连续时刻的掌子面风险结构关联图进行变化追踪,提取掌子面风险演化片段,构建掌子面风险演化片段集;

7、步骤五:基于所述掌子面风险演化片段集构建掌子面失稳诱导场,确定失稳诱导方向、失稳诱导强度和诱导关联位置,生成掌子面失稳诱导场图;

8、步骤六:将所述掌子面视觉状态图像集和所述掌子面失稳诱导场图输入改进oneformer模型中,所述改进oneformer模型在像素解码器与transformer解码器之间设置失稳诱导回映层,并在transformer解码器中引入片元承接驻留算子,输出掌子面安全风险值;

9、步骤七:根据所述掌子面安全风险值确定掌子面安全等级,生成掌子面安全监测结果。

10、可选的,所述步骤一具体为:

11、在隧道掌子面正前方和两侧分别布设图像采集设备,按照相同采集时刻获取隧道掌子面图像数据,并为所述隧道掌子面图像数据写入采集时间标记和采集位置标记;

12、对所述隧道掌子面图像数据进行预处理,所述预处理包括图像筛选、光照校正、粉尘区域修补和尺度统一;

13、对所述隧道掌子面图像数据计算清晰度评价值,将清晰度评价值低于设定清晰度阈值的图像判定为失焦图像并剔除,生成掌子面有效图像序列;

14、将所述掌子面有效图像序列转换至hsv颜色空间,对亮度通道进行限制对比度自适应直方图均衡处理,生成光照校正图像序列;

15、对所述光照校正图像序列提取饱和度低于设定饱和度阈值且亮度高于设定亮度阈值的像素区域,将连通面积大于设定面积阈值的像素区域标记为粉尘区域,并采用相邻帧同位置像素值对所述粉尘区域进行修补,生成粉尘修补图像序列;

16、对所述粉尘修补图像序列进行掌子面边界裁剪,将裁剪后的图像缩放至统一分辨率,并按照采集时间顺序和采集位置标记进行时空关联排列,生成掌子面视觉状态图像集。

17、可选的,所述步骤二具体为:

18、读取所述掌子面视觉状态图像集,按照采集时间顺序和采集位置标记提取同一采集时刻对应的掌子面视觉状态图像;

19、将所述掌子面视觉状态图像输入已训练的u-net模型,对所述掌子面视觉状态图像进行编码特征提取和解码上采样,输出掌子面结构区域分割图;

20、根据所述掌子面结构区域分割图中的像素类别,确定裂隙区域、渗水区域、掉块区域、岩层纹理区域和支护构件区域;

21、对所述裂隙区域、渗水区域、掉块区域、岩层纹理区域和支护构件区域分别进行连通域分析,将连通面积小于设定噪点剔除面积阈值的连通域剔除,并将保留的连通域作为结构识别片元;

22、根据所述结构识别片元对应的像素类别配置片元类型标记,所述片元类型标记包括裂隙片元标记、渗水片元标记、掉块片元标记、岩层纹理片元标记和支护构件片元标记;

23、根据所述结构识别片元在所述掌子面视觉状态图像集中的像素坐标范围和对应的采集位置标记,配置空间位置标记,所述空间位置标记包括片元边界坐标、片元中心坐标和片元所属采集位置;

24、将配置有所述片元类型标记和所述空间位置标记的结构识别片元进行汇集,生成结构识别片元集。

25、可选的,所述步骤三具体为:

26、读取所述结构识别片元集,提取各结构识别片元的片元类型标记、片元边界坐标、片元中心坐标和片元所属采集位置;

27、按照采集时间顺序和片元所属采集位置,将同一采集时刻对应的结构识别片元映射至统一掌子面坐标平面,对重叠区域的结构识别片元进行空间融合去重;

28、根据所述片元中心坐标计算任意两个结构识别片元之间的中心间距,并根据所述片元边界坐标判断任意两个结构识别片元之间的边界接近关系;

29、将中心间距小于设定邻接距离阈值,或边界接近关系满足设定边界邻接条件的两个结构识别片元确定为空间邻接片元对;

30、以结构识别片元作为网络节点,以空间邻接片元对作为承接边,构建掌子面空间承接网;

31、根据空间邻接片元对中两个结构识别片元的片元类型标记,确定承接边的风险关联类型,所述风险关联类型由两个结构识别片元的片元类型标记组合形成;

32、将所述网络节点、承接边和风险关联类型进行关联存储,生成掌子面风险结构关联图。

33、可选的,所述步骤四具体为:

34、按照采集时间顺序读取连续时刻的掌子面风险结构关联图,提取各掌子面风险结构关联图中的网络节点、承接边和风险关联类型;

35、根据各网络节点对应结构识别片元的片元类型标记、片元中心坐标、片元边界坐标、承接边数量和风险关联类型,生成片元风险状态序列;

36、基于risk-dtw算法对相邻时刻的片元风险状态序列进行匹配,根据片元类型差异、片元中心位移、片元面积变化、承接边变化和风险关联类型变化,综合计算相邻时刻任意两个结构识别片元之间的片元匹配总代价值,并根据所述片元匹配总代价值构建风险匹配代价矩阵;

37、对所述风险匹配代价矩阵进行动态时间规整匹配,按照时间先后顺序确定相邻时刻之间的片元匹配路径,并将片元匹配总代价值小于设定追踪代价阈值的网络节点连接为片元变化追踪链;

38、根据所述片元变化追踪链,提取同一结构识别片元在连续时刻中的中心位置变化、片元面积变化、承接边数量变化和风险关联类型变化;

39、当所述中心位置变化、片元面积变化、承接边数量变化和风险关联类型变化中的任意一种变化在连续时刻内满足设定演化判定条件时,将对应片元变化追踪链截取为掌子面风险演化片段;

40、为所述掌子面风险演化片段配置起止时间标记,并将配置后的掌子面风险演化片段进行汇集,构建掌子面风险演化片段集。

41、可选的,所述步骤五具体为:

42、读取所述掌子面风险演化片段集,提取各掌子面风险演化片段对应的结构识别片元、片元类型标记、片元中心坐标、片元面积变化、承接边数量变化、风险关联类型变化和起止时间标记;

43、根据所述掌子面风险演化片段内各结构识别片元在起止时间标记内的片元中心坐标变化方向,确定所述掌子面风险演化片段的失稳诱导方向;

44、根据所述掌子面风险演化片段内各结构识别片元的片元面积变化、承接边数量变化、风险关联类型变化和起止时间标记对应的风险演化持续时长,确定所述掌子面风险演化片段的失稳诱导强度;

45、根据所述掌子面风险演化片段内各结构识别片元的片元面积变化、承接边数量变化和风险关联类型变化,确定主导结构识别片元,并将所述主导结构识别片元在对应终止时间的片元中心坐标确定为诱导关联位置;

46、将具有相同或相邻起止时间标记,且诱导关联位置存在空间邻接关系的掌子面风险演化片段进行连接,生成失稳诱导链;

47、以所述掌子面风险演化片段作为场节点,以所述失稳诱导链中相邻场节点之间的连接关系作为场边,并将所述失稳诱导方向和所述失稳诱导强度写入对应场节点,构建掌子面失稳诱导场;

48、将所述掌子面失稳诱导场映射至统一掌子面坐标平面,生成掌子面失稳诱导场图。

49、可选的,所述改进oneformer模型具体包括视觉骨干网络、像素解码器、失稳诱导回映层、任务令牌、transformer解码器和分割预测头;

50、所述视觉骨干网络读取掌子面视觉状态图像集,并按照掌子面失稳诱导场图中的场节点、结构识别片元和像素区域对应关系,对裂隙像素区域、渗水像素区域、掉块像素区域、岩层纹理像素区域和支护构件像素区域分别进行卷积特征提取,生成掌子面多尺度视觉特征;

51、所述像素解码器读取掌子面多尺度视觉特征,将不同尺度特征统一重采样至相同像素尺寸,并按照结构识别片元对应的像素区域进行特征拼接,生成掌子面多尺度像素特征;

52、所述失稳诱导回映层读取掌子面多尺度像素特征以及掌子面失稳诱导场图中的失稳诱导方向、失稳诱导强度和诱导关联位置,根据诱导关联位置定位对应场节点下主导结构识别片元的像素区域,并根据同一场节点内结构识别片元的像素区域确定片元内回映路径;

53、所述失稳诱导回映层根据不同场节点之间的场边连接关系,确定相邻掌子面风险演化片段之间的片段间回映路径,并将片元内回映路径和片段间回映路径合并为失稳诱导回映路径;

54、所述失稳诱导回映层将失稳诱导回映路径上各像素区域的像素坐标减去对应诱导关联位置的坐标,得到路径方向量;将路径方向量与失稳诱导方向一致的像素区域标记为顺向回映区域,否则标记为反向削弱区域;

55、所述失稳诱导回映层将顺向回映区域对应的掌子面多尺度像素特征乘以失稳诱导强度后加回原特征,将反向削弱区域对应的掌子面多尺度像素特征乘以失稳诱导强度后从原特征中减去,生成诱导增强像素特征;

56、所述任务令牌读取掌子面安全监测任务标识,生成掌子面安全监测任务令牌;

57、所述transformer解码器接收诱导增强像素特征和掌子面安全监测任务令牌,并通过片元承接驻留算子生成掌子面结构片元解码特征;

58、所述分割预测头读取掌子面结构片元解码特征,生成裂隙分割结果、渗水分割结果、掉块分割结果和支护构件分割结果,并输出掌子面安全风险值。

59、可选的,所述片元承接驻留算子具体为:

60、按照结构识别片元对应的像素区域,从诱导增强像素特征中截取对应区域特征,并对对应区域特征进行平均池化,生成片元区域特征;

61、将所述片元区域特征与掌子面安全监测任务令牌相加,生成片元查询向量;

62、根据所述片元查询向量对应的结构识别片元,确定结构识别片元在掌子面失稳诱导场图中挂接的场节点,建立片元查询向量与场节点之间的对应关系;

63、根据掌子面失稳诱导场图中的场边,将同一场边两端场节点下的片元查询向量配置承接标记;根据场节点对应的掌子面风险演化片段,将参与掌子面风险演化片段的片元查询向量配置风险驻留标记;

64、计算相邻片元查询向量之间的初始关联权重,对同时配置承接标记和风险驻留标记的片元查询向量,将所述初始关联权重加上对应场节点的失稳诱导强度,生成驻留关联权重;

65、对未同时配置承接标记和风险驻留标记的片元查询向量,将所述初始关联权重减去片元查询向量所属结构识别片元挂接的场节点对应的失稳诱导强度的一半,生成削减关联权重,削减关联权重小于0时取0;

66、根据所述驻留关联权重和所述削减关联权重更新片元查询向量,并按照片元类型标记分别归集为裂隙片元解码特征、渗水片元解码特征、掉块片元解码特征和支护构件片元解码特征;

67、将所述裂隙片元解码特征、渗水片元解码特征、掉块片元解码特征和支护构件片元解码特征进行拼接,生成掌子面结构片元解码特征。

68、可选的,所述步骤七具体为:

69、将所述掌子面安全风险值与预设安全等级阈值进行比对;

70、当所述掌子面安全风险值小于第一风险阈值时,确定掌子面安全等级为正常等级;

71、当所述掌子面安全风险值大于或等于第一风险阈值且小于第二风险阈值时,确定掌子面安全等级为关注等级;

72、当所述掌子面安全风险值大于或等于第二风险阈值且小于第三风险阈值时,确定掌子面安全等级为预警等级;

73、当所述掌子面安全风险值大于或等于第三风险阈值时,确定掌子面安全等级为危险等级;

74、根据所述掌子面安全等级,关联输出对应的裂隙分割结果、渗水分割结果、掉块分割结果和支护构件分割结果,生成掌子面安全监测结果。

75、根据本发明实施例的一种基于视觉识别的隧道掌子面安全监测系统,包括如下模块:

76、图像预处理模块,用于获取隧道掌子面图像数据并进行预处理,生成掌子面视觉状态图像集;

77、片元识别模块,用于基于所述掌子面视觉状态图像集识别结构识别片元,并为各结构识别片元配置片元类型标记和空间位置标记,生成结构识别片元集;

78、空间承接模块,用于根据所述结构识别片元集构建掌子面空间承接网,并基于结构识别片元之间的空间邻接关系生成掌子面风险结构关联图;

79、风险演化追踪模块,用于基于risk-dtw算法对连续时刻的掌子面风险结构关联图进行变化追踪,提取掌子面风险演化片段,构建掌子面风险演化片段集;

80、失稳诱导场图构建模块,用于基于所述掌子面风险演化片段集构建掌子面失稳诱导场,确定失稳诱导方向、失稳诱导强度和诱导关联位置,生成掌子面失稳诱导场图;

81、风险识别模块,用于将所述掌子面视觉状态图像集和掌子面失稳诱导场图输入改进oneformer模型中,所述改进oneformer模型在像素解码器与transformer解码器之间设置失稳诱导回映层,并在transformer解码器中引入片元承接驻留算子,输出掌子面安全风险值;

82、安全等级判定模块,用于根据所述掌子面安全风险值确定掌子面安全等级,生成掌子面安全监测结果。

83、本发明的有益效果是:

84、本发明通过将裂隙、渗水、掉块、岩层纹理和支护构件区域转化为结构识别片元,并基于片元类型标记、空间位置标记和空间邻接关系构建掌子面风险结构关联图,使掌子面不同结构区域之间的空间承接关系得到统一表达,增强了对局部异常扩展、区域邻接风险和多结构联动变化的识别能力。

85、本发明通过risk-dtw算法对连续时刻的掌子面风险结构关联图进行变化追踪,使结构识别片元的中心位置变化、片元面积变化、承接边数量变化和风险关联类型变化能够被连续记录和稳定匹配,减少单帧误分割、粉尘遮挡和局部图像扰动对风险判断的影响。

86、进一步通过掌子面失稳诱导场图表达风险演化片段之间的方向、强度和空间承接关系,并在改进oneformer模型中利用失稳诱导回映层将失稳诱导信息回映至像素特征,利用片元承接驻留算子在解码阶段强化具有连续承接关系的风险片元响应,使裂隙、渗水、掉块和支护构件分割结果与掌子面实际失稳演化过程保持一致,提高掌子面安全风险值输出的连续性、准确性和抗干扰能力,从而提升安全等级判定、风险来源定位和现场处置提示的可靠性。