基于CNN-Transformer的钻孔成像裂隙像素识别方法

本发明涉及计算机视觉，尤其涉及基于cnn-transformer的钻孔成像裂隙像素识别方法。

背景技术：

1、煤炭作为国家能源安全的重要保障，其深井开采过程中，巷道围岩裂隙的演化与贯通是引发岩体失稳、突水突泥等安全事故的核心诱因。因此，精准识别围岩裂隙形态、获取裂隙像素级分布信息，是煤矿安全生产的关键前提。

2、当前，钻孔成像技术凭借“岩体结构无破坏、全孔连续观测、实时数据传输”的优势，已成为煤矿围岩裂隙探测的主流技术。该技术通过推杆搭载高清摄像头扫描孔壁，将环形孔壁图像 “展开” 为平面展开图，实现孔壁岩体的可视化观测。但在实际工程应用中，裂隙像素识别仍面临三大核心技术瓶颈：

3、（1）强地质干扰导致特征混淆：

4、钻孔成像展开图中，岩石天然纹理（与裂隙相似的线性灰度特征）、孔壁残留泥浆伪影（高亮或阴影状竖条纹）、钻头钻进痕迹（规则横向划痕）与真实裂隙的视觉特征高度重叠，传统图像分割方法（如阈值分割、canny边缘检测）无法有效区分，导致裂隙“误识别率”和“漏识别率”很高，难以满足工程精度要求。

5、（2）人工判读效率低且主观性强：

6、现有工程中仍依赖地质专家人工标注裂隙像素，单张钻孔成像展开图的判读耗时约30~60分钟，且受专家经验差异影响，不同人员对同一裂隙的标注偏差可达20%以上，无法输出统一、定量的裂隙掩码数据，严重制约后续参数分析的可靠性。

7、（3）现有深度学习模型适配性不足：

8、虽有研究将卷积神经网络（cnn）应用于裂隙识别，例如最优的u-net等方法，但这些方法仅能捕捉局部纹理与边缘特征。同时，由于缺乏针对性预处理，直接应用时像素准确率（pa）普遍低于75%，在工程验证中，其与岩芯实际裂隙位置偏差高达5-8mm，远高于煤矿围岩稳定性评价对裂隙定位精度的要求（允许偏差≤3mm）。因此，现有模型无法满足煤矿复杂地质环境的工程需求。

9、综上，亟需一种能够抑制强地质干扰、兼顾局部与全局特征捕捉、自动化程度高的钻孔成像裂隙像素识别方法，解决现有技术瓶颈，为煤矿智能化开采提供技术支撑。

10、名词解释：

11、限制对比度自适应直方图均衡（contrast limited adaptive histogramequalization，clahe)算法，该算法包括（1）将整幅图像均匀划分为多个互不重叠的子块，（2）对每个子块统计灰度直方图，再对每个子块的灰度直方图进行裁剪，将超过预设裁剪阈值的像素频数进行截断并重新分配，根据裁剪后的局部直方图计算累积分布函数，（3）依据所述累积分布函数对像素灰度进行映射，（4）用双线性插值把各块的变换结果平滑融合，消除分块边界造成的网格痕迹，让增强后的图像更自然。

技术实现思路

1、本发明的目的就在于提供一种解决上述强地质干扰下裂隙识别难、人工依赖度高、模型适配性差等问题的，基于cnn-transformer的钻孔成像裂隙像素识别方法。

2、为了实现上述目的，本发明采用的技术方案是这样的：一种基于cnn-transformer的钻孔成像裂隙像素识别方法，包括以下步骤：

3、s1，构造预处理模型，用于对输入的钻孔成像展开图进行预处理，得到对应的预处理展开图，所述预处理包括高斯模糊去噪、傅里叶频域竖条纹滤波、clahe对比度增强和形态学变换；

4、s2，构造一cnn-transformer架构的融合网络，基于cnn和transformer编码器分别提取预处理展开图的局部特征f1和全局特征f2，再将f1、f2跨模态融合为融合特征f3，再解码为与预处理展开图尺寸相同的二值掩码图，图中值为0的像素为预测裂隙像素；

5、s3，将预处理模型和融合网络构成裂隙识别网络，用钻孔成像展开图数据集训练至收敛，得到裂隙像素识别模型；

6、s4，获取待识别钻孔成像展开图，经裂隙像素识别模型得到对应的二值掩码图；

7、s5，对s4的二值掩码图进行后处理，包括s51~s55；

8、s51，沿二值掩码图纵轴设置滑动窗口，共m个窗口且相邻窗口存在重叠区域；

9、s52，在窗口m内提取值为0的像素，构成初始裂隙像素集gm0，对gm0内每个像素，通过邻域像素数量阈值滤除孤立点，得到有效点集gm，1≤m≤m；

10、s53，对裂隙的正弦分布模型，用非线性最小二乘算法求解参数，所述参数包括振幅r、周期p、相位β和中心线位置c，将参数带入正弦分布模型，得到拟合曲线cm；

11、s54，用拟合曲线在窗口m内预测缺失的裂隙像素补入gm，并从gm中剔除偏离拟合曲线2像素的像素，得到最终有效点集gm-best；

12、s55，按s52~54依次处理所有窗口，得到m个有效点集，对二值掩码图中像素，若位于有效点集则像素值置0，其余为255，得到裂隙掩码图。

13、作为优选，s1中，所述预处理中，高斯模糊去噪为，用高斯核函数对钻孔成像展开图的灰度图igray进行卷积运算，得到高斯去噪图ig；傅里叶频域竖条纹滤波为，通过二维快速傅里叶变换将ig转换到频域，设计环形带阻滤波器抑制竖条纹伪影，再进行逆傅里叶变换，得到傅里叶滤波图ifft；clahe对比度增强为，基于clahe算法处理ifft，得到增强图iclahe；形态学变换为，对iclahe分别进行top-hat白帽变换和黑帽变换，得到预处理展开图。

14、作为优选，clahe对比度增强具体包括sa1~sa3；

15、sa1，将ifft划分为多个子块，对每个子块的局部灰度直方图进行裁剪，将超过预设裁剪阈值的像素频数进行截断并重新分配，根据裁剪后的局部直方图计算累积分布函数，其中一子块为ilocal，对应的累积分布函数cdfclip(∙)；

16、sa2，根据下式计算子块ilocal对应的增强图i’clahe；

17、

18、式中，lgray=256为灰度等级，ilocal(x,y)为ilocal中坐标(x’,y’)的灰度值，i’clahe(x’,y’)为i’clahe中坐标(x’,y’)的灰度值；

19、sa3，将所有子块的增强图按原划分位置拼接，得到增强图iclahe。

20、作为优选，s2中，所述融合网络包括cnn、transformer编码器、特征融合模块、解码器；

21、所述cnn用于输入预处理展开图，提取图像的局部特征f1；

22、所述transformer编码器用于输入预处理展开图，提取图像的全局特征f2；

23、所述特征融合模块用于对f1和f2进行通道注意力加权和逐元素相加融合，得到融合特征f3；

24、所述解码器用于将f3上采样至与预处理展开图尺寸，再经分割头输出二值掩码图。

25、作为优选，所述特征融合模块根据下式得到融合特征f3；

26、

27、

28、

29、式中，ϕ1(⋅)、ϕ2(⋅)分别为f1、f2对应的特征映射操作，用于将f1、f2映射至相同空间尺寸和通道数，得到对应的映射特征、，g1(⋅)、g2(⋅)分别为对、执行通道注意力权重生成操作，σ(⋅)为sigmoid激活函数，a1、a2分别为f1、f2对应的通道注意力权重，⊙为逐元素乘法。

30、作为优选，s3中，所述钻孔成像展开图数据集包括自制数据集和cracksegmentation数据集，其中自制数据集内的钻孔成像展开图，为待识别区域煤矿巷道内采集的钻孔成像展开图并人工标注裂隙像素。

31、作为优选，s51中，滑动窗口的高度为50像素、步长为20像素。

32、作为优选，s52中，邻域像素数量阈值滤除孤立点具体为：对一像素，若其5×5范围内裂隙像素数≥3，则不为孤立点，否则为孤立点，将其滤除。

33、作为优选，s53中，裂隙的正弦分布模型为：

34、

35、式中，x、y分别为二值掩码图中像素的横坐标、纵坐标， levenberg-marquardt非线性最小二乘算法的目标函数为最小化残差平方和，所述残差为纵向像素差。

36、本方法通过“预处理抑制干扰→融合网络分割→后处理优化掩码” 三阶段协同，实现裂隙像素识别。其中：

37、1、预处理抑制干扰参见步骤s1，通过设计预处理模型，依次对钻孔成像展开图进行高斯模糊去噪、傅里叶频域竖条纹滤波、clahe对比度增强和形态学变换，得到预处理展开图。

38、高斯模糊去噪采用高斯核函数与灰度图做卷积运算，在平滑随机噪声的同时，通过核的中心对称性保留裂隙边缘信息，实现对噪声点的有效抑制。

39、傅里叶频域竖条纹滤波先将灰度图通过二维快速傅里叶变换（2d-fft）转换至频域，得到频域频谱f(u,v)；设计环形带阻滤波器h(u,v)，根据泥浆竖条纹噪声频域分布特性确定距离下限d1=20、距离上限d2=50，当频域中位置(u,v)的点到原点的距离满足d1≤d(u,v)≤d2时，h(u,v)=0以抑制该频率成分，其余情况h(u,v)=1；将滤波后频谱做逆傅里叶变换（ifft），实现竖条纹伪影去除。

40、clahe对比度增强将图像划分为8×8个局部子块，对每个子块执行直方图均衡化，通过裁剪累积分布函数cdfclip限制局部对比度过度增强，避免噪声放大，实现裂隙与背景的灰度对比度提升。

41、形态学变换采用10×10矩形结构元素b，通过白帽变换，表示形态学开运算，先腐蚀后膨胀，突出裂隙高亮边缘细节；再通过黑帽变换，·表示形态学闭运算，先膨胀后腐蚀抑制孔壁暗噪声，最终使裂隙边缘清晰度提升。

42、2、融合网络分割参见步骤s2、s3，s2设计基于cnn-transformer架构的融合网络，可视为cnn分支和transformer分支构成的双分支结构。

43、cnn分支通过下采样层和4个卷积层，依次提取预处理展开图局部纹理、边缘特征，使特征图尺寸逐步压缩(例如从244×1350像素压缩至15×84 像素），特征抽象层级提升，可有效捕捉裂隙的局部边缘细节，最终输出局部特征f1。

44、transformer分支将预处理展开图按预设尺寸如16×16像素大小分块（patch），通过线性展开层将每个patch转化为512 维特征序列；随后通过5个堆叠的transformer编码层（每个层含多头自注意力机制与前馈网络）计算patch间的全局依赖关系，捕捉裂隙在展开图中的周期性延伸特征如正弦状分布的全局趋势；最后通过patch合并操作（每2×2个patch合并为1个），逐步整合局部与全局特征，最终输出全局特征f2。

45、特征融合模块用于对f1、f2进行跨模态融合，通过通道注意力权重分配，突出对裂隙识别贡献更大的特征通道，避免单一特征的局限性。

46、解码器采用pixelshuffle上采样技术（放大系数2）逐步恢复图像尺寸，最终通过1×1卷积的分割头输出与预处理展开图（如244×1350像素）分辨率一致的二值掩码图（像素值0为裂隙、255为非裂隙）。

47、s3训练裂隙识别网络：引入crack segmentation数据集，含1200张不同场景裂隙图像，再构造自制数据集与crack segmentation数据集一起构成训练用的数据集，所述图像先经s1预处理模型处理后，再送入s2的融合网络中并调整融合网络的参数，训练时优化器为adam，迭代100 轮，采用交叉熵交叉熵损失+dice损失，最终得到裂隙像素识别模型，更适配钻孔成像场景，像素准确率得到提升。

48、3、后处理优化掩码参见步骤s5，图像后处理优化：对待识别钻孔成像展开图，用裂隙像素识别模型得到二值掩码图还不够精确，可能存在的“裂隙像素断裂”、“孤立伪噪声点”等问题，故本发明设计后处理流程如步骤s5，其中s51划分窗口，s52逐窗口提取有效点，滤除孤立点，并在s53拟合裂隙的正弦分布模型，s54用拟合曲线补全断裂裂隙像素、剔除伪噪声点（偏离拟合曲线2像素的像素点），提升掩码完整性与纯净度。

49、与现有技术相比，本发明的优点在于：

50、（1）裂隙在钻孔展开图中具有“局部细窄但整体呈正弦趋势”的复合特征，单纯使用cnn 只能识别局部边缘，单纯使用 transformer 容易忽略裂隙的细窄结构。本发明设计一cnn-transformer架构的融合网络，通过cnn和transformer分别提取局部特征和全局特征并按通道注意力加权融合，从而具有cnn的高分辨率边缘敏感性和transforme周期性趋势捕捉的特点。

51、（2）多级预处理与融合网络结构的协同增益。本发明将钻孔成像展开图经预处理模型多级预处理后得到预处理展开图以面对不同类型干扰设计，若单独使用任何一种方法均无法有效识别钻孔成像裂隙，但本发明通过按顺序组合可使钻孔成像展开图中的“局部梯度变化”更加一致，从而与cnn分支的边缘特征提取特性形成互补。同时预处理后的预处理展开图的全局灰度分布更加稳定，使transformer分支的全局注意力机制更易收敛。因此，多级预处理阶段直接提升了后续融合网络的特征可分性。

52、（3）正弦拟合后处理反向提升整体识别质量。传统后处理通常只用于平滑或形态学修补，而本发明利用钻孔裂隙的“正弦几何规律”，在滑动窗口中进行参数拟合，不仅补全模型难以识别的断裂像素，还通过拟合残差剔除伪噪声点。这实际上对模型的初步结果进行了几何约束补偿，实现几何-深度学习的双向增强。

53、最终，本发明对裂隙识别的准确性、完整性均显著提升。