一种土压平衡盾构开挖面土质类型识别方法

1.本发明涉及土压平衡盾构法隧道施工领域。


背景技术：

2.随着中国城市化进程的不断加快，地铁的里程和规模也随之迅速扩张，这对隧道施工的安全及对周围环境影响的控制也带来了极大的挑战。盾构法因其具有施工速度快，对周围环境影响小，机械化程度高的特点被广泛应用于地铁隧道的建设中。但盾构掘进时的施工决策依赖于对前方地层情况的了解，当实际土质与已知情况不符时，会对施工质量与施工安全带来极大的威胁。目前施工人员所掌握的隧道工程沿线的地质信息仅来源于施工前地质勘探提供的地质描述，钻孔间的地质情况仅通过插值法获得，具有很高的不确定性。当实际地层与地勘报告中提供的地层信息不符时，掘进过程可能产生隧道质量问题，严重时甚至导致安全事故的发生。因此，一种利用渣土图像实时进行开挖面土质识别的系统能够保证施工人员及时掌握地层变化，调整施工决策，保证隧道的安全稳定掘进。
3.目前针对盾构机开挖面土质实时识别问题主要有以下解决方案：
4.申请号为202110183343.6的中国专利申请提出一种基于盾构实时掘进参数的地层特性确定方法，先根据隧道施工前的勘察报告对地层情况进行预分类，同时对盾构机实时收集的参数进行变换和处理，对处理后的指数绘制成二维平面图，判断是否产生新的地层类型并更新地层类型数量。最后将标准化后的参数输入到k-means算法中，输出对应参数确定的地层类型。
5.申请号为201911421797.1的中国专利申请提出一种基于土压平衡盾构机参数数据驱动反演地质的方法。对土压平衡盾构机的历史运行数据进行处理制备数据集，在训练集上学习随机森林模型，测试集上验证模型。提取土压平衡盾构机的实时掘进数据输入随机森林模型中即可得到地质条件信息。
6.申请号为202110152053.5的中国专利申请提出一种基于振动信号的实时土体类别识别方法。首先在掘进机构上安装传感器采集开挖产生的振动信号，再根据振动信号分析接触土体的平均剪切模量，最后将分析结果与土体类别数据库中的数据进行对比判断土体类别。
7.申请号为202110558201.3的中国专利申请提出一种盾构法隧道施工开挖面土质实时预测系统及方法，预测系统包括相似工程数据获取模块、土质信息处理模块、施工数据处理模块、土质预测器构建模块以及土质预测模块。土质预测器构建模块基于施工数据获取的土质特征灰度图和渣土图像，采用卷积神经网络构建第一土质预测器和第二土质预测器，融合两个预测器的预测结果得到土质实时检测结果。
8.现有技术的缺点
9.盾构施工参数与土质类型、盾构机选型、隧道埋深、渣土改良状态等各方面因素有关，因此利用实时掘进参数反演地质类型的方法建立的地质识别模型只能在施工条件相似的隧道工程中使用，否则识别效果很难保证；利用传感器采集振动信号分析土体参数的方
法需要额外布置传感器，且土体只能基于平均剪切模量这一个参数指标进行分类；利用渣土图像进行土质识别的方法中，图像对应的土质特征信息是基于隧道施工前地质勘查结果分析计算得到的，而地质勘查结果本身就存在信息不全面不准确的特点，钻孔间的土层分布情况存在很大的不确定性，标签的不准确直接影响模型的识别效果。


技术实现要素：

10.本发明要解决的技术问题
11.设计一种渣土分类方法及基于渣土监控视频实时进行土质类型识别的系统，旨在解决盾构司机难以获取前方地层信息的问题。通过本发明可以实现实时、准确地识别刀盘前方地层的土质类型，为盾构司机后续调整施工参数及渣土改良方案等施工决策提供信息。
12.本发明的目的
13.本发明的核心，就是研发一种能结合土体自身工程性质及工程经验的渣土分类系统，并根据盾构机监控摄像头拍摄的渣土图像实时识别前方土质类型的方法。使用该方法，能够得到基于盾构施工特性的渣土分类结果，并基于监控摄像头采集的出渣视频对渣土进行实时的定位以及对前方地质类型进行实时判断。特点：低成本、自动化、适用于各种土质地层中掘进的隧道。
14.本发明技术方案
15.一种土压平衡盾构开挖面土质类型识别方法，该方法包括对土压平衡盾构渣土进行基于盾构施工特性的分类，以及基于深度学习算法对出渣土进行图像识别。
16.本方法是根据对出渣土的识别来确定开挖面土质类型，因此首先需要基于土质类型的划分来确定渣土类别的划分。首先建立一个同时考虑土体自身工程特性以及盾构施工经验的渣土分类系统。接着收集渣土数据，并对数据进行挑选及处理得到土压平衡盾构出渣土识别数据集。然后构建并训练得到出渣土目标检测模型。最后输入土压平衡盾构施工时的出渣土监控视频即可实现渣土的实时识别，得到开挖面的土质类别信息。
17.本方法步骤如下：
18.步骤1、建立渣土分类系统
19.为实现盾构掘进时土质类型的识别，对盾构工程所在地区浅部地层工程性质的了解是第一步。静力触探试验(cpt)是一种可以综合反映土体物理力学性质的原位试验方法。通过分析不同地层的贯入阻力统计特征值，即可掌握各地层土体的工程特性，为渣土分类奠定基础。
20.1.1首先收集盾构施工所在地区的地质勘察报告，整理其中的静力触探分层参数表，统计各钻孔经过地层的贯入阻力值，剔除异常值，即明显不合理的数据。
21.1.2接着计算各地层贯入阻力指标的统计特征值，包括均值、标准差以及变异系数。
22.首先根据各层的土层名称进行大类划分，如：粘土(cl)、粉土(si)、砂土(sa)。
23.再根据能够反映土体工程性质的贯入阻力均值进行详细划分，如粘土(cl)划分为软粘土(sc)、普通粘土(nc)、硬粘土(hc)。
24.依据此方法，能够将某一地区的地层根据其工程性质进行合并分类，获得适用于
土压平衡盾构参数调整的土质类型划分。
25.1.3对某地区土质类型划分后，在此基础上确定渣土的类别划分。
26.首先考虑是否存在对土压平衡盾构施工影响较大的特殊土或承压水等情况，若存在此类有特殊性质的地层，而在根据贯入阻力值进行分类时又将此类地层与其他地层合并为一类，则应该将这类地层单独划分。除此之外，考虑盾构法施工时常出现开挖面经过多层地层的情况，此时排出的渣土可定为“混合土”这一特殊的类型。至此，在土质类别划分的基础上进行调整即可获得同时考虑土体自身工程性质以及施工经验的渣土类别划分结果。
27.1.4由于在之后建立数据集的过程中，要对每一张渣土图片标记其渣土类型，因此最后再基于渣土的视觉特征来构建目力鉴别渣土类别的准则，便于后续标签的制作。本方法的渣土识别准则采用四种渣土的表观特征来确定渣土类别，分别为渣土形状(ms)、渣土断面形态(cs)、渣土表面平整度(sc)以及渣土颜色(mc)。
28.步骤2、建立渣土识别数据库
29.2.1首先广泛收集该方法应用地区的渣土监控视频。
30.一般监控视频分辨率为1920*1080，最好不低于1280*720。
31.渣土监控摄像头应安装于皮带传送机的正上方或斜上方位置，对准螺旋出土机出土口，保证拍摄到完整的出渣过程和渣土形态。在出土口上方安装照明设备，并保持镜头表面洁净，使得拍摄的图像明亮清晰、易于识别。
32.2.2收集到视频数据后对数据进行预处理。
33.首先将稳定出土阶段的有效视频截取出来，再以每30帧一张的频率抽取视频帧(具体取帧频率可根据盾构机推进速度进行调整)。依据渣土形态和图像背景尽量变化多样的原则选取图像，剔除镜头污损下拍摄的图像以及由于视频卡顿造成的马赛克不良图像和冗余图像。
34.2.3采用labelimg图像标注软件对渣土图像进行手工标注，用矩形框框出每张图像内的渣土体目标，并输入每个目标框的渣土类别。标签信息为pascal voc格式，每张图片真实的目标框位置信息和相应的渣土类别信息都被保存为xml文件。在训练集和验证集中，每张图像都必须带有标签，里面记录的信息被称为真实值(ground truth，gt)。该真实值提供给3.3.4的训练过程。
35.2.4最后获得的渣土图片文件及对应的标签文件即为渣土数据集，将其按8：1：1的比例划分为训练集、验证集和测试集。
36.步骤3、渣土识别模型的构建
37.渣土识别模型的构建流程也是代码的组成部分以及编写顺序。本发明采用卷积神经网络建立渣土识别模型，其任务属于目标检测任务，因此需要搭建目标检测网络。模型在深度学习框架pytorch上进行搭建，采用python语言实现。
38.所述渣土识别模型包括：自定义数据集模块、渣土检测网络搭建模块、构建训练过程模块、模型测试及评估指标模块和渣土识别结果可视化模块。
39.3.1在自定义数据集模块中
40.3.1.1需要从数据集存储路径上载入渣土图像数据以及相应的标签信息，分别保存在列表中。
41.3.1.2接着对图像数据和标签数据进行一定的处理和转换。将图像数据从pil格式
转换成形状为(c,h,w)的tensor格式，其中c代表图像通道数，h代表图片高度，w代表图片宽度，并将所有像素值除以255归一化到0-1之间。
42.3.1.3接着在图像输入网络之前对其进行一定的随机图像增强操作，以0.5的概率对图像进行水平翻转、网格掩码、随机裁剪、色彩抖动以及模糊五种数据增强，提高数据库图片的多样性，增强模型的鲁棒性。
43.3.1.4计算出整个数据集中图片三通道像素值的均值和标准差，对图片进行标准化处理以便于模型的学习，提供给步骤3.3。
44.3.2在渣土检测网络搭建模块中，网络主要分为三个部分：骨干网络、颈部网络以及顶部网络，提供给步骤3.3。
45.骨干网络的主要功能为提取图像特征，其基本结构为卷积层、批标准化层以及激活层的组合，将此基本结构进行堆叠即可完成骨干网络的搭建。在骨干网络中加入残差连接能够增加网络的深度，有效提高其特征提取的能力。
46.颈部网络的主要功能为特征增强和融合，举例而非限定，本发明采用的空间金字塔池化(spatial pyramid pooling，spp)和路径聚合网络(path aggregation network，panet)为颈部网络常用的模块。其中，spp模块能够有效扩展感受野并分离出最重要的上下文信息，panet能够通过融合骨干网络不同层级的参数来增强提取的图像特征。颈部网络对于整个目标检测网络的性能提升有很大的帮助。
47.顶部网络即为检测器，其主要功能即为对渣土位置及类别信息做最终的回归预测。更高分辨率的输出特征图包含了输入图像更详细的特征，善于小目标的检测，更低分辨率的输出特征图包含输入图像更粗略的特征，善于大目标的检测。
48.作为实施例，骨干网络采用darknet53，颈部网络采用spp和panet，顶部网络由三个输出尺度的目标检测器组成。图片首先输入骨干网络中，该骨干网络由53层卷积组合构成，其中插入一定数目的残差连接。残差连接是为了解决在训练深度神经网络时，网络达到一定层数后可能会出现网络退化的现象，也就是不仅无法提升模型的表达能力，反而使得模型的效果变差。每个卷积组合可以看作一个函数f，输入观测值即可得到输出预测值y＝f(x)。残差连接分为两条线，一条线是观测值x输入代表函数f的卷积组合中f(x)，另一条线则直接传递观测值x，最终的预测值为两条线的输出结果相加，即f(x) x。若把整个残差连接看作一个函数h，输入的观测值为x，则预测值y＝h(x)＝f(x) x。f(x)＝h(x)-x即为残差，也就是预测值y和观测值x之间的差距。这样，经过残差连接的下一层不仅包含上一层经过非线性变化(卷积组合)后的信息，也包含上一层原始的信息，这样处理使得信息只可能逐层递增，模型的性能也不会因为网络深度的增加而降低。
49.经过骨干网络的层层特征提取后，特征图已经蕴含了能够识别渣土的高级语义信息，但不免失去了很多细节特征，不利于小目标的检测。因此，骨干网络训练得到的特征图被输入颈部网络进行进一步的特征融合和增强。
50.骨干网络顶端的特征图首先被输入颈部网络的spp结构中，spp网络对特征图进行三种不同尺度的池化操作再在通道维度拼接起来，可解决卷积网络对特征的重复提取问题，大大提高产生检测候选框的速度，节省计算成本。接着，骨干网络最顶端的特征图再与骨干网络中间两个不同层级的特征图输入颈部网络的panet网络中进行自顶向下和自底向上的双向融合，使其既具有深层的语义信息又具有浅层的纹理、颜色等基本信息，保证特征
的完整性和多样性，提高最终的预测效果。
51.骨干网络中三个不同层级的特征图(“特征图1、特征图2、特征图3”)经过颈部网络的融合增强后分别输入最终的顶部网络检测器中，各自经过一个简单的卷积组合，回归得到最终的预测结果“预测输出1”“预测输出2”“预测输出3”。三个不同大小的特征图分别包含了不同尺度的特征，也对应预测不同大小的目标。预测输出1特征图较大，包含的细节信息最多，负责预测小目标物体；预测输出3特征图较小，更易于判别整体信息，负责预测大目标物体。上述三个预测输出的结果合并在一起即为整个网络对图片的预测结果。
52.3.3在构建训练过程模块中
53.3.3.1首先导入自定义数据集模块以及渣土检测网络搭建模块，实例化渣土数据集以及渣土检测网络，构建数据加载器以自定义图片及标签数据输入网络的方式。
54.3.3.2设计网络的损失函数，本方法所使用目标检测网络的损失函数分为三部分：渣土定位损失(localization loss)、目标框置信度损失(confidence loss)以及渣土分类损失(classification loss)，如公式(1)所示。
55.loss＝localization loss confidence loss classification loss
56.(1)
57.目标框置信度代表目标框是否包含渣土体以及包含时目标框与真实框交并比的大小。
58.3.3.3网络训练时需要设置很多超参数，包括学习率初值及其随训练循环次数增加的变化方式、优化器以及优化器的参数、输入图片批大小、训练循环次数、损失函数各项的权值等。设置好损失函数及超参数后即可进入步骤3.3.4开始训练。
59.3.3.4每一批图像输入网络中都会得到预测结果，将预测值与步骤2.3标签中的真实值(ground truth，gt)输入损失函数能够算得当前损失值，也就是预测值和真实值之间的距离。计算损失值对于所有网络参数的导数，利用优化器对网络参数进行优化更新，即为一轮训练迭代。当把训练集中所有图片都轮次输入网络中进行训练后，即为一个训练循环。结束一个训练循环后，再将验证集的图片轮次输入网络中计算网络精度，据此观察网络训练情况并作为下次网络训练调整超参数的依据。当损失下降收敛至某个稳定值后，训练可以结束，保存训练后的网络参数，即获得可准确定位渣土目标和判断渣土类型的识别模型。
60.3.4在模型测试及评估指标模块中，加载训练好的模型和参数，输入需要测试的渣土图片即可获得回归出的渣土定位信息以及类别信息。编写评估指标计算代码，对测试集的检测结果进行定量评估，可评价检测模型的效果。
61.3.5在渣土识别结果可视化模块中，将网络回归得到的渣土体目标框定位信息以及类别信息绘制在原图像上进行识别结果可视化。利用网络回归出的目标框中心点位置信息x0、y0以及长宽信息h、w在原图中绘制目标框，将回归得到的渣土类别信息及相应的置信度以文字形式写在每一个目标框的左上角，同时不同渣土类型的目标框和类别信息采用不同颜色进行绘制和书写。
62.有益效果
63.1、本发明提出了基于土体工程性质与盾构施工经验的渣土分类方法以及渣土目力鉴别准则，该方法得到的分类结果既能科学地反映土体自身的性质又适用于盾构施工的实际需要，构建的渣土目力鉴别准则为数据集标签的制作提供了依据。
64.2、出渣土是反映前方土质类型最直接的资料，其表观特征的决定因素即为前方土质条件，因此利用深度学习算法通过对出渣土图像进行识别能够快速、准确地得到开挖面前方土质类型信息。而且随着渣土图像数据库的扩充而更新的渣土识别模型适用范围也会越来越广，不存在只能用相似工程训练出的模型预测某一工程土质类型的限制。
65.3、本发明提出的方法在数据收集以及实际应用过程中都仅需要利用现场原本就有的渣土监控视频数据，无需额外装置传感器或其他设备。所采用算法本身的推理速度也高于监控视频的帧率，因此该方法具有实时、成本低的特点。
附图说明
66.图1为本发明方法流程图
67.图2为本发明渣土分类系统建立流程
68.图3为本发明渣土识别数据库建立流程
69.图4为本发明渣土图像数据采集示意图
70.图5为本发明渣土识别模型构建流程
71.图6为本发明实施例网络结构示意图
具体实施方式
72.下面将结合具体实施例及其附图对本技术提供的技术方案作进一步说明。结合下面说明，本技术的优点和特征将更加清楚。
73.实施例
74.一种土压平衡盾构开挖面土质类型识别方法，该方法包括对土压平衡盾构渣土进行基于盾构施工特性的分类，以及基于深度学习算法对出渣土进行图像识别。
75.发明的整体流程如图1所示。
76.本方法是根据对出渣土的识别来确定开挖面土质类型，因此首先需要基于土质类型的划分来确定渣土类别的划分。首先建立一个同时考虑土体自身工程特性以及盾构施工经验的渣土分类系统。接着收集渣土数据，并对数据进行挑选及处理得到土压平衡盾构出渣土识别数据集。然后构建并训练得到出渣土目标检测模型。最后输入土压平衡盾构施工时的出渣土监控视频即可实现渣土的实时识别，得到开挖面的土质类别信息。
77.步骤1、建立渣土分类系统
78.渣土分类系统的建立流程如图2所示。为实现盾构掘进时土质类型的识别，对盾构工程所在地区浅部地层工程性质的了解是第一步。静力触探试验(cpt)是一种可以综合反映土体物理力学性质的原位试验方法。通过分析不同地层的贯入阻力统计特征值，即可掌握各地层土体的工程特性，为渣土分类奠定基础。
79.1.1首先收集盾构施工所在地区的地质勘察报告，整理其中的静力触探分层参数表，将各钻孔经过地层的贯入阻力值统计在excel中，剔除异常值，即明显不合理的数据。
80.1.2接着计算各地层贯入阻力指标的统计特征值，包括均值、标准差以及变异系数。首先根据各层的土层名称进行大类划分，如：粘土(cl)、粉土(si)、砂土(sa)。再根据能够反映土体工程性质的贯入阻力均值进行详细划分，如粘土(cl)划分为软粘土(sc)、普通粘土(nc)、硬粘土(hc)。依据此方法，能够将某一地区的地层根据其工程性质进行合并分
类，获得适用于土压平衡盾构参数调整的土质类型划分。
81.1.3对某地区土质类型划分后，在此基础上确定渣土的类别划分。首先考虑是否存在对土压平衡盾构施工影响较大的特殊土或承压水等情况，若存在此类有特殊性质的地层，而在根据贯入阻力值进行分类时又将此类地层与其他地层合并为一类，则应该将这类地层单独划分。除此之外，考虑盾构法施工时常出现开挖面经过多层地层的情况，此时排出的渣土可定为“混合土”这一特殊的类型。至此，在土质类别划分的基础上进行调整即可获得同时考虑土体自身工程性质以及施工经验的渣土类别划分结果。
82.1.4由于在之后建立数据集的过程中，要对每一张渣土图片标记其渣土类型，因此最后再基于渣土的视觉特征来构建目力鉴别渣土类别的准则，便于后续标签的制作。本方法的渣土识别准则采用四种渣土的表观特征来确定渣土类别，分别为渣土形状(ms)、渣土断面形态(cs)、渣土表面平整度(sc)以及渣土颜色(mc)。
83.步骤2、建立渣土识别数据库
84.渣土识别数据库的建立流程如图3所示。
85.2.1首先广泛收集该方法应用地区的渣土监控视频，一般监控视频分辨率为1920*1080，最好不低于1280*720。渣土图像数据采集示意图如图4所示，渣土监控摄像头应安装于皮带传送机的正上方或斜上方位置，对准螺旋出土机出土口，保证拍摄到完整的出渣过程和渣土形态。在出土口上方安装照明设备，并保持镜头表面洁净，使得拍摄的图像明亮清晰、易于识别。
86.2.2收集到视频数据后对数据进行预处理。首先将稳定出土阶段的有效视频截取出来，再以每30帧一张的频率抽取视频帧(具体取帧频率可根据盾构机推进速度进行调整)。依据渣土形态和图像背景尽量变化多样的原则选取图像，剔除镜头污损下拍摄的图像以及由于视频卡顿造成的马赛克不良图像和冗余图像。
87.2.3采用labelimg图像标注软件对渣土图像进行手工标注，用矩形框框出每张图像内的渣土体目标，并输入每个目标框的渣土类别。标签信息为pascal voc格式，每张图片真实的目标框位置信息和相应的渣土类别信息都被保存为xml文件。在训练集和验证集中，每张图像都必须带有标签，里面记录的信息被称为真实值(ground truth，gt)。该真实值提供给3.3.4的训练过程。
88.2.4最后获得的渣土图片文件及对应的标签文件即为渣土数据集，将其按8：1：1的比例划分为训练集、验证集和测试集。
89.步骤3、渣土识别模型的构建
90.渣土识别模型的构建流程如图5所示，也是代码的组成部分以及编写顺序。本发明采用卷积神经网络建立渣土识别模型，其任务属于目标检测任务，因此需要搭建目标检测网络。模型在深度学习框架pytorch上进行搭建，采用python语言实现。
91.3.1在自定义数据集模块中
92.3.1.1需要从数据集存储路径上载入渣土图像数据以及相应的标签信息，分别保存在列表中。
93.3.1.2接着对图像数据和标签数据进行一定的处理和转换。将图像数据从pil格式转换成形状为(c,h,w)的tensor格式，其中并c代表图像通道数，h代表图片高度，w代表图片宽度，并将所有像素值除以255归一化到0-1之间。
94.3.1.3接着在图像输入网络之前对其进行一定的随机图像增强操作，以0.5的概率对图像进行水平翻转、网格掩码、随机裁剪、色彩抖动以及模糊五种数据增强，提高数据库图片的多样性，增强模型的鲁棒性。
95.3.1.4计算出整个数据集中图片三通道像素值的均值和标准差，对图片进行标准化处理以便于模型的学习，提供给步骤3.3。
96.3.2在渣土检测网络搭建模块中，网络主要分为三个部分：骨干网络、颈部网络以及顶部网络，提供给步骤3.3。
97.骨干网络的主要功能为提取图像特征，其基本结构为卷积层、批标准化层以及激活层的组合，将此基本结构进行堆叠即可完成骨干网络的搭建。在骨干网络中加入残差连接能够增加网络的深度，有效提高其特征提取的能力。
98.颈部网络的主要功能为特征增强和融合，举例而非限定，本发明采用的空间金字塔池化(spatial pyramid pooling，spp)和路径聚合网络(path aggregation network，panet)为颈部网络常用的模块。其中，spp模块能够有效扩展感受野并分离出最重要的上下文信息，panet能够通过融合骨干网络不同层级的参数来增强提取的图像特征。颈部网络对于整个目标检测网络的性能提升有很大的帮助。
99.顶部网络即为检测器，其主要功能即为对渣土位置及类别信息做最终的回归预测。更高分辨率的输出特征图包含了输入图像更详细的特征，善于小目标的检测，更低分辨率的输出特征图包含输入图像更粗略的特征，善于大目标的检测。
100.如图6所示为实施例网络的结构示意图，骨干网络采用darknet53，颈部网络采用spp和panet，顶部网络由三个输出尺度的目标检测器组成。图片首先输入骨干网络中，该骨干网络由53层卷积组合构成，其中插入一定数目的残差连接。残差连接是为了解决在训练深度神经网络时，网络达到一定层数后可能会出现网络退化的现象，也就是不仅无法提升模型的表达能力，反而使得模型的效果变差。每个卷积组合可以看作一个函数f，输入观测值即可得到输出预测值y＝f(x)。残差连接分为两条线，一条线是观测值x输入代表函数f的卷积组合中f(x)，另一条线则直接传递观测值x，最终的预测值为两条线的输出结果相加，即f(x) x。若把整个残差连接看作一个函数h，输入的观测值为x，则预测值y＝h(x)＝f(x) x。f(x)＝h(x)-x即为残差，也就是预测值y和观测值x之间的差距。这样，经过残差连接的下一层不仅包含上一层经过非线性变化(卷积组合)后的信息，也包含上一层原始的信息，这样处理使得信息只可能逐层递增，模型的性能也不会因为网络深度的增加而降低。
101.经过骨干网络的层层特征提取后，特征图已经蕴含了能够识别渣土的高级语义信息，但不免失去了很多细节特征，不利于小目标的检测。因此，骨干网络训练得到的特征图被输入颈部网络进行进一步的特征融合和增强。
102.骨干网络顶端的特征图首先被输入颈部网络的spp结构中，spp网络对特征图进行三种不同尺度的池化操作再在通道维度拼接起来，可解决卷积网络对特征的重复提取问题，大大提高产生检测候选框的速度，节省计算成本。接着，骨干网络最顶端的特征图再与骨干网络中间两个不同层级的特征图输入颈部网络的panet网络中进行自顶向下和自底向上的双向融合，使其既具有深层的语义信息又具有浅层的纹理、颜色等基本信息，保证特征的完整性和多样性，提高最终的预测效果。
103.骨干网络中三个不同层级的特征图(“特征图1、特征图2、特征图3”)经过颈部网络
的融合增强后分别输入最终的顶部网络检测器中，各自经过一个简单的卷积组合，回归得到最终的预测结果“预测输出1”“预测输出2”“预测输出3”。三个不同大小的特征图分别包含了不同尺度的特征，也对应预测不同大小的目标。预测输出1特征图较大，包含的细节信息最多，负责预测小目标物体；预测输出3特征图较小，更易于判别整体信息，负责预测大目标物体。上述三个预测输出的结果合并在一起即为整个网络对图片的预测结果。
104.3.3在构建训练过程的模块中
105.3.3.1首先导入自定义数据集模块以及渣土检测网络搭建模块，实例化渣土数据集以及渣土检测网络，构建数据加载器以自定义图片及标签数据输入网络的方式。
106.3.3.2设计网络的损失函数，本方法所使用目标检测网络的损失函数主要分为三部分：渣土定位损失(localization loss)、目标框置信度损失(confidence loss)以及渣土分类损失(classification loss)，如公式(1)所示。
107.loss＝localization loss confidence loss classificaltion loss
ꢀꢀꢀꢀꢀ
(1)
108.目标框置信度代表目标框是否包含渣土体以及包含时目标框与真实框交并比的大小。
109.3.3.3网络训练时需要设置很多超参数，包括学习率初值及其随训练循环次数增加的变化方式、优化器以及优化器的参数、输入图片批大小、训练循环次数、损失函数各项的权值等。设置好损失函数及超参数后即可进入步骤3.3.4开始训练。
110.3.3.4每一批图像输入网络中都会得到预测结果，将预测值与步骤2.3标签中的真实值(ground truth，gt)输入损失函数能够算得当前损失值，也就是预测值和真实值之间的距离。计算损失值对于所有网络参数的导数，利用优化器对网络参数进行优化更新，即为一轮训练迭代。当把训练集中所有图片都轮次输入网络中进行训练后，即为一个训练循环。结束一个训练循环后，再将验证集的图片轮次输入网络中计算网络精度，据此观察网络训练情况并作为下次网络训练调整超参数的依据。当损失下降收敛至某个稳定值后，训练可以结束，保存训练后的网络参数，即获得可准确定位渣土目标和判断渣土类型的识别模型。
111.3.4在模型测试及评估指标模块中，加载训练好的模型和参数，输入需要测试的渣土图片即可获得回归出的渣土定位信息以及类别信息。编写评估指标计算代码，对测试集的检测结果进行定量评估，可评价检测模型的效果。
112.3.5在渣土识别结果可视化模块中，将网络回归得到的渣土体目标框定位信息以及类别信息绘制在原图像上进行识别结果可视化。利用网络回归出的目标框中心点位置信息x0、y0以及长宽信息h、w在原图中绘制目标框，将回归得到的渣土类别信息及相应的置信度以文字形式写在每一个目标框的左上角，同时不同渣土类型的目标框和类别信息采用不同颜色进行绘制和书写。
113.用本发明提出的方法得到的渣土分类系统与渣土目力鉴别准则都会随着地勘报告收集范围的不断扩大和渣土数据库的不断扩充而更新，获得适用范围相应更广的渣土分类系统与目力鉴别准则，同时更新训练渣土识别模型即可获得适用范围相应更广的渣土识别模型。因此，本发明提出的方法理论上适用于所有地区土压平衡盾构开挖面前方土质类型的识别。
114.本发明的创新点
115.1、本发明提供一种基于土体工程性质和盾构施工经验的土压平衡盾构渣土分类
方法。利用该分类方法得到的渣土类型划分结果既能通过深度学习算法在图像中识别得出，又能满足盾构施工时的实际工程需要，为后续渣土图像识别奠定分类基础。
116.2、本发明提供一种出渣土目力鉴别方法。提出依据渣土四种重要的外观特征，即渣土形状、渣土断面形态、渣土表面平整度以及渣土颜色来制定不同渣土类别的鉴别准则，为后续制作数据集标签提供鉴别依据。
117.3、本发明提供一种识别土压平衡盾构开挖面土质类型的方法，即基于深度学习进行出渣土图像识别来获取前方土质类型信息。该方法利用监控视频数据即可进行模型训练以及应用时的实时识别，具有准确、快速、低成本的特点。
118.上述描述仅是对本技术较佳实施例的描述，并非是对本技术范围的任何限定。任何熟悉该领域的普通技术人员根据上述揭示的技术内容做出的任何变更或修饰均应当视为等同的有效实施例，均属于本技术技术方案保护的范围。
119.附：术语解释：
120.地层：一切成层岩石的总称，可以是固结的岩石，也可以是没有固结的沉积物，即土，是一层或一组具有某种统一的特征和属性的并和上下层有着明显区别的岩(土)层。
121.土质：指土壤的构造和性质。也指土壤性质的好坏和结构。
122.地质勘查：运用测绘、地球物理勘探、地球化学探矿、钻探、坑探、采样测试、地质遥感等地质勘查方法，对一定地区内的岩石、地层构造、矿产、地下水、地貌等地质情况进行的调查研究工作。
123.静力触探试验：静力触探试验是以静压力将圆锥形探头按一定速率匀速压入土中，量测其贯入阻力(包括锥头阻力和侧壁摩阻力或摩阻比)，并按其所受阻力的大小划分土层，确定土的工程性质。
124.统计特征值：指对统计调查的原始资料进行整理后得到的可以精确描述统计数据分布的、具有代表性的数量特征。
125.隧道：埋置于地层内的工程建筑物，是人类利用地下空间的一种形式。
126.地铁：在城市中修建的快速、大运量、用电力牵引的轨道交通，修建于隧道中。
127.盾构法：一种隧道施工方法，使用盾构机进行地层的开挖，隧道管片的拼装。
128.盾构机：一种施工机械，由外壳、刀盘、顶推设备、拼装设备以及其它配套设备组成，外壳为柱体，起保护作用，其他设备在外壳内部。
129.土压平衡盾构：盾构机的一种，利用盾构推进时前端刀盘旋转切削下来的土体充满土舱，其被动土压与掘削面上的土压、水压基本平衡，使得掘削面与盾构面处于平衡状态。
130.土压平衡盾构渣土：土压平衡盾构推进时掘削下来的弃土。
131.刀盘：盾构机用于切削地层的设备，处于盾构机前端，通过旋转挤压将土切下。
132.掌子面：开挖坑道不断向前推进的工作面。
133.螺旋出土机：通过螺旋形构件旋转，将刀盘切削下的土体运送至皮带机上的机械，螺旋形构件的旋转速度决定了出土的速度。
134.皮带输送机：将来自螺旋出土机的土体运送到渣土车上的皮带装置。
135.盾构施工参数：盾构机施工过程中需要设定的各种参数，例如刀盘转速等等，参数设定是否合理决定了盾构法施工的安全和质量。
136.人工智能：一门研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的新技术科学。
137.机器学习：一门多领域交叉学科，涉及概率论、统计学、逼近论、算法复杂度理论等多门学科，是人工智能的核心，是使计算机具有智能的根本途径。
138.深度学习：是机器学习领域中一个新的研究方向，学习样本数据的内在规律和表示层次，获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。
139.目标检测：目标检测是深度学习的一个重要应用，就是要将图片中的物体识别出来，并标出物体的位置。
140.样本：机器学习方法所使用的数据的基本单位，可以是一维矩阵，也可以是高维矩阵。
141.标签：数据的真实信息。
142.labelimg：目标检测任务给数据集打标签的工具。
143.数据集：训练集、验证集和测试集的合集称为数据集，包括数据和标签。
144.训练集：是模型拟合的数据样本，用于调试神经网络。
145.验证集：是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估，用来查看训练效果。
146.测试集：用来评估最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。它用来测试网络的实际学习能力。
147.卷积神经网络：是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
148.图像通道：在rgb色彩模式下指红色、绿色、蓝色三个通道。
149.图像增强：通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征，使图像与视觉响应特性相匹配。
150.网格掩码：生成一个和原图相同分辨率的网格，灰色区域值为1，黑色区域值为0，与原图相乘得到增强后的图像，实现了特定区域的信息删除，本质上可以理解为一种正则化方法。
151.色彩抖动：是指通过随机调整原始图片的饱和度，亮度，对比度来产生新的图像。
152.鲁棒性：指系统在受到扰动或者不确定的情况下，仍然可以维持某些性能的特性。
153.卷积层：卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。
154.批标准化层：批标准化(batch normalization，bn)是一种用于改善人工神经网络的性能和稳定性的技术。其能够规范化神经网络中的任何层的输入，固定每层输入信号的均值与方差。
155.激活层：对输入数据进行激活操作，即非线性变换，将特征映射到高维的非线性区间进行解释,解决线性模型所不能解决的问题。
156.感受野：某一层特性图中某个位置的特征向量，是由前面某一层固定区域的输入
计算出来的，那这个区域就是这个位置的感受野。常用的是某层特征图对应输入图像的感受野。
157.特征图：图像经过卷积层特征提取后得到的图层。
158.损失函数：用来评价模型的预测值和真实值不一样的程度。
159.超参数：超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给模型选择一组最优超参数，以提高学习的性能和效果。
160.学习率：是每一次更新模型参数的步长。
161.批大小：每次训练输入网络的样本数目。