一种基于深度神经网络的渣片大块预警方法、系统及装置与流程

1.本发明涉及隧道掘进装备施工的技术领域，尤其涉及一种基于深度神经网络的渣片大块预警方法、系统及装置。


背景技术：

2.随着社会的发展，城市化进程的加快，越来越多的建筑拔地而起，大厦密集，城市道路四通八达，但是于此同时，问题也接踵而来：用地紧张、生存空间拥挤、交通阻塞、生态失衡、环境恶化
……
，这给人们居住生活带来了很大影响，也制约着经济与社会的进一步发展。在这种情况下，人们转向对城市地下空间的开发利用。
3.在采用tbm对岩石体进行钻进的时候，若前方围岩质量较差，没有采取提前预防和支护措施，会发生掌子面坍塌甚至引起tbm卡机的巨大风险，从而造成巨大的经济损失。
4.全断面隧道掘进机是一种用于隧道快速施工的大型工程机械装备，其主要通过刀盘沿隧道轴线旋转从而对围岩土体进行切削破碎，之后通过传送带将破碎的渣片或者渣土运输至隧洞之外。在掘进机掘进过程中，由于前方围岩状态不可见，若前方围岩等级较差，挖掘出来的石块面积较大。因此，大块监测在掘进过程中非常必要。若掘进过程中，发现有面积较大的围岩块出现，则表明前方地质条件恶劣，围岩等级不高，如果继续掘进有很大可能发生安全风险。因此，根据掘进时大块判断变得至关重要。
5.现有技术中，现有的解决方案是基于彩色相机获取彩色三通道图像，然后采用传统图像处理的方法，或者采用基于深度学习的语义分割方法来识别大块信息，虽然可以识别大块渣片，但是在某些条件下大块渣片图像会与背景图像信息过于相似，从而造成误识别；另外语义分割的方法并不能解决大块渣块粘连的情况。
6.申请号为201811075132.5的发明专利公开了一种基于激光三维相机的渣片图像分割方法，基于空间高度信息对渣片遮挡区域进行判断实现渣片图像分割，剔除被遮挡渣片，提高了表面渣片分割和特征提取统计准确率，但是存在的问题是：利用该方法拍摄出来的渣片目标与背景的特征相似，很容易造成误判，实用性不强。申请号为201910464606.3的发明专利公开了一种基于卷积神经网络的tbm岩渣大小等级识别方法，采用卷积神经网络对采集的tbm 岩渣样本图像进行迭代训练，从而得到最优化的卷积神经网络模型，根据不同类别的概率分布值作为岩渣大小等级的预测结果，可以快速、准确地通过图像对初破碎岩渣的大小等级进行评估，并有效提高了tbm施工效率和故障诊断水平。但是，该方案只能对岩渣的大小做定性的分析，得到的面积是一个区间范围，无法准确的、定量的得到岩渣的面积。在实际应用中可能存在许多误检和漏检，实用性不足。


技术实现要素：

7.针对现有渣片识别方法容易造成背景图像的误识别，造成误报警，以及无法准确的、定量的计算渣片面积等问题，本发明提出一种基于深度神经网络的渣片大块预警方法及、系统及装置，通过彩色面阵相机提取图像特征，获得大块渣片的遮罩信息，同时采用热
成像相机获取当前区域的热成像信息，并将遮罩信息与热成像信息融合起来，最终预测渣片大块的信息，从而实现渣片大块的准确预警。
8.为了达到上述目的，本发明的技术方案是这样实现的：一种基于深度神经网络的渣片大块预警方法，其步骤如下：
9.步骤一：利用彩色相机采集渣片的彩色图像，利用热红外相机采集相同渣片的热红外图像；并将得到彩色图像和热红外图像组成的数据集分成训练集和测试集；
10.步骤二：利用深度神经网络分别构建热成像编码器、实例分割编码器和融合特征图编码器，通过训练集中的热红外图像训练热成像编码器，通过训练集中的彩色图像训练实例分割编码器；将训练集中的热成像编码器提取的热成像特征与实例分割编码器提取的彩色特征进行融合，并训练融合特征图编码器；
11.步骤三：利用训练好的热成像编码器提取测试集中的热成像图像的特征，得到热成像特征图；利用训练好的实例分割编码器提取测试集中的彩色图像的特征，得到实例分割特征图；
12.步骤四：将热成像特征图和实例分割特征图进行融合，得到融合特征图；利用训练好的融合特征图编码器提取融合特征图的特征，得到融合特征的信息；
13.步骤五：对融合特征的信息进行特征解码，得到渣块实例分割信息；
14.步骤六：根据实例分割模型得到渣块遮罩图像后，对其进行后处理，得到大块渣片面积，比较渣片面积与大块监测阈值，并根据比较结果发出警告信息。
15.进一步地，所述热成像特征图和实例分割特征图进行融合的方法是：热成像特征图和实例分割特征图进行逐像素相加，热成像特征图和实例分割特征图的尺寸和通道数均相等；所述逐像素相加的实现方法为：
[0016][0017]
其中，x
i
代表实例分割特征图的第i个特征图，k
i
代表实例分割卷积核，y
i
代表热成像特征图的第i个特征图，m
i
代表热成像特征卷积核，z
add
代表融合后的特征图、c代表特征图通道数。
[0018]
进一步地，所述步骤二中深度神经网络采用交叉熵损失函数进行训练，交叉熵损失函数为：
[0019][0020]
其中，m为训练集对应的索引，为预测值，y
m
为真实值，n为训练集中的样本数量， loss为交叉熵损失；当深度神经网络迭代50000次或者网络损失小于0.00001时，则停止深度神经网络的训练，保存参数模型，该参数模型即为渣片实例分割模型。
[0021]
进一步地，所述后处理的方法包括：(1)将遮罩图像中的遮罩信息映射为二值信息，并进行中值滤波；(2)采用图像开运算方法对中值滤波后的图像进行处理，得到形态学图像； (3)采用边缘检测方法对形态学图像进行处理，得到渣片的边缘信息；(4)根据渣片的边缘信息采用轮廓拟合的方法得到渣片的轮廓信息；(5)根据渣片的轮廓信息计算所有轮廓的面积，并根据轮廓面积按照从大到小的顺序进行排序，得到最大渣片的面积；(6)最
大渣片的面积与设定的大块监测阈值进行比较，若最大渣片的面积大于大块监测阈值，则发出警告信息。
[0022]
进一步地，所述边缘检测方法包括但不限于canny边缘检测法和sobel边缘检测法。所述轮廓拟合的方法采用opencv中的findcontours函数实现。
[0023]
一种基于深度神经网络的渣片大块预警系统，包括热红外相机、彩色相机、渣块实例分割模块、红外特征提取模块和分割结果后处理模块，彩色相机与渣块实例分割模块相连接，热红外相机与红外特征提取模块相连接，渣块实例分割模块和红外特征提取模块均与分割结果后处理模块相连接；彩色相机采集渣片的彩色图像并传送至渣块实例分割模块，热红外相机采集渣片的热红外图像并传送至红外特征提取模块；红外特征提取模块提取热红外图像上的热成像特征图，渣块实例分割模块通过实例分割方法提取彩色图像的实例分割特征图，渣块实例分割模块将热成像特征图和实例分割特征图进行特征融合，并提取特征融合后特征，得到渣块实例分割信息；所述分割结果后处理模块将渣块实例分割信息进行处理，得到渣片面积，并比较渣片面积与大块监测阈值，渣片面积大于大块监测阈值，发出警告信息。
[0024]
进一步地，所述红外特征提取模块包括热成像编码器，热红外相机与热成像编码器相连接，热成像编码器与渣块实例分割模块相连接；所述热成像编码器提取热红外相机采集的热成像图像的特征，得到热成像特征图。
[0025]
进一步地，所述渣块实例分割模块包括实例分割编码器、融合特征图编码器和实例分割解码器，实例分割编码器与彩色相机相连接，融合特征图编码器分别与实例分割编码器和热成像编码器相连接，融合特征图编码器与实例分割解码器相连接；所述实例分割编码器提取彩色图像中的渣片特征得到实例分割特征图，所述融合特征图编码器提取实例分割特征图和热成像特征图融合后的特征；所述实例分割解码器对融合特征图编码器提取的特征进行解码，得到渣块实例分割信息。
[0026]
进一步地，所述热成像编码器、实例分割编码器、融合特征图编码器均是基于深度神经网络进行训练得到，用于对图像进行特征提取。
[0027]
进一步地，所述分割结果后处理模块包括中值滤波器、图像开运算器、边缘检测器、轮廓拟合器、轮廓面积计算模块、比较器，中值滤波器与图像开运算器相连接，图像开运算器与边缘检测器相连接，边缘检测器与轮廓拟合器相连接，轮廓拟合器与轮廓面积计算模块相连接，轮廓面积计算模块与比较器相连接，输出渣片面积大于大块监测阈值的告警信息。
[0028]
一种基于红外相机和彩色相机的渣片分割装置，包括红外相机、彩色相机和上位机，红外相机用于采集渣片的红外图像，彩色相机采集渣片的rgb图像，红外相机和彩色相机均与上位机相连接，上位机对红外图像和rgb图像进行处理并运算得到真实的渣片信息。
[0029]
进一步地，所述上位机进行的运算为“与”运算。通过融合两个相机采集的图像的渣片轮廓的信息可以更好地对渣片进行分割，分割精度与实际渣片相符合。
[0030]
进一步地，所述红外相机通过以太网接口与上位机相连接，彩色相机通过usb接口与上位机相连接。上位机通过监测软件可以实时处理红外相机采集的红外图像。
[0031]
进一步地，所述红外相机和彩色相机均安装在固定装置上，固定装置安装在相机支架的中部，相机支架设置在皮带机的正上方。
[0032]
进一步地，所述红外相机和彩色相机的摄像头平行安装在固定装置上；所述红外相机和彩色相机通过标定和变换矩阵处于同一坐标系下。方便后续两个图像的处理。
[0033]
进一步地，所述相机支架的中部设有光源支架，光源支架上固定有光源，光源设置在皮带机的上方，光源与彩色相机相匹配。光源对皮带机上的渣土进行照射，从而进行补光。
[0034]
进一步地，所述相机支架为倒u型支架，倒u型支架的上侧的中部安装有固定装置，倒 u型支架的两侧均安装有光源支架。
[0035]
进一步地，所述倒u型支架的上侧的中部安装有竖直连接杆，竖直连接杆的下部与固定装置相连接。通过竖直连接杆和固定装置将红外相机和彩色相机均设置在运送渣土的皮带机的正上方，从而不影响两个相机对渣片的图像采集。
[0036]
进一步地，所述固定装置上设有两个角度调节机构，两个角度调节机构分别与红外相机和彩色相机相连接。通过角度调节机构可以调节红外相机和彩色相机的角度。
[0037]
进一步地，所述倒u型支架的两侧分别固定在皮带机两侧的皮带机支架上。方便相机支架的固定和安装。
[0038]
与现有技术相比，本发明的有益效果：利用温度传感器和图像传感器即彩色相机和热成像相机感知渣块信息，用于对tbm开挖过程中产生的渣块信息进行提取，首先，通过彩色面阵相机提取图像特征，经过渣块实例分割编码器和渣块实例解码器处理后，获得大块渣片的遮罩信息；同时利用热成像相机，获取当前区域的热成像图像，采用热成像编码器提取相应的热成像信息，并将遮罩信息与热成像信息通过逐像素相加的方式融合起来，解决渣片相互重叠的问题，进一步采用后处理的方法计算渣片面积信息，并与设定阈值进行比较，最终输出预警信息；本发明实施人员根据系统输出的预警信息，进行相应的操作，从而避免安全事故的发生。
附图说明
[0039]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]
图1为本发明的方法的流程示意图。
[0041]
图2为渣片粘连工况的示意图。
[0042]
图3为本发明图像开运算处理后的图像。
[0043]
图4为本发明装置的结构示意图。
[0044]
图中，1为红外相机，2为彩色相机，3为固定装置，4为相机支架，5为光源支架，6为光源，7为皮带机，8为皮带机支架，9为上位机。
具体实施方式
[0045]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
[0046]
实施例1，如图1所示，一种基于深度神经网络的渣片大块预警方法，其步骤如下：
[0047]
步骤一：利用彩色相机采集渣片的彩色图像，利用热红外相机采集相同渣片的热红外图像；并将得到彩色图像和热红外图像组成的数据集分成训练集和测试集。
[0048]
训练集和测试集中均包含有彩色图像和热红外图像，且彩色图像和热红外图像相对应。彩色相机为彩色面阵相机。训练集和测试集中图像的比例是9：1。
[0049]
若只利用彩色图像，通过实例分割方法进行大块预警，由于渣片与背景图像特征相近，可能会误识别，错将背景当成大块区域，从而造成误报警。而根据渣片大块的热成像特征的温度与背景的温度差异明显，从而很容易区分渣片大块和背景的信息。若只利用热成像相机对渣片大块进行监测，虽然可以区分渣片大块和背景，但是当两个或者多个大块粘连时，热成像信息会误认为其是一块完整的渣片，从而造成误报警。因此，本发明将彩色图像的信息特征与热红外图像的特征融合起来，进行渣片大块监测及预警。彩色图像为彩色三通道图像即rgb图像。
[0050]
步骤二：利用深度神经网络分别构建热成像编码器、实例分割编码器和融合特征图编码器，由热成像编码器得到热成像特征图信息，由实例分割编码器得到实例分割特征图信息，将热成像特征图和实例分割特征图通过逐像素相加的方式融合起来，得到融合特征图，进一步的采用融合特征编码器对融合特征图特征进行提取。
[0051]
所述步骤二中深度神经网络采用交叉熵损失函数进行训练，交叉熵损失函数为：
[0052][0053]
其中，m为训练集对应的索引，为预测值，y
m
为真实值，n为训练集中的样本数量， loss为交叉熵损失；；当深度神经网络迭代50000次或者网络损失小于0.00001时，则停止深度神经网络的训练，保存参数模型，该参数模型即为渣片实例分割模型。
[0054]
在训练过程中，渣块实例分割模块输入的是彩色图片和热成像图片，输出渣块实例分割后的遮罩信息。
[0055]
步骤三：利用训练好的热成像编码器提取测试集中的热成像图像的特征，得到热成像特征图，即渣块热成像特征图信息；利用训练好的实例分割编码器提取测试集中的彩色图像的特征，得到实例分割特征图。
[0056]
步骤四：将热成像特征图和实例分割特征图进行融合，得到融合特征图；利用训练好的融合特征图编码器提取融合特征图的特征，得到融合特征的信息。
[0057]
所述热成像特征图和实例分割特征图进行融合的方法是：热成像特征图和实例分割特征图进行逐像素相加，热成像特征图和实例分割特征图的尺寸和通道数均相等；所述逐像素相加的实现方法为：
[0058][0059]
其中，x
i
代表实例分割特征图的第i个特征图，k
i
代表实例分割卷积核，y
i
代表热成像特征图的第i个特征图，m
i
代表热成像特征卷积核，z
add
代表融合后的特征图、c代表特征图通道数。
[0060]
为了将彩色图像特征和热成像特征融合起来，本发明采用对应特征图逐像素相加的方式。将彩色图像特征与热成像特征融合后，既解决了大块与背景的误识别问题，又解决了大块粘连造成的误报警信息。融合特征的信息包括当前目标是否为渣块以及渣块的边界信息。
[0061]
步骤五：对融合特征的信息进行特征解码，得到渣块实例分割信息。
[0062]
特征融合后采用融合特征编码器提取融合特征的信息，进一步采用渣片实例分割解码器对上述特征解码，最终得到渣块的实例分割信息，渣块的实例分割信息，在实际生产应用过程中，指的就是渣块遮罩图像。渣块的实例分割信息包括：当前区域是渣块还是背景，若是渣块，其边界具体分布。
[0063]
步骤六：根据实例分割模型得到渣块遮罩图像后，对其进行后处理，得到大块渣片面积，比较渣片面积与大块监测阈值，并根据比较结果发出警告信息。
[0064]
渣块的面积可以反映前方掘进的围岩质量，本发明得到渣片准确的实例分割信息以后，采用后处理的方法得到大块渣片的准确面积信息，从而据此判断前方围岩质量信息。
[0065]
具体地，后处理的方法包括：
[0066]
(1)将遮罩图像中的遮罩信息映射为二值信息，并进行中值滤波；首先将遮罩信息重新映射：将前景即渣片的像素映射为255，将背景即皮带机和碎渣的像素映射为0，将遮罩信息映射为二值信息。采用中值滤波算法，滤除二值信息中一些小面积的干扰信息。
[0067]
(2)采用图像开运算方法对中值滤波后的图像进行处理，得到形态学图像。根据大块渣片的形状特点，tbm掘进过程中一整块渣片不会出现如图2的情况，因此需要采用图像开运算方法即先腐蚀后膨胀，将此种粘连工况进行处理，防止误报，图3为图像开运算处理后的结果，图3与图2相比的优势为：降低误判的概率。
[0068]
(3)采用边缘检测方法对形态学图像进行处理，得到渣片的边缘信息。
[0069]
根据前述得到的二值信息，采用边缘检测算法得到渣片的边缘信息。需要说明的是，所述边缘检测方法包括但不限于canny边缘检测法和sobel边缘检测法。
[0070]
(4)根据渣片的边缘信息采用轮廓拟合的方法得到渣片的轮廓信息。根据边缘信息采用轮廓拟合的方法得到渣片的轮廓信息。所述轮廓拟合的方法采用opencv中的findcontours函数实现。
[0071]
(5)根据渣片的轮廓信息计算所有轮廓的面积，并根据轮廓面积按照从大到小的顺序进行排序，得到最大渣片的面积。
[0072]
(6)最大渣片的面积与设定的大块监测阈值进行比较，若最大渣片的面积大于大块监测阈值，则发出警告信息。根据tbm主司机设定的大块监测阈值，与当前图像中面积最大的渣片进行比较，若渣片面积大于阈值，则发出警告信息，提醒tbm主司机餐区相应的措施。本发明中大块监测阈值设定为1000，即当大块轮廓面积大于1000时，发出预警信息。
[0073]
实施例2，如图1所示，一种基于深度神经网络的渣片大块预警系统，包括热红外相机、彩色相机、渣块实例分割模块、红外特征提取模块和分割结果后处理模块，彩色相机与渣块实例分割模块相连接，热红外相机与红外特征提取模块相连接，渣块实例分割模块和红外特征提取模块均与分割结果后处理模块相连接；彩色相机采集渣片的彩色图像并传送至渣块实例分割模块，热红外相机采集渣片的热红外图像并传送至红外特征提取模块；红外特征提取模块提取热红外图像上的热成像特征图，渣块实例分割模块通过实例分割方法
提取彩色图像的实例分割特征图，渣块实例分割模块将热成像特征图和实例分割特征图进行特征融合，并提取特征融合后特征，得到渣块实例分割信息；所述分割结果后处理模块将渣块实例分割信息进行处理，得到渣片面积，并比较渣片面积与大块监测阈值，渣片面积大于大块监测阈值，发出警告信息。
[0074]
优选地，所述红外特征提取模块包括热成像编码器，热红外相机与热成像编码器相连接，热成像编码器与渣块实例分割模块相连接；所述热成像编码器提取热红外相机采集的热成像图像的特征，得到热成像特征图。
[0075]
优选地，所述渣块实例分割模块包括实例分割编码器、融合特征图编码器和实例分割解码器，实例分割编码器与彩色相机相连接，融合特征图编码器分别与实例分割编码器和热成像编码器相连接，融合特征图编码器与实例分割解码器相连接；所述实例分割编码器提取彩色图像中的渣片特征得到实例分割特征图，所述融合特征图编码器提取实例分割特征图和热成像特征图融合后的特征；所述实例分割解码器对融合特征图编码器提取的特征进行解码，得到渣块实例分割信息。
[0076]
优选地，所述热成像编码器、实例分割编码器、融合特征图编码器均是基于深度神经网络进行训练得到，用于对图像进行特征提取。
[0077]
优选地，所述分割结果后处理模块包括中值滤波器、图像开运算器、边缘检测器、轮廓拟合器、轮廓面积计算模块、比较器，中值滤波器与图像开运算器相连接，图像开运算器与边缘检测器相连接，边缘检测器与轮廓拟合器相连接，轮廓拟合器与轮廓面积计算模块相连接，轮廓面积计算模块与比较器相连接，输出渣片面积大于大块监测阈值的告警信息。中值滤波器实现二值图像的中值滤波，滤除一些小面积的干扰信息。图像开运算器进行先腐蚀后膨胀的操作，边缘检测器实现渣片的边缘检测，轮廓拟合器采用轮廓拟合的方法得到渣片的轮廓信息，轮廓面积计算模块进行渣片轮廓面积的计算，比较器比较渣片的面积，找到最大渣片的面积，并与大块监测阈值进行比较。
[0078]
其他结构和原理与实施例1相同。
[0079]
实施例3，如图4所示，一种基于红外相机和彩色相机的渣片分割装置，通过红外相机和彩色相机采集的图像进行运算实现渣片的分割，实现对tbm开挖过程中产生的渣片信息进行提取。本发明包括红外相机1、彩色相机2和上位机9，红外相机1用于采集渣片的红外图像，彩色相机2采集渣片的rgb图像，红外相机1和彩色相机2均与上位机9相连接，上位机9对红外图像和rgb图像进行处理并运算得到真实的渣片信息。所述上位机9进行的运算为“与”运算，即将上位机9处理的红外图像中的渣片轮廓与处理的rgb图像的渣片轮廓进行“与”运算，即融合了两个相机采集的图像，使渣片分割更准确。“与”运算可以通过 opencv里面的bitwise_and方法实现。
[0080]
优选地，红外相机1通过以太网接口与上位机9相连接，将红外相机采集的红外图像实时传送至上位机9，对红外图像进行实时处理。彩色相机2通过usb接口与上位机9相连接，通过usb接口实现rgb图像上传至上位机9。红外相机1为面阵红外相机，型号为上海巨哥mag60。该热像仪体积较小，安装方便，采集温度误差小，准确率高。彩色相机2为彩色面阵相机，彩色相机2的型号为海康1000万像素工业相机mv
‑
ce100
‑
30gm/gc。
[0081]
优选地，红外相机1和彩色相机2均安装在固定装置3上，固定装置3安装在相机支架 4的中部，相机支架4设置在皮带机7的正上方。固定装置3上设有两个角度调节机构，两
个角度调节机构分别与红外相机1和彩色相机2相连接，角度调节机构为球铰座，通过球铰座可以调节红外相机1和彩色相机2的角度，以便在安装时可以动态调整，安装时保证红外相机1和彩色相机2平行，以增强后续联合标定精度。固定装置3包括固定板，固定板下侧固定有两个球铰座，固定板上部与竖直连接杆相连接。
[0082]
红外相机1和彩色相机2的摄像头平行安装在固定装置3上；所述红外相机1和彩色相机2通过标定和变换矩阵处于同一坐标系下。制作适用于红外相机和彩色相机的标定棋盘格，具体制作方式和流程已有多种解决方案，本实施例不再赘述。根据张正友标定法原理，将红外相机和彩色相机进行标定，通过变换矩阵，使它们处于同一坐标系下。
[0083]
相机支架4的中部设有光源支架5，光源支架5上固定有光源6，光源6设置在皮带机7 的上方，光源6与彩色相机2相匹配。光源6为面阵光源，面阵光源发光呈面状，相对于点光和条光来说，面阵光源对渣片区域照度均匀。相机支架4为倒u型支架，倒u型支架的上侧的中部安装有固定装置3，倒u型支架的两侧均安装有光源支架5。由于隧洞内光照亮度较差且光照不稳定，采用两个面阵光源，对渣片区域进行补光，以供增强彩色面阵相机的成像质量。渣片位于皮带机表面，面阵光源分别安装在相机支架的两侧靠近皮带机的位置。光源角度需要根据现场光照条件做细微调整。
[0084]
优选地，所述倒u型支架的上侧的中部安装有竖直连接杆，竖直连接杆的下部与固定装置3相连接。竖直连接杆的上部设有螺纹，竖直连接杆穿过倒u型支架的上侧的中部，通过螺母与螺纹连接将竖直连接杆固定在倒u型支架上部。倒u型支架的两侧分别固定在皮带机 7两侧的皮带机支架8上。倒u型支架的两侧焊接在皮带机支架8上，从而固定相机支架，保证两个相机工作中的稳定性。
[0085]
分别采用红外相机和彩色相机采集渣片的红外图像和rgb图像，并将其传输到上位机，上位机对采集到的图像信息利用开源图像处理库opencv进行处理，具体处理流程如下：
[0086]
(1)根据采集到的rgb图像，采用标注工具labelme对大块渣片进行像素级标注。
[0087]
(2)将标注好的数据输入到基于语义分割的深度神经网络中，采用梯度下降方法对网络参数进行更新。当网络迭代20000次或者深度神经网络输出的损失小于0.0001时，则停止网络训练，保存此时的网络参数，即可得到渣片的语义分割模型。
[0088]
(3)语义分割模型前向预测后可以得到大块渣片的的遮罩图，遮罩图的遮罩信息的渣片区域用索引“1”表示，背景用索引“0”表示。由于光照的原因，某些情况下，皮带背景会与真实的大块渣片成像较为相似从而造成误判，而根据红外相机采集的信息，由于渣片和背景温度存在明显差异，很容易可以将渣片和皮带背景区分开来。
[0089]
(4)红外相机采集到红外图像后，上位机的监控软件首先对其进行预处理：将彩色rgb 图像转换为灰度图，然后对灰度图进行中值滤波，去除有干扰的温度点。中值滤波核的大小可根据红外图像的大小适当调整，具体实例中红外图像的大小为1280
×
720，中值滤波核大小为5。转化为灰度图采用opencv库中的cvtcolor函数实现，中值滤波采用opencv库中的 medianblur函数实现。
[0090]
(5)将中指滤波后的图像作为输入计算其积分图像，基于指定尺寸的滑动窗口将所述积分图像划分为多个图像块，统计各个图像块的均值和标准方差；其中，计算积分图像采用 opencv中的integral函数实现。利用局部二值化sauvola方法，统计到各图像块的阈
值信息：
[0091][0092]
其中，threshold表示图像块阈值，mean表示区域图像均值，std表示区域图像标准差， k表示预先设定的修正系数一般设置为0.1，r表示灰度最大标准差，若是灰度图像，通常取 128。通过计算出来的阈值threshold对图像进行局部二值化。
[0093]
(6)采用轮廓查找的方法对上述步骤得到的二值化图像进行处理，得到渣片区域的轮廓信息。轮廓查找的方法通过opencv中的findcontours方法实现。
[0094]
(7)将上述渣片轮廓表示为遮罩信息，即轮廓内部为真实渣片，用索引“1”表示，其余用索引“0”表示。将上述遮罩信息与语义分割模型预测得到的渣片遮罩信息做“与”运算，即可得到真实的渣片信息。彩色相机和红外相机安装完以后，需要对其进行标定，保证两个采集设备处在同一世界坐标系中。多相机标定方法是公知的。
[0095]
计算上述真实渣片区域的面积，与设定阈值进行比较，从而可以判断当前大块是否达到预警值，据此判断前方围岩状态。阈值是通过现场观察，根据人为经验设定的。每个项目根据围岩地质情况，阈值可能不同。
[0096]
本实施例中的上位机也可以利用实施例1中的基于深度神经网络的图像处理方法进行 rgb图像和红外图像的处理。
[0097]
本实施例中首先将红外相机和彩色相机安装在相机防尘罩内部，并将其整体安装在相机支架上，相机支架底座焊接在传送带两侧，其与相机连接的部分根据需要自由调整；进一步对红外相机与彩色相机进行联合标定，使它们处于同一坐标系中，将红外相机采集渣片温度信息和彩色相机采集皮带机上渣块的rgb图像结合起来，作为特征进行渣片图像的有效分割。相对于传统的基于可见光ccd相机以及基于激光相机的图像分割方法，本发明通过上位机将红外相机和彩色相机采集的渣片轮廓进行与运算得到真实的渣片分割信息，可以解决渣块误判问题，从而辅助主司机或智能掘进系统通过渣片准确判断前方围岩状态。
[0098]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。