一种基于深度学习的刮板机输煤煤量监测方法及系统与流程

本发明涉及煤矿输送设备智能检测领域，尤其涉及一种基于深度学习的刮板机输煤煤量监测方法及系统。

背景技术：

1、刮板机作为煤矿井下工作面、转载点以及各类散状物料输送场景中的关键输送设备，承担着煤流连续运输的重要功能，其运行状态和输送煤量直接关系到生产组织、能耗管理、设备调度以及安全监测的准确性。在煤矿智能化、少人化和无人化发展趋势下，如何对刮板机输送过程中的煤量进行实时、准确、连续检测，已成为煤矿装备自动化控制和智能感知中的关键技术问题之一。

2、现有技术中，对输送设备煤量检测的方式主要集中在称重式检测、体积估算式检测以及基于单一图像处理的检测方法。对于皮带输送机而言，常采用电子皮带秤、称重托辊或流量计等方式实现输送量测定，但该类技术大多依赖较为稳定的输送结构和相对规则的物料分布状态。而刮板机的运行环境与皮带输送机存在明显差异，其输送槽体空间封闭程度高，煤流呈现明显的堆积、翻滚、离散和不规则波动特征，且受刮板牵引、槽体振动、煤块粒径差异、井下粉尘、水雾和光照变化等因素影响较大，因此传统皮带输送场景中的煤量检测方式难以直接适用于刮板机输煤场景。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、本发明的主要目的在于提供一种基于深度学习的刮板机输煤煤量检测方法。

3、本发明的另一个目的在于提出一种基于深度学习的刮板机输煤煤量检测系统。

4、为达上述目的，本发明第一方面实施例提出了一种基于深度学习的刮板机输煤煤量检测方法，包括：

5、在刮板机输送通道周向布置不同视角的图像采集单元，获取煤流在不同视角下的连续图像序列；

6、对不同视角下的连续图像序列进行时间同步与空间标定处理，建立统一三维坐标系，并预处理得到标准化投影图像数据；

7、基于标准化投影图像数据，提取煤流在各视角下的投影轮廓信息及灰度分布信息，构建多角度投影数据集；

8、将多角度投影数据集映射至统一三维坐标系中，通过体素离散方式对刮板机输送通道内的煤流区域进行空间划分，形成三维离散体素网格；

9、基于多角度投影数据集与三维离散体素网格之间的投影关系，采用反投影约束与深度特征引导方式，对各体素的占据概率进行迭代反演，得到煤流三维分布概率场；

10、在煤流三维分布概率场中引入刮板输送方向的运动约束及质量连续性约束，对相邻时刻的体素分布进行时空一致性校正，得到动态煤流三维密度场；

11、沿刮板机输送方向对动态煤流三维密度场进行截面积积分，结合链条运行速度计算单位时间内的煤流体积流量；

12、根据煤流体积流量与预设煤体密度参数，计算煤流质量流量，并对连续时间段内的质量流量进行累积，得到刮板机输煤累计煤量并输出。

13、在本发明的一个实施例中，连续图像序列的得到过程包括，包括：

14、根据刮板机中部槽的结构尺寸、煤流运行轨迹以及有效观测区域范围，在输送通道的上方、侧上方和侧方中的两个位置分别安装图像采集单元，形成对煤流表面形态和边界轮廓具有交叉覆盖关系的多视角观测布局，各图像采集单元通过独立安装框架刚性连接，并保持相对安装位置恒定；

15、基于各图像采集单元在刮板机运行过程中按照预设采样频率连续采集煤流图像，得到反映煤流在不同视角下空间分布状态的连续图像序列。

16、在本发明的一个实施例中，所述标准化投影图像数据的得到过程包括：

17、基于不同视角下的连续图像序列的采集时刻，对不同视角下对应于同一输送区段的图像帧进行时间对齐，得到时间同步后的多视角图像序列；

18、对各图像采集单元进行空间标定，获取各图像采集单元的内参数和外参数；

19、基于各图像采集单元的外参数建立统一三维坐标系；

20、对时间同步后的多视角图像序列进行噪声抑制处理，去除由粉尘扰动、光照波动及设备振动引入的图像噪声，得到去噪图像序列；

21、对去噪图像序列进行灰度归一化处理，获得归一化图像序列；

22、对归一化图像序列进行几何校正处理，利用各图像采集单元的内参数对各视角图像中的畸变进行校正，得到几何校正后的图像序列；

23、将几何校正后的图像序列映射至统一三维坐标系中，得到标准化投影图像数据。

24、在本发明的一个实施例中，所述多角度投影数据集的构建过程包括：

25、按照视角类别和采集时刻对标准化投影图像数据进行对应整理，形成多视角时序图像组；

26、对多视角时序图像组中的各视角图像分别进行煤流区域分割处理，得到与各视角图像一一对应的煤流投影区域二值掩膜，并基于所述煤流投影区域二值掩膜提取各视角下煤流投影区域的外边界，得到表征煤流投影轮廓信息的边界像素点集合；

27、基于各视角图像对应的煤流投影区域二值掩膜，对煤流投影区域内部的像素灰度值进行读取和汇集，得到各视角下表征煤流灰度分布信息的灰度分布集合；

28、基于边界像素点集合计算各视角下煤流投影区域的轮廓特征参数，并根据灰度分布集合计算各视角下煤流投影区域的灰度特征参数；

29、将同一采集时刻下各视角对应的边界像素点集合、灰度分布集合、轮廓特征参数和灰度特征参数按照统一数据格式进行组合，构建对应采集时刻的多角度投影数据集。

30、在本发明的一个实施例中，所述三维离散体素网格的形成过程包括：

31、以统一三维坐标系为基准，获取刮板机输送通道的长度方向范围、宽度方向范围以及高度方向范围；

32、根据预设的长度方向空间分辨率、宽度方向空间分辨率和高度方向空间分辨率，分别对长度方向范围、宽度方向范围及高度方向范围进行离散划分，得到三维离散体素网格在长度方向上的体素数量、宽度方向上的体素数量和高度方向上的体素数量；

33、按照长度方向上的体素数量、宽度方向上的体素数量和高度方向上的体素数量，对刮板机输送通道内的煤流区域进行空间划分，生成体素单元；

34、将多角度投影数据集中的各视角投影轮廓信息及灰度分布信息分别映射至统一三维坐标系中，并依据各视角图像采集单元的空间位置参数和成像方向参数，建立每一视角下图像像素点与体素单元之间的投影对应关系；

35、对每一视角下的投影轮廓边界形成对应的视锥约束区域，并将各视角下的视锥约束区域在统一三维坐标系中进行空间求交，得到与多角度投影数据集对应的初始煤流候选区域；

36、对位于初始煤流候选区域内的体素单元赋予候选占据标识，形成刮板机输送通道内煤流区域对应的三维离散体素网格。

37、在本发明的一个实施例中，所述煤流三维分布概率场的得到过程包括：

38、基于多角度投影数据集与三维离散体素网格之间的投影关系，建立各视角下的体素单元至投影平面像素位置的对应关系，并依据所述对应关系对各体素单元的占据概率进行前向投影计算，得到估计投影值；

39、将前向投影计算得到的估计投影值与多角度投影数据集中的实际投影值进行比较，计算各视角下的投影误差；

40、从多角度投影数据集中提取各视角对应的深度特征信息，并将所述深度特征信息映射至所述统一三维坐标系中，得到与各体素单元一一对应的体素特征向量；

41、基于体素特征向量生成各体素单元对应的特征引导项；

42、将投影误差作为反投影约束项，将各体素的占据概率与特征引导项之间的偏差作为特征引导约束项，对所述反投影约束项和所述特征引导约束项进行组合，形成联合目标函数；

43、基于联合目标函数对各体素单元的占据概率进行迭代更新，得到下一迭代轮次下的体素占据概率场；

44、当相邻两次迭代过程中联合目标函数的变化量小于或等于预设收敛阈值时，停止对各体素单元占据概率的迭代更新，并将收敛后的体素占据概率场确定为煤流三维分布概率场。

45、在本发明的一个实施例中，所述动态煤流三维密度场的得到过程包括：

46、将煤流三维分布概率场定义为由各体素单元占据概率构成的概率分布，并获取对应时刻的刮板机链条运行速度以及相邻时刻之间的时间间隔；

47、根据链条运行速度与时间间隔，计算煤流在相邻时刻之间沿刮板输送方向的理论位移距离；

48、根据理论位移距离以及三维离散体素网格在刮板输送方向上的体素尺寸，确定煤流在相邻时刻之间沿刮板输送方向对应的体素迁移量；

49、依据体素迁移量，对当前时刻各体素单元的占据概率沿刮板输送方向进行位移传播，将上游位置体素单元的占据概率迁移至下一时刻对应位置的体素单元，得到下一时刻的预测占据概率场；

50、通过质量连续性约束，将预测占据概率场与下一时刻通过煤流三维分布概率场进行逐体素比较，计算连续性约束误差项；

51、基于连续性约束误差项，对下一时刻各体素单元的占据概率进行时空一致性校正，得到校正后的体素占据概率场，并根据校正后的体素占据概率场计算动态煤流三维密度场。

52、在本发明的一个实施例中，所述煤流体积流量的计算过程包括：

53、在统一三维坐标系中，以刮板机输送方向作为流量计算方向，选取与刮板机输送方向垂直的计算截面，并将动态煤流三维密度场在计算截面上离散为截面体素单元，形成离散截面区域；

54、对离散截面区域内各截面体素单元的密度值进行截面积分计算，得到对应时刻下计算截面的煤流面积加权密度值；

55、获取与计算截面及对应时刻相匹配的刮板机链条运行速度，并将所述煤流面积加权密度值与刮板机链条运行速度相乘，得到对应时刻单位时间内通过计算截面的煤流体积流量。

56、在本发明的一个实施例中，所述刮板机输煤累计煤量的得到与输出过程包括：

57、根据煤流体积流量与预设煤体密度参数计算对应时刻的煤流质量流量，得到单位时间内通过计算截面的煤流质量流量；

58、对连续时间范围内的煤流质量流量进行时间离散处理，将连续时间划分为离散时间段，并获取各离散时间段对应的煤流质量流量数据；

59、对各离散时间段内的煤流质量流量进行累积计算，得到连续时间范围内的煤流累计质量；

60、将煤流累计质量与对应时间信息进行关联处理，生成刮板机输煤累计煤量数据并输出。

61、为达上述目的，本发明第二方面实施例提出了一种基于深度学习的刮板机输煤煤量检测系统，执行第一方面实施例任一项所述的一种基于深度学习的刮板机输煤煤量检测方法，包括：

62、图像采集单元，用于获取煤流在不同视角下的连续图像序列；

63、预处理单元，用于对连续图像序列进行时间同步、空间标定和预处理，得到标准化投影图像数据，并建立统一三维坐标系；

64、投影特征提取单元，用于提取标准化投影图像数据中的投影轮廓信息及灰度分布信息，构建多角度投影数据集；

65、体素重建单元，用于将多角度投影数据集映射至统一三维坐标系中，并对刮板机输送通道内的煤流区域进行体素离散，形成三维离散体素网格；

66、概率反演单元，用于基于多角度投影数据集与三维离散体素网格之间的投影关系，采用反投影约束与深度特征引导方式对各体素的占据概率进行迭代反演，得到煤流三维分布概率场；

67、时空校正单元，用于在煤流三维分布概率场中引入刮板输送方向的运动约束及质量连续性约束，对相邻时刻的体素分布进行时空一致性校正，得到动态煤流三维密度场；

68、流量计算单元，用于沿刮板机输送方向对动态煤流三维密度场进行截面积分，并结合链条运行速度计算单位时间内的煤流体积流量；

69、煤量输出单元，用于根据煤流体积流量与预设煤体密度参数计算煤流质量流量，并对连续时间段内的质量流量进行累积，得到刮板机输煤累计煤量并输出。

70、本发明实施例的具有以下有益效果：

71、1、本发明采用刮板机输送通道周向多视角图像采集单元配合时间同步、空间标定及统一三维坐标系映射实现煤流多视角协同感知，通过标准化多角度投影数据集提取煤流轮廓与灰度特征，可有效消除单一视角煤流遮挡、边界缺失、形态失真造成的检测偏差，大幅提升煤流空间信息采集的完整性与检测可靠性。

72、2、本发明通过体素离散构建三维体素网格，融合多角度投影数据，采用反投影约束结合深度特征迭代反演得到煤流三维分布概率场，突破现有二维图像估算煤量的局限，可完整重建煤流三维空间占据状态，真实还原煤流立体分布特征，显著提升煤量检测三维表征能力与计量精度。

73、3、本发明引入刮板输送运动约束与质量连续性约束对体素分布做时空一致性校正，生成动态煤流三维密度场，贴合刮板机运行速度、煤流迁移客观规律，抑制单帧检测局部跳变、随机波动缺陷，既提升瞬时煤量检测稳定性，又有效改善时段累计煤量计算准确度。

74、4、本发明基于动态三维密度场截面积分结合输送速度求解体积流量，匹配煤体密度换算质量流量并时序累积得到总输煤量，计量过程依托三维空间分布、动态密度、输送速度多维度真实工况参数，规避传统方法经验系数粗糙、局部特征替代全局状态导致的误差累积问题，煤流体积流量、质量流量及累计煤量计算结果更贴合现场实际输送工况。

75、5、本发明为非接触式检测方案，适配刮板机高粉尘、强振动复杂井下工况，抗环境干扰性能优异；可精准还原煤流三维空间分布，检测数值动态平稳、长期累计计量误差小，能够满足煤矿智能输送系统煤量连续在线检测、生产调度、设备联动控制、输送工况实时监测等各类工程应用需求。