一种基于N-NanoDet的煤矿皮带异物检测方法及系统

本发明属于计算机视觉及智能矿山安全监测，具体涉及一种基于n-nanodet的煤矿皮带异物检测方法及系统。

背景技术：

1、煤矿井下运输皮带表面混杂的异物是诱发皮带纵向撕裂、跑偏失衡乃至突发性断带等重大设备事故的主要根源，由于此类事故往往在数秒内即能造成整条运输线的瘫痪，并伴随高昂的检修成本与安全风险，因此在皮带运行过程中对上述异物进行精准、快速的识别与预警，已成为保障矿井输送系统本质安全化的核心环节。然而，井下实际工况的极端复杂性与现有检测手段之间的技术鸿沟，使得这一安全目标长期面临实践困境。

2、具体而言，现有工业监控与视觉检测方案在井下部署时主要受制于三重矛盾。其一，环境退化与图像质量的矛盾：井下照度低、煤尘弥散且水雾干扰严重，采集到的监控图像普遍存在照度非线性衰减、全局对比度压缩以及目标边缘被噪声淹没等问题，严重削弱了传统形态学分割及浅层特征提取方法的有效性，导致误报与漏报交替出现；其二，异物特征与检测精度的矛盾：异物在输送带高速运动背景下尺度跨度极大，小至厘米级螺栓、大至半米见方矸石，其在全局画面中常以稀疏微小目标形式存在，像素占比极低，使得深层卷积网络也难以稳定响应，加剧了特征模糊与定位漂移；其三，模型复杂度与边缘算力的矛盾：高性能深度学习检测器依赖庞大的参数堆叠与浮点运算，而矿用边缘嵌入式设备受限于防爆封装、功耗散热及成本约束，计算资源极为有限，难以容纳高精度模型的全时运行。

3、然而，深入审视现有技术方案，其在底层处理逻辑上的固有缺陷更为根本。在图像预处理层面，现有算法多依赖传统直方图均衡或固定retinex增强模型，缺乏对井下非均匀烟尘与动态光照变化的适应能力，往往在提升全局亮度的同时将微弱异物信号淹没于增强后的背景噪声中。在特征提取机制上，主流轻量级网络受限于感受野的固定性，对高速运动下发生形变、旋转或局部遮挡的带状异物缺乏动态形变建模能力，卷积核的等变性设计在应对非刚性异物时产生严重的特征错位，致使语义置信度分布趋于随机化。此外，现有方案在时序信息利用上过于粗放，仅依赖单帧空间特征进行判别，忽略了异物在相邻帧间的运动轨迹连续性与速度异常突变等强判别线索，这种推理范式在面对灰度相近的矸石或半掩埋铁器时，因缺乏时空一致性约束而引发高频次状态误翻转。

技术实现思路

1、本发明旨在提出一种基于n-nanodet的煤矿皮带异物检测方法及系统，通过协同优化低照度粉尘环境下的图像增强、微小异物多尺度特征融合及边缘端轻量部署，以突破井下复杂工况对视觉检测的制约瓶颈，保障煤矿皮带运输系统的实时安全预警。

2、为实现上述发明目的，本发明采用了如下技术方案：

3、一种基于n-nanodet的煤矿皮带异物检测方法，其特征在于，包括：

4、1）图像增强步骤，获取煤矿皮带监控视频的原始图像帧，基于物理先验与边缘约束对所述原始图像帧进行增强处理，得到增强图像，所述增强处理通过物理先验记忆保存模块对历史帧先验信息进行编码压缩并存储至本地先验记忆矩阵，通过记忆增强物理先验引导模块利用所述先验记忆矩阵对当前帧先验特征进行增强，再通过多尺度场景辐射恢复模块捕获帧间时空对应关系以恢复退化图像，并通过边缘约束模块对恢复后图像的物体边缘细节进行保真处理；

5、 2）特征提取与融合步骤，将所述增强图像输入至轻量化特征提取网络shufflenet_v2，提取多层次异物特征，并利用fpn与pan构建双向多尺度特征金字塔，融合所述多层次异物特征，获得融合特征；

6、3）目标检测步骤，将所述融合特征输入至基于无锚框机制的n-nanodet检测网络，通过损失函数进行回归，识别并定位所述增强图像中的异物。

7、本发明通过引入历史帧先验记忆存储与读取机制，使当前帧能够利用长序列累积先验信息进行增强，突破了单帧增强信息利用不足的局限；边缘约束模块对恢复图像进行梯度域保真处理，规避了大气光散射模型参数估计偏差导致的边缘丢失；三步骤形成“高质量输入→高效特征表达→精准目标回归”的良性耦合，提升了低照度、高粉尘环境下的检测精度。

8、优化的，所述图像增强步骤具体包括：

9、1）使用convnext主干网络提取多尺度输入特征，通过物理先验记忆保存模块中的密集残差特征融合结构，将传输图和大气光先验信息编码并压缩为先验记忆令牌保存到本地先验记忆矩阵中；

10、 2）通过记忆增强物理先验引导模块计算当前帧与历史先验记忆矩阵之间的相似性权重，引导注意力机制生成先验引导的场景特征，并利用多尺度场景辐射恢复模块的时空可变形注意块捕获帧间时空对应关系，以输出去雾消模糊的清晰图像；

11、 3）利用基于边缘强度动态调整的边缘约束模块对彩色图像进行灰度化处理，再通过sobel算子分别计算水平和垂直方向的梯度，以获得每个像素的边缘幅度，最后基于边缘幅度对图像进行加权融合以保留物体边缘细节。

12、上述方案中convnext主干网络捕获粉尘散射的长程依赖关系；物理先验记忆保存模块将先验信息编码为压缩记忆令牌，在保持空间结构的同时降低内存占用；记忆增强引导模块通过跨帧相似性权重计算，使当前帧自适应获取历史有效信息；多尺度场景辐射恢复模块利用时空可变形注意块捕获帧间对应关系，抑制抖动与模糊，输出清晰稳定的增强图像。

13、优化的，所述物理先验记忆保存模块采用3×3卷积核和4层深的主干分支，以及3×3卷积核和2层深的掩膜分支，初始的先验特征通过编码器和主干网络学习得到，包含传输图和大气光等先验信息，其中h、w和c分别代表特征的高度、宽度和通道数；所述掩膜分支信息通过加法融合形式对初始的先验特征信息进行增强，并通过密集连接融合多层次特征，输出当前帧的关键先验特征keyrn×d×c，所述关键先验特征经两个池化层处理后得到先验压缩记忆令牌prd×c，其中d代表令牌长度，所述先验压缩记忆令牌被保存至本地记忆矩阵中。所述主干分支与掩膜分支通过加法融合实现先验特征的精细化调制，密集连接缓解梯度消失并增强表征能力；关键先验特征经两个池化层压缩为低维记忆令牌，在保留核心先验信息的前提下实现存储效率最优化，为边缘设备长序列先验记忆存储提供了可行方案。

14、优化的，所述记忆增强物理先验引导模块中，计算当前帧的关键记忆特征key和先验记忆矩阵k之间的相似性权重s，具体表示为：

15、s =softmax ()

16、其中，c1作为归一化因子用于对齐key和k的维度，通过比较当前帧与记忆之间的相似性得到相似性矩阵；所述相似性权重随后引导注意力机制对当前先验特征进行增强，具体表示为：

17、 p=softmax()s

18、其中，查询向量q通过将初始先验特征展开得到，参数c2作为归一化因子用于对齐q和k的维度，最终获得记忆增强后的先验特征p；以增强后的先验特征与初始场景特征拼接作为输入，通过多层卷积层生成由先验引导的场景特征。本方案通过计算当前帧与历史记忆矩阵的相似性权重，自适应评估各历史令牌的贡献，避免无效信息干扰；归一化因子保证计算稳定性，残差连接保留原始特征完整性；增强先验特征与初始场景特征拼接后生成先验引导的场景特征，实现物理先验对场景恢复的显式引导，提升了粉尘区域辨识能力。

19、优化的，所述多尺度场景辐射恢复模块将相邻帧特征分成不同范围的多个集合，以探索不同时间间隔的线索，不同范围的连接特征被发送至共享时空可变形注意块；所述时空可变形注意块中，给定连接的特征和归一化的初始时空流，首先计算初始对齐特征图：

20、 = s(，)

21、其中s表示可微时空采样操作；然后通过计算流偏移残差得到细化的时空流：

22、= （）+

23、其中为卷积层组成的轻量级偏移网络；交叉注意力从对齐特征中提取时间信息，特征用作目标帧的查询，对齐特征作为键和值，范围特征计算为：

24、= wmsa（q,k,v）

25、不同范围的对齐特征在先验特征的指导下进行聚合，将级联范围特征视为键和值，乘以目标帧查询特征计算场景注意力权重，将先验特征视为查询并使用对齐的先验特征作为注意力键计算先验注意力权重，最终注意力权重为场景注意力权重与先验注意力权重之和，经softmax归一化后对范围特征进行加权聚合。

26、上述方案将相邻帧分成不同范围集合分别处理，同时捕获短时快速变化与长时缓慢演变的时空依赖；可变形注意块通过可微采样与流偏移残差实现帧间精确对齐，补偿相机抖动与皮带运动偏移；先验引导的多范围聚合从场景辐射度和物理先验双角度计算权重，使融合受数据驱动与物理模型双重约束，提升了输出帧的清晰度与稳定性。

27、优化的，所述基于边缘强度动态调整的边缘约束模块中，将输入的彩色图像进行灰度化，将每个像素的r、g、b通道相加再除以3得到灰度化后的像素值；

28、使用sobel算子计算边缘检测，用于检测水平边缘的卷积核sobelx为：

29、sobelx=

30、用于检测垂直边缘的卷积核sobely为：

31、 sobely=

32、每个像素的边缘幅度em的计算公式为：

33、 em =

34、其中，gx和gy分别为通过卷积操作得到图像的水平梯度和垂直梯度；边缘约束图像由加权公式计算：

35、 e=eoutput （1em）erawem

36、其中，eoutput为灰度化图像，eraw为原始彩色图像。

37、这里针对非均匀粉尘场景下大气光散射模型参数估计易偏差导致边缘丢失的问题，通过灰度化、sobel边缘检测与加权融合实现边缘细节自适应保真；边缘幅度em为每个像素提供客观的强度度量；加权融合公式在边缘剧烈区域保留原始细节，在平滑区域施加平滑约束避免噪声放大，尤其适合井下粉尘浓度分布不均、边缘变化复杂的场景。

38、优化的，所述特征提取与融合步骤具体包括：shufflenet_v2网络作为骨干网络，通过通道划分机制将输入特征图的通道等分为左右两个分支，其中左分支不进行卷积操作，右分支通过连续卷积和深度可分离卷积进行下采样，随后将两个分支的输出特征图通过通道合并与通道混洗机制完成信息交互，以逐层提取异物的边缘、形状和位置的三层特征；将提取出的多层次特征输入fpn中，通过自顶向下的上采样操作将深层的低分辨率特征与浅层的高分辨率特征进行对齐融合，融合公式为：

39、 pl = upsample(cl)+cl+1

40、其中，pl为金字塔第l层特征，cl为骨干网络对应层特征，upsample为上采样操作；将经fpn处理后的特征流向pan，通过自底向上的路径聚合将浅层的位置定位信息流回至深层，路径聚合操作公式为：

41、 pagg = conv2d(pl)

42、其中， pagg为路径聚合后特征，pl为不同层次提取的特征图；最后通过加权融合机制对不同尺度的特征进行权重匹配以突出异物特征，加权融合公式为：

43、ffinal =

44、其中，为各尺度特征的权重，为不同尺度的特征图，得到最终的多尺度融合特征图。

45、上述方案中shufflenet_v2通过通道划分与混洗逐层提取边缘、形状与位置三层特征；fpn自顶向下传递深层语义，增强浅层分类判别能力；pan自底向上回流浅层定位信息，弥补深层空间分辨率不足；双向信息流动实现语义与位置的深度交互；可学习加权融合自适应分配尺度权重，突出异物响应、抑制背景干扰，从而提升多尺度异物检测精度。

46、优化的，所述目标检测步骤具体包括：

47、在n-nanodet模型中采用无锚框机制，消除对预定义锚框的依赖，通过卷积网络直接对皮带异物的中心度、宽高以及类别进行位置回归预测；

48、在模型中应用深度可分离卷积以降低模型的计算量和参数量，并通过特征拼接操作将不同层次的特征输入至head模块，最终输出各检测目标的边界框；

49、所述损失函数为改进的损失函数，总损失lsiou表示为：

50、 lsiou=1iou+

51、其中，为重叠面积损失，为距离损失，计算了物体位置的偏移并修正了角度对位置的影响，为长宽比差异损失，衡量目标框的长宽比差异，提高对目标框形状的预测精度。本方案中无锚框机制消除了对预定义锚框的依赖，避免超参数敏感影响，减少计算量与内存占用；深度可分离卷积将参数量压缩；改进损失函数同时约束重叠面积、中心点距离与长宽比，三重联合优化使模型在低质图像中仍能实现精准定位与边框回归。

52、优化的，还包括数据集合成步骤，用于构建训练数据集：

53、采用dpt hybrid深度估计模型对每一帧输入图像进行逐像素深度预测，获得场景几何结构信息，通过深度反演构建空间分布式的粉尘浓度密度图；

54、根据大气散射模型i(x) = j(x)·t(x) + a·(1t(x))对清晰图像进行雾化合成，其中j(x)为清晰图像，t(x)为透射率，a为大气光；

55、所述透射率t(x)根据粉尘浓度动态调整，t(x) = exp(-β·d(x)·c(x))，其中d(x)为到光源的距离，c(x)为该位置粉尘浓度，β为粉尘衰减系数；

56、引入双边滤波与引导滤波联合优化机制对透射图进行平滑处理，利用暗通道先验方法自适应估算大气光a(x)，并结合局部亮度与粉尘浓度变化动态修正光照分布；对于每一帧图像合成低、中、高三种不同雾密度级别的雾化图像样本，以覆盖实际环境中多尺度可见度变化的情况。本发明中dpt hybrid逐像素预测深度并构建空间分布式粉尘浓度密度图，更贴近井下真实物理环境；透射率将浓度与深度同时纳入考量，实现空间动态调整；双边滤波与引导滤波联合优化保持边缘细节；暗通道先验自适应估算大气光并修正光照分布；低、中、高三级别多级合成覆盖完整可见度变化范围，增强了训练数据的物理真实性与多样性。

57、本发明还介绍一种基于n-nanodet的煤矿皮带异物检测系统，采用上述的方法，本系统包括工业相机、边缘计算盒子、报警器、微型开关和监控平台；所述工业相机安装在带式输送机导料槽上方，用于实时采集皮带图像；所述边缘计算盒子采用arm架构处理器并预装android操作系统，用于对实时图像进行处理；当所述边缘计算盒子检测到皮带表面存在异物时，通过微型开关控制报警器发出警报，同时将处理结果和图像数据上传并保存至监控平台。本方案中工业相机安装于导料槽上方，实现皮带全断面实时覆盖；arm架构与android系统组合契合矿用设备防爆、低功耗要求；边缘计算盒子本地运行完整检测算法，避免云端传输的带宽压力与延迟；微型开关自动控制报警并同步上传数据至监控平台，形成闭环控制，为井下皮带运输安全监控提供了兼具实时性、可靠性与工程可实施性的完整解决方案。

58、与现有技术相比，本发明具有如下有益效果：

59、1、本发明针对井下高浓度粉尘引发的非均匀散射与照度骤降问题，摒弃传统经验性增强策略，引入融合物理大气散射模型与边缘保持约束的预处理机制，此机制通过对透射率图进行局部梯度正则化约束，在清除悬浮颗粒造成的雾化模糊的同时，保留了异物与皮带交界处的弱边缘信息，从而避免了经典暗通道先验算法因局部区块假设失效而导致的大气光参数估计偏差和关键轮廓丢失，这一设计使得增强后的图像在视觉保真度与结构完整性上达到平衡，为后续特征提取提供了高质量的数据输入，从而遏制了噪声放大的副作用。

60、2、本发明突破了现有轻量级网络对微小目标响应迟钝的技术局限，通过将shufflenet_v2作为骨干特征提取网络，并引入双向fpn与pan协同作用的特征金字塔架构，实现了深层语义信息与浅层空间定位信息的多方向、多层级深度交互。上述架构能够有效弥合高语义特征与高分辨率特征之间的表征鸿沟，使网络在复杂煤尘背景下仍能对尺度跨度极大、形态极不规则的微小异物保持稳定的激活响应；同时，本发明通过双向跨层连接与自适应尺度重分配机制，抑制了背景纹理对异物特征的干扰，确保低像素占比的稀疏目标在全局感受野中仍能被精确锁定与识别，提升了系统对危险异物的全场景感知能力。

61、3、本发明通过系统性轻量化设计实现了精度与效率的协同最优。一方面，采用无锚框检测机制与深度可分离卷积的联合策略，削减了传统锚点匹配所带来的冗余计算消耗和存储带宽压力，使模型参数量与浮点运算次数同步缩减；另一方面，引入siou损失函数替代传统基于iou的几何损失度量，在保持边框回归精度的同时加速了模型收敛过程，使得轻量化模型在有限迭代次数内即可达到实用级检测精度。最终，整套算法方案无需依赖高功耗gpu加速，即能在矿用边缘计算盒子上以稳定帧率完成端到端的实时推理，真正实现了有机统一，为煤矿井下皮带运输安全监控提供了兼具理论先进性与工程可落地性的完整解决方案。