基于多层特征融合的混凝土坍落度检测方法和系统与流程

本发明涉及人工智能，具体涉及一种基于多层特征融合的混凝土坍落度检测方法和系统。

背景技术：

1、混凝土坍落度是评价新拌混凝土工作性能的重要指标，直接影响施工质量和工程耐久性。传统坍落度检测主要依赖人工坍落度筒试验或人工观看视频进行经验判断，该方法受人为经验、光照环境和观察角度影响较大，检测结果主观性强、波动性大；且仅能对少量批次进行抽样检查，难以实现连续监控。

2、近年来，深度学习技术推动了混凝土坍落度检测向智能化方向发展。现有方法多采用基于卷积神经网络的单帧图像识别方案：先从视频中抽取若干帧，利用yolo等模型定位混凝土区域，再输入cnn模型进行单帧分类或回归，最终对多帧预测结果进行简单平均或投票。然而，真实工程场景中的混凝土视频存在光照不均、强反光、阴影、水雾、运动模糊等复杂干扰，现有单帧cnn方法难以充分适应此类场景。同时，单帧预测的简单平均聚合方式无法有效抑制出料初末段、遮挡、模糊等异常帧对最终结果的干扰，导致检测稳定性和准确性不足。

3、因此，亟需一种能够结合视频流时序信息、提高检测稳定性和鲁棒性的混凝土坍落度自动化检测方案。

技术实现思路

1、鉴于上述问题，本发明提供了一种基于多层特征融合的混凝土坍落度检测的技术方案，用以解决如何利用视频流信息实现对混凝土坍落度的自动化检测，以提高检测效率、减少人工干预的技术问题。

2、为实现上述目的，在第一方面，本发明提供了一种基于多层特征融合的混凝土坍落度检测方法，所述方法包括：

3、s1：获取待测混凝土的视频流，对所述视频流中的帧图像进行预处理，得到预处理后的帧图像序列；

4、s2：基于视觉特征提取网络，从所述预处理后的帧图像序列中提取帧级视觉特征，得到帧级视觉特征序列；

5、s3：通过时序聚合模块对所述帧级视觉特征序列进行时序聚合，输出混凝土坍落度检测结果。

6、进一步的，所述视觉特征提取网络为自监督预训练的视觉transformer主干网络，所述帧级视觉特征为多层token特征；

7、步骤s2包括：将所述多层token特征输入注意力融合头，所述注意力融合头通过可学习的query向量与所述多层token特征进行交叉注意力计算，输出帧级坍落度预测值作为所述帧级视觉特征，其中，所述交叉注意力计算具体包括：将所述query向量作为查询向量，将所述多层token特征作为键和值，计算交叉注意力权重，根据所述交叉注意力权重对所述多层token特征进行加权求和，得到融合后的特征向量，将所述融合后的特征向量通过全连接层映射为帧级坍落度预测值；

8、步骤s3包括：基于所述帧级坍落度预测值，通过统计聚合策略得到视频级坍落度检测结果。

9、进一步的，所述统计聚合策略包括均值聚合、中位数聚合、截尾均值聚合、mad加权聚合、top1投票聚合和边界感知聚合中的至少一种；

10、其中，所述均值聚合为计算所有帧级坍落度预测值的算术平均值；所述中位数聚合为取所有帧级坍落度预测值的中位数；所述截尾均值聚合为去除预设比例的最大值和最小值后计算剩余值的均值；所述mad加权聚合为基于中位数绝对偏差对帧级坍落度预测值进行加权平均；所述top1投票聚合为统计所有帧级坍落度预测值所属类别，取出现次数最多的类别作为视频级坍落度检测结果；所述边界感知聚合为根据帧级坍落度预测值在类别边界附近的分布情况动态调整聚合权重。

11、进一步的，在步骤s1之后、步骤s2之前，还包括拒识步骤，所述拒识步骤包括：

12、获取所述预处理后的帧图像序列中每一帧图像的至少一种拒识指标；

13、当所述至少一种拒识指标满足预设的拒识条件时，判定当前帧图像为非混凝土或异常输入，并将该帧图像从所述预处理后的帧图像序列中剔除，得到通过拒识的帧图像序列；

14、将所述通过拒识的帧图像序列作为步骤s2的输入。

15、进一步的，所述拒识指标包括有效感兴趣区域roi帧数量、目标检测模型的置信度、感兴趣区域roi的图像质量指标和正常混凝土子空间偏离分数中的至少一种；

16、所述拒识条件为：所述有效感兴趣区域roi帧数量低于第一阈值、所述目标检测模型的置信度低于第二阈值、所述感兴趣区域roi区域的图像质量指标低于第三阈值或所述正常混凝土子空间偏离分数超过第四阈值中的任一条件满足。

17、进一步的，所述拒识指标为正常混凝土子空间偏离分数，所述正常混凝土子空间偏离分数根据以下方式进行计算：

18、预采集正常混凝土样本的帧图像，将所述正常混凝土样本的帧图像划分为多个第一图像块，提取每个第一图像块的视觉特征作为第一patch特征，基于所述第一patch特征构建并存储正常混凝土子空间模型；

19、提取所述预处理后的帧图像序列中每一帧图像的第二patch特征，所述第二patch特征为将所述预处理后的帧图像序列的帧图像划分为多个第二图像块后提取的视觉特征；

20、计算所述预处理后的帧图像序列的每一帧图像的第二patch特征相对于所述正常混凝土子空间模型的偏离分数。

21、进一步的，步骤s1包括：通过至少两个不同视角的摄像头同步获取待测混凝土视频流的连续多帧图像，对每一帧图像分别进行光照均衡处理和感兴趣区域roi裁剪，得到预处理后的多视角帧图像序列；

22、所述视觉特征提取网络为基于自监督预训练的视觉transformer主干网络，所述帧级视觉特征为保留空间维度的帧级融合特征图；

23、步骤s2包括：

24、将所述多视角帧图像序列中的每一帧图像分别输入所述视觉transformer主干网络，提取每一帧图像在所述视觉transformer主干网络中浅层、中层和深层的输出特征，作为多层token特征；

25、对所述多层token特征进行跨层融合，得到每一帧图像对应的保留空间维度的帧级融合特征图，从而获得多视角帧级融合特征图序列；

26、对于同一时刻的不同视角帧图像，将对应的帧级融合特征图输入立体匹配模型，计算视差图，并基于所述视差图重建混凝土表面的3d点云；

27、从所述3d点云中提取几何特征，所述几何特征包括混凝土表面坡度、塌落高度和体积变化率中的至少一种，将所述几何特征作为所述帧级视觉特征。

28、进一步的，所述时序聚合模块为时序注意力模块；

29、步骤s3包括：

30、将各时刻的几何特征按时间顺序排列，得到几何特征序列，并将所述几何特征序列输入时序注意力模块；

31、所述时序注意力模块计算相邻时刻几何特征之间的差异向量，并根据所述差异向量生成每一时刻的时序注意力权重；

32、根据所述时序注意力权重对所述几何特征序列进行加权聚合，得到表征整个视频流的全局几何特征，并基于所述全局几何特征输出混凝土坍落度检测结果。

33、进一步的，所述光照均衡处理具体包括：将帧图像转换至lab色彩空间，对l通道进行对比度受限自适应直方图均衡化clahe增强，再将增强后的图像转换回原始色彩空间；

34、所述感兴趣区域roi裁剪包括：通过目标检测模型检测帧图像中的混凝土区域，所述目标检测模型为yolo模型，若检测成功，则根据检测到的混凝土区域的边界框进行裁剪；若检测失败，则执行备用裁剪方式，所述备用裁剪方式为以帧图像的中心点为中心，裁剪预设尺寸的图像区域。

35、在第二方面，本发明提供了一种基于多层特征融合的混凝土坍落度检测系统，所述系统用于执行如本发明第一方面所述的方法，所述系统包括：

36、视频获取与预处理模块，用于获取待测混凝土的视频流，对所述视频流中的帧图像进行预处理，得到预处理后的帧图像序列；

37、视觉特征提取模块，用于基于视觉特征提取网络，从所述预处理后的帧图像序列中提取帧级视觉特征，得到帧级视觉特征序列；

38、时序聚合与检测模块，用于通过时序聚合模块对所述帧级视觉特征序列进行时序聚合，输出混凝土坍落度检测结果。

39、区别于现有技术，上述技术方案涉及的基于多层特征融合的混凝土坍落度检测方法和系统，该方法包括：获取待测混凝土的视频流，对视频流中的帧图像进行预处理，得到预处理后的帧图像序列；基于视觉特征提取网络，从所述帧图像序列中提取帧级视觉特征，得到帧级视觉特征序列；通过时序聚合模块对所述帧级视觉特征序列进行时序聚合，输出混凝土坍落度检测结果。本发明以视频流为检测对象，通过视觉特征提取网络捕捉混凝土的视觉状态特征，并利用时序聚合模块对多帧特征进行时序建模与聚合，能够有效利用混凝土坍落过程中的时序动态信息，克服单帧图像信息不足、异常帧干扰等问题，显著提高坍落度检测的准确性、稳定性和鲁棒性，适用于混凝土生产现场的连续监测场景。

40、上述 技术实现要素： 相关记载仅是本发明技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本发明的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本发明的上述目的及其它目的、特征和优点能够更易于理解，以下结合本发明的具体实施方式及附图进行说明。