一种基于图像分割的篦冷机料层厚度测量方法与流程

1.本发明涉及一种基于图像分割的篦冷机料层厚度测量方法。


背景技术：

2.篦冷机是水泥生产过程中的关键设备，篦冷机料层厚度对篦冷机设备至关重要，料层太薄，则冷却风通过料层的时间太短，传热效率不高；料层太厚，会影响料床的透气性，进而出现局部喷发状的吹透，使大多冷却风从喷发位置吹走，未达到与熟料充分热交换的目的，换热效率也会降低；因此，篦冷机料层厚度的准确识别成为制约篦冷机控制和烧成系统换热效率的关键问题。
3.目前，篦冷机料层厚度有三种识别方式：一是通过与料层厚度相关的间接量(篦下压力、二次风温、篦冷机液压信号等)表征；二是通过传统图像处理提取料层边缘识别；三是通过机械装置直接测量；但以上三种方式均存在一定问题，对于间接量表征方法：间接量与料层厚度的模型比较复杂，呈现出非线性特点，且间接量与料层厚度关系受工况影响较大，料层厚度测量往往精度低，难以落地应用；对于传统图像边缘提取方法：输出结果波动性大，稳定性差，无法克服高温雾化等影响；对于机械装置直接测量方法：测量装置安装成本高，需要不断维护，且接触式测量对烧成熟料冷却和运输存在一定干扰，测量结果准确性低，因此，亟需等待解决。


技术实现要素：

4.针对上述现有技术的现状，本发明所要解决的技术问题在于提供一种大幅度提升了识别精度和模型稳定性并有效提高了模型预测结果的准确性，进而可以达到稳定篦冷机料层厚度、节约用煤量、增强烧成系统换热效率目的基于图像分割的篦冷机料层厚度测量方法。
5.本发明解决上述技术问题所采用的技术方案为：一种基于图像分割的篦冷机料层厚度测量方法，其特征在于，包括以下步骤：
6.s1:基于深度学习的图像分割网络模型离线训练；
7.s2:基于所述训练完成的图像分割模型实时对篦冷机内部图像实行图像分割；
8.将训练完成的分割模型在线部署至图像分析平台，同时，图像平台实时采集篦冷机内部图像数据，由图像分割模型对实时采集的篦冷机内部图像做分割处理，得到分割结果；
9.s3:分割结果后处理转换得到篦冷机料层厚度；
10.采用传统图像处理技术如最大连通区域识别、边缘提取等技术手段，对所述实时预测后的结果进行后处理得到篦冷机料层厚度。
11.优选地，所述步骤s1,采集高温相机拍摄的篦冷机内部图像信息，标注处理后，选择合适的图像分割模型训练并评估，具体包括但不限于以下内容与步骤顺序：
12.s11：离线采集高温相机拍摄的篦冷机内部图像信息；
13.s12：使用标注工具对所述篦冷机内部图像信息的料层区域或者未被料层覆盖的侧面墙壁区域标注；
14.s13：将所述标注完成的图像数据按照训练集、验证集和测试集做数据集划分；
15.s14：选择合适的图像分割神经网络模型，设置初始参数，如求解器、学习率、轮回次数等；
16.s15：将所述训练集和验证集图像信息输入所述图像分割模型，通过迭代优化得到收敛后的模型参数；
17.s16：使用ap或者map指标对所述优化后的模型评估，如果评估模型满足使用要求，则考虑部署上线，如不满足，则进入s11步骤重新更新图像数据或者进入s14步骤调整训练模型参数重新训练模型；
18.s17：使用模型剪枝和模型量化等技术对所述离线训练完的模型做模型压缩和加速，并存储模型文件。
19.优选地，所述步骤s2，部署所述训练完的图像分割模型到图像平台，并对实时采集的图像做实时分割处理，包括但不限于以下内容与步骤顺序：
20.s21：将图像分析平台部署在物理服务器或者云服务器；
21.s22：所述物理服务器或者云服务器具备深度学习基本环境，如支持cuda运算功能；
22.s23：所述图像分析平台具备读取视频流并抽帧的功能，以及周期调用所述训练完模型的能力，所述视频流可以是网络视频流或者是离线视频流；
23.s24：将所述离线训练完的模型加载到所述图像平台，并启动运行算法模型；
24.s25：通过暗通道先验技术或者其他图像处理技术对所述视频流抽帧图像数据去雾化和飞沙，以增强图像清晰度；
25.s26：按照一定周期将预处理完的图像输入启动的图像分割模型，执行分割任务，输出分割结果。
26.优选地，所述步骤s3，对实时预测后的分割结果进行后处理得到篦冷机料层厚度，包括但不限于以下内容与步骤顺序：
27.s31：将分割后的图像数据做高斯滤波和二值化处理；
28.s32：获取所述二值化图像中的最大连通区域；
29.s33：对最大连通区域做边缘检测，获取边缘曲线中相同像素宽度x轴中最大像素高度y值，形成一维向量，所述x轴的范围根据历史数据统计分析篦冷机料层有效边界数据得到；
30.s34：对一维向量做异常值和滤波处理，得到预处理后的一维向量；
31.s35：对预处理后的一维向量求取均值或者中值，再将计算结果限制在一定范围内，作为最终料层厚度值；
32.s36：将最终料层厚度值除以原始图像像素高度得到相对料层厚度。
33.优选地，所述步骤s36，实时预测的篦冷机料层相对厚度引入到控制回路中，作为被控变量使用，通过操纵篦冷机速度，可以实现对篦冷机料层厚度的稳定控制，将料层厚度稳定在设定范围内，在保证熟料冷却质量的同时，提升换热效率。
34.优选地，所述步骤s14的图像分割神经网络具备图像增强功能，能够有效解决高温
图像雾化、飞沙等传统图像处理无法克服的问题。
35.优选地，所述步骤s14的图像分割神经网络可以采用小样本量训练模型，避免了海量数据下载、预处理和标注的繁琐过程。
36.与现有技术相比，本发明的有益效果如下：
37.首先，基于深度学习图像分割算法的篦冷机料层厚度识别方法，相比传统图像算法识别方法，其识别精度得到了大幅度提升，尤其是模型抗雾化、抗飞沙干扰能力得到显著增强；
38.其次，模型稳定性得到很大提升，长时间在线运行率达到99％以上，通过视频流断网自动重连功能，识别结果异常值处理及平滑等后处理方法，分别从数据源和输出结果保证了模型运行的稳定性；
39.再次，模型预测结果准确性得到了提高，部署到现场的预测模型在稳定运行一段时间后，分析预测料层厚度和篦下综合压力之间变化趋势存在一定的正相关性，符合工艺基本知识；
40.最后，准确且稳定的篦冷机料层厚度识别结果作为被控变量引入篦冷机控制回路，通过操控篦冷机速度和风机频率，可以达到稳定篦冷机料层厚度，节约用煤量，增强烧成系统换热效率的目的。
附图说明
41.图1是本发明算法的框架结构图，包括其主要组成步骤。
42.图2是本发明的实施流程图，包括具体实施时的流程步骤。
43.图3是本发明算法的图像分割神经网络结构原理，本发明案例采用基于u-net的网络结构展开，但不限于采用icnet和deeplab v3 等图像分割网络结构模型。
44.图4是本发明对高温相机拍摄的篦冷机图像使用标注工具进行标注示例图。
45.图5是本发明算法对高温相机拍摄的篦冷机图像进行图像分割后的伪彩色图。
46.图6是本发明在某水泥厂篦冷机料层厚度识别中的第一种应用效果。
47.图7是本发明在某水泥厂篦冷机料层厚度识别中的第二种应用效果。
具体实施方式
48.除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
49.为了保持本发明实施例的以下说明清楚且简明，本发明省略了已知功能和已知部件的详细说明。
50.如图1～7所示，一种基于图像分割的篦冷机料层厚度测量方法，包括如下步骤：
51.s1:基于深度学习的图像分割网络模型离线训练；
52.s2:基于训练完成的图像分割模型实时对篦冷机内部图像实行图像分割；
53.将训练完成的分割模型在线部署在图像分析平台，同时图像平台实时采集篦冷机内部图像数据，由图像分割模型对实时采集的篦冷机内部图像做分割处理，得到分割结果；
54.s3:分割结果后处理转换为篦冷机料层厚度；
55.采用传统图像处理技术如最大连通区域识别、边缘提取等技术手段，对实时预测后的结果进行后处理得到篦冷机料层厚度。
56.下面通过一个具体的实施例对本发明提供的上述基于图像分割的篦冷机料层厚度测量方法的具体实施进行详细说明。
57.第一步，基于深度学习的图像分割离线模型训练，具体通过以下方式来实现：
58.(1)采集高温相机拍摄的篦冷机内部图像信息，高温相机通过cs标准螺纹接口与高温防护镜头连接，高温防护镜头通过篦冷机侧边开孔插入篦冷机；高温相机侧边预留rj45网口，通过超六类网线连接生产监控服务器，接入生产视频；通过编写python脚本，首先import可以读取视频流和抽取图像帧的opencv-python包，然后按照rtmp或者rtsp等协议读取现场视频流，最后按照一定间隔抽帧保存图像。
59.(2)使用labelme或者百度的智能标注工具等对篦冷机内部图像信息的料层区域或者未被料层覆盖的侧面墙壁区域标注，如图4是对未被料层覆盖的侧面墙壁标注示意图，料层相对厚度即整个图像像素高度减去侧面墙壁高度像素值占整幅图像像素高度的比值。
60.具体地，使用labelme标注工具对保存图像文件夹下的所有约300张图像依次按照图4进行标注，300张图像即包含了清晰度高的篦冷机内部料层图像，也包含了雾化比较严重或者存在飞沙的篦冷机内部料层图像；标注完的图像分别按照原始图像和json格式存放在两个文件夹中。
61.(3)将标注完成的约300张图像数据按照训练集、验证集和测试集做数据集划分，其划分比例依次为7:2:1。
62.具体地，使用百度的paddlex工具转换格式并划分数据集，转换格式是将标注完的json格式文件转换为paddleseg需要的数据格式，如果使用torch或者tensorflow等框架训练模型，则将标注完的数据格式转为模型训练所需要的具体格式，并划分数据集。
63.(4)选择合适的图像分割神经网络模型，设置初始参数，如求解器、学习率、轮回次数等参数；
64.具体地，图像分割神经网络常有u-net、icnet和deeplab v3 等结构，我们在此选择了u-net结构训练模型，初始参数batch_size设置为4，iters设置为10000，求解器optimizer采用随机梯度下降sgd，学习率采用动态变化的方式由大到小按照多项式衰减的方式设定。
65.(5)将训练集和验证集图像信息输入图像分割模型，通过迭代优化得到收敛后的模型参数；
66.具体地，模型按照设定参数训练，在训练过程中按照一定数量的iters周期保存训练过程中的模型；同时对保存的训练模型进行评估，如果本次评估的训练模型优于上一次训练模型，则将本次模型保存为最优模型。
67.(6)使用ap或者map指标对优化后的模型评估，如果评估模型满足使用要求，则考
虑部署上线，如不满足，则进入(1)步骤重新更新图像数据或者进入(4)步骤调整训练模型参数重新训练模型。
68.(7)使用模型裁剪和模型量化等技术对离线训练完的模型做模型压缩和加速，存储离线模型文件。
69.具体地，根据模型的复杂程度，对训练评估完的模型进一步地进行压缩，以提升模型的预测速度，减轻模型对内存占用；主要从模型裁剪、量化和蒸馏等角度对模型进行压缩和加速处理。
70.第二步，将训练完的分割模型在线部署在图像分析平台，同时图像平台实时采集篦冷机内部图像数据，由图像分割模型对实时采集的篦冷机内部图像做分割处理，得到分割结果，具体通过以下方式来实现：
71.(1)将图像分析平台部署在物理服务器或者云服务器；
72.具体地，将图像分析平台安装在指定服务器，并按照配置文件要求，正确配置相关文件，包括ip地址、视频抽帧帧率、图像分析高宽像素值、日志文件保存地址等，以保证图像平台能够读取视频信息并预测。
73.(2)物理服务器或者云服务器具备深度学习基本环境，如支持cuda运算功能；
74.具体地，由于图像分割算法按照像素级分类，其对显存和计算能力要求较高，因此为了更好地保证分析性能，服务器需要具备cuda运算功能。
75.(3)图像分析平台具备读取视频流并抽帧的功能，以及周期调用训练完模型的能力，视频流可以是网络视频流或者是离线视频流；
76.具体地，图像分析平台包括两部分，一部分是图像算法运行服务端，负责实时视频流抽帧和图像算法预测，输出预测结果；另一部分是前段配置和报警展示端，负责摄像头信息配置、加载图像算法、配置分析任务和展示报警信息。
77.(4)将离线训练完的模型加载到图像平台，并启动运行算法模型。
78.(5)通过暗通道先验技术或者其他图像处理技术对视频流抽帧图像数据去雾化和飞沙，以增强图像清晰度；
79.(6)预处理完的图像输入启动的图像分割模型，按照一定周期执行分割任务，输出分割结果；
80.具体地，加载离线训练完的篦冷机料层厚度模型到图像平台，选择篦冷机拍摄摄像头，配置篦冷机料层厚度预测模型到篦冷机摄像头形成分析任务，再对任务设置roi区域、运行条件、运行周期和运行时间等参数，最后启动任务，以按照一定周期执行篦冷机料层厚度图像分割任务，形成图像分割结果。
81.第三步，采用传统图像处理技术如最大连通区域识别、边缘提取等技术手段，对实时预测后的分割结果进行后处理得到篦冷机料层厚度，具体通过以下方式来实现：
82.(1)将分割后的图像数据做高斯滤波和二值化处理；
83.具体地，采用opencv中相关函数对分割后的伪彩色图像做高斯滤波和二值化处理，高斯滤波用于平滑分割结果，二值化处理便于后续边缘检测；通常二值化处理后的图像包含大小不一且不规则的多个连通区域，且通常要检测的墙壁区域是其中最大的连通区域，其他区域则是干扰区域。
84.(2)获取二值化图像中的最大连通区域；
85.具体地，首先使用opencv中的findcontours获取所有连通区域，然后使用contourarea函数计算每一个连通区域的面积，最后根据连通区域面积获取最大连通区域。
86.(3)对最大连通区域做边缘检测，获取边缘曲线中相同像素宽度x轴中最大像素高度y值，形成一维向量，x轴的范围根据历史数据统计分析篦冷机料层有效边界数据得到；
87.具体地，提取最大连通区域外轮廓的x轴和y轴坐标数据(x1,y1)。另外，根据统计分析获取篦冷机稳定运行时侧边墙壁可视范围内的x轴数据范围x0；在x0范围内扫描y轴，取相同横轴对应的y值，形成一维向量y2。
88.(4)对一维向量y2做异常值和滤波处理，得到预处理后的一维向量y3；
89.具体地，使用3sigma方法或者其它异常值处理方法对y2处理，然后再进行一阶滤波或其它平滑手段得到预处理后的一维向量y3。
90.(5)对预处理后的一维向量y3求取均值或者中值，再将计算结果限制在一定范围内，作为最终料层厚度值；
91.(6)将最终料层厚度值除以原始图像像素高度得到相对料层厚度。
92.可以看出，与传统图像处理测量方法相比，本发明提供的方法可以更好地克服红河、飞沙和图像雾化等的影响，其测量精度得到了极大提升；与变量间接表征测量方法相比，本发明提供的方法可以适应不同工况变化，能够克服间接表征变量只能适应线性关系的场景，其测量稳定性得到了增强；与直接测量装置相比，本发明提供的方法是一种非接触的测量方法，可以避免对熟料冷却过程的干扰，且设备维护工作量小，提高了测量准确性和稳定性。综合以上，本发明提供的篦冷机料层厚度测量方法在一定程度上提高了测量精度、增强了分析结果稳定性，另外将测量结果引入到控制回路，可以达到稳定篦冷机料层厚度的目的，提高熟料产量，并提升篦冷机热交换效率。
93.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行同等替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神与范围。