一种铁谱图像磨粒链生长过程的分割方法

1.本发明涉及铁谱图像分割技术领域，特别涉及一种油液检测中磨粒链生长 过程铁谱图像的分割方法。


背景技术：

2.机械设备是工业生产的基础，设备能够安全运行、减少故障停机、延长服 役年限能够最大提升设备使用价值。对于绝大部分机械装备而言，润滑系统是 不可缺少的部分，流动的润滑油除了具有润滑、冷却等功能外，还带有机械摩 擦副磨损状态的丰富信息。机械设备常作业于恶劣环境中，设备在相对运动趋 势中接触表面产生摩擦造成材料磨损形成磨粒，磨粒随润滑油在机械设备中流 动，会造成故障隐患。而80％的机械故障是磨损磨粒和润滑失效所致。
3.铁谱分析利用高梯度强磁场将检测油路中的磨粒进行有序分离，是摩擦学 中一种磨粒分析技术，也是机械磨损检测与诊断的重要手段之一，铁谱图像的 处理是铁谱分析技术领域中的重要内容。硬件技术的快速升级和完善，谱片制 作、铁谱图像采集等过程已经基本实现自动化，铁谱图像中磨粒类型的多样化， 不同磨粒的特征差别较大，铁谱图像的分割与识别难度较大，难以实现铁谱图 像的准确分割，使分割结果的质量参差不齐。在对油液中磨粒链的分割任然需 要具有专业知识和经验的人员从采集中的铁谱图像中人工抠取典型磨粒，这极 大限制了铁谱技术的广泛应用。
4.cn110223299b，一种基于沉积过程的磨粒分割方法，包括：对在线可视铁 谱所获得的磨粒沉积过程视频进行分解，获得每个时刻的磨粒链图像；将获得 的每个时刻的磨粒链沉积图像中的磨粒链分割出来，得到磨粒链图块；利用最 近邻域法对磨粒每个时刻的磨粒链图块进行匹配，获得磨粒链的沉积变化过程； 根据磨粒沉积链的长度变化来去除冗余的磨粒图块；对磨粒链图块采取每一列 像素值分别相加，对相邻时刻的磨粒链图块的像素值之和相减，匹配相邻磨粒 链图块相同部分；对新沉积的磨粒运用距离变换生成标记，运用标记分水岭进 行分割，获得磨粒的分割图像；本发明能够准确地分割出磨粒沉积链中的磨粒， 对实现在线铁谱图像分析技术的智能化和自动化具有重要意义。在磨粒链堆积 问题上，磨粒在沉积时有可能并没有增加在磨粒链的两端，而是从磨粒链的上 下方向进行沉积，该专利所描述的方法就无法从上下端沉积下来的磨粒进行单 独的标记，就会造成欠分割的现象。在磨粒沉积的过程中，磨粒链的缓慢运动 造成两条磨粒链堆叠到一起，再进行专利所提到的方法进行磨粒链的匹配就会 存在错误现象，无法匹配上后续沉积的磨粒链，同样无法完成对磨粒链的分割。 而本专利所提到的方法则没有方向上的限制，也不会因为两条磨粒链堆叠无法 分割。
5.cn111832608a，一种基于单阶段检测模型yolov3的铁谱图像多磨粒识 别方法。本发明提供的铁谱图像多磨粒识别方法，首先对yolov3模型主干网 络进行改进，包括添加空间金字塔池化模块，将原始yolov3模型的iou损失 函数更换为giou损失函数，拓展yolo层尺度等，通过对yolov3主干网络的 改进，有效克服了铁谱磨粒识别过程中，相似磨粒的识
别率低、小颗粒磨粒 的漏检率高等问题。本发明提供的铁谱图像多磨粒识别方法还通过融合模型 的bn层与卷积层，简化网络结构，限制添加模块带来的额外计算量，保障 yolov3模型最低检测速度的实时性。通过本发明提供的铁谱图像多磨粒识别 方法，只需将多磨粒图片输入训练好的模块，即可得到智能化的识别结果， 无需更多人工操作，实现了智能化识别。该专利能够做到磨粒链进行初步的分 割，同一区域内如果存在多个预测框，多个目标的堆叠，识别效果同样不好。 本专利的方法在通过目标检测网络获取检测物体的位置信息的基础上，通过获 取的位置区域信息进行标记分水岭算法分割，能够做到更为细致的分割。能够 获取磨粒的边界信息，对于油液监测磨粒的边界信息能够反映及机器运转状况。


技术实现要素：

6.本发明旨在解决以上现有技术的问题。提出了一种铁谱图像磨粒链生长过程 的分割方法。本发明的技术方案如下：
7.一种铁谱图像磨粒链生长过程的分割方法，其包括以下步骤：
8.s1、获取铁谱视频图像，并进行筛选；将训练图片输入目标检测模型，训 练磨粒目标检测模型；
9.s2、将待预测铁谱图像输入训练好的磨粒目标检测模型，获取待预测图片 中物体位置信息和类别信息；
10.s3、对预测过的图像后所得到的坐标位置信息进行处理，铁谱图像采用改 进的标记分水岭分割算法进行图像分割，将粘连在一起的磨粒链分割为单个磨 粒，改进的标记分水岭分割算法改进在于，分水岭分割算法适用于提取图片中 的相邻或者重叠对象。灰度图像可以看作一个地形表面，高峰代表高强度，山 谷代表低强度。图像中存在噪声和其他异常，会对图像的分割结果产生不好的 影响。本方法的对一般的标记分水岭的改进就在于标记上，尽可能的放大标记， 这样最后的分割误差受之前的噪声等干扰就小了，根据分割结果来判断机械磨 损情况，在对铁谱视频图像进行逐帧差分的时候，我们是可以获取到整个磨粒 链生长过程中每个磨粒的堆叠顺序，根据这个顺序和最后的分割结果进行比较， 就可以判断分割效果。
11.进一步的，所述步骤s1具体包括以下步骤：
12.通过摄像头采集铁谱视频图像；将采集的铁谱视频图像逐帧拆分成图片， 对拆分图片进行筛选，保留质量好、干扰少的铁谱图像图片；使用标注软件 labelimg通过在线可视铁谱图像视频分解获得每帧磨粒链变化图，根据磨粒链的 长度变化获取磨粒链的沉积变化顺序，对铁谱图像图片按照沉积变化顺序进行 标记，标记的类别为debris、chain、bubble，debris、chain、bubble分别表示油 液中的磨粒、磨粒链、水泡，只是做一个类别区分数据集的格式的制作方式采 用voc格式，而后将铁谱图像图片数据划分为训练集、验证集和测试集，样本 图像的话就是先前采集的铁谱视频图像逐帧差分获取的，通过先前的labelimg 对图片进行标注制作而来，是包含铁谱图像图片中磨粒真实框的位置尺寸信息、 置信度和目标类别；而后将数据集中的训练集送入目标检测网络模型进行训练。
13.进一步的，所述步骤s1的磨粒目标检测模型采用yolov4模型。
14.进一步的，所述步骤s2中，将待检测铁谱图像输入磨粒目标检测模型后， 通过非极大值抑制方法剔除所述目标检测模型输出的重复的预测框，得到对所 述待检测图像中
的磨粒链的检测结果，磨粒链的检测结果包括预测框位置尺寸 信息、置信度和目标类别。
15.进一步的，所述通过非极大值抑制方法剔除所述目标检测模型输出的重复 的预测框，具体包括：
16.非极大值抑制方法的步骤在目标检测过程中，同一位置上会产生大量的候 选框，这些候选框会发生一定程度上的重合，因此需要利用非极大值抑制找出 最佳的目标边界框，消除冗余的边界框。1.首先是根据置信度进行排序；2.置信 度最高的比边界框添加到最终输出列表中，将其从边界框列表中删除；3.计算所 有边界框的面积；4.计算置信度最高的边界框与其他候选框的iou；5.删除iou 大于阈值的边界框,直到边界框列表为空。iou:两个边界框的交集部分除以它们 的并集部分，数值越大代表两个边界框的重合部分越多。阈值：目标边界框列 表及其对应的置信度得分列表，设定iou阈值，此阈值用于删除重叠较大的边 界框。
17.进一步的，所述步骤s3改进的标记分水岭分割算法具体为：
18.s41、根据预测结果的坐标信息，绘制检测物体坐标的中心点；对预测结果 中坐标信息中存在交汇的区域进行抹除，寻找阈值对图像二值化，而后采取进 行形态学开闭运算，消除二值化图像中的噪声；最后将绘制物体坐标的中心点 和交汇区域抹除的图像相加，作为标记图像；
19.s42、将标记图像和输入的预测图像送入分水岭算法，完成对磨粒链图像的 分割。
20.进一步的，所述分水岭算法具体包括以下步骤：
21.计算影像梯度，通过影像梯度获取梯度值较小的区域作为集水点，并通过把 方向寻找，获取同一集水点所有像素并把不同集水点像素进行编号，得到集水 区域。遍历所有集水区域，获取集水区域的边界。其中，对集水区域的边界像 素进行判断，检测是否能够被淹没，然后重新计算集水区域和区域的边界像素， 两两集水区域的边界为分水岭。
22.本发明的优点及有益效果如下：
23.本发明提供一种铁谱图像磨粒链生长过程的分割方法。本方法可以准确地 标记磨粒链中的每个磨粒，将磨粒标记和背景标记的磨粒链运用标记分水岭算 法分割，准确将磨粒链分割出，解决了磨粒链分割中的过分割和欠分割问题。
24.相对比一般目标检测网络，能够进行更加的精细分割，通过目标检测网络的 物体预测区域信息进行进一步的利用是不容易想到的，能够对磨粒链进行更精 确的分割。
附图说明
25.图1是本发明提供优选实施例一种铁谱图像磨粒链生长过程的分割方法的 步骤图；
26.图2为送入yolov4网络模型预测的图片；
27.图3为预测结果图；
28.图4为中心点标记图；
29.图5为预测目标公共交汇区域抹除的图像；
30.图6为铁谱图像分割结果图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
32.本发明解决上述技术问题的技术方案是：
33.参照图1，本实施例提供一种铁谱图像磨粒链生长过程的分割方法，包括以 下步骤：
34.(1)通过摄像头采集铁谱图像图片。将采集的铁谱图像图片进行筛选，保留 质量好、干扰少的铁谱图像图片。使用标注软件labelimg通过在线图像可是铁 谱视频分解获得每帧磨粒链变化图，根据磨粒链的长度变化获取磨粒链的沉积 变化顺序，对铁谱图像图片按照沉积变化顺序进行标记，标记的类别为debris、 chain、bubble，数据集的格式的制作方式采用voc格式，而后将铁谱图像图片 数据划分为训练集、验证集和测试集。
35.(2)将训练集输入，训练磨粒目标检测模型。选取最优的yolov4模型输出 目标识别结果。
36.(3)如图3所示，将选取的待检测铁谱图像送入所述目标检测模型后，通过 非极大值抑制方法剔除所述目标检测模型输出的重复的预测框。如图3，得到对 所述待检测图像中的磨粒链的检测结果包括预测框位置尺寸信息、置信度和目 标类别。
37.实施例2
38.本发明提供一种使用改进的标记分水岭分割算法，对铁谱图像中的磨粒链 进行分割，包括以下步骤：
39.s1、如图5～6所示，根据预测结果的坐标信息，绘制检测物体坐标的中心 点。对预测结果中坐标信息中存在交汇区域进行抹除，寻找合适的阈值对图像 二值化，而后采取进行形态学开闭运算，消除二值化图像中的噪声。最后将绘 制物体坐标的中心点和交汇区域抹除的图像相加，作为前景图像；
40.s2、将标记图像和输入测预测图像进行送入分水岭算法，标记分水岭算法 根据标记得到的先验知识，完成对磨粒链图像的分割。分割出铁谱图像中磨粒 链的各个磨粒。
41.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实 体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。 具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、 智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制 台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
42.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅 包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过 程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包 括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者 设备中还存在另外的相同要素。
43.以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。