清扫车清扫刷运行防护方法与流程

1.本发明涉及清扫车调节领域，具体涉及清扫车清扫刷运行防护方法。


背景技术：

2.清扫车是集路面清扫、垃圾回收和运输为一体的新型高效清扫设备之一，它是一种适合工厂、公路、公园、广场等路面全方位清扫工作的车型设备。可一次完成地面清扫、马路道牙边清扫、马路道牙清洗及清扫后对地面的洒水等工作，适用于各种气候和不同干燥路面的清扫作业。现有技术中，通过视觉系统获取垃圾的图像和位置信息，利用垃圾位置信息控制清扫车的工作路径和清扫侧刷的运行状态。现有技术中存在的问题在于：利用视觉系统仅关注垃圾的图像信息和位置信息，实现对垃圾的定位清扫，但是在复杂多样化的路况下，垃圾所处位置的路面特征信息以及清扫侧刷在工作过程中的状态特征信息同样重要，在清扫路面时， 根据路面状况对清扫侧刷进行控制调节有利于清扫侧刷的运行防护，能够提高清扫侧刷的工作寿命。


技术实现要素：

3.为了解决现有方法中存在的无法对运行中的清扫侧刷进行防护的问题，本发明的目的在于提供一种清扫车清扫刷运行防护方法，所采用的技术方案具体如下：本发明提供了一种清扫车清扫刷运行防护方法,该方法包括以下步骤：采集模拟过程中的目标区域图像，利用语义分割网络得到清扫侧刷的图像和路面区域的图像；将所述清扫侧刷的图像划分为设定个数的区域图像；根据各区域中像素点的灰度梯度大小和灰度梯度方向，得到各区域对应的超像素块；根据各区域对应的各超像素块的主成分方向和各超像素块中像素点的灰度梯度大小，计算各区域的形变程度指标；根据各区域的形变程度指标，计算清扫侧刷的形变程度指标；获取路面区域图像中路面异常区域对应的图像，对所述路面异常区域对应的图像进行处理，得到路面异常区域对应的灰度图像；根据所述灰度图像中像素点的灰度值，计算路面的凸起程度指标；构建路面的凸起程度指标与清扫侧刷的形变程度指标的关系模型；实时采集路面图像，利用所述关系模型预测清扫侧刷的形变程度指标，根据预测的形变程度指标，调节清扫侧刷的工作高度。
4.优选的，所述根据各区域对应的各超像素块的主成分方向和各超像素块中像素点的灰度梯度大小，计算各区域的形变程度指标，包括：对于任一区域：根据该区域中各超像素块的主成分方向和各超像素块未发生形变时的主成分方向，计算该区域中各超像素块的第一形变特征值；根据该区域中各超像素块中像素点的灰度梯度大小，计算该区域中各超像素块的第二形变特征值；
根据该区域中各超像素块的第一形变特征值和第二形变特征值，计算该区域的形变程度指标。
5.优选的，所述计算该区域的形变程度指标，包括：对于该区域中的任一超像素块：计算该超像素块的第一形变特征值和第二形变特征值之和，将所述第一形变特征值和第二形变特征值之和作为该超像素块的形变特征指标；根据该区域中各超像素块的形变特征指标，计算该区域的形变程度指标。
6.优选的，所述根据各区域中像素点的灰度梯度大小和灰度梯度方向，得到各区域对应的超像素块，包括：对于任一区域：以该区域的中心点为初始化种子点，根据种子点与其8邻域内像素点灰度梯度大小和灰度梯度方向，计算种子点与其8邻域内像素点的灰度梯度差异指标；判断所述灰度梯度差异指标是否小于设定阈值，若小于，则将对应像素点与种子点划分为同一超像素块；若大于等于，则判定对应像素点与种子点不属于同一超像素块。
7.优选的，采用如下公式计算种子点与其8邻域内像素点的灰度梯度差异指标：其中，为种子点与其8邻域内像素点的灰度梯度差异指标，为种子点的灰度梯度值，为种子点的8邻域内第k个像素点的灰度梯度值，为种子点的灰度梯度方向，为种子点的8邻域内第k个像素点的灰度梯度方向。
8.优选的，所述根据各区域的形变程度指标，计算清扫侧刷的形变程度指标，包括：判断各区域的形变程度指标是否大于设定阈值，若大于，则判定对应区域发生形变；若小于等于，则判定对应区域未发生形变；计算发生形变的区域的形变程度指标的均值，将所述均值作为清扫侧刷的形变程度指标。
9.优选的，所述对所述路面异常区域对应的图像进行处理，得到路面异常区域对应的灰度图像，包括：利用高斯核对路面异常区域的反射率图进行高斯卷积，得到对应的高斯卷积图像；根据所述高斯卷积图像和路面异常区域的图像，得到极坐标转换后的图像；对所述极坐标转换后的图像进行滤波处理，得到路面异常区域对应的灰度图像。
10.优选的，所述根据所述灰度图像中像素点的灰度值，计算路面的凸起程度指标，包括：判断所述灰度图像中像素点的灰度值是否大于灰度阈值，若大于，则判定对应像素点发生凸起；若小于等于，则判定对应像素点未发生凸起；计算凸起像素点的灰度值的均值，将所述均值作为路面的凸起程度指标。
11.本发明具有如下有益效果：本发明通过模拟过程得到路面的凸起程度指标与清扫
侧刷的形变程度指标的关系模型，在实际清扫过程中，利用模拟过程中得到的关系模型，预测当前路面图像对应的清扫侧刷的形变程度，根据预测的清扫侧刷的形变程度，调节清扫侧刷的工作高度。路面的凸起程度指标与清扫侧刷的形变程度指标的关系模型的具体获取过程为：首先将清扫侧刷的图像划分为设定个数的区域图像；根据各区域中像素点的灰度梯度大小和灰度梯度方向，得到各区域对应的超像素块；然后根据各区域对应的各超像素块的主成分方向和各超像素块中像素点的灰度梯度大小，计算清扫侧刷的形变程度指标；同时计算路面的凸起程度指标；根据清扫侧刷的形变程度指标和路面的凸起程度指标，构建路面的凸起程度指标与清扫侧刷的形变程度指标的关系模型。本发明根据得到的路面的凸起程度指标与清扫侧刷的形变程度指标的关系模型，预测路面图像对应的清扫侧刷的形变程度，根据预测的清扫侧刷的形变程度，调节清扫侧刷的工作高度，这样既能达到清扫路面的效果，又能对清扫侧刷进行防护，延长清扫侧刷的使用寿命。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
13.图1为本发明提供的一种清扫车清扫刷运行防护方法的流程图。
具体实施方式
14.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种清扫车清扫刷运行防护方法进行详细说明如下。
15.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
16.下面结合附图具体的说明本发明所提供的一种清扫车清扫刷运行防护方法的具体方案。
17.清扫车清扫刷运行防护方法实施例现有方法存在无法对运行中的清扫侧刷进行防护的问题。为了解决上述问题，本实施例提出了清扫车清扫刷运行防护方法，如图1所示，本实施例的清扫车清扫刷运行防护方法包括以下步骤：步骤s1，采集模拟过程中的目标区域图像，利用语义分割网络得到清扫侧刷的图像和路面区域的图像。
18.清扫车在清扫路面的过程中，如果清扫侧刷的角度固定不变，则面对路面复杂的情况，往往清洁效果不理想。当路面存在凸起时，清扫侧刷的角度固定情况下，可能会使清扫侧刷发生强烈形变，进而导致清扫侧刷的使用寿命和后续清扫能力大大下降。因此本实施例结合清扫侧刷自身的形变特征和路面特征进行关联分析，获取清扫侧刷的形变与路面状况的关系，有助于清扫侧刷在多个自由度下的运行防护调节，保证清扫侧刷能够随时贴紧路面，又能够避让路面上的障碍物。
19.本实施例先通过模拟过程得到路面的凸起程度指标与清扫侧刷的形变程度指标的关系模型，后续在实际清扫过程中，根据模拟过程中得到的关系模型，预测清扫侧刷的形变程度，根据预测得到的清扫侧刷的形变程度，调节清扫侧刷的高度，以达到对清扫侧刷的运行防护的目的。
20.利用相机采集模拟过程中目标区域图像，目标区域图像包含清扫侧刷图像和路面图像。对目标区域图像进行灰度化处理，并进行图像矫正，排除因相机视角引起的图像畸变，提高后续超像素分割的分割精度。本实施例中图像灰度化采用平均灰度化，图像矫正采用图像透射变换，平均灰度化和透射变换为图像处理惯用技术，不再详细赘述。
21.本实施例利用语义分割网络获取目标区域图像中的清扫侧刷图像和路面图像。具体的，利用多张图像对语义分割网络进行训练，将清扫侧刷图像中的像素点标注为1，路面区域图像中的像素点标注为2，其他区域像素点标注为0，利用标注好的图像对语义分割网络进行训练，具体的训练过程为公知技术，此处不再赘述，语义分割网络损失函数为：交叉熵损失函数。将目标区域图像输入到训练好的语义分割网络中，网络输出为清扫侧刷的图像和路面区域的图像，清扫侧刷的图像和路面区域的图像均为灰度图像。
22.步骤s2，将所述清扫侧刷的图像划分为设定个数的区域图像；根据各区域中像素点的灰度梯度大小和灰度梯度方向，得到各区域对应的超像素块；根据各区域对应的各超像素块的主成分方向和各超像素块中像素点的灰度梯度大小，计算各区域的形变程度指标；根据各区域的形变程度指标，计算清扫侧刷的形变程度指标。
23.本实施例对步骤s1得到的清扫侧刷的图像进行平均分割，由于清扫侧刷正常情况下为圆形，本实施例平均分割的方式为：以清扫侧刷中心点为圆心，将清扫侧刷图像平均分割为18个扇形分割区域，在具体应用中，清扫侧刷图像的分割数量根据具体情况进行设置。然后对于每个扇形分割区域：计算该区域中所有像素点的灰度梯度，灰度梯度包括大小和方向；将该扇形分割区域的中心点作为初始化种子点，获取种子点8邻域内的灰度梯度与种子点相似的像素点，具体的，根据灰度梯度差异度量模型计算种子点8邻域内的像素点与种子点的灰度梯度差异指标，所述灰度梯度差异度量模型为：其中，为种子点与其8邻域内的像素点的灰度梯度差异指标，为种子点的灰度梯度值，为种子点的8邻域内第k个像素点的灰度梯度值，为种子点的灰度梯度方向，为种子点的8邻域内第k个像素点的灰度梯度方向。
24.本实施例对灰度梯度差异指标进行归一化处理，设置差异指标阈值，判断种子点8邻域内各像素点与种子点的灰度梯度差异指标是否小于，若小于，则将对应像素点与种子点划分为同一超像素块，当种子点8邻域内的像素点的灰度梯度差异指标满足差异要求时，将对应像素点与种子点聚为同一超像素块后，继续以新聚入的像素点的8邻域范围内像素点的灰度梯度进行差异度量判断，直到不存在满足差异度量判断要求的相邻像素点为止；选取下一个种子点，选取步长为3（3个像素点），通过新的种子点与其8邻域范围内的像素点灰度梯度进行差异度量判断，直到完成对该扇形分割区域中所有的像素点的聚类，最
终得到多个超像素块。
25.接下来对每个超像素块内的所有像素点的灰度梯度方向进行主成分分析，具体的，对于任一超像素块：获取该超像素块内像素点的灰度梯度主成分方向，同时获取清扫侧刷中未发生形变时该超速块内像素点的灰度梯度主成分方向，根据该超像素块内像素点的灰度梯度主成分方向和未发生形变时该超速块内像素点的灰度梯度主成分方向，计算该超像素块的角度差异指标，即，该超像素块的角度差异指标越大，说明清扫侧刷中该超像素块发生形变的程度越大，本实施例将角度差异指标作为该超像素块的第一形变特征值。主成分分析方法为公知算法，此处不再赘述。
26.本实施例对每个超像素块进行纹理密度分析，具体的，对于任一超像素块：构建该超像素块内部相邻像素点间的纹理自相关模型，即：其中，为坐标的像素点的灰度梯度值，为坐标点在图像横坐标系上偏移的步长，为坐标点在图像横纵坐标系上偏移的步长。纹理自相关模型表征了超像素块内纹理的分布密度，的值越大，说明该超像素块内的灰度梯度变化越快；的值越小，说明该超像素块内的灰度梯度变化越慢，也即为超像素块内纹理分布密度较大。考虑到清扫侧刷发生形变之后，像素点的纹理特征较复杂，即的值会较大，本实施例将纹理分布密度作为该超像素块的第二形变特征值。
27.根据各超像素块的第一形变特征值和第二形变特征值，计算各区域清扫侧刷的形变特征指标，即：其中，为任一区域的形变特征指标，为该区域中第个超像素块的第一形变特征值，为该区域中第个超像素块的第二形变特征值，为该区域中超像素块的数量。
28.本实施例设置形变阈值，判断各区域的形变特征指标是否大于，若大于，则判定对应区域产生形变，的值越大，说明该区域形变程度越大；若小于等于，则判定对应区域未发生形变。然后计算发生形变的区域的形变程度指标的均值，将该均值作为清扫侧刷的形变程度指标，该均值越大，说明清扫侧刷的形变程度越严重。本实施例设置的值为
0.2，在具体应用中，的值根据具体情况进行设置。
29.步骤s3，获取路面区域图像中路面异常区域对应的图像，对所述路面异常区域对应的图像进行处理，得到路面异常区域对应的灰度图像；根据所述灰度图像中像素点的灰度值，计算路面的凸起程度指标；构建路面的凸起程度指标与清扫侧刷的形变程度指标的关系模型。
30.本实施例在该步骤中基于路面区域图像得到路面的特征信息，根据路面的特征信息和步骤s2中清扫侧刷的形变程度指标，构建路面凸起程度指标与清扫侧刷的形变程度指标的关系模型。
31.具体的，首先利用光度立体视觉算法获取路面区域图像的反射率图和梯度场图（hog图），然后根据马路区域图像的反射率图和hog图，得到路面异常区域图像反照率图和梯度场图（hog图），需要说明的是，路面异常区域图像的采集触发条件为：清扫侧刷的形变程度模型值满足形变阈值时，判定路面存在凸起异常区域，提取路面异常区域图像的反照率图和梯度场图（hog图）。然后利用核大小为的高斯核对路面异常区域的反射率图进行高斯卷积，得到高斯卷积图像；利用路面异常区域信息获取高斯卷积图像中对应的区域，对该区域的高斯卷积图像进行极坐标转换，得到极坐标转换后的图像；接着利用核大小为的单向均值滤波器对极坐标转换后的图像进行滤波处理，最终得到滤波后的灰度图像，像素点的灰度值表征路面的凸起程度。本实施例设置凸起程度阈值，对于滤波后的灰度图像任一灰度值大于的像素点：计算该像素点的灰度值与的差值，并将该差值作为该像素点的凸起程度指标；计算滤波后的灰度图像中所有灰度值大于的像素点的凸起程度指标的均值，将作为路面凸起程度指标。本实施例设置，在具体应用中，的值根据具体情况进行设定。光度立体视觉算法为公知算法，此处不再赘述。
32.本实施例根据路面凸起程度指标和清扫侧刷的形变程度指标，构建路面凸起程度指标与清扫侧刷形变程度指标的关系模型，该关系模型通过模拟数据拟合得到。
33.本实施例的以上步骤为清扫车的模拟工作过程，通过模拟得到路面凸起程度指标与清扫侧刷形变程度指标的关系模型，后续在实际清扫过程中，根据该关系模型判断清扫侧刷是否需要调节。
34.步骤s4，实时采集路面图像，利用所述关系模型预测清扫侧刷的形变程度指标，根据预测的形变程度指标，调节清扫侧刷的工作高度。本实施例在步骤s3中得到了路面凸起程度指标与清扫侧刷形变程度指标的关系模型，清扫侧刷在实际工作的过程中，实时采集路面图像，并通过步骤s3中得到路面凸起程度指标，然后利用路面凸起程度指标与清扫侧刷形变程度指标的关系模型，预测当前路面凸起程度对应的清扫侧刷的形变程度指标，接着根据预测的清扫侧刷的形变程度指标，对清扫侧刷的高度进行调节，若预测的清扫侧刷的形变程度指标较大，说明路面凸起程度较大，在清扫该区域时若清扫侧刷的高度调整的较低，可能会导致清扫侧刷发生严重形变，因此当预测的清扫侧刷的形变程度指标较大时，应适当地将清扫侧刷的高度调高些；若预测的清扫侧刷的形变程度指标较小，说明路面凸起程度较小，应适当地将清扫侧刷的高度调
低些，这样既能达到清扫路面的效果，又能对清扫侧刷进行防护，延长清扫侧刷的使用寿命。
35.需要说明的是，获取同一区域的路面图像时，可以从多角度进行采集，根据采集得到的多张图像得到路面的凸起程度指标，预测当前路面凸起程度对应的清扫侧刷的形变程度指标。
36.本实施例通过模拟过程得到路面的凸起程度指标与清扫侧刷的形变程度指标的关系模型，在实际清扫过程中，利用模拟过程中得到的关系模型，预测当前路面图像对应的清扫侧刷的形变程度，根据预测的清扫侧刷的形变程度，调节清扫侧刷的工作高度。路面的凸起程度指标与清扫侧刷的形变程度指标的关系模型的具体获取过程为：首先将清扫侧刷的图像划分为设定个数的区域图像；根据各区域中像素点的灰度梯度大小和灰度梯度方向，得到各区域对应的超像素块；然后根据各区域对应的各超像素块的主成分方向和各超像素块中像素点的灰度梯度大小，计算清扫侧刷的形变程度指标；同时计算路面的凸起程度指标；根据清扫侧刷的形变程度指标和路面的凸起程度指标，构建路面的凸起程度指标与清扫侧刷的形变程度指标的关系模型。本实施例根据得到的路面的凸起程度指标与清扫侧刷的形变程度指标的关系模型，预测路面图像对应的清扫侧刷的形变程度，根据预测的清扫侧刷的形变程度，调节清扫侧刷的工作高度，这样既能达到清扫路面的效果，又能对清扫侧刷进行防护，延长清扫侧刷的使用寿命。
37.需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。