清扫车清扫刷角度自适应调整方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种清扫车清扫刷角度自适应调整方法。


背景技术：

2.现有的清扫车均是通过车架底部的清扫刷对垃圾进行清扫，大部分清扫车的清扫刷角度与高度固定，在面对复杂路况时，清扫刷可能会存在与地面接触不良或与障碍物碰撞的情况，此时会导致垃圾漏扫或清扫刷磨损，小部分清扫车的清扫刷角度与高度可调节，但需要操作人员根据经验判断路面状况，手动对清扫刷角度与高度进行调整。
3.然而路面情况比较复杂，不仅仅包括路面本身及垃圾这些路面特征，当路面出现坑洼、障碍物特征时，由于手动调整依赖于驾驶员的观察能力与反应速度，出现坑洼特征时可能会导致垃圾漏扫、出现障碍物特征时可能会导致清扫刷磨损。
4.因此，需要提供一种清扫车清扫刷角度自适应调整方法，予以解决上述问题。


技术实现要素：

5.发明提供一种清扫车清扫刷角度自适应调整方法，以解决现有的问题。
6.本发明的一种清扫车清扫刷角度自适应调整方法采用如下技术方案：该方法包括：获取多帧路面图像并将路面图像分割为多个相同尺寸的图像区域；获取每个图像区域内每个像素点与其他像素点的lab色差，根据lab色差获取每个像素点的在其邻域内的局部颜色异常程度、每个像素点的在图像区域内的整体颜色异常程度；根据整体颜色异常程度和局部颜色异常程度计算每个像素点的关注度，根据关注度确定每个图像区域内的初始种子点；根据初始种子点对路面图像进行超像素分割得到多个超像素，根据每个超像素的尺寸及预设的尺寸阈值获取多个超像素中的小尺寸超像素；获取小尺寸超像素在后一帧路面图像对应的目标超像素，根据获取图像区域内像素点的整体颜色异常程度的步骤获取小尺寸超像素、目标超像素在其8邻域内对应的最终颜色异常程度，获取小尺寸超像素与目标超像素的目标lab色差，根据两个最终颜色异常程度、小尺寸超像素及目标超像素内像素点个数、目标lab色差计算小尺寸超像素的异常率；根据异常率与预设的异常率阈值对小尺寸超像素进行重新分配得到最终超像素图像；根据每一帧路面图像对应的最终超像素图像获取每个超像素对应的路面特征类别及置信度，根据相邻两帧路面图像对应的最终超像素图像中相对应的超像素的路面特征类别及置信度控制清扫刷进行调整。
7.进一步的，根据lab色差获取每个像素点的在其邻域内的局部颜色异常程度、每个
像素点的在图像区域内的整体颜色异常程度的步骤包括：获取每个像素点的邻域内像素点的个数、图像区域内像素点的总数；根据每个像素点的邻域内像素点的个数及该像素点与其邻域内其他像素点的lab色差获取局部颜色异常程度；根据图像区域内像素点的总数及该像素点与图像区域内其他像素点的lab色差获取整体颜色异常程度。
8.进一步的，获取每个像素点的邻域内像素点的个数的步骤包括：在lab图像上建立坐标系；获取每个图像区域的中心点纵坐标；去除所有中心点中纵坐标重复的纵坐标，并对去重后的纵坐标排序得到每个图像区域的中心点纵坐标对应的序号；根据序号利用下式（1）获取对应图像区域内每个像素点的邻域内像素点的个数：
ꢀꢀꢀꢀ
（1）其中，表示第个区域内某个像素点的邻域内像素点的个数，表示第个区域中心点的纵坐标对应的序号；表示第个区域内像素点的总数。
9.进一步的，获取每个图像区域内每个像素点与其他像素点的lab色差的步骤包括：获取图像区域内每个像素点的亮度值；获取图像区域内每个像素点对应的通道值；根据图像区域内每个像素点的亮度值及每个像素点对应的通道值计算像素点与其他像素点的lab色差。
10.进一步的，根据关注度确定每个图像区域内的初始种子点的步骤包括：根据每个图像区域内每个像素点的关注度建立关注度图；获取关注度图中每个峰值对应的像素点；将每个峰值对应的像素点作为该图像区域的初始种子点。
11.进一步的，根据初始种子点对路面图像进行超像素分割得到多个超像素的步骤包括：计算每个像素点到每个初始种子点的距离；获取最小距离对应的初始种子点为该像素点的聚类中心，并得到一个聚类，每个聚类即为一个超像素；计算每个超像素内所有像素点的坐标重心，将坐标重心作为该超像素的新种子点，根据新种子点获取新的聚类，直至聚类中心不再发生变动，则这时的聚类即为分割后的超像素。
12.进一步的，根据异常率与预设的异常率阈值对小尺寸超像素进行重新分配得到最终超像素图像的步骤包括：当异常率小于预设的异常率阈值时，将该小尺寸超像素重新分配给邻近的超像素；
当异常率大于预设的异常率阈值时，将该小尺寸超像素保留，不进行分配；根据分配合后的小尺寸超像素和保留的小尺寸超像素得到最终超像素图像。
13.进一步的，获取小尺寸超像素与目标超像素的目标lab色差的步骤包括：分别获取小尺寸超像素、目标超像素内所有像素点的通道值的均值、所有像素点的亮度值的均值；将小尺寸超像素、目标超像素对应的通道值的均值作为小尺寸超像素、目标超像素的通道值；将小尺寸超像素、目标超像素对应的亮度值的均值作为小尺寸超像素、目标超像素的亮度值；根据小尺寸超像素、目标超像素对应的通道值、亮度值计算小尺寸超像素与目标超像素的目标lab色差。
14.进一步的，根据每一帧路面图像对应的最终超像素图像获取每个超像素对应的路面特征类别及置信度的步骤包括：构建神经网络；对神经网络进行训练，每一帧路面图像作为神经网络的输入，每一帧路面图像对应的最终超像素图像中的超像素的路面特征类别及路面特征类别的置信度作为神经网络的输出，得到训练好的神经网络；将相邻两帧路面图像分别输入训练好的神经网络，得到相邻两帧路面图像对应的超像素的路面特征类别、每个路面特征类别的置信度。
15.进一步的，根据相邻两帧路面图像对应的最终超像素图像中相对应的超像素的路面特征类别及置信度控制清扫刷进行调整的步骤包括：若相邻两帧路面图像的最终超像素图像中相对应的两个超像素的路面特征类别一致，则该路面特征类别即为该超像素的最终路面特征类别；若相邻两帧路面图像的最终超像素图像中相对应的两个超像素的路面特征类别不一致，则选择两个路面特征类别中置信度大的超像素对应的路面特征类别作为该超像素的最终路面特征类别；当最终路面特征类别为垃圾路面特征类别时，则根据垃圾的位置，调整清扫刷的高度、角度；当最终路面特征类别为坑洼路面特征类别时，则根据坑洼的位置，降低清扫刷的高度；当最终路面特征类别为障碍物路面特征类别时，则根据障碍物的位置，升高清扫刷的高度。
16.本发明的有益效果是：本发明的一种清扫车清扫刷角度自适应调整方法，通过获取像素点的关注度获取初始种子点，根据初始种子点进行超像素分割，然后在结合不同帧路面图像对应路面特征对超像素分割后的超像素进行重新分配，以便能够将路面图像上的路面特征与路面图像其他特征分类，进而实现对路面特征类别准确识别，从而精确实现对清扫刷的清扫角度及高度调整。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
18.图1为本发明的一种清扫车清扫刷角度自适应调整方法的实施例总体步骤的流程图；图2为实施例s2步骤中获取lab色差的流程图；图3为实施例s2步骤中获取局部颜色异常程度的流程图；图4为实施例s3步骤中获取初始种子点的流程图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.本发明的一种清扫车清扫刷角度自适应调整方法的实施例，如图1所示，该方法包括：s1、获取多帧路面图像并将路面图像分割为多个相同尺寸的图像区域，具体的，在清扫车车头位置安装相机，在清扫车行驶过程中拍摄清扫车前方路面图像，将路面图像转换为lab图像，将lab图像分割为多个相同尺寸的图像区域。
21.s2、获取每个图像区域内每个像素点与其他像素点的lab色差，根据lab色差获取每个像素点的在其邻域内的局部颜色异常程度、每个像素点的在图像区域内的整体颜色异常程度。
22.具体的，如图2所示，获取每个图像区域内每个像素点与其他像素点的lab色差的步骤包括：具体的，s211、获取图像区域内每个像素点的亮度值；s212、获取图像区域内每个像素点对应的通道值；s213、根据图像区域内每个像素点的亮度值及每个像素点对应的通道值计算像素点与其他像素点的lab色差，其中，根据图像区域内每个像素点的邻域内的像素点的亮度值及其邻域内像素点对应的通道值计算像素点与其邻域内其他像素点的lab色差。
23.具体的，如图3所示，根据lab色差获取每个像素点的在其邻域内的局部颜色异常程度的步骤包括：s221、在lab图像上建立坐标系；s222、获取每个图像区域的中心点的纵坐标；s223去除所有中心点中纵坐标重复的纵坐标，并对去除重复后的纵坐标排序得到每个图像区域的中心点纵坐标对应的序号；具体的，s224、根据每个图像区域的中心点纵坐标对应的序号获取对应图像区域内每个像素点的邻域内像素点的个数，具体的，根据序号利用下式（1）获取对应图像区域内每个像素点的邻域内像素点的个数：
ꢀꢀꢀꢀꢀꢀꢀ
（1）其中，表示第个区域内某个像素点的邻域内像素点的个数，表示第个区域中心点的纵坐标对应的序号；表示第个区域内像素点的总数；
表示第个区域的前区域中像素点邻域大小设为1，且第个区域内剩余区域像素点邻域大小以4为倍数递增。
24.s225、根据每个像素点的邻域内像素点的个数及像素点与其邻域内其他像素点的lab色差计算局部颜色异常程度，具体的根据下式（a）计算每个像素点的局部颜色异常程度：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（a）其中，表示第个区域内第个像素点的局部颜色异常程度；表示第个区域内第个像素点的邻域内像素点的个数；为第个区域内第个像素点的邻域内的第个像素点；为第个区域内第个像素点；为归一化系数；表示第个区域内第个像素点与其邻域内的第个像素点的lab色差，其中，获取lab色差根据图像区域内每个像素点邻域内的像素点的亮度值及每个像素点对应的通道值计算像素点与其邻域内其他像素点的lab色差，具体的，获取图像区域内每个像素点的亮度值，并获取图像区域内每个像素点对应的通道值；根据图像区域内每个像素点的亮度值及每个像素点对应的通道值计算像素点与其他像素点的lab色差，具体的，根据下式（a1）获取lab色差：
ꢀꢀꢀꢀꢀꢀ
（a1）其中，表示图像区域内像素点与其他像素点的lab色差；为像素点的亮度值；为像素点的亮度值；表示像素点在通道的通道值；表示像素点在通道的通道值；表示像素点在通道的通道值；表示像素点在通道的通道值，其中，获取每个图像区域内像素点与其邻域内其他像素点的lab色差也采用式（a1）。
25.根据lab色差获取每个像素点在图像区域内的整体颜色异常程度的步骤包括：根据下式（b）计算每个像素点的整体颜色异常程度；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（b）其中，为第个区域内像素点的总数；为第个区域内第个像素点；为第个区域内第个像素点；为归一化系数；表示第个区域内第个像素点与第个像素点的lab色差。
26.s3、现有超像素分割技术是根据超像素个数在图像内均匀分配种子，根据种子邻
域内像素点梯度值选择新种子作为初始种子点，避免种子点落在轮廓边界上，但由于距离清扫车较远的路面特征在路面图像中较小，使用该方法选择种子点会避开这些路面特征，从而导致这些路面异常与图像其他特征分割到同一个超像素块内，为避免这种情况出现，根据整体颜色异常程度和局部颜色异常程度计算每个像素点的关注度，根据关注度确定每个图像区域内的初始种子点。
27.具体的，根据下式（2）计算每个像素点的关注度：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中，表示第个区域内第个像素点的局部颜色异常程度；表示第个区域第个像素点的整体颜色异常程度。
28.如图4所示，根据关注度确定每个图像区域内的初始种子点的步骤包括：s31、根据每个图像区域内每个像素点的关注度建立关注度图；s32、获取关注度图中每个峰值对应的像素点；s33、将每个峰值对应的像素点作为该图像区域的初始种子点。
29.s4、根据初始种子点对路面图像进行超像素分割得到多个超像素，根据每个超像素的尺寸及预设的尺寸阈值获取多个超像素中的小尺寸超像素。
30.具体的，根据超像素分割方法的距离度量、迭代优化得到路面图像的多个超像素，计算每个像素点到每个初始种子点的距离，具体的，现有超像素分割是在一定搜索范围内，计算像素点到初始种子点的距离，距离包含颜色距离和空间距离，距离，代表颜色距离；代表空间距离；是类内最大空间距离，本方案中，为像素点个数，为分割区域的个数；为最大的颜色距离，通常取一个固定常数（取值范围[1,40]），由于距离清扫车较远的路面异常较小，因此，在距离度量中，空间距离的决定性要较小，颜色距离的决定性要较大，因此本方案将取1，使得在整体距离度量中，对于颜色距离更加敏感，然后获取最小距离对应的初始种子点为该像素点的聚类中心，并得到一个聚类，每个聚类即为一个超像素；计算每个超像素内所有像素点的坐标重心，将坐标重心作为该超像素的新种子点，根据新种子点获取新的聚类，直至聚类中心不再发生变动，则这时的聚类即为分割后的超像素。
[0031]
s5、获取小尺寸超像素在后一帧路面图像对应的目标超像素，根据获取图像区域内像素点的整体颜色异常程度的步骤获取小尺寸超像素、目标超像素在其8邻域内对应的最终颜色异常程度，获取小尺寸超像素与目标超像素的目标lab色差，根据两个最终颜色异常程度、小尺寸超像素及目标超像素内像素点个数、目标lab色差计算小尺寸超像素的异常率；具体的，根据获取图像区域内像素点的整体颜色异常程度的步骤获取小尺寸超像素、目标超像素在其8邻域内对应的最终颜色异常程度，其中，根据下式（d1）计算小尺寸超像素在其8邻域内的最终颜色异常程度：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（d1）其中，表示小尺寸超像素的最终颜色异常程度；为归一化系数；表示小尺寸超像素与其8邻域内的第个超像素的lab色差，为小尺寸超像素超像素8邻域内第个超像素。
[0032]
根据下式（d2）目标超像素在其8邻域内的最终颜色异常程度：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（d2）其中，表示目标超像素的最终颜色异常程度；为归一化系数；表示目标超像素与其8邻域内的第个超像素的lab色差，为目标超像素超像素8邻域内第个超像素。
[0033]
具体的，获取小尺寸超像素与目标超像素的目标lab色差的步骤包括：分别获取小尺寸超像素、目标超像素内所有像素点的通道值的均值、所有像素点的亮度值的均值；将小尺寸超像素、目标超像素对应的通道值的均值作为小尺寸超像素、目标超像素的通道值；将小尺寸超像素、目标超像素对应的亮度值的均值作为小尺寸超像素、目标超像素的亮度值；根据小尺寸超像素、目标超像素对应的通道值、亮度值计算小尺寸超像素与目标超像素的目标lab色差。
[0034]
根据两个最终颜色异常程度、小尺寸超像素及目标超像素内的像素点个数、目标lab色差计算小尺寸超像素的异常率的步骤包括：具体的，根据下式（3）计算异常率：
ꢀꢀꢀ
（3）其中，为小尺寸超像素中的像素点个数；为目标超像素中的像素点个数；表示小尺寸超像素的最终颜色异常程度；表示目标超像素的最终颜色异常程度；表示小尺寸超像素与目标超像素的目标lab色差；为小尺寸超像素与目标超像素的整体异常程度差异；用于将小尺寸超像素与目标超像素的整体异常程度差异进行负相关归一化，若小尺寸超像素与目标超像素整体异常程度基本一致，即整体异常程度差异越小，则小尺寸超像素与目标超像素为
同一特征的概率越大，此时根据获取小尺寸超像素的异常率越可信。
[0035]
s6、对于距离清扫车较远的路面特征，其在路面图像中较小，超像素分割可能将其与图像其他特征分割到同一个超像素块内，在后续结合超像素图像对路面异常识别的过程中，对于距离清扫车较远的路面异常识别不准确，若只对于距离清扫车近的路面异常进行识别，清扫车清扫刷角度可能来不及进行调整，根据异常率与预设的异常率阈值对小尺寸超像素进行重新分配得到最终超像素图像。
[0036]
具体的，当异常率小于预设的异常率阈值时，将该小尺寸超像素重新分配给邻近的超像素；当异常率大于预设的异常率阈值时，将该小尺寸超像素保留，不进行分配；根据分配合后的小尺寸超像素和保留的小尺寸超像素得到最终超像素图像。
[0037]
s7、根据每一帧路面图像对应的最终超像素图像获取每个超像素对应的路面特征类别及置信度，根据相邻两帧路面图像对应的最终超像素图像中相对应的超像素的路面特征类别及置信度控制清扫刷进行调整。
[0038]
具体的，根据每一帧路面图像对应的最终超像素图像获取每个超像素对应的路面特征类别及置信度的步骤包括：构建神经网络；对神经网络进行训练，每一帧路面图像作为神经网络的输入，每一帧路面图像对应的最终超像素图像中的超像素的路面特征类别及路面特征类别的置信度作为神经网络的输出，得到训练好的神经网络；其中，神经网络选择dnn网络，将需要分割的超像素分为4类，即标签标注过程为：选择单通道的语义标签，对应位置超像素属于垃圾路面特征类别的标注为1，属于坑洼路面特征类别的标注为2，属于障碍物路面特征类别的标注为3，属于路面及背景类的标注为0，网络的任务是分类，所以使用的loss函数为交叉熵损失函数，将相邻两帧路面图像分别输入训练好的神经网络，得到相邻两帧路面图像对应的超像素的路面特征类别、每个路面特征类别的置信度。
[0039]
具体的，根据相邻两帧路面图像对应的最终超像素图像中相对应超像素的路面特征类别及置信度控制清扫刷进行调整的步骤包括：若相邻两帧路面图像的最终超像素图像中相对应的两个超像素的路面特征类别一致，则该路面特征类别即为该超像素的最终路面特征类别；若相邻两帧路面图像的最终超像素图像中相对应的两个超像素的路面特征类别不一致，则选择两个路面特征类别中置信度大的超像素对应的路面特征类别作为该超像素的最终路面特征类别；当最终路面特征类别为垃圾路面特征类别时，则根据垃圾的位置，调整清扫刷的高度和角度，垃圾能够被清扫刷扫除；当最终路面特征类别为坑洼路面特征类别时，则根据坑洼的位置，降低清扫刷的高度，使得清扫刷能够对坑洼中的垃圾进行扫除；当最终路面特征类别为障碍物路面特征类别时，则根据障碍物的位置，升高清扫刷的高度，避免清扫刷与障碍物碰撞。
[0040]
综上所述，本发明提供一种清扫车清扫刷角度自适应调整方法，通过获取像素点的关注度获取初始种子点，根据初始种子点进行超像素分割，然后在结合不同帧路面图像对应路面特征对超像素分割后的超像素进行重新分配，以便能够将路面图像上的路面特征与路面图像其他特征分类，进而实现对路面特征类别准确识别，从而精确实现对清扫刷的清扫角度及高度调整。
[0041]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。