一种快速清理地面积液的方法、装置、清扫车与流程

1.本发明涉及自动驾驶技术领域，特别涉及一种快速清理地面积液的方法、装置、清扫车。


背景技术：

2.目前，自动驾驶技术在地面车辆上的应用已逐渐成熟，自动驾驶技术具有高效、安全、可提高车辆使用寿命的特点。自动驾驶技术应用于清扫车，可替代司机，极大的增加清扫车的工作时长，保证清扫车能够持续维持区域环境的清洁。在大型商场或者地下停车场等场景中，经常会因行人手中饮料倾洒或者雨伞的雨水滴落导致地面出现不规则形状的积液。若积液长时间滞留在地面上，一方面会容易导致行人滑倒，另一方面容易被途径的行人踩踏后携带至其它区域，污染更多区域。
3.现有技术中缺少一种能够快速识别积液，并根据积液形状制定清扫路径，以快速清理地面积液的方法。


技术实现要素：

4.本发明实施例旨在提供一种快速清理地面积液的方法、装置以及清扫车，主要解决相关技术在地面积液无法得到快速及时的清理的技术问题。
5.为实现上述目的，按照本发明的一个方面，提供了一种快速清理地面积液的方法，包括：
6.获取清扫车行驶过程中采集的地面图像；
7.确定所述地面图像中存在积液，并获得所述积液的二维图像；
8.根据所述积液的二维图像，计算所述积液在世界坐标系中的位置和形状；
9.根据所述积液在世界坐标系中的位置和形状，计算出清理区域；
10.根据所述清理区域，确定清扫车的清扫路径，并沿所述清扫路径清理所述清理区域。
11.可选的，所述确定所述地面图像中存在积液，并获得存在积液的二维图像的步骤进一步包括：
12.根据所述地面图像以及分割模型，获取第一图像；
13.根据所述第一图像，获取至少一个备选对象；
14.根据所述备选对象及对象识别模型，确定所述第一图像中存在积液，并获得存在积液的二维图像。
15.可选的，所述根据所述积液在世界坐标系中的位置和形状，计算出清理区域的步骤进一步包括：
16.根据所述积液的形状，获取所述积液的外轮廓；
17.根据所述积液的外轮廓，计算出完全覆盖所述积液的最小圆；
18.根据所述最小圆，得到清理区域。
19.按照本发明的另一方面，提供了一种快速清理地面积液的装置，包括：
20.获取模块，用于获取清扫车行驶过程中采集的地面图像；
21.确定模块，用于确定所述地面图像中存在积液，并获得存在积液的二维图像；
22.第一计算模块，用于根据所述存在积液的二维图像，计算所述积液在世界坐标系中的位置和形状；
23.第二计算模块，用于根据所述积液在世界坐标系中的位置和形状，计算出清理区域。
24.可选的，所述确定模块具体包括：
25.第一获取单元，用于根据所述地面图像以及分割模型，获取第一图像；
26.第二获取单元，用于根据所述第一图像，获取至少一个备选对象；
27.确定单元，据所述备选对象及对象识别模型，确定所述第一图像中存在积液，并获得存在积液的二维图像。
28.可选的，所述第二计算模块具体包括
29.第三获取单元，用于根据所述积液的形状，获取所述积液的外轮廓；
30.计算单元，用于根据所述积液的外轮廓，计算出完全覆盖所述积液的最小圆；
31.得到单元，用于根据所述最小圆，得到清理区域。
32.按照本发明的又一方面，提供了一种清扫车，包括：
33.至少一个处理器；
34.与所述至少一个处理器通信连接的存储器；
35.其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述快速清理地面积液的方法中任一项所述的方法。
36.与现有技术相比较，本发明实施例提供的一种快速清理地面积液的方法，在按照预设清扫路线对待清扫区域进行清扫时，可以通过车载摄像头实时获取地面图像，若图像中存在积液，则根据积液的位置和形状，计算出能够快速清扫该积液的清扫路径，并快速完成积液的清理。通过上述方式，一方面可以避免行人滑倒，另一方面可避免积液污染其它区域。
附图说明
37.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
38.图1为本发明实施例提供一种快速清理地面积液的方法的流程图；
39.图2为图1中s120的子流程图；
40.图3为图1中s140的子流程图；
41.图4为清扫车在快速清理地面积液时清扫路径的示意图；
42.图5为本发明实施例提供的一种快速清理地面积液的装置的结构示意图；
43.图6为图5中确定模块的结构示意图；
44.图7为图5中第二计算模块的结构示意图；
45.图8为本发明另一实施例提供的清扫车的结构框图。
具体实施方式
46.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
47.需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互组合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块的划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置示意图中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
48.此外，下面所描述的本发明不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
49.本发明实施例提供了一种快速清理地面积液的方法可以应用于清扫车。其中，清扫车可以是无人驾驶清扫车，可以自动清扫路上的垃圾，可以自动绕开障碍、自动驾驶、自动掉头、自动过红绿灯、自动停车等，并且，可以清扫的区域如地下停车场、室内游乐场或者大型室内商城等。
50.请参阅图1，本发明实施例提供一种快速清理地面积液的方法，所述方法可由清扫车执行，包括如下步骤：
51.s110、获取清扫车行驶过程中采集的地面图像。
52.具体的，利用车载摄像头采集车辆行驶过程中的地面视频。从拍摄获得的视频中提取图像，可以对每帧图像进行提取，也可以每间隔多帧提取一次图像。
53.s120、确定所述地面图像中存在积液，并获得所述积液的二维图像。
54.如图2所示，其示出了s120的子流程具体包括：
55.s121、根据所述地面图像以及分割模型，获取第一图像。
56.具体的，分割模型为基于深度学习方法训练的能够将道路、车辆、行人、建筑物及道路中的障碍物(包括积液)等图片的各个封闭图像通过灰度图像进行分类表示的模型。将所述地面图像输入分割模型即可将所述地面图像中的不同物体进行分类表示。
57.上述步骤中采集的路面图像与分割模型的训练数据有一定差别，因此输入分割模型前需要对路面图像进行预处理，路面图像预处理包括降采样和灰度处理。对路面图像预处理可以匹配分割模型，同时提高处理速度。路面图像预处理后得到第二图像。
58.在一种具体的实现方式中，分割模型采用segnet模型，该segnet模型包括编码网络(encoder network)，解码网络(decoder network)和逐像素分类器(pixel
‑
wise classification layer)组成。segnet的新颖之处在于decoder阶段的上采样方式，具体来说，decoder时上采样使用了encoder阶段下采样的最大池化的索引(indices)。考虑到上采样是稀疏的，再配合滤波器产生分割后的第一图像。
59.具体的，encoder部分用于提取图像的特征，并将多个图像的特征进行融合或者拼接处理，decoder部分用于对融合或者拼接后的特征做空间分辨率放大、反卷积、上采样的操作以及输出带有预测任务的网络分支。将路面图像输入分割模型的encoder部分，经过encoder部分的处理得到路面图像的特征，并将所有获得的特征融合或者拼接，在decoder
部分将空间分辨率放大，进行反卷积和上采样，然后输出第一图像。
60.s122、根据所述第一图像，获取至少一个备选对象。
61.在本步骤中，通过对第一图形进行边缘提取，可获取第一图像对应的二值图像，根据二值图像可以获得备选对象，备选对象包括第一图像中识别出的每个物体。二值图像是指图像上的每一个像素只有两种可能的取值或灰度状态。像素不是黑就是白，其灰度值没有中间过渡的图像。
62.在一种具体实现方式中，使用边缘检测算法(canny)算子进行边缘信息提取，生成二值图像。canny边缘检测算子是一种多级检测算法，具有低错误率、最优定位及任意边缘只标记一次的特点。canny算法分为高斯模糊、计算梯度幅值和方向、非最大值抑制、双阀值及滞后边界跟踪五步。
63.s123、根据所述备选对象及对象识别模型，确定所述第一图像中存在积液，并获得所述积液的二维图像。
64.在本步骤中，对象识别模型为基于深度学习方法训练的模型。将在上述步骤中获取的若干备选对象所属的第一图像输入对象识别模型，确定备选对象中是否存在积水，若备选对象中存在积水的图像，则通过该积水的备选对象所属的第一图像确定该积水的位置。
65.在一种具体的实现方式中，对象识别模型采用深度学习网络squeezenet。squeezenet是han等提出的一种轻量且高效的卷积神经网络(cnn)模型，它参数比alexnet少50倍，但模型性能(accuracy)与alexnet接近。在可接受的性能下，小模型相比大模型，具有很多优势：(1)更高效的分布式训练，小模型参数小，网络通信量减少；(2)便于模型更新，模型小，客户端程序容易更新；(3)利于部署在特定硬件如fpga，因为其内存受限。算法会预先使用标注好的训练样本图片集通过squeezenet进行训练，生成对象识别模型。积水分析时，将上述步骤中获取的若干别选对象输入对象识别模型，训练好的对象识别模型会输出结果预测。
66.s130、根据所述积液的二维图像，计算所述积液在世界坐标系中的位置和形状。
67.具体的，利用存在积液的二维(second dimension，2d)图像，计算2d图像中的积液在在世界坐标系下的位置和形状。计算过程中，需要用到积液在相机坐标系下的地面方程，地面方程越准确，则最终确定出的积液在世界坐标系下的位置越准确。上述利用二维图像确定出积液在世界坐标系下的位置的过程也称之为回3d过程。
68.s140、根据所述积液在世界坐标系中的位置和形状，计算出清理区域。
69.如图3所示，其示出了s140的子流程具体包括：
70.s141、根据所述积液的形状，获取所述积液的外轮廓。
71.s142、根据所述积液的外轮廓，计算出完全覆盖所述积液的最小圆。
72.具体的，根据所述积液的外轮廓，计算出外轮廓上距离最大的两个点，以上述两个点连线的中点为圆心，两个点的距离为直径得到完全覆盖所述积液的最小圆。
73.在其它一些具体实现方式中，将所述积液的外轮廓视为若干点的集合，采用随机增量法，得到完全覆盖所述积液的最小圆。
74.s143、根据所述最小圆，得到清理区域。
75.具体的，根据积液在清扫时的扩散情况，得到扩散系数。所述最小圆的半径或者直
径乘以该扩散系数，得到直径大于所述最小圆的同心圆，该同心圆为清理区域。在本实施例中，所述扩散系数为1.5。
76.s150、根据所述清理区域，确定清扫车的清扫路径，并沿所述清扫路径清理所述清理区域。
77.如图4所示，由于所述清理区域为圆形，无人清扫车当前位置可视为一个点，计算经过无人清扫车当前位置，并与所述清理区域相切的直线，并以该直线得到清扫该清理区域的回环路径，待回环路径完成后，沿所述清扫区域的外沿得到沿边路径。所述清扫路径包括上述回环路径和沿边路径。
78.与现有技术相比较，本发明实施例提供的一种快速清理地面积液的方法，在按照预设清扫路线对待清扫区域进行清扫时，可以通过车载摄像头实时获取地面图像，若图像中存在积液，则根据积液的位置和形状，计算出能够快速清扫该积液的清扫路径，并快速完成积液的清理。通过上述方式，一方面可以避免行人滑倒，另一方面可避免积液流至其它区域。
79.要说明的是，在上述方法实施例中，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本技术实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
80.请参阅图5，本技术实施例提供一种快速清理地面积液的装置10，应用于清扫车，所述快速清理地面积液的装置10包括：
81.获取模块11，用于获取清扫车行驶过程中采集的地面图像。
82.确定模块12，用于确定所述地面图像中存在积液，并获得所述积液的二维图像。如图6所示，所述确定模块12具体包括第一获取单元121，用于根据所述地面图像以及分割模型，获取第一图像；第二获取单元122，用于根据所述第一图像，获取至少一个备选对象；确定单元123，据所述备选对象及对象识别模型，确定所述第一图像中存在积液，并获得所述积液的二维图像。
83.第一计算模块13，用于根据所述积液的二维图像，计算所述积液在世界坐标系中的位置和形状。
84.第二计算模块14，用于根据所述积液在世界坐标系中的位置和形状，计算出清理区域。
85.可选的，如图7所示，所述第二计算模块14具体包括第三获取单元141，用于根据所述积液的形状，获取所述积液的外轮廓；计算单元142，用于根据所述积液的外轮廓，计算出完全覆盖所述积液的最小圆；得到单元143，用于根据所述最小圆，得到清理区域。
86.清理模块15，用于根据所述清理区域，确定清扫车的清扫路径，并沿所述清扫路径清理所述清理区域。
87.请参阅图8，本发明实施例提供了一种清扫车30，包括：至少一个处理器31，与所述至少一个处理器31通信连接的存储器32，和用于建立通信连接的通信模块33。
88.其中，所述存储器32存储有可被所述至少一个处理器31执行的指令，所述指令被所述至少一个处理器31执行，以使所述至少一个处理器能够执行上述方法实施例中任一项所述的方法，例如，执行以上描述的方法步骤s110、s120、s130、s140等等，实现图5中的模块11、12、13、14的功能。
89.所述处理器31、存储器32以及通信模块33之间通过总线的方式，建立任意两者之间的通信连接。
90.处理器31可以为任何类型，具备一个或者多个处理核心的控制芯片。其可以执行单线程或者多线程的操作，用于解析指令以执行获取数据、执行逻辑运算功能以及下发运算处理结果等操作。
91.存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的快速清理地面积液的方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而快速清理地面积液的装置10的各种功能应用以及数据处理，即实现上述任一方法实施例中快速清理地面积液的方法。
92.存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据快速清理地面积液的装置10的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至清扫车30。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
93.所述清扫车的其他部件可参照本领域现有技术中的清扫车。
94.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。