多传感器融合的扫地机器人运动避障方法、装置及机器人与流程

1.本发明涉及扫地机器人技术领域，尤其涉及一种基于多传感器融合检测的扫地机器人的运动避障方法、装置及扫地机器人。


背景技术：

2.扫地机器人，又称自动打扫机、智能吸尘、机器人吸尘器等，是智能家用电器的一种，能凭借一定的人工智能，自动在房间内完成地板清理工作。目前的扫地机器人方案，在扫地机器人识别障碍物时，通常只能识别是否有障碍物，而不能进一步的识别障碍物的大小、类别，无法针对不同的障碍物执行相应的避障操作，从而导致无法完全避开障碍物或者障碍物周围的区域没有打扫到。


技术实现要素：

3.基于此，有必要针对上述问题，提出了一种基于多传感器融合检测的扫地机器人的运动避障方法、装置及扫地机器人。
4.在本发明的第一部分，提供了一种基于多传感器融合检测的扫地机器人的运动避障方法，所述扫地机器人上设置有多个传感器，所述多个传感器至少包括2个传感器类型；所述方法包括：通过所述多个传感器中的至少一个传感器检测是否有障碍物，在检测到障碍物的情况下，通过所述多个传感器采集障碍物对应的传感器数据，其中，每一个传感器对应一组传感器数据；基于预设的特征融合算法，对多个传感器对应的传感器数据进行交叉融合处理，以获取融合之后目标传感数据；基于目标传感数据确定与障碍物对应的障碍参数，其中，所述障碍参数用于表征障碍物的特征，所述障碍物参数包括障碍物的大小、区域、类型、位置信息等；确定扫地机器人工作的地图以及第一规划路线，在检测到障碍物之前，所述扫地机器人基于第一规划路线进行运动；基于扫地机器人工作的地图以及第一规划路线以及障碍物对应的障碍参数，确定障碍物对第一规划路线的影响，其中，该影响包括障碍物在地图中的相对位置、以及基于障碍物的第一规划路线中的封闭路线；基于障碍物在地图中的相对位置、地图、第一规划路线以及封闭路线，对未运动的路线部分重新进行路线优化，以获取第二规划路线，根据第二规划路线控制扫地机器人进行运动，以使得扫地机器人在运动过程中可以避开障碍物的区域且可以完成对地图对应的区域的打扫。
5.可选的，所述基于预设的特征融合算法，对多个传感器对应的传感器数据进行交叉融合处理，以获取融合之后目标传感数据的步骤，还包括：分别对每个传感器对应的传感器数据进行筛选过滤处理，其中，对每组传感器数
据进行筛选过滤处理是基于与每个传感器对应的传感器类型进行的；分别将筛选过滤处理之后的传感器数据，分别输入与每一个传感器类型对应的第一卷积神经网络，以提取每组传感器数据对应的第一特征数据；将每个传感器对应的传感器数据和第一特征数据，输入与每一个传感器类型对应的第二卷积神经网络，以提取每组传感器数据对应的第二特征数据；基于预设的特征融合函数，对多个传感器对应的第一特征数据和第二特征数据进行交叉融合处理，以得到融合处理之后的目标传感数据。
6.可选的，所述基于预设的特征融合算法，对多个传感器对应的传感器数据进行交叉融合处理，以获取融合之后目标传感数据的步骤，还包括：根据传感器设置的位置，对多个传感器对应的传感器数据进行分组，将每一个分组作为一组传感器数据进行后续的特征提取和特征融合处理。
7.可选的，所述基于预设的特征融合函数，对多个传感器对应的第一特征数据和第二特征数据进行交叉融合处理，以得到融合处理之后的目标传感数据的步骤，还包括：提取第一特征数据和第二特征数据在预设的至少一个障碍物描述维度下的特征数据，以使得每个障碍物描述维度下包括至少一个特征数据；在每个障碍物描述维度下，计算其包含的至少一个特征数据之间的相似度；在相似度大于或等于预设的相似度阈值的情况下，对该障碍物描述维度下的特征数据进行去重处理和融合处理；在相似度小于预设的相似度阈值的情况下，根据至少一个特征数据构建障碍物描述维度下的相似度矩阵，其中，相似度矩阵包括了至少一个特征数据之间的相似度；基于相似度矩阵，对该障碍物描述维度下的特征数据进行融合处理，其中，进行融合处理的权重系数是根据相似度矩阵确定的。
8.可选的，所述基于目标传感数据确定与障碍物对应的障碍参数的步骤，还包括：将目标传感数据输入预设的第三卷积神经网络，获取所述障碍参数。
9.可选的，所述将目标传感数据输入预设的第三卷积神经网络，获取所述障碍参数的步骤，还包括：将目标传感数据、第一特征数据、第二特征数据输入第三卷积神经网络，获取第三卷积神经网络的输出作为所述障碍参数。
10.可选的，所述基于障碍物在地图中的相对位置、地图、第一规划路线以及封闭路线，对未运动的路线部分重新进行路线优化，以获取第二规划路线的步骤，还包括：对封闭路线所在的区域进行路线规划，以获取多条子路线；分别计算每一个子路线对应的第一消耗值，所述第一消耗值用于表示路线长度、运行时间根据第一消耗值在所述多条子路线中选择一条或多条子路线作为第一子路线；所述将第一子路线与所述第一规划路线中除封闭路线之外的其他路线进行路线融合，以获取第二规划路线的步骤，还包括：分别将多条第一子路线和第一规划路线进行结合，并计算结合所得到的结合路线的第二消耗值；将第二消耗值最小的结合路线作为第二规划路线。
11.可选的，所述将第一子路线与所述第一规划路线中除封闭路线之外的其他路线进行路线融合，以获取第二规划路线的步骤，还包括：获取规划第一规划路线时存储的至少一条第一备选规划路线，将封闭路线与每一条第一备选规划路线进行比较，计算封闭路线与第一备选规划路线之间的契合值，所述契合值用于表征封闭路线在第一备选规划路线中影响的路线的集中度；根据契合值在至少一条备选规划路线中确定至少一条第二备选规划路线；分别将多条第一子路线与至少一条第二备选规划路线进行结合，并计算结合之后的结合路线对应的第二消耗值，将第二消耗值最小的结合路线作为第二规划路线。
12.在本发明的第二部分，提供了一种基于多传感器融合检测的扫地机器人的运动避障装置，所述扫地机器人上设置有多个传感器，所述多个传感器至少包括2个传感器类型；所述装置包括：传感器数据监测模块，用于通过所述多个传感器中的至少一个传感器检测是否有障碍物，在检测到障碍物的情况下，通过所述多个传感器采集障碍物对应的传感器数据，其中，每一个传感器对应一组传感器数据；特征融合模块，用于基于预设的特征融合算法，对多个传感器对应的传感器数据进行交叉融合处理，以获取融合之后目标传感数据；障碍物计算模块，用于基于目标传感数据确定与障碍物对应的障碍参数，其中，所述障碍参数用于表征障碍物的特征，所述障碍物参数包括障碍物的大小、区域、类型、位置信息等；第一路线规划模块，用于确定扫地机器人工作的地图以及第一规划路线，在检测到障碍物之前，所述扫地机器人基于第一规划路线进行运动；封闭路线确定模块，用于基于扫地机器人工作的地图以及第一规划路线以及障碍物对应的障碍参数，确定障碍物对第一规划路线的影响，其中，该影响包括障碍物在地图中的相对位置、以及基于障碍物的第一规划路线中的封闭路线；第二路线规划模块，用于基于障碍物在地图中的相对位置、地图、第一规划路线以及封闭路线，对未运动的路线部分重新进行路线优化，以获取第二规划路线，根据第二规划路线控制扫地机器人进行运动，以使得扫地机器人在运动过程中可以避开障碍物的区域且可以完成对地图对应的区域的打扫。
13.在本发明的第三部分，提供了一种扫地机器人，所述扫地机器人包括存储器和处理器，所述存储器有可执行代码，当所述可执行代码在所述处理器上运行以实现如本发明的第一部分所述的基于多传感器融合检测的扫地机器人的运动避障方法。
14.采用本发明实施例，具有如下有益效果：采用了上述基于多传感器融合检测的扫地机器人的运动避障方法、装置及扫地机器人之后，通过所述多个传感器中的至少一个传感器检测是否有障碍物，在检测到障碍物的情况下，通过所述多个传感器采集障碍物对应的传感器数据，其中，每一个传感器对应一组传感器数据；基于预设的特征融合算法，对多个传感器对应的传感器数据进行交叉融合处理，以获取融合之后目标传感数据；基于目标传感数据确定与障碍物对应的障碍参数，其中，所述障碍参数用于表征障碍物的特征，所述障碍物参数包括障碍物的大小、区域、类型、
位置信息等；确定扫地机器人工作的地图以及第一规划路线，在检测到障碍物之前，所述扫地机器人基于第一规划路线进行运动；基于扫地机器人工作的地图以及第一规划路线以及障碍物对应的障碍参数，确定障碍物对第一规划路线的影响，其中，该影响包括障碍物在地图中的相对位置、以及基于障碍物的第一规划路线中的封闭路线；基于障碍物在地图中的相对位置、地图、第一规划路线以及封闭路线，对未运动的路线部分重新进行路线优化，以获取第二规划路线，根据第二规划路线控制扫地机器人进行运动，以使得扫地机器人在运动过程中可以避开障碍物的区域且可以完成对地图对应的区域的打扫。也就是说，通过部分传感器来检测是否存在障碍物，然后在检测到障碍物的情况下通过更多的传感器来采集障碍物更全面的信息，以使得障碍物信息的获取更加准确，并且，为了准确的计算障碍物的信息，对多个传感器采集到的传感器数据进行特征交叉融合处理，然后再计算障碍物对应的障碍参数，以提高障碍参数计算的准确性，从而提高后续基于障碍参数重新进行路线规划的准确性，以及基于重新规划的路线进行避障处理的准确性，提高扫地机器人的工作效率。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.其中：图1为一个实施例中一种基于多传感器融合检测的扫地机器人的运动避障方法的流程示意图；图2为一个实施例中特征提取及融合处理的流程示意图；图3为一个实施例中特征提取及融合处理的流程示意图；图4为一个实施例中一种基于多传感器融合检测的扫地机器人的运动避障装置的组成示意图；图5为一个实施例中运行上述基于多传感器融合检测的扫地机器人的运动避障方法的计算机设备的结构示意图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.在本实施例中，提出了一种基于多传感器融合检测的扫地机器人的运动避障方法，该方法的实现可以是基于一扫地机器人。
19.在本实施例中，为了避免扫地机器人与障碍物碰撞，导致机器受损，需要在扫地机器人上设置用于检测障碍物的传感器。其中，该扫地机器人上设置有多个传感器，这多个传感器用于检测障碍物。进一步的，在本实施例中，为了提高障碍物检测的准确性和全面性，
在扫地机器人上设置的多个传感器至少包括2个不同的传感器类型，也就是说，在本实施例中需要通过多个不同类型的传感器来一起检测障碍物，以加强对障碍物的检测。
20.进一步的，传感器设置于扫地机器人的各个方向，包括扫地机器人的行驶方向以及除行驶方向的其他方向，以确保扫地机器人在运动过程中对行驶方向以及行驶方向的其他方向（例如，行驶方向的两侧）可能碰撞上的障碍物进行检测，以使得扫地机器人在后续的运动过程中能有效避免碰撞上障碍物。
21.在一个具体的实施例中，上述多个传感器可以设置于扫地机器人的各个方位，具体设置方位在本实施例中不做限定。传感器的类型不限于两种，可以是多种，以用于从各个不同的传感器来获取障碍物的数据。例如，不同类型的传感器交叉设置于扫地机器人的各个方位，以尽可能全面的获取障碍物的数据，提高障碍物检测的全面性，以提高后续障碍物确定的准确性。
22.请参见图1，给出了一种基于多传感器融合检测的扫地机器人的运动避障方法的实施的流程示意图。其中，上述基于多传感器融合检测的扫地机器人的运动避障方法包括如图1所示的步骤s101
‑
s106：步骤s101：确定扫地机器人工作的地图以及第一规划路线，在检测到障碍物之前，所述扫地机器人基于第一规划路线进行运动。
23.在本实施例中，预先构建扫地机器人对应的地图，该地图是扫地机器人在扫地工作的过程中运动的区域，地图中包括了需要进行打扫的区域以及区域中间、外面的障碍区域；其中，地图的构建是在扫地机器人开始进行扫地工作过程中，通过设置在扫地机器人上的传感器来采集周围的环境数据构建的地图，例如，基于slam技术构建的地图。
24.对于构建完成的扫地机器人工作的地图需要进一步的规划扫地机器人在扫地过程中运动的路线，该路线为第一规划路线，在扫地机器人在第一规划路线的指示下，可以覆盖地图的所有区域，并且尽可能的减少扫地机器人的重复行驶路线以及整体时长，以获取最优的行驶路线作为第一规划路线。在扫地机器人进行工作的过程中，基于第一规划路线进行运动，以完成对地图对应的区域的打扫。
25.步骤s102：通过所述多个传感器中的至少一个传感器检测是否有障碍物，在检测到障碍物的情况下，通过所述多个传感器采集障碍物对应的传感器数据，其中，每一个传感器对应一组传感器数据。
26.在本实施例中，在扫地机器人基于第一规划路线进行运动并进行打扫的过程中，需要通过传感器来检测扫地机器人周围以及行驶方向上是否有障碍物，以避免碰撞上障碍物。其中，在还未检测到障碍物的情况下，并不需要扫地机器人上的所有传感器全部工作，可以仅控制所有传感器中的部分传感器工作，来检测是否存在障碍物。检测是否有障碍物的存在的这一动作的实现，可以仅需要部分传感器工作即可；但是，为了进一步的获取障碍物的全面的信息，可以进一步的控制更多的传感器（例如，全部传感器）工作。
27.具体实施中，在扫地机器人运动的过程中，例如，在根据预先规划好的路线进行运动，并对运动的路线对应的区域进行打扫的过程中，需要通过扫地机器人上设置的传感器来检测是否有障碍物。
28.在本步骤中，通过扫地机器人上的多个传感器中的一个或多个传感器来检测是否存在障碍物，并且，这里的一个或多个传感器为扫地机器人上设置的所有传感器中的部分
传感器，而不是全部传感器。
29.例如，通过扫地机器人上设置的距离传感器（例如，激光传感器或雷达传感器），检测传感器的检测方向上最近的物体与扫地机器人之间的距离，在该检测到的距离小于预设值的情况下，判定为存在障碍物。
30.在检测到障碍物的情况下，为了获取到障碍物更详细的信息，需要进一步的对该障碍物进行详细的检测，以获取障碍物更全面的信息。具体实施中，在检测到障碍物的情况下，通过更多的传感器来对障碍物的信息进行采集，具体通过扫地机器人上的多个传感器中的更多个传感器或者全部传感器来采集障碍物的信息，即每一个传感器均采集与障碍物对应的传感器数据，获取到的传感器数据表征了障碍物在某个维度或多个维度下的信息。
31.需要说明的是，在本实施例中，每一个传感器对应了一组传感器数据，并且，可以将相同类型的传感器的传感器数据划为一个大组，可以对相同类型的传感器下的数据进行合并处理。
32.步骤s103：基于预设的特征融合算法，对多个传感器对应的传感器数据进行交叉融合处理，以获取融合之后目标传感数据。
33.在步骤s102中，通过多个传感器采集了障碍物相关的传感器数据，这些传感器数据来自于不同类型的传感器、以及来自于扫地机器人的不同位置、不同方位来采集的数据，这些传感器数据可以从不同的角度来表征障碍物的情况，而这些传感器数据之间也会存在数据的重复、冗余以及相互之间的印证加强。
34.为了进一步的强调不同传感器采集到的传感器数据的障碍物的特征、以及降低噪声的影响，在本实施例中，需要对多个传感器的传感器数据进行进一步的处理，在本实施例，是对传感器数据进行特征融合处理，例如，对传感器数据对应的特征进行交叉融合处理，以获取融合之后的目标传感器数据，该进行融合处理之后的目标传感器数据中包含的障碍物的信息的特征会进一步加强、噪声也会进一步的降低，后续基于该目标传感器数据的障碍物信息的提取的准确率会更高。
35.在一个具体的实施例中，首先分别对每个传感器对应的传感器数据进行筛选过滤处理，用以过滤到传感器数据中的部分噪声数据；在另一个实施例中，还可以对传感器数据进行预处理，例如，去除重复值、去除数据缺失部分的数据等。为了提高对传感器数据进行筛选过滤处理、以及预处理的准确性，对每个传感器对应的传感器数据进行相应的处理时，具体如何进行处理可以是针对每一个传感器类型设置的，并且还可以是基于每一个传感器设置在扫地机器人上的位置进行设置的。
36.针对进行筛选过滤处理以及预处理之后的传感器，需要进一步的提取传感器数据对应的特征数据。具体的，先确定每一个传感器类型对应的特征提取模型，该特征提取模型可以是卷积神经网络。其中，因为不同的传感器类型检测到的传感器数据的特性不同，因此相应的进行特征提取的特征提取模型或卷积神经网络也不同，从而可以更准确的提取到每一组传感器数据的可以用来表征障碍物的相关情况的特征数据。
37.在另一个实施例中，还可以对传感器数据进行分组，然后后续的特征提取、特征融合否是基于这里的分组进行的。例如，根据传感器设置的位置对传感器数据进行分组，使得每一个分组下的传感器数据采集的是障碍物同一个方位的信息，而这个方位下的一个或多个传感器数据之间具有一定的相似度；再例如，根据传感器的类型对传感器数据进行分组，
使得同一个类型下的传感器数据在同一个。在其他实施例中，还可以是根据其他因素，对传感器数据进行分组，然后基于分组后的传感器数据进行特征提取、特征融合以及后续的障碍参数的计算，以提高障碍物计算的准确性。
38.在具体进行特征提取的过程中，可以分多步进行特征提取，以提高特征提取的全面性和准确性。
39.具体的，请参见图2，将每一组传感器数据分别输入与每一个传感器类型对应的第一卷积神经网络，以提取每组传感器数据对应的第一特征数据；然后将每个传感器对应的传感器数据和第一特征数据，输入与每一个传感器类型对应的第二卷积神经网络，以提取每组传感器数据对应的第二特征数据；最后基于预设的特征融合函数，对多个传感器对应的第一特征数据和第二特征数据进行交叉融合处理，以得到融合处理之后的目标传感数据。
40.也就是说，通过第一卷积神经网络对传感器数据进行第一次特征提取，获取与传感器数据对应的第一特征数据。
41.第二次特征数据的提取，不仅需要对传感器数据进行特征提取，需要同时对传感器数据以及之前进行第一次特征提取获取到的第一特征数据进行特征提取，具体实施中，将每个传感器对应的传感器数据和第一特征数据，输入与每一个传感器类型对应的第二卷积神经网络，以提取每组传感器数据对应的第二特征数据，从而完成对传感器数据的第二次特征提取。
42.在进行第二次特征提取之后，如图3所示，还可以进一步的对特征进行第三次、第四次特征提取，每一次特征提取需要将传感器数据以及之前的特征提取得到的所有的特征数据作为输入，通过卷积神经网络来提取相应的特征数据。
43.在进行两次或更多次的特征数据提取之后，需要对特征数据进行进一步的处理，以将多次进行特征提取得到的特征数据进行特征融合处理。在这里，对传感器数据提取到的特征数据进行融合处理。具体的，基于预设的特征融合函数，对多个传感器对应的第一特征数据和第二特征数据进行交叉融合处理，以得到融合处理之后的目标传感数据。
44.在一个具体的实施例中，针对每一个传感器得到的传感器数据，其中，，其中，n为传感器的数量。在本步骤中，针对n个传感器数据集合为，将每一个传感器数据分别输入到对应的第一卷积神经网络中，其中，以得到每一个传感器数据的第一特征数据，分别记为，因此，基于第一特征数据的特征集合为。
45.进一步的，针对n个传感器数据集合为，将每一个传感器数据以及第一特征数据的特征集合为分别输入到对应的第二卷积神经网络中，以得到每一个传感器数据的第二特征数据，分别记为，因此，基于第二特征数据的特征集合为。
46.针对每个第一/第二特征数据，将其与其他n个特征数据进行交叉融合处理（对特
征数据在预设维度上进行融合处理，所述融合处理包括所述融合处理包括维度拼接、矩阵加法、矩阵逐元素乘法、归一化等操作中的一个或多个），得到融合之后的第一特征数据和第二特征数据；然后对第一特征数据和第二特征数据进行进一步的融合处理，以得到所述目标传感数据。
47.具体操作中，通过如下公式进行计算：以得到融合之后的第一特征数据和第二特征数据，其对应的第一特征数据的集合为，第二特征数据集合为。其中，是对同一个特征通过不同的网络之后得到的新的特征进行处理的函数，该函数操作可以是concat或者是加法等操作，concat操作就是将特征按照某一个维度进行拼接；是对同一个网络中进行处理的函数，该函数操作可以是concat或者是加法等操作。
48.然后对融合之后的特征数据的集合和第二特征数据的集合进行进一步的融合处理，这里的融合处理操作可以是concat操作，还可以是加法操作。在一个具体的实施例中，可以将第一特征数据的集合和第二特征数据的集合合并成目标传感数据（feat）：在其他实施例中，对上述对特征的融合处理还可以是其他的融合处理方式，例如，加法融合，在这里不对融合处理的方式进行任何的限定，可以是按照任意的预设的融合算法进行交叉融合处理，以得到融合之后的特征。
49.在另一个实施例中，特征融合的处理还可以是通过如下特征融合方式进行的，其中，考虑了不同的特征数据所描述的障碍物的特性，并从障碍物的视角进行特征的融合。具体的，预设有多个障碍物描述维度，每一个特征数据中包含了一个或多个障碍物描述维度下的数据。例如，在包含了a个障碍物描述维度的情况下，对于任意一个特征数据来讲，其包含的特征数据可以是覆盖了所有a个障碍物描述维度下的特征数据，也可以仅包括了a个障碍物描述维度下的部分维度下的特征数据，还可以是未包含任何障碍物描述维度下的特征数据。
50.在本步骤中，对于第一特征数据和第二特征数据，需要将其划分成每一个障碍物描述维度下的特征数据，也就是说，提取第一特征数据和第二特征数据在预设的至少一个障碍物描述维度下的特征数据，以使得每个障碍物描述维度下包括至少一个特征数据。一个障碍物描述维度下的特征数据之间应该是相似的，因为其描述的是同一个障碍物的特
征，因此，在本步骤中，首先要在每个障碍物描述维度下，分别计算其包含的一个或多个特征数据之间的相似度。然后，根据相似度对该障碍物描述维度下包含的一个或多个特征数据进行融合处理。需要说明的是，在这里的融合处理，包括了筛选处理、去重处理以及数据融合处理。
51.具体的，对于两个特征数据，根据二者之间的相似度大小，确定对应的融合处理操作，并对这两个特征数据进行融合处理，以得到融合处理之后的特征数据。例如，在相似度大于或等于预设的相似度阈值的情况下，对该障碍物描述维度下的特征数据进行去重处理或融合处理。
52.再例如，在一个实施例中，如何在一个障碍物描述维度下，其包含的多个特征数据之间的相似度小于预设的相似度阈值的情况下，进一步根据至少一个特征数据构建障碍物描述维度下的相似度矩阵，其中，相似度矩阵包括了障碍物描述维度下多个特征数据之间的相似度。然后，基于相似度矩阵，对该障碍物描述维度下的特征数据进行融合处理，其中，进行融合处理的权重系数是根据相似度矩阵确定的。例具体的，根据相似度矩阵中与某一个特征数据对应的所有系数，然后根据这个系数来计算该特征数据对应的权重系数，例如，将所有系数进行求和以得到权重系数。然后对于所有特征数据，根据其对应的权重系数进行加权处理，以得到该障碍物描述维度下的融合之后的目标传感数据。
53.步骤s104：基于目标传感数据确定与障碍物对应的障碍参数，其中，所述障碍参数用于表征障碍物的特征，所述障碍物参数包括障碍物的大小、区域、类型、位置信息等。
54.在步骤s103中对传感器数据进行处理，以获取对应的目标传感数据之后，需要基于该得到的目标传感数据来具体确定障碍物对应的具体数据，具体的，与障碍物对应的障碍参数，用来描述表征障碍物的具体的特征描述，例如，障碍物的大小、区域、类型、位置信息等。具体实施中，可以是将目标传感数据输入到预设的卷积神经网络（例如，第三卷积神经网络），来获取第三卷积神经网络的输出作为障碍物的障碍参数。
55.在一个具体的实施例中，为了提高障碍参数计算的准确性，不仅需要考虑最终得到的目标传感数据，还需要考虑计算目标传感数据过程中的中间数据，以对目标传感数据进行补强，具体的，将目标传感数据、第一特征数据、第二特征数据输入第三卷积神经网络，获取第三卷积神经网络的输出作为所述障碍参数。
56.步骤s105：基于扫地机器人工作的地图以及第一规划路线以及障碍物对应的障碍参数，确定障碍物对第一规划路线的影响，其中，该影响包括障碍物在地图中的相对位置、以及基于障碍物的第一规划路线中的封闭路线。
57.在确定障碍物的障碍参数之后，需要进一步确认对已经规划好的第一规划路线的影响，例如，因为障碍物的存在会导致原来的第一规划路线中哪些路线无法继续进行行驶。具体的，根据障碍物的障碍参数，进一步的确定障碍物对第一规划路线的影响，其中，包括确定障碍物在地图中的相对位置，以及障碍物影响的第一规划路线中的封闭路线。其中，封闭路线为因为障碍物的影响导致第一规划路线中不能按照原来的路线进行运动的一条或多条子路线。
58.在一个具体的实施例中，根据障碍物的大小、区域以及位置信息，确定障碍物与第一规划路线之间的重叠区域，然后将重叠区域中的第一规划路线作为封闭路线；其中，封闭路线包括了第一规划路线中的一条或多条运动子路线。
59.步骤s106：基于障碍物在地图中的相对位置、地图、第一规划路线以及封闭路线，对未运动的路线部分重新进行路线优化，以获取第二规划路线，根据第二规划路线控制扫地机器人进行运动，以使得扫地机器人在运动过程中可以避开障碍物的区域且可以完成对地图对应的区域的打扫。
60.因为障碍物的影响，导致第一规划路线中有部分封闭路线无法进行运动，而封闭路线会影响原来的第一规划路线中的部分路线无法行驶，因此，需要重新对未打扫的区域重新进行路线规划，得到第二规划路线，然后基于第二规划路线来控制扫地机器人进行运动，其中，扫地机器人在按照第二规划路线进行运动时，扫地机器人可以避开障碍物所在的区域，并且可以完成其他所有未打扫区域的打扫。
61.在一个具体的实施例中，对封闭路线所在的区域进行路线规划，以获取多条子路线，然后取其中一条子路线作为第一子路线。在另一个实施例中，在可以将多条子路线中的大于一条的子路线中确定多条子路线来作为第一子路线。也就是说，第一子路线的数量可以是一条，也可以是多条。在一个具体的实施例中，为便于进行新的路线规划，不仅需要对障碍物所在的区域进行路线的规划，还需要对该区域进行一定的扩展，也就是说，按照预设的扩展半径对封闭路线进行扩展之后的区域。
62.为了在对封闭路线所在的区域进行路线规划时，可以获取多条可选的路线作为子路线，然后需要在这多条子路线中确定一条或多条子路线来作为第一子路线。而如何在多条子路线中确定第一子路线，需要分别计算每一个子路线对应的第一消耗值，所述第一消耗值用于表示路线长度、运动时间等，并且，第一消耗值的计算可以是长度和运动时间的加权和。具体计算中，可以计算路线长度的第一值，以及路线对应的运动时间的第二值，然后按照预设的权重系数计算第一值和第二值的加权和，并计算得到的结果作为第一消耗值。然后根据第一消耗值在所述多条子路线中选择一条第一消耗值最小的子路线作为第一子路线，或者将第一消耗值小于预设值的多条子路线，或者将排序在前的n条子路线作为第一子路线。
63.在第一子路线是一条的情况下，可以直接将第一子路线与原来的第二规划路线进行结合处理，以获取结合之后的结合路线，在一个具体的实施例中，可以直接将结合路线作为第二规划路线。
64.在第一子路线是多条的情况下，分别将多条第一子路线和第一规划路线进行结合，并计算结合所得到的结合路线的第二消耗值；然后将第二消耗值最小的结合路线作为第二规划路线。
65.在另一个具体的实施例中，在重新进行路线规划时，不仅仅需要考虑第一规划路线，还需要考虑其他对地图的规划路线。具体的，在对地图进行路线规划时，对除了第一规划路线之外的其他路线进行存储（多条第一备选规划路线），其中，对哪些路线进行预先的存储，可以通过计算路线的消耗值（计算方式同第一消耗值和第二消耗值）来确定存储的一条或多条路线。在重新进行路线规划时，并不是对全部的第一备选规划路线进行考虑，还需要考虑第一备选规划路线是否能适用于当前的路线规划场景。具体将封闭路线与每一条第一备选规划路线进行比较，计算封闭路线与第一备选规划路线之间的契合值（第一契合值），所述第一契合值用于表征封闭路线在第一备选规划路线中影响的路线的集中度。
66.在另一个实施例中，还需要考虑扫地机器人当前已经完成打扫的区域以及未打扫
的区域是否与第一备选规划路线匹配，具体，根据第一规划路线中已经行驶的路线和未行驶的路线，计算其与每一条第一备选规划路线之间第二契合值，其中，第二契合值用于表征第一备选规划路线是否可以适用于当前的路线规划场景。
67.根据第一契合值和第二契合值的大小，在至少一条备选规划路线中确定至少一条第二备选规划路线；其中，需要第一契合值和第二契合值均满足预设的阈值，以确定作为备选的第二备选规划路线确实可以适用于当前的路线规划场景，而不会带来较大的计算量。
68.具体的，分别将多条第一子路线与至少一条第二备选规划路线进行结合，以得到对应的结合路线，然后针对每一条结合路线分别计算对应的第二消耗值，将第二消耗值最小的结合路线作为第二规划路线，从而获取最优的第二规划路线。
69.需要说明的是，在本实施例中，不需要对全部的地图重新进行路线规划，也不需要负担路线规划的大量的计算，只需要对障碍物所在的较小的区域进行路线规划，然后将这个小区域的路线规划结果与原来的一条或备选的多条路线规划结果之间进行结合，以根据局部较优的路线规划结果的结合来选择全局较优的路线规划结果最为新的路线规划结果，从而在较小的计算量的情况下，获取较优的路线重新规划的结果。
70.在另一个实施例中，并不是所有的障碍物都全部都需要进行避障操作，对于部分低矮的障碍物，可以直接控制扫地机器人直接覆盖障碍物区域进行打扫。其中，扫地机器人是具备一定的跨越障碍的能力，例如，具备一定坡度或高度的爬坡能力，这样可以使得扫地机器人可以应对更为复杂的环境，可以应对部分低矮障碍物区域的打扫。
71.具体操作中，在获取障碍物对应的障碍物参数之后，需要进一步的根据障碍物对应的障碍参数，确定障碍物是否属于预设的低障碍物类型，这里，可以是根据确定的障碍物参数中障碍物的高度、形状以及类型来确定的，且低障碍物类型下的障碍物至少要满足其高度小于预设高度。然后，在障碍物属于预设的低障碍物类型的情况下，忽略该检测到的障碍物，不需要进行避障处理，反而控制扫地机器人根据第一规划路线进行运动，并且触发扫地机器人所具备的爬坡、爬梯或障碍物克服的能力，以对障碍物对应的区域也进行打扫，并且，在经过检测到的障碍物对应的区域时，控制扫地机器人按照预设的打扫模式进行打扫。例如，在检测到有一定高度的地毯的情况下，扫地机器人会继续运动到地毯对应的区域进行打扫，并且可以开启与地毯对应的打扫模式进行打扫，以提高整体打扫的完成度，提高扫地机器人的智能度，提升用户体验。
72.请参见图4，在本实施例中，提供了一种基于多传感器融合检测的扫地机器人的运动避障装置，所述装置包括：传感器数据监测模块101，用于通过所述多个传感器中的至少一个传感器检测是否有障碍物，在检测到障碍物的情况下，通过所述多个传感器采集障碍物对应的传感器数据，其中，每一个传感器对应一组传感器数据；特征融合模块102，用于基于预设的特征融合算法，对多个传感器对应的传感器数据进行交叉融合处理，以获取融合之后目标传感数据；障碍物计算模块103，用于基于目标传感数据确定与障碍物对应的障碍参数，其中，所述障碍参数用于表征障碍物的特征，所述障碍物参数包括障碍物的大小、区域、类型、位置信息等；第一路线规划模块104，用于确定扫地机器人工作的地图以及第一规划路线，在检
测到障碍物之前，所述扫地机器人基于第一规划路线进行运动；封闭路线确定模块105，用于基于扫地机器人工作的地图以及第一规划路线以及障碍物对应的障碍参数，确定障碍物对第一规划路线的影响，其中，该影响包括障碍物在地图中的相对位置、以及基于障碍物的第一规划路线中的封闭路线；第二路线规划模块106，用于基于障碍物在地图中的相对位置、地图、第一规划路线以及封闭路线，对未运动的路线部分重新进行路线优化，以获取第二规划路线，根据第二规划路线控制扫地机器人进行运动，以使得扫地机器人在运动过程中可以避开障碍物的区域且可以完成对地图对应的区域的打扫。
73.图5示出了一个实施例中实现上述基于多传感器融合检测的扫地机器人的运动避障方法的计算机设备（扫地机器人）的内部结构图。如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
74.采用了上述基于多传感器融合检测的扫地机器人的运动避障方法、装置及扫地机器人之后，通过所述多个传感器中的至少一个传感器检测是否有障碍物，在检测到障碍物的情况下，通过所述多个传感器采集障碍物对应的传感器数据，其中，每一个传感器对应一组传感器数据；基于预设的特征融合算法，对多个传感器对应的传感器数据进行交叉融合处理，以获取融合之后目标传感数据；基于目标传感数据确定与障碍物对应的障碍参数，其中，所述障碍参数用于表征障碍物的特征，所述障碍物参数包括障碍物的大小、区域、类型、位置信息等；确定扫地机器人工作的地图以及第一规划路线，在检测到障碍物之前，所述扫地机器人基于第一规划路线进行运动；基于扫地机器人工作的地图以及第一规划路线以及障碍物对应的障碍参数，确定障碍物对第一规划路线的影响，其中，该影响包括障碍物在地图中的相对位置、以及基于障碍物的第一规划路线中的封闭路线；基于障碍物在地图中的相对位置、地图、第一规划路线以及封闭路线，对未运动的路线部分重新进行路线优化，以获取第二规划路线，根据第二规划路线控制扫地机器人进行运动，以使得扫地机器人在运动过程中可以避开障碍物的区域且可以完成对地图对应的区域的打扫。也就是说，通过部分传感器来检测是否存在障碍物，然后在检测到障碍物的情况下通过更多的传感器来采集障碍物更全面的信息，以使得障碍物信息的获取更加准确，并且，为了准确的计算障碍物的信息，对多个传感器采集到的传感器数据进行特征交叉融合处理，然后再计算障碍物对应的障碍参数，以提高障碍参数计算的准确性，从而提高后续基于障碍参数重新进行路线规划的准确性，以及基于重新规划的路线进行避障处理的准确性，提高扫地机器人的工作效率。
75.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供
的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink) dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
76.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
77.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。请输入具体实施内容部分。