一种适用于清扫车的缠绕物检测防缠绕方法及系统与流程

本发明涉及清扫车和智能检测，尤其涉及一种适用于清扫车的缠绕物检测防缠绕方法及系统。

背景技术：

1、在无人清扫车领域，绳索缠绕是一直困扰着厂商与用户的问题，由于清扫需要扫盘转动，如果有绳索或水管等线状物体在清扫路线上，极容易被扫盘卷入，导致扫盘卡死或损坏，进而影响无人清扫车的作业适用性与作业效率。传统清扫车由于有人在驾驶，在遇到了绳索或水管等线状物体，会有人提前关闭扫盘，等清扫车越过线状物体再打开扫盘，可以有效避免扫盘卷入绳索。而无人清扫车由于是无人驾驶，若无相应的避开绳索措施，则不可避免地容易卷入行驶路线上的线状物体。

2、在无人清洁领域，针对室内无人洗地机或扫地机，绳索缠绕也是避不开的问题，为了解决该问题，现有技术主要围绕以下几个方面展开。首先是以申请号为cn202310143628.x的中国专利为代表，其结合感知与检测的手段来判断清扫机器人是否卷入物体，具体地，其通过观察机器人移动时的俯仰角（车头翘起角度）和横滚角（车身左右倾斜角度）来识别小车姿态，并且根据小车姿态发生持续的变化来判断是否卷入物体，但此类方法只适用于室内小型清洁机器人，并不适用于室外无人清扫车。

3、以申请号为cn202322235718.3、cn202321737967.3的中国专利为代表的技术方案，提出了通过物理机构来降低绳索缠绕的影响，具体地，其通过改变轮上结构或加装保护罩，避免车轮卡死，但该技术方案并不能彻底解决扫盘的绳索缠绕问题，而且也不适用于现有的无人清扫车。

4、以申请号为cn202010792577.6、cn202310765741.0的中国专利为代表的技术方案的思路是在缠绕后主动清除，具体地，在缠绕后，使用加装的刀片或加热棒，使绳索断裂或熔断，该方案存在安全隐患，并且只能在缠绕后生效，并不能防止缠绕的发生。

5、以申请号为cn202322242386.x、cn202311820261.0的中国专利为代表的技术方案，旨在通过提升主刷离地高度或者调整刷盘转速或扭矩，避免绳索卷入，这类方法会导致无人清扫车的作业效果降低，而且当提高主刷高度或降低转速与扭矩，一些小垃圾就会漏过，无法有效清扫干净。

6、综上所述，现有技术要么不能事先发现并避让如绳索、水管类的线状物体，只能在缠绕后采取补救措施，要么需要牺牲清扫效果来降低缠绕风险，要么不能适用于现有的清扫车。

7、以上背景技术内容的公开仅用于辅助理解本技术的构思及技术方案，其并不必然会给出技术教导。

技术实现思路

1、本发明的目的是提供一种适用于清扫车的缠绕物检测防缠绕方法及系统，能够有效检测缠绕物以及防止清扫车被缠绕。

2、为达到上述目的，本发明采用的技术方案如下：

3、一种适用于清扫车的缠绕物检测防缠绕方法，包括以下步骤：

4、获取清扫车行驶方向的第一图像，基于图像识别方法识别所述第一图像中线状的缠绕物；

5、若存在所述缠绕物，则根据清扫车的可行驶方向和缠绕物的所在位置判断清扫车是否能够避开所述缠绕物，若能够，则调整清扫车的行驶方向以绕开所述缠绕物；

6、若所述清扫车无法避开所述缠绕物，则判断在所述清扫车的行驶方向上，所述缠绕物是否至少有一侧延伸至清扫车宽度方向的外侧，若有则关闭并提起扫盘，并且在清扫车的行驶过程中执行以下步骤：

7、实时获取包括缠绕物的第二图像，获取缠绕物在第二图像上的分割图像掩膜，并且在所述缠绕物的第一侧确定第一目标段，所述第一侧为延伸至清扫车宽度方向外侧的一侧；

8、将所述第一目标段对应的分割图像掩膜分为m段，计算每一段分割图像掩膜的质心坐标，并且根据所述质心坐标随时间的变化确定每一段分割图像掩膜相对于清扫车的第一速度，根据所述第一速度和清扫车速度，确定每一段分割图像掩膜相对于地面的第二速度；

9、根据第一目标段中各段分割图像掩膜的第二速度和清扫车速度确定缠绕度以评估缠绕物缠绕清扫车的风险，所述缠绕度与所述第二速度和清扫车速度的比值正相关，若所述缠绕度大于预设的第一缠绕度阈值，则确定存在缠绕风险，控制清扫车停止行驶。

10、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下公式计算所述缠绕度：

11、；

12、；

13、其中，为第一目标段中第i段分割图像掩膜对应的加权系数，为第一目标段上第i段分割图像掩膜对应的第二速度，为清扫车速度。

14、进一步地，承前所述的任一技术方案或多个技术方案的组合，若所述清扫车无法避开所述缠绕物，并且在所述清扫车的行驶方向上，所述缠绕物两侧均延伸至清扫车宽度方向的外侧，则关闭并提起扫盘，并且在清扫车的行驶过程中执行以下步骤：

15、实时获取包括缠绕物的第二图像，获取缠绕物在第二图像上的分割图像掩膜，在所述缠绕物的第二侧确定第二目标段，所述第二侧延伸至清扫车宽度方向外侧的另一侧；

16、将所述第二目标段对应的分割图像掩膜分为n段，计算每一段分割图像掩膜的质心坐标，并且根据所述质心坐标随时间的变化确定每一段分割图像掩膜相对于清扫车的第一速度，根据所述第一速度和清扫车速度，确定每一段分割图像掩膜相对于地面的第二速度；

17、根据第一目标段中各段分割图像掩膜的第二速度、第二目标段中各段分割图像掩膜的第二速度和清扫车速度确定所述缠绕物的缠绕度以评估缠绕物缠绕清扫车的风险，所述缠绕度与所述第二速度和清扫车速度的比值正相关；

18、若所述缠绕度大于预设的第二缠绕度阈值，则确定存在缠绕风险，控制清扫车停止行驶。

19、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下公式计算所述缠绕度：

20、；

21、；

22、；

23、其中，所述为第一目标段中第i段分割图像掩膜对应的加权系数，为第一目标段中第

i段分割图像掩膜的第二速度，所述为第二目标段中第

i段分割图像掩膜对应的加权系数，为第二目标段中第

i段分割图像掩膜的第二速度，为清扫车速度。

24、进一步地，承前所述的任一技术方案或多个技术方案的组合，若所述清扫车无法避开所述缠绕物，并且确定所述缠绕物不存在一侧延伸至清扫车宽度方向的外侧，则确定存在缠绕风险，控制清扫车停止行驶。

25、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式确定各段分割图像掩膜的质心坐标映射到地面坐标系下的坐标（，）：

26、，；

27、其中，为当前段分割图像掩膜中像素点的总数，为当前段分割图像掩膜中第

j个像素点对应的横坐标映射到地面坐标系下的坐标，为当前段分割图像掩膜中第

j个像素点对应的纵坐标映射到地面坐标系下的坐标。

28、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式计算各段分割图像掩膜的第二速度：

29、；

30、；

31、其中，为清扫车速度，为t时刻第

i段分割图像掩膜的质心横坐标映射到地面坐标系下的坐标，为t时刻第

i段分割图像掩膜的质心纵坐标映射到地面坐标系下的坐标，为t-1时刻第

i段分割图像掩膜的质心横坐标映射到地面坐标系下的坐标，为t-1时刻第

i段分割图像掩膜的质心纵坐标映射到地面坐标系下的坐标；为t时刻和t-1时刻之间的时间间隔。

32、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式判断清扫车是否能够避开所述缠绕物：

33、在清扫车上设置鱼眼相机，预先标定鱼眼相机所采集图像的像素坐标系相对于地面坐标系的坐标系转换关系；

34、获取鱼眼相机采集的第一图像，并将所述第一图像输入预先训练完成的缠绕物分割模型以识别出缠绕物并输出缠绕物对应的分割图像掩码；

35、基于所述坐标系转换关系，将分割图像掩码在第一图像对应的像素坐标系下的第一坐标集转换为地面坐标系的第二坐标集；

36、确定所述清扫车的可行驶方向，并且判断可行驶方向中是否存在一个目标行驶方向，并且所述目标行驶方向覆盖的地面坐标范围与所述第二坐标集无交集，若存在，则控制所述清扫车沿所述目标行驶方向行驶，否则确定清扫车无法避开所述缠绕物。

37、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式标定鱼眼相机所采集图像的像素坐标系与地面坐标系的坐标系转换关系：

38、确定所述鱼眼相机目标采集图像所覆盖的地面区域为目标地面区域，在所述目标地面区域对应的宽度方向上，相间地设置多个标准标定布，所述标准标定布为正方形或长方形；

39、采集所述鱼眼相机拍摄的包括所述标准标定布的第三图像，确定各个标准标定布的四个顶点在所述第三图像上的坐标以得到第三坐标集，以及基于清扫车的位置，确定各个标准标定布的四个顶点在地面坐标系下的坐标以得到第四坐标集；

40、根据所述第三坐标集和所述第四坐标集的映射关系，采用透视变换模型求解像素坐标系到地面坐标系的透视变换参数，确定鱼眼相机所采集图像的像素坐标系和地面坐标系的坐标系转换关系。

41、进一步地，承前所述的任一技术方案或多个技术方案的组合，多个所述标准标定布沿所述目标地面区域对应的宽度方向相间设置，并且所述标准标定布两侧的距离不小于其所对应的目标地面区域的宽度的2/3。

42、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述标准标定布的数量为两块，所述标准标定布为正方形、其边长为1m，两块所述标准标定布的内边缘距离不小于2m。

43、进一步地，承前所述的任一技术方案或多个技术方案的组合，还包括在识别出缠绕物后，先判断缠绕物在清扫车宽度方向的覆盖长度是否大于预设的长度阈值，若大于则判断无法避开所述缠绕物；若不大于，则根据清扫车的可行驶方向和缠绕物的所在位置判断清扫车是否能够避开所述缠绕物；

44、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述第一目标段中各段分割图像掩膜对应的像素点的数量相同。

45、根据本发明的另一方面，提供了一种适用于清扫车的缠绕物检测防缠绕系统，包括设置在清扫车上的第一相机、第二相机和处理器，所述第一相机被配置为采集清扫车行驶方向的第一图像，所述第二相机被配置为采集清扫车侧面方向的第二图像，所述处理器被配置为接收所述第一图像和第二图像；

46、所述第一相机采集清扫车行驶方向的第一图像并输出至处理器；

47、所述处理器基于图像识别方法识别所述第一图像中线状的缠绕物，并且根据清扫车的可行驶方向和缠绕物的所在位置判断清扫车能否避开所述缠绕物，若能够，则所述处理器向清扫车的控制器发送第一信号以控制清扫车向绕开所述缠绕物的方向行驶；

48、若所述处理器确定清扫车无法避开所述缠绕物，并且判断所述缠绕物至少有一侧延伸至清扫车宽度方向的外侧，则所述处理器向清扫车的控制器发送第二信号以关闭并提起扫盘以及控制清扫车继续行驶；

49、在清扫车的行驶过程中，所述第二相机采集包括缠绕物的第二图像并传输至所述处理器；所述处理器执行以下步骤：

50、获取缠绕物在第二图像上的分割图像掩膜，并且在所述缠绕物的第一侧确定第一目标段，所述第一侧为延伸至清扫车宽度方向外侧的一侧；

51、将所述第一目标段对应的分割图像掩膜分为m段，计算每一段分割图像掩膜的质心坐标，并且根据所述质心坐标随时间的变化确定每一段分割图像掩膜相对于清扫车的第一速度，根据所述第一速度和清扫车速度，确定每一段分割图像掩膜相对于地面的第二速度；

52、根据第一目标段中各段分割图像掩膜的第二速度和清扫车速度确定所述缠绕物的缠绕度以评估缠绕物缠绕清扫车的风险，所述缠绕度与所述第二速度和清扫车速度的比值正相关，若所述缠绕度大于预设的第一缠绕度阈值，则确定存在缠绕风险，所述处理器向清扫车的控制器发送第三信号以控制清扫车停止行驶。

53、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下公式计算所述缠绕度：

54、；

55、；

56、其中，为第一目标段上第

i段分割图像掩膜对应的加权系数，为第一目标段上第

i段分割图像掩膜对应的第二速度，为清扫车速度。

57、本发明提供的技术方案带来的有益效果如下：

58、a. 本技术基于有人驾驶清扫车的逻辑，通过判断清扫车前方是否存在绳索、水管等缠绕物，首选避让绕行，在无法避让绕行时，控制关闭扫盘等清扫作业机构后通过缠绕物，并且在通过的过程中，利用缠绕物速度和车身运动速度的关系，实时判定是否有缠绕风险，以有效判断车轮、主刷等部件被缠绕物卡住的可能，避免清扫车因绳索、水管等物体的缠绕导致作业中断、机器损坏的问题；

59、b. 本技术采用大视场鱼眼相机，对环视鱼眼图像数据进行绳索、水管的线状物体的检测，并采用多个标准标定布来标定获取的像素坐标系到车身地面坐标系的转换关系，能够更准确地获取检测结果在地面坐标系下的位置，从源头检测就准确地发现潜在风险的位置，进而提高避免缠绕发生的概率；

60、c. 本技术提出的缠绕物检测及防缠绕方案只需要基于无人清扫车上已有的相机和处理器即可，不需要对无人清扫车的扫盘、车辆和防护结构等其他硬件进行改进，因此，不仅成本低，也能够直接应用于现有的无人清扫车；

61、d. 本技术提出的缠绕物检测及防缠绕方案在发现不能避让的缠绕物时，不是选择直接停止清扫车，而是尝试通过缠绕物，并且在通过过程中实时评估缠绕物缠绕清扫车的风险，只有在缠绕度大于预设缠绕度阈值时，才会停止行驶并上报，能够有效提高清扫车的作业适用性和作业效率。