一种基于多图像采集的障碍回避方法及装置与流程

1.本发明涉及智能避障技术领域，具体是一种基于多图像采集的障碍回避方法及装置。


背景技术：

2.避障技术是智能机器人中非常重要的技术，现有的避障技术一般都是基于距离传感器进行障碍分析，进而生成避障指令的，但是这种方式属于“随机应变”式避障，在避障过程中，缺少对路径的统筹规划。


技术实现要素：

3.本发明的目的在于提供一种基于多图像采集的障碍回避方法及装置，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：
5.一种基于多图像采集的障碍回避方法，所述方法包括：
6.接收含有目的地位置的行进指令，获取自身位置，根据所述目的地位置和所述自身位置确定运动区域；
7.获取硬件尺寸，根据所述硬件尺寸生成切分网格，并根据所述切分网格切分所述运动区域，得到含有切分网格的运动区域；
8.根据所述含有切分网格的运动区域确定行进路径，并定点获取环境图像；其中，所述环境图像是图像获取设备间隔一定角度在360度范围内依次获取到的图像；所述环境图像为图像库；
9.根据所述环境图像确定障碍点，并根据所述障碍点标记障碍区域，根据所述障碍区域更新行进路径。
10.作为本发明技术方案进一步的限定：根据所述含有切分网格的运动区域确定行进路径包括：
11.读取含有切分网格的运动区域并显示，开放含有输入模式的触屏信号接收端口，获取触屏信号；其中，所述输入模式包括行进路径输入模式和虚拟墙输入模式；
12.当所述输入模式为行进路径输入模式时，根据所述触屏信号确定行进路径；
13.当所述输入模式为虚拟墙输入模式时，根据所述触屏信号确定虚拟墙，根据所述虚拟墙和所述运动区域确定行进路径。
14.作为本发明技术方案进一步的限定：根据所述触屏信号确定行进路径和/或行进路径的步骤包括：
15.获取用户输入的手势动作的图像轮廓以及硬件设备上各检测点的停留时间；
16.将所述停留时间与预设的时间阈值进行比对，当所述停留时间大于所述时间阈值时，生成取样点；
17.根据所述取样点生成线段，判断所述线段与所述图像轮廓是否重合，当所述线段
与所述图像轮廓重合时，将所述线段确定为行进路径或虚拟墙。
18.作为本发明技术方案进一步的限定：所述定点获取环境图像还包括：
19.获取行进路径的长度，获取行进速度，基于所述长度和所述行进速度计算运动时长；
20.接收用户发送的预计时长，根据所述预计时长和所述运动时长确定检测时长；
21.根据所述检测时长确定检测频率，根据所述检测频率在所述行进路径上确定检测点。
22.作为本发明技术方案进一步的限定：所述定点获取环境图像的步骤还包括：
23.当装置运动到检测点时，生成停止指令，根据预设的转向获取待检图像；
24.对所述待检图像进行轮廓识别，定位在检测方向上距离待检图像中心线最远的轮廓，并获取其轮廓中心线，作为标识线；
25.生成旋转指令，当所述标识线与拍摄中心线重合时，获取下一待检图像；
26.根据时间顺序对获取到的待检图像进行排序，得到环境图像。
27.作为本发明技术方案进一步的限定：所述定点获取环境图像的步骤还包括：
28.当在检测方向上距离待检图像中心线最远的轮廓不是闭合轮廓时，确定该轮廓中距离待检图像中心线最近的像素点；
29.根据所述距离待检图像中心线最近的像素点确定标识线。
30.作为本发明技术方案进一步的限定：所述根据所述环境图像确定障碍点的步骤包括：
31.在获取待检图像过程中，获取待检图像中各轮廓对应的实际物体与装置之间的距离；
32.计算待检图像中轮廓的像素点数与待检图像总像素点数的比例；
33.将所述距离与所述比例输入训练好的计算模型，得到实际物体的位置与尺寸，根据实际物体的位置与尺寸确定障碍点。
34.本发明技术方案提供了一种基于多图像采集的障碍回避装置，所述装置包括：
35.运动区域确定模块，用于接收含有目的地位置的行进指令，获取自身位置，根据所述目的地位置和所述自身位置确定运动区域；
36.切分模块，用于获取硬件尺寸，根据所述硬件尺寸生成切分网格，并根据所述切分网格切分所述运动区域，得到含有切分网格的运动区域；
37.图像获取模块，用于根据所述含有切分网格的运动区域确定行进路径，并定点获取环境图像；其中，所述环境图像是图像获取设备间隔一定角度在360度范围内依次获取到的图像；所述环境图像为图像库；
38.路径更新模块，用于根据所述环境图像确定障碍点，并根据所述障碍点标记障碍区域，根据所述障碍区域更新行进路径。
39.作为本发明技术方案进一步的限定：所述图像获取模块包括：
40.运动时长计算单元，用于获取行进路径的长度，获取行进速度，基于所述长度和所述行进速度计算运动时长；
41.检测时长确定单元，用于接收用户发送的预计时长，根据所述预计时长和所述运动时长确定检测时长；
42.检测点确定单元，用于根据所述检测时长确定检测频率，根据所述检测频率在所述行进路径上确定检测点。
43.作为本发明技术方案进一步的限定：所述图像获取模块还包括：
44.初始图像获取单元，用于当装置运动到检测点时，生成停止指令，根据预设的转向获取待检图像；
45.标识线获取单元，用于对所述待检图像进行轮廓识别，定位在检测方向上距离待检图像中心线最远的轮廓，并获取其轮廓中心线，作为标识线；
46.处理执行单元，用于生成旋转指令，当所述标识线与拍摄中心线重合时，获取下一待检图像；
47.排序单元，用于根据时间顺序对获取到的待检图像进行排序，得到环境图像。
48.与现有技术相比，本发明的有益效果是：本发明通过定点获取环境图像，根据所述环境图像确定障碍点，并根据所述障碍点标记障碍区域，根据所述障碍区域更新行进路径，在避障过程中，实时的对路径进行规划，智能化程度极高。
附图说明
49.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
50.图1示出了基于多图像采集的障碍回避方法的流程框图。
51.图2示出了基于多图像采集的障碍回避方法的第一子流程框图。
52.图3示出了基于多图像采集的障碍回避方法的第二子流程框图。
53.图4示出了基于多图像采集的障碍回避方法的第三子流程框图。
54.图5示出了基于多图像采集的障碍回避方法的第四子流程框图。
55.图6示出了基于多图像采集的障碍回避装置的组成结构框图。
56.图7示出了基于多图像采集的障碍回避装置中图像获取模块的第一组成结构框图。
57.图8示出了基于多图像采集的障碍回避装置中图像获取模块的第二组成结构框图。
具体实施方式
58.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
59.实施例1
60.图1示出了基于多图像采集的障碍回避方法的流程框图，本发明实施例中，一种基于多图像采集的障碍回避方法，所述方法包括步骤s100至步骤s400：
61.步骤s100：接收含有目的地位置的行进指令，获取自身位置，根据所述目的地位置和所述自身位置确定运动区域；
62.步骤s100的目的是确定运动区域，最常见的运动区域形状为矩形，自身位置和目
的地位置作为矩形的两个对角点，可以确定矩形的形状；至于矩形位置在显示端的显示过程，可以使得显示坐标原点与自身位置对应的矩形角点重合，这样便得到了一个完全定义的区域。
63.步骤s200：获取硬件尺寸，根据所述硬件尺寸生成切分网格，并根据所述切分网格切分所述运动区域，得到含有切分网格的运动区域；
64.切分的方式是将运动区域切分为子区域，如果运动区域为矩形，那么子区域也应该是矩形，这么做的好处是，将运动过程切分为一块区域到另一块区域，连接区域与区域之间的中心便可以得到运动路径，可以想到，这样生成的运动路径为折线。
65.为了便于理解，可以想象将运动区域分隔成了比较大的“点”，然后行进路径基于这些“点”生成。
66.步骤s300：根据所述含有切分网格的运动区域确定行进路径，并定点获取环境图像；其中，所述环境图像是图像获取设备间隔一定角度在360度范围内依次获取到的图像；所述环境图像为图像库；
67.步骤s300是本发明的核心步骤，在某些特定的位置处，获取周围的图像，这一过程可以由具备旋转功能的摄像头来完成；根据图像进行障碍分析的方法与传统的障碍分析方法有本质的不同，传统的障碍分析一般都是距离测定过程，根据距离判断前方是否为障碍物，如果是障碍物，那么就转向行驶，避开障碍物，可以想到，在这一过程中，距离测定需要实时进行，而且装置无法判断后续的行进过程。而图像分析方法可以是先对一些图像进行分析，根据分析结果确定一个大致的行进路线，然后每一次分析，再对行进路线进行更新；这一过程无需实时获取图像，而且对后续路径有着大致的把控。
68.步骤s400：根据所述环境图像确定障碍点，并根据所述障碍点标记障碍区域，根据所述障碍区域更新行进路径；
69.在确定障碍点后，根据所述障碍点标记障碍区域，这一过程需要详细说明，从图像确定某一方向上有障碍时，只能确切的获取两个数据，一是障碍高度，二是障碍宽度；对于障碍有多长，从装置的角度是无法判断的，因此，需要将障碍物相对于装置的后方区域都认为是障碍区域。
70.图2示出了基于多图像采集的障碍回避方法的第一子流程框图，根据所述含有切分网格的运动区域确定行进路径包括步骤s301至步骤s303：
71.步骤s301：读取含有切分网格的运动区域并显示，开放含有输入模式的触屏信号接收端口，获取触屏信号；其中，所述输入模式包括行进路径输入模式和虚拟墙输入模式；
72.步骤s302：当所述输入模式为行进路径输入模式时，根据所述触屏信号确定行进路径；
73.步骤s303：当所述输入模式为虚拟墙输入模式时，根据所述触屏信号确定虚拟墙，根据所述虚拟墙和所述运动区域确定行进路径。
74.上述内容是对本发明技术方案的一个扩充，提高了与用户的交互性，用户可以参与路径规划过程，一方面，用户可以直接规定行驶路径，当然，所述行驶路径是初始路径，在行驶过程中，遇到障碍还是会更新行驶路径的；另一方面，用户可以设置虚拟墙，也就是用户设置一些虚拟障碍，从而间接的调整装置的运动。
75.进一步的，根据所述触屏信号确定行进路径和/或行进路径的步骤包括：
76.获取用户输入的手势动作的图像轮廓以及硬件设备上各检测点的停留时间；
77.将所述停留时间与预设的时间阈值进行比对，当所述停留时间大于所述时间阈值时，生成取样点；
78.根据所述取样点生成线段，判断所述线段与所述图像轮廓是否重合，当所述线段与所述图像轮廓重合时，将所述线段确定为行进路径或虚拟墙。
79.上述触屏信号的检测过程中，很重要的一点是判断所述线段与所述图像轮廓是否重合，在触屏信号输入过程中，转折点是时间停留较长的点，当所述停留时间大于所述时间阈值时，就是本发明想要获取的取样点，但是，如果存在其它干扰压力，根据时间判断过程，它也会被认为是取样点，这显然是不合适的，因此，需要判断所述线段与所述图像轮廓是否重合，当所述线段与所述图像轮廓重合时，才认为是有意义的线段。
80.图3示出了基于多图像采集的障碍回避方法的第二子流程框图，所述定点获取环境图像还包括步骤s304至步骤s306：
81.步骤s304：获取行进路径的长度，获取行进速度，基于所述长度和所述行进速度计算运动时长；
82.步骤s305：接收用户发送的预计时长，根据所述预计时长和所述运动时长确定检测时长；
83.步骤s306：根据所述检测时长确定检测频率，根据所述检测频率在所述行进路径上确定检测点。
84.检测点是获取图像的点，在检测点处，获取图像的硬件设备开始工作；运动时长是在装置不停止的情况下的行驶时长；预计时长是用户预计的装置行驶时长，图像获取过程一般是停止的，预计时长一般也大于运动时长，计算出预计时长和运动时长的时间差，作为检测时长，检测时长再除以单次检测需要的时间，即可得到检测频率，根据所述检测频率可以确定检测点。
85.图4示出了基于多图像采集的障碍回避方法的第三子流程框图，所述定点获取环境图像的步骤还包括步骤s307至步骤s3010：
86.步骤s307：当装置运动到检测点时，生成停止指令，根据预设的转向获取待检图像；
87.步骤s308：对所述待检图像进行轮廓识别，定位在检测方向上距离待检图像中心线最远的轮廓，并获取其轮廓中心线，作为标识线；
88.步骤s309：生成旋转指令，当所述标识线与拍摄中心线重合时，获取下一待检图像；
89.步骤s3010：根据时间顺序对获取到的待检图像进行排序，得到环境图像。
90.上述过程是本发明的核心过程，当装置运动到检测点时，首先生成停止指令，然后根据预设的转向获取待检图像，预设的转向可以是顺时针，也可以是逆时针，区别不大；在一张待检图像上，识别各个轮廓，找到最边角处的轮廓，然后作为下一张待检图像的焦点。
91.值得一提的是，所述定点获取环境图像的步骤还包括：
92.当在检测方向上距离待检图像中心线最远的轮廓不是闭合轮廓时，确定该轮廓中距离待检图像中心线最近的像素点；
93.根据所述距离待检图像中心线最近的像素点确定标识线。
94.值得一提的是，还有一种情况，就是最右边没有轮廓，这时候可以将已有待检图像的边线作为标识线，也可以将背景轮廓的中心线作为标识线，这种细节处理对于本技术领域的人员很容易解决，本发明不做限定，但是如果在检测方向上距离待检图像中心线最远的轮廓不是闭合轮廓时，那么要以距离待检图像中心线最近的像素点确定标识线，这样才能保证下一待检图像不会发生信息缺失。
95.可以想到，一次检测过程，获取到的图像总数并不会很多，在实际应用中，一般都是6至12张图像。
96.图5示出了基于多图像采集的障碍回避方法的第四子流程框图，所述根据所述环境图像确定障碍点的步骤包括步骤s401至步骤s403：
97.步骤s401：在获取待检图像过程中，获取待检图像中各轮廓对应的实际物体与装置之间的距离；
98.步骤s402：计算待检图像中轮廓的像素点数与待检图像总像素点数的比例；
99.步骤s403：将所述距离与所述比例输入训练好的计算模型，得到实际物体的位置与尺寸，根据实际物体的位置与尺寸确定障碍点。
100.上述内容是障碍点的确定过程，最重要的是各轮廓对应的实际物体与装置之间的距离，尺寸相对来说不是特别重要。距离获取过程借助常用的红外线测距仪或超声波测距仪都是可以的。值得一提的是，所述红外线测距仪或超声波测距仪的精度无需特别精确，只需要确定大致的范转即可，比如，1.1m和10.1m是不同的量级，只需要知道是1m左右和10m左右即可，具体到多少，不需要过于重视。
101.实施例2
102.图6示出了基于多图像采集的障碍回避装置的组成结构框图，本发明实施例中，一种基于多图像采集的障碍回避装置，所述装置10包括：
103.运动区域确定模块11，用于接收含有目的地位置的行进指令，获取自身位置，根据所述目的地位置和所述自身位置确定运动区域；
104.切分模块12，用于获取硬件尺寸，根据所述硬件尺寸生成切分网格，并根据所述切分网格切分所述运动区域，得到含有切分网格的运动区域；
105.图像获取模块13，用于根据所述含有切分网格的运动区域确定行进路径，并定点获取环境图像；其中，所述环境图像是图像获取设备间隔一定角度在360度范围内依次获取到的图像；所述环境图像为图像库；
106.路径更新模块14，用于根据所述环境图像确定障碍点，并根据所述障碍点标记障碍区域，根据所述障碍区域更新行进路径。
107.图7示出了基于多图像采集的障碍回避装置中图像获取模块的第一组成结构框图，所述图像获取模块13包括：
108.运动时长计算单元131，用于获取行进路径的长度，获取行进速度，基于所述长度和所述行进速度计算运动时长；
109.检测时长确定单元132，用于接收用户发送的预计时长，根据所述预计时长和所述运动时长确定检测时长；
110.检测点确定单元133，用于根据所述检测时长确定检测频率，根据所述检测频率在所述行进路径上确定检测点。
111.图8示出了基于多图像采集的障碍回避装置中图像获取模块的第二组成结构框图，所述图像获取模块13还包括：
112.初始图像获取单元134，用于当装置运动到检测点时，生成停止指令，根据预设的转向获取待检图像；
113.标识线获取单元135，用于对所述待检图像进行轮廓识别，定位在检测方向上距离待检图像中心线最远的轮廓，并获取其轮廓中心线，作为标识线；
114.处理执行单元136，用于生成旋转指令，当所述标识线与拍摄中心线重合时，获取下一待检图像；
115.排序单元137，用于根据时间顺序对获取到的待检图像进行排序，得到环境图像。
116.所述基于多图像采集的障碍回避方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述基于多图像采集的障碍回避方法的功能。
117.处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器(read
‑
only memory，rom)，所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
118.示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
119.本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
120.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
121.上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少
一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
122.终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
123.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
124.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。