动态目标抓取方法、设备和存储介质与流程

1.本发明涉及物品抓取技术领域，尤其涉及一种动态目标抓取方法、设备和存储介质。


背景技术：

2.动态抓取指在抓取设备例如机器人抓取物体的整个过程中，传送带不需要停止，物体在传送带上运行，且物体的位置在实时变化之中，实现机器人对其的抓取。物体在传送带上持续运行，位置持续变化，机器人启动加速运动至抓取过程中，传送带上的物体与机器人末端抓取工具在某一位置发生汇合，此汇合位置即为交汇点。
3.目前，抓取设备动态抓取物体在实际生产场景中有广泛应用，而交汇点的求取是动态抓取的重要部分，但是相关技术中，通过编码器位置反馈计算交汇点的方式得到的交汇点精度较低，不利于抓取设备对动态物体的精确抓取。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种动态目标抓取方法、设备和存储介质，提高了抓取设备抓取动态目标的准确性。
5.根据本发明第一方面实施例的动态目标抓取方法，其包括：
6.获取动态目标对应的待处理图像；
7.对所述待处理图像进行数据分析处理，得到待抓取点对应的抓取点坐标数据，其中，所述动态目标设有所述待抓取点；
8.将所述抓取点坐标数据、编码器数据和所述动态目标对应的位置偏移量输入到交汇点算法模型中，得到目标交汇点对应的目标坐标数据，其中，所述目标交汇点为所述动态目标与所述抓取设备的汇合位置；
9.当所述目标坐标数据落入预设抓取区域，根据所述目标坐标数据对应的目标交汇点对所述动态目标进行抓取。
10.根据本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：本发明通过交汇点算法模型，得到目标交汇点对应的目标坐标数据，当目标坐标数据落入预设抓取区域，抓取设备根据目标坐标数据对应的目标交汇点，对动态目标进行抓取。这种动态目标抓取方法，提高了抓取设备对动态目标的定位精度和可靠性，以此提高了机器人抓取动态目标的准确性。
11.根据本发明的一些实施例，所述数据分析处理包括图像处理和手眼标定处理，对所述待处理图像进行数据分析处理，得到待抓取点对应的抓取点坐标数据，包括：
12.对所述待处理图像进行所述图像处理，得到所述待抓取点在相机坐标系下的相机坐标数据；
13.对所述相机坐标数据进行所述手眼标定处理，得到所述待抓取点在机器坐标系下的所述抓取点坐标数据。
14.根据本发明的一些实施例，所述编码器数据由以下步骤得到：
15.获取编码器周期值、编码器初始值、编码器的计米轮周长和编码器分辨率；
16.根据所述编码器周期值、所述编码器初始值、所述编码器的计米轮周长和所述编码器分辨率，计算得到所述编码器数据。
17.根据本发明的一些实施例，所述编码器数据的计算公式如下：
18.e1＝(e-e
′
)
×
d/h
19.其中，e1表示所述编码器数据，e表示所述编码器周期值，e
′
表示所述编码器初始值，d表示所述编码器的计米轮周长，h表示所述编码器分辨率。
20.根据本发明的一些实施例，所述位置偏移量由以下步骤得到：
21.获取所述动态目标对应的速度数据和总时长数据，其中，所述总时长数据表征所述抓取设备到所述目标交汇点的总时长；
22.根据所述速度数据和所述总时长数据，计算得到所述位置偏移量。
23.根据本发明的一些实施例，所述位置偏移量的计算公式如下：
24.s＝t
′
robot
×v25.其中，v表示所述速度数据，t
′
robot
表示所述总时长数据。
26.根据本发明的一些实施例，所述当所述目标坐标数据落入预设抓取区域，根据所述目标坐标数据对应的目标交汇点对所述动态目标进行抓取，包括：
27.根据预设的时间周期，轮询更新所述目标坐标数据，得到更新后的所述目标坐标数据；
28.当所述更新后的所述目标坐标数据落入所述预设抓取区域，根据所述更新后的所述目标坐标数据对应的目标交汇点对所述动态目标进行抓取。
29.根据本发明的一些实施例，所述当所述更新后的所述目标坐标数据落入所述预设抓取区域，根据所述更新后的所述目标坐标数据对应的目标交汇点对所述动态目标进行抓取，包括：
30.当至少两个所述更新后的所述目标坐标数据落入所述预设抓取区域，从至少两个所述更新后的所述目标坐标数据中，提取出一个目标待抓取坐标数据，其中，所述目标坐标数据包括所述目标待抓取坐标数据；
31.根据所述目标待抓取坐标数据对应的目标交汇点，对所述动态目标进行抓取。
32.根据本发明第二方面实施例的动态目标抓取设备，其包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的动态目标抓取方法。
33.根据本发明第三方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述第一方面所述的动态目标抓取方法。
34.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
35.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对发明技术方案的限制。
36.图1是本发明实施例提供的动态目标抓取方法的流程示意图；
37.图2是本发明实施例提供的数据分析处理的流程示意图；
38.图3是本发明实施例提供的编码器数据的流程示意图；
39.图4是本发明实施例提供的位置偏移量的流程示意图；
40.图5是本发明实施例提供的对动态目标进行抓取的流程示意图；
41.图6是本发明实施例提供的对动态目标进行抓取的具体流程示意图；
42.图7是本发明实施例提供的抓取设备与目标交汇点的关系示意图；
43.图8是本发明实施例的提供的相机加编码器辅助视觉分拣系统的示意图。
44.附图标记：
45.目标交汇点100、目标交汇点正上方110、抓取设备等候点120；
46.识别点200、抓取边界点300、角度编码器400；
47.抓取设备500、预设抓取区域510、传送带520、相机530。
具体实施方式
48.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
49.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
50.动态抓取指在抓取设备例如机器人抓取物体的整个过程中，传送带不需要停止，物体在传送带上运行，且物体的位置在实时变化之中，实现机器人对其的抓取。物体在传送带上持续运行，位置持续变化，机器人启动加速运动至抓取过程中，传送带上的物体与机器人末端抓取工具在某一位置发生汇合，此汇合位置即为交汇点。
51.目前，抓取设备动态抓取物体在实际生产场景中有广泛应用，而交汇点的求取是动态抓取的重要部分，但是相关技术中，通过编码器位置反馈计算交汇点的方式得到的交汇点精度较低，不利于抓取设备对动态物体的精确抓取。
52.基于此，本发明实施例提供了一种动态目标抓取方法、设备和存储介质，提高了抓取设备抓取动态目标的准确性。
53.下面结合附图，对本发明实施例作进一步阐述。
54.本发明第一方面实施例具体提供一种动态目标抓取方法，应用于抓取设备500，如图1所示，图1本发明一个实施例提供的动态目标抓取方法的流程示意图。本发明实施例的动态目标抓取方法包括但不限于以下步骤：
55.步骤s100，获取动态目标对应的待处理图像；
56.步骤s200，对待处理图像进行数据分析处理，得到待抓取点对应的抓取点坐标数
据，其中，动态目标设有待抓取点；
57.步骤s300，将抓取点坐标数据、编码器数据和动态目标对应的位置偏移量输入到交汇点算法模型中，得到目标交汇点100对应的目标坐标数据，其中，目标交汇点100为动态目标与抓取设备500的汇合位置；
58.步骤s400，当目标坐标数据落入预设抓取区域510，根据目标坐标数据对应的目标交汇点100对动态目标进行抓取。
59.本发明通过交汇点算法模型，得到目标交汇点100对应的目标坐标数据，当目标坐标数据落入预设抓取区域510，抓取设备500根据目标坐标数据对应的目标交汇点100，对动态目标进行抓取。这种动态目标抓取方法，提高了抓取设备500对动态目标的定位精度和可靠性，以此提高了机器人抓取动态目标的准确性。
60.在本实施例中，动态目标为在传送带520上运动的物体，抓取设备500可以为机器人，预设抓取区域510指机器人的工作空间；动态目标也可以是通过其他方式运动的物体，抓取设备500也可以为其他设备，预设抓取区域510即为该设备的工作空间，而不局限于本实施例，在此不再赘述。
61.需要说明的是，参照图7，抓取设备500根据目标坐标数据对应的目标交汇点100对动态目标进行抓取的抓取规划为：抓取规划获得运动轨迹，抓取设备500通过根据交汇点算法模型计算出的目标交汇点100对应的目标坐标数据，运动至目标交汇点正上方110，当目标坐标数据落入预设抓取区域510，根据目标坐标数据对应的目标交汇点100，抓取设备500对动态目标进行抓取。
62.可以理解的是，参照图2，步骤s200，包括但不限于以下步骤：
63.步骤s210，对待处理图像进行图像处理，得到待抓取点在相机坐标系下的相机坐标数据；
64.步骤s220，对相机坐标数据进行手眼标定处理，得到待抓取点在机器坐标系下的抓取点坐标数据。
65.在本实施例中，相机坐标数据为gc＝(x，y)，在机器坐标系下的抓取点坐标数据为gr＝(x
′
，y
′
)，通过手眼标定转换矩阵将相机坐标系下的相机坐标数据gc＝(x，y)转换成机器坐标系下的抓取点坐标数据gr＝(x
′
，y
′
)，将抓取点坐标数据gr＝(x
′
，y
′
)、编码器数据和动态目标对应的位置偏移量输入到交汇点算法模型中，得到目标交汇点100对应的目标坐标数据gr
′
＝(x
′
，y
′
)，本实施例设定传送带520的运行方向与机器坐标系的x方向平行。
66.可以理解的是，参照图3，编码器数据的获取方法包括但不限于以下步骤：
67.步骤s310，获取编码器周期值、编码器初始值、编码器的计米轮周长和编码器分辨率；
68.步骤s311，根据编码器周期值、编码器初始值、编码器的计米轮周长和编码器分辨率，计算得到编码器数据。
69.在本实施例中，根据编码器特性，使用第一定时器，第一定时器用于将定时时间周期设置为5ms，第一定时器启动后每5ms不断发送一个信号，轮询更新编码器周期值、编码器的计米轮周长、编码器分辨率及编码器采样频率；参照图7，在启动流程后，相机530对识别点200进行拍照，此时获取编码器初始值。
70.需要说明的是，识别点200为动态目标在运动时的初始位置。
71.本实施例是基于单目2d相机及编码器实现动态目标抓取方法，使用单目2d相机，降低了抓取设备500抓取动态目标的成本；也可以使用其他相机530，并不局限于本实施例中。
72.需要说明的是，本实施例的编码器为角度编码器400，在另一些实施例中，也可以是其他类型的编码器；第一定时器也可以将定时时间设置为其他数值，并不局限于本实施例。
73.可以理解的是，编码器数据的计算公式如下：
74.e1＝(e-e
′
)
×
d/h
75.其中，e1表示编码器数据，e表示编码器周期值，e
′
表示编码器初始值，d表示编码器的计米轮周长，h表示编码器分辨率。
76.可以理解的是，参照图4，位置偏移量的获取方法包括但不限于以下步骤：
77.步骤s320，获取动态目标对应的速度数据和总时长数据，其中，总时长数据表征抓取设备500到目标交汇点100的总时长；
78.步骤s330，根据速度数据和总时长数据，计算得到位置偏移量。
79.需要说明的是，根据轮询更新获取的编码器周期值、编码器的计米轮周长、编码器分辨率及编码器采样频率，计算得到速度数据，其中，速度数据的计算公式如下：
80.v＝e
×
1000
×d×h×s81.其中，v表示速度数据，e表示编码器周期值，d表示编码器的计米轮周长，h表示编码器分辨率，s表示编码器采样频率。
82.总时长数据的计算公式如下：
83.t
′
robot
＝t1 t284.其中，t
′
robot
表示总时长数据，t1表示抓取设备500运动到抓取设备500的预设路径阈值所用的时长，t2表示抓取设备500从目标交汇点正上方110靠近目标交汇点100所用的时长。
85.需要说明的是，参照图7，抓取设备500到目标交汇点100理想运动时间的总时长为：t
robot
＝t1 t2，其中，t1为抓取设备500从起始点到目标交汇点正上方110所用的时间，动态目标从抓取边界点300经过t3时间传送到目标交汇点100，为保证抓取设备500准确抓取到动态目标，故而t
robot
＝t3；其中，t1≥t1，t3表示抓取传动时间。图7中，{c}代表相机坐标系，{r}代表机器坐标系,两条直线中间代表传送带520表面，图中被识别的动态目标在传送带520上从左至右运动，此外动态目标的位置和速度通过角度编码器400获取。
86.在本实施例中，只要使得抓取设备500从目标交汇点正上方110与传送带520之间的垂直距离保持不变，则t2为常数值；由于目标交汇点100的位置是不确定的，因此t1为一个与目标交汇点100的位置相关的变量。根据抓取设备500的参数，例如抓取设备500的运行速度与抓取设备500的行程范围，选择一个固定时间t1，其中，抓取设备500运动到抓取设备500的预设路径阈值所用时长的选取原则为：
87.设定抓取设备500按照确定线速度运动，比如1000mm/s，在预设抓取区域510，测试出抓取设备500运动到抓取设备500的预设路径阈值所用的时长，比如0.4s，则规定t1≥0.4；或者，确保目标交汇点100无论在预设抓取区域510的任意一个位置，抓取设备500能在
t1时间内可以到达该位置。当抓取设备500运动到目标交汇点正上方110时，需延时一段时间，再对动态目标进行抓取，其中，该延时时间的计算公式如下为：t4＝(t
1-t1)，t4表示该延时时间，预设路径阈值即为识别点200的正上方与抓取设备等候点120之间的水平距离。
88.故而，总时长数据的计算公式为：t
′
robot
＝t1 t2。
89.在本实施例中，抓取设备500对动态目标进行抓取时，需先设定相关轨迹参数：极限速度值、极限加速度值、极限加加速度值，之后，抓取设备500通过该相关轨迹参数，使用s型运动曲线规划的轨迹规划方式对动态目标进行抓取；抓取设备500从目标交汇点正上方110靠近目标交汇点100所用的时长通过s型运动曲线规划中的标准s曲线规划计算得到。
90.可以理解的是，位置偏移量的计算公式如下：
91.s＝t
′
robot
×v92.其中，v表示速度数据，t
′
robot
表示总时长数据。
93.需要说明的是，交汇点算法模型的计算公式如下为：
94.x
′
＝x
′
(e-e
′
)
×
d/h t
′
robot
×v95.其中，x
′
表示目标坐标数据的x坐标，x
′
表示抓取点坐标数据的x坐标，e表示编码器周期值，e
′
表示编码器初始值，d表示编码器的计米轮周长，h表示编码器分辨率，t
′
robot
表示总时长数据，v表示速度数据。
96.需要说明的是，由于抓取设备500到目标交汇点100有时长为t
′
robot
的时间差，因此需对待抓取点对应的抓取点坐标数据做一个位置值补偿，即目标交汇点100在x方向加一个位置偏移量。
97.可以理解的是，参照图5，步骤s400，包括但不限于以下步骤：
98.步骤s410，根据预设的时间周期，轮询更新目标坐标数据，得到更新后的目标坐标数据；
99.步骤s420，当更新后的目标坐标数据落入预设抓取区域510，根据更新后的目标坐标数据对应的目标交汇点100对动态目标进行抓取。
100.在本实施例中，在传送带520持续运行过程中，实用第二定时器，第二定时器用于将定时时间设置为100ms，第二定时器启动后每100ms不断发送一个信号，实时计算目标交汇点100的目标坐标数据，由于传送带520的运动方向与抓取设备500在x方向平行，动态目标在运行过程中，抓取点坐标数据的y坐标保持不变，通过第二定时器轮询更新目标坐标数据的x坐标，故而，目标交汇点100对应的目标坐标数据gr
′
＝(x
′
，y
′
)。
101.需要说明的是，第二定时器的定时时间设置也可以设置成其他数值，而并不局限于本实施例中。
102.可以理解的是，参照图6，步骤s420，包括但不限于以下步骤：
103.步骤s421，当至少两个更新后的目标坐标数据落入预设抓取区域510，从至少两个更新后的目标坐标数据中，提取出一个目标待抓取坐标数据，其中，目标坐标数据包括目标待抓取坐标数据；
104.步骤s422，根据目标待抓取坐标数据对应的目标交汇点100，对动态目标进行抓取。
105.另外，本发明第二方面实施例还提供了一种动态目标抓取方法，该动态目标抓取方法包括：存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序。
106.处理器和存储器可以通过总线或者其他方式连接。
107.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
108.实现上述第一方面实施例的动态目标抓取方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的动态目标抓取方法，例如，执行以上描述的图1中的方法步骤s100至s400、图2中的方法步骤s210至步骤s220、图3中的方法步骤s310至s311、图4中的方法步骤s320至s330、图5中的方法步骤s410至s420、图6中的方法步骤s421至s422。
109.以上所描述的设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
110.此外，本发明一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的动态目标抓取方法，例如，执行以上描述的图1中的方法步骤s100至s400、图2中的方法步骤s210至步骤s220、图3中的方法步骤s310至s311、图4中的方法步骤s320至s330、图5中的方法步骤s410至s420、图6中的方法步骤s421至s422。
111.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
112.以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。