视觉模板生成、目标检测方法和装置及机器人系统与流程

1.本发明涉及工程机械技术领域，尤其涉及一种视觉模板生成、目标检测方法和装置及机器人系统。


背景技术：

2.在智能制造的发展趋势下，基于视觉伺服的工业机器人，可以自动完成目标检测，并可以基于目标检测的结果进行相关作业，从而提高制造的智能化水平，提高生产效率，已成为智能制造不可或缺的自动化设备之一。
3.基于视觉伺服的工业机器人可以通过模板匹配的方法实现目标检测，视觉模板将直接影响目标检测的准确性。
4.现有的视觉模板生成方法通过获取同一场景在无工件的情况下的图像和有工件的情况下的图像之间的差分图像，基于上述差分图像生成视觉模板。但是，在复杂场景下，基于上述现有的视觉模板生成方法生成的视觉模板难以进行准确的目标检测。并且，在控制工业机器人进行抓取作业时，基于上述视觉模板难以确定待抓取工件的抓料点。


技术实现要素：

5.本发明提供一种视觉模板生成、目标检测方法和装置及机器人系统，用以解决现有技术中在复杂场景下，基于现有的视觉模板生成方法生成的视觉模板难以进行准确的目标检测，且在控制工业机器人进行抓取作业的情况下，难以基于上述视觉模板确定待抓取工件的抓料点的缺陷，实现生成适用于更多场景的视觉模板且在控制工业机器人进行抓取作业时，基于上述视觉模板能确定待抓取工件的抓料点。
6.本发明提供一种视觉模板生成方法，包括：
7.获取目标工件的图纸；其中，所述目标工件的图纸中已标注所述目标工件的抓料点；
8.基于所述目标工件的图纸，获取所述抓料点与所述目标工件的中心点之间的第一位置偏差；
9.基于所述目标工件的图纸，生成所述目标工件的视觉模板，并将所述第一位置偏差写入所述目标工件的视觉模板。
10.根据本发明提供的一种视觉模板生成方法，所述目标工件的图纸已标注所述目标工件的相对放料点；
11.相应地，所述获取目标工件的图纸之后，所述方法还包括：
12.基于所述目标工件的图纸，获取所述相对放料点与所述目标工件的抓料点之间的第二位置偏差；
13.相应地，所述基于所述目标工件的图纸，生成所述目标工件的视觉模板之后，所述方法还包括：
14.将所述第二位置偏差写入所述目标工件的视觉模板。
15.根据本发明提供的一种视觉模板生成方法，所述基于所述目标工件的图纸，生成所述目标工件的视觉模板，具体包括：
16.基于所述目标工件对应的预设角度范围，生成所述预设角度范围内的目标角度对应的所述目标工件的视觉模板。
17.根据本发明提供的一种视觉模板生成方法，所述基于所述目标工件的图纸，生成所述目标工件的视觉模板，具体包括：
18.基于所述目标工件的图纸，生成所述目标工件每一预设尺度的视觉模板。
19.根据本发明提供的一种视觉模板生成方法，所述基于所述目标工件的图纸，生成所述目标工件每一预设尺度的视觉模板，具体包括：
20.基于所述目标工件的图纸和所述目标工件对应的预设角度范围，生成所述预设角度范围内目标角度对应的所述每一预设尺度的所述目标工件的视觉模板。
21.本发明还提供一种视觉模板生成装置，包括：
22.图纸获取模块，用于获取目标工件的图纸；其中，所述目标工件的图纸中已标注所述目标工件的抓料点；
23.偏差确定模块，用于基于所述目标工件的图纸，获取所述抓料点与所述目标工件的中心点之间的第一位置偏差；
24.模板生成模块，用于基于所述目标工件的图纸，生成所述目标工件的视觉模板，并将所述第一位置偏差写入所述目标工件的视觉模板。
25.本发明还提供一种目标检测方法，包括：
26.获取目标工件的视觉模板；
27.基于所述目标工件的视觉模板对待抓取工件进行目标检测，在确定待抓取工件为所述目标工件的情况下，基于所述目标工件的视觉模板携带的第一位置偏差，确定所述待抓取工件的抓料点的位置信息；
28.其中，所述目标工件的视觉模板，是基于如上所述的视觉模板生成方法生成的；所述第一位置偏差，用于描述所述目标工件的中心点与所述目标工件的抓料点之间的位置偏差。
29.根据本发明提供的一种目标检测方法，所述基于所述目标工件的视觉模板携带的第一位置偏差，确定所述待抓取工件的抓料点的位置信息之后，所述方法还包括：
30.基于所述目标工件的视觉模板携带的第二位置偏差，确定所述待抓取工件的相对放料点的位置信息；
31.其中，所述第二位置偏差，用于描述所述目标工件的相对放料点与所述抓料点之间的位置偏差。
32.本发明还提供一种目标检测装置，包括：
33.模板获取模块，用于获取目标工件的视觉模板；
34.目标检测模块，用于基于所述目标工件的视觉模板对待抓取工件进行目标检测，在确定待抓取工件为所述目标工件的情况下，基于所述目标工件的视觉模板携带的第一位置偏差，确定所述待抓取工件的抓料点的位置信息；
35.其中，所述目标工件的视觉模板，是基于如上所述的视觉模板生成方法生成的；所述第一位置偏差，用于描述所述目标工件的中心点与所述目标工件的抓料点之间的位置偏
差。
36.本发明还提供一种机器人系统，包括：如上所述的目标检测装置、工业机器人和图像传感器。
37.根据本发明提供的一种机器人系统，还包括：如上所述的视觉模板生成装置。
38.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视觉模板生成方法，或者，上述任一种所述目标检测方法的步骤。
39.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视觉模板生成方法，或者，上述任一种所述目标检测方法的步骤。
40.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视觉模板生成方法，或者，上述任一种所述目标检测方法的步骤。
41.本发明提供的视觉模板生成、目标检测方法和装置及机器人系统，通过基于已标注目标工件的抓料点的目标工件的图纸，获取目标工件的图纸中目标工件的抓料点与目标工件的中心点之间的第一位置偏差，基于目标工件的图纸，生成目标工件的视觉模板，并将上述第一位置偏差写入目标工件的视觉模板，能生成适用于更多场景的视觉模板，能在复杂场景下进行更准确的目标检测，在控制工业机器人进行抓取作业时，能在确定待抓取工件为目标工件的情况下，更准确、更高效的确定待抓取工件的抓料点的位置信息，能提高工业机器人的作业效率。
附图说明
42.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明提供的视觉模板生成方法的流程示意图；
44.图2是本发明提供的目标检测方法的流程示意图；
45.图3是本发明提供的视觉模板生成装置的结构示意图；
46.图4是本发明提供的目标检测装置的结构示意图；
47.图5是本发明提供的机器人系统的结构示意图之一；
48.图6是本发明提供的机器人系统的结构示意图之二；
49.图7是本发明提供的电子设备的结构示意图。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
52.通常情况下，控制工业机器人进行抓取作业时，可以基于视觉模板对待抓取工件进行目标检测。获取目标检测的结果之后，可以基于目标检测的结果和传统的视觉定位抓取算法，获取待抓取工件的抓料点的位置信息。工业机器人可以基于待抓取工件的抓料点的位置信息，从待抓取工件的抓料点抓取待抓取工件，并可以带动待抓取工件移动，将待抓取工件放置在预设的放料点。
53.但是，在待抓取工件的结构复杂或结构特殊的情况下，例如：待抓取工件的中心带有孔洞、待抓取工件的形状为u型等，基于传统的视觉定位抓取算法，难以准确的获取待抓取工件的抓料点的位置信息，可能会出现工业机器人抓空的情况。并且，在对待抓取工件进行目标检测之后，还需基于上述视觉定位抓取算法才能获取待抓取工件的抓料点的位置信息，过程较繁琐，影响工业机器人的作业效率。
54.因此，本发明提供一种视觉模板生成方法，基于本发明提供的视觉模板生成方法生成的视觉模板可以适用于更多场景，并且在控制工业机器人机械进行抓取作业时，基于本发明提供的视觉模板生成方法生成的视觉模板可以确定待抓取工件的抓料点的位置信息。
55.图1是本发明提供的视觉模板生成方法的流程示意图。下面结合图1描述本发明的视觉模板生成方法。如图1所示，该方法包括：步骤101、获取目标工件的图纸；其中，目标工件的图纸中已标注目标工件的抓料点。
56.需要说明的是，本发明实施例的执行主体为视觉模板生成装置。
57.具体地，可以将实际作业中有目标检测需求的各工件依次作为目标工件，例如：在控制工业机器人进行抓取作业之前，可以将各待抓取工件依次作为目标工件。基于本发明提供的视觉模板生成方法，可以生成目标工件的视觉模板，从而可以获取有目标检测需求的每一工件的视觉模板。基于上述各工件的视觉模板，可以实现对工件的目标检测，确定上述工件的类型。在控制工业机器人进行抓取作业时，可以基于上述各工件的视觉模板，确定待抓取工件的类型、摆放方向以及待抓取工件的抓料点的位置信息。
58.需要说明的是，本发明实施例中的视觉模板生成方法生成的视觉模板，可以用于工业机器人进行抓取作业时，对待抓取工件进行目标检测，并在确定待抓取工件为目标工件的情况下，进一步确定待抓取工件的抓料点的位置信息。
59.具体地，可以通过多种方式获取已标注目标工件的抓料点的目标工件的图纸，例如：可以基于先验知识，在目标工件的原始图纸上标注目标工件的抓料点之后，通过图像传感器或截图工具等方式获取目标工件的图纸。
60.需要说明的是，目标工件的图纸可以为图片格式。
61.可选地，目标工件的图纸中可以通过预设形状的第一图形标注目标工件的抓料点，例如：目标工件的图纸中可以通过预设直径的实心圆标注目标工件的抓料点，即上述实心圆所在位置为目标工件的抓料点所在位置。
62.需要说明的是，目标工件的图纸中通过预设形状的第一图形标注目标工件的抓料点时，需避免上述第一图形与目标工件原有结构特征重复，例如：目标工件的上表面嵌有圆形紧固件，则上述第一图形应避免为圆形或避免为直径与上述圆形紧固件直径相同的圆形。
63.步骤102、基于目标工件的图纸，获取抓料点与目标工件的中心点之间的第一位置偏差。
64.具体地，获取目标工件的图纸之后，可以对目标工件的图纸进行解析，在目标工件的图纸中确定目标工件的抓料点的位置和目标工件的中心点的位置。
65.可选地，可以基于用于标注目标工件的抓料点的预设形状的第一图形，对目标工件的图纸中的各图形特征进行筛选，在目标工件的图纸中确定上述第一图形，并获取上述第一图形的位置作为目标工件的抓料点的位置，从而可以在目标工件的图纸中确定目标工件的抓料点的位置，例如：可以基于预设直径的实心圆对目标工件的图纸中的各图形特征进行筛选，获取上述预设直径的实心圆所在位置，作为目标工件的抓料点的位置。
66.可选地，基于目标工件的图纸，可以通过几何学分析和数值计算等方式，在目标工件的图纸中确定目标工件的中心点的位置。
67.在目标工件的图纸中确定目标工件的抓料点的位置和目标工件的中心点的位置之后，可以通过数值计算的方法，获取上述抓料点和上述中心点之间的第一位置偏差。
68.步骤103、基于目标工件的图纸，生成目标工件的视觉模板，并将第一位置偏差写入目标工件的视觉模板。
69.具体地，基于目标工件的图纸，可以通过图像变换、边缘提取等方式，生成目标工件的视觉模板。上述目标工件的视觉模板中，背景信息为空，在基于上述目标工件的视觉模板进行目标检测时，对场景的要求不高，可以适用于复杂场景下的目标检测。
70.生成目标工件的视觉模板之后，可以将获取到的第一位置偏差写入目标工件的视觉模板。
71.控制工业机器人进行抓取作业时，待抓取工件位于上料台上，可以通过设置于上料台上方的图像传感器获取待抓取工件的俯视图像。基于目标工件的视觉模板和上述待抓取工件的俯视图像，可以对待抓取工件进行目标检测。在确定待抓取工件为目标工件的情况下，可以基于上述待抓取工件的俯视图像获取待抓取工件的中心点的位置信息。
72.获取待抓取工件的中心点的位置信息之后，可以基于第一位置偏差，获取待抓取工件的抓料点的位置信息。
73.基于待抓取工件的抓料点的位置信息，可以控制工业机器人从待抓取工件的抓料点抓取待抓取工件。
74.可以理解的是，目标工件的图纸可以包括预设视角的视图，基于目标工件的图纸生成的目标工件的视觉模板，可以用于在待抓取工件预设视角对应的面向上放置时，对待抓取工件进行目标检测。例如：目标工件的图纸可以包括目标工件的俯视图，基于目标工件的图纸生成的目标工件的视觉模板，可以用于在待抓取工件顶面向上放置时，对待抓取工件进行目标检测。
75.目标工件的图纸还可以包括目标工件的正视图、俯视图、仰视图、后视图、左视图和右视图。基于目标工件的图纸生成的目标工件的视觉模板，可以用于在待抓取工件的任
意一面向上放置时，对待抓取工件进行目标检测。
76.本发明实施例通过基于已标注目标工件的抓料点的目标工件的图纸，获取目标工件的图纸中目标工件的抓料点与目标工件的中心点之间的第一位置偏差，基于目标工件的图纸，生成目标工件的视觉模板，并将上述第一位置偏差写入目标工件的视觉模板，能生成适用于更多场景的视觉模板，能在复杂场景下进行更准确的目标检测，在控制工业机器人进行抓取作业时，能在确定待抓取工件为目标工件的情况下，更准确、更高效的确定待抓取工件的抓料点的位置信息，能提高工业机器人的作业效率。
77.基于上述各实施例的内容，目标工件的图纸已标注目标工件的相对放料点。
78.通常情况下，工业机器人进行抓取作业时，从待抓取工件的抓料点抓取待抓取工件之后，可以将待抓取工件移动至预先确定的预设放料点，在上述预设放料点放置待抓取工件，完成上述抓取作业。但是，在待抓取工件的尺寸较大的情况下，在预设放料点放置待抓取工件，可能会出现待抓取工件超出放料平台的边界的情况，进而可能导致待抓取工件的掉落或损坏放料平台的边界，需要对预设放料点进行修正，确定待抓取工件相对放料点的位置信息，从而可以基于上述相对放料点的位置信息，控制工业机器人将待抓取工件移动至上述相对放料点，并在上述相对放料点放置待抓取工件。
79.本发明实施例中目标工件的图纸中标注有相对放料点。上述相对放料点，是基于目标工件及放料平台的形状尺寸预先确定的。基于目标工件的图纸可以确定相对放料点与抓料点的第二位置偏差。基于上述第二位置偏差以及预设放料点的位置信息，可以确定相对放料点的位置信息，从而避免目标工件的掉落或损坏放料平台的边界。
80.可选地，目标工件的图纸中可以通过预设形状的第二图形标注目标工件的相对放料点，例如：目标工件的图纸中可以通过预设边长的实心等边三角形标注目标工件的相对放料点，即上述实心等边三角形所在位置为目标工件的相对放料点所在位置。
81.需要说明的是，目标工件的图纸中通过预设形状的第二图形标注目标工件的相对放料点时，需避免上述第二图形与目标工件原有结构重复，例如：目标工件的上表面嵌有三角形紧固件，则上述第二图形应避免为三角形或避免为边长与上述三角形紧固件边长相同的三角形。
82.相应地，获取目标工件的图纸之后，上述方法还包括：基于目标工件的图纸，获取相对放料点与目标工件的抓取点之间的第二位置偏差。
83.具体地，获取目标工件的图纸之后，可以对目标工件的图纸进行解析，在目标工件的图纸中确定目标工件的相对放料点的位置和目标工件的抓取点的位置。
84.可选地，可以基于用于标注目标工件的相对放料点的预设形状的第二图形，对目标工件的图纸中的各图形特征进行筛选，在目标工件的图纸中确定上述第二图形，并获取上述第二图形的位置作为目标工件的相对放料点的位置，从而在目标工件的图纸中确定目标工件的相对放料点的位置，例如：可以基于预设边长的实心等边三角形对目标工件的图纸中的各图形特征进行筛选，获取上述预设边长的实心等边三角形所在位置，作为目标工件的相对放料点的位置。
85.在目标工件的图纸中确定目标工件的相对放料点的位置和目标工件的抓取点的位置之后，可以通过数值计算的方法，获取上述相对放料点和上述抓取点之间的第二位置偏差。
86.相应地，基于目标工件的图纸，生成目标工件的视觉模板之后，上述方法还包括：将第二位置偏差写入目标工件的视觉模板。
87.获取上述第二位置偏差之后，可以将获取到的第二位置偏差写入目标工件的视觉模板。
88.控制工业机器人进行抓取作业时，可以基于目标工件的视觉模板，控制工业机器人在上述抓取点抓取目标工件，并可以基于第二位置偏差，获取待抓取工件的相对放料点的位置信息。
89.获取待抓取工件的相对放料点的位置信息之后，可以基于待抓取工件的相对放料点的位置信息，控制工业机器人将待抓取工件放置于相对放料点，从而避免待抓取工件超出放料平台的边界。
90.本发明实施例通过基于已标注目标工件的相对放料点的目标工件的图纸，获取目标工件的图纸中目标工件的相对放料点与目标工件的抓取点之间的第二位置偏差，在基于目标工件的图纸生成目标工件的视觉模板之后，将上述第二位置偏差写入目标工件的视觉模板，能生成携带有第二位置偏差的目标工件的视觉模板，在控制工业机器人进行抓取作业时，能在确定待抓取工件为目标工件的情况下，更准确、更高效的确定待抓取工件的相对放料点的位置信息，能避免待抓取工件尺寸较大时超出放料平台的边界，能提高工业机器人的作业安全。
91.基于上述各实施例的内容，基于目标工件的图纸，生成目标工件的视觉模板，具体包括：基于目标工件对应的预设角度范围和目标工件的图纸，生成预设角度范围内的目标角度对应的目标工件的视觉模板。
92.具体地，控制工业机器人进行抓取作业时，通过设置于上料台上方的图像传感器获取待抓取工件的俯视图像之后。可以获取目标工件的视觉模板和上述待抓取工件的俯视图像之间的匹配度，在上述匹配度大于预设的匹配度阈值的情况下，可以确定待抓取工件为目标工件。
93.但是，通常情况下，待抓取工件在上料台上的位置并不是固定的，待抓取工件相对于上料台的下底边的旋转角度不同，在获取到的待抓取工件的俯视图像中，待抓取工件相对于上述俯视图像的下底边的旋转角度也不同。并且，某些待抓取工件的相互对称和/或形状相似，基于传统的视觉模板生成方法生成的视觉模板进行目标检测时，易发生目标检测错误，例如：相互对称且形状相似的工件a和工件b，其中，待抓取工件为工件a，放置于上料台上，但基于传统的视觉模板生成方法生成的视觉模板进行目标检测时，得到待抓取工件的俯视图与工件a的视觉模板的匹配度和工件b的视觉模板的匹配度均大于预设的匹配度阈值，则有可能将待抓取工件错误确定为工件b。
94.本发明实施例中，目标工件对应的预设角度范围，指基于目标工件的视觉模板可以对待抓取工件进行目标检测的角度范围。在待抓取工件相对于上料台的下底边的旋转角度超过上述预设角度范围内的情况下，无法基于目标工件的视觉模板确定待抓取工件为目标工件。
95.可以根据目标工件的形状确定目标工件对应的预设角度范围，例如：目标工件对应的预设角度范围可以为0～180
°
，即待抓取工件相对于上料台的下底边的旋转角度超过0～180
°
的情况下，无法基于目标工件的视觉模板确定待抓取工件为目标工件。
96.可以基于预设的规则，在目标工件对应的预设角度范围内确定多个目标角度，例如：可以将上述预设角度范围的起始角度作为第一个目标角度，并每隔预设的步长，确定一个目标角度，直至达到上述预设角度范围的终止角度。
97.基于目标工件的图纸和目标工件对应的预设角度范围，可以通过图像变换、边缘提取等方式，生成上述预设角度范围内每一目标角度对应的目标工件的视觉模板。其中，任一目标角度对应的目标工件的视觉模板中，目标工件相对于视觉模板的下底边的旋转角度为上述目标角度。
98.控制工业机器人进行抓取作业时，可以获取位于上料台上的待抓取工件的俯视图像，并可以基于目标工件对应的预设角度范围内每一目标角度对应的目标工件的视觉模板和上述待抓取工件的俯视图像，对待抓取工件进行目标检测，获取上述待抓取工件的俯视图像与上述每一目标角度对应的目标工件的视觉模板的匹配度。
99.获取与待抓取工件的俯视图像的匹配度最高的目标角度对应的目标工件的视觉模板，并在上述匹配度大于预设的匹配度阈值的情况下，确定待抓取工件为目标工件，并可以确定待抓取工件相对于上料台的下底边的旋转角度为上述目标角度。
100.本发明实施例通过基于目标工件的图纸和预先确定的目标工件对应的预设角度范围，生成上述预设角度范围内目标角度对应的目标工件的视觉模板，能避免相互对称和/或形状相似的工件的目标检测错误，能基于视觉模板进行更准确的目标检测。
101.基于上述各实施例的内容，基于目标工件的图纸，生成目标工件的视觉模板，具体包括：基于目标工件的图纸，生成目标工件每一预设尺度的视觉模板。
102.具体地，在控制工业机器人进行抓取作业时，设置于上料台上方的图像传感器的焦距不同，获取到的待抓取工件的俯视图像中待抓取工件的尺度不同。在待抓取工件为目标工件的情况下，若待抓取工件的俯视图像中，待抓取工件的尺度较大或较小，则可能导致待抓取工件的俯视图像与目标工件的视觉模板的匹配度较低，导致无法成功检测到待抓取工件为目标工件。
103.本发明实施例中，可以基于实际确定多个预设尺度，并可以基于目标工件的图纸，通过图像转换等方式，生成目标工件每一预设尺度的视觉模板。
104.本发明实施例通过基于目标工件的图纸，生成目标工件每一预设尺度的视觉模板，能提高基于视觉模板进行目标检测的准确率。
105.基于上述各实施例的内容，基于目标工件的图纸，生成目标工件的视觉模板，具体包括：基于目标工件的图纸和目标工件对应的预设角度范围，生成预设角度范围内目标角度对应的每一预设尺度的目标工件的视觉模板。
106.具体地，本发明实施例中可以基于目标工件的形状预先获取目标工件对应的预设角度范围，并可以基于目标工件的图纸，可以通过图像变换、边缘提取等方式，生成上述预设角度范围内每一目标角度对应的每一预设尺度的目标工件的视觉模板。例如：目标工件对应的预设角度范围为0～180
°
，上述预设角度范围内的目标角度分别为0
°
、1
°
、2
°
、
…
、179
°
和180
°
，预设尺度包括第一预设尺度、第二预设尺度和第三预设尺度，则基于目标工件的图纸和目标工件对应的预设角度范围0～180
°
，可以生成1
°
对应的第一预设尺度的目标工件的视觉模板、1
°
对应的第二预设尺度的目标工件的视觉模板、1
°
对应的第三预设尺度的目标工件的视觉模板、2
°
对应的第一预设尺度的目标工件的视觉模板，以此类推，可以获
取每一目标角度对应的每一预设尺度的目标工件的视觉模板。
107.本发明实施例通过基于目标工件的图纸和目标工件对应的预设角度范围，生成上述预设角度范围内每一目标角度对应的每一预设尺度的目标工件的视觉模板，能进一步提高视觉模板进行目标检测的准确率。
108.图2是本发明提供的目标检测方法的流程示意图。下面结合图2描述本发明的目标检测方法。如图2所示，该方法包括：步骤201、获取目标工件的视觉模板；其中，目标工件的视觉模板，是基于如上所述的视觉模板生成方法生成的；第一位置偏差，用于描述目标工件的中心点与目标工件的抓料点之间的位置偏差。
109.需要说明的是，本发明实施例的执行主体为目标检测装置。
110.需要说明的是，本发明实施例中的目标检测方法，可以用于在控制工业机器人进行抓取作业时，基于目标工件的视觉模板对待抓取工件进行目标检测，判断待抓取工件是否为目标工件。在确定待抓取工件为目标工件的情况下，进一步获取待抓取工件的抓料点的位置信息。
111.具体地，对待抓取目标进行目标检测之前，可以首先基于上述各实施例中的视觉模板生成方法，生成目标工件的视觉模板。
112.基于生成目标工件的视觉模板的具体步骤可以参见上述各实施例的内容，此处不再赘述。
113.需要说明的是，目标工件的视觉模板携带有第一位置偏差。第一位置偏差可以用于描述目标工件的中心点与目标工件的抓料点之间的位置偏差。
114.步骤202、基于目标工件的视觉模板对待抓取工件进行目标检测，在确定待抓取工件为目标工件的情况下，基于目标工件的视觉模板携带的第一位置偏差，确定待抓取工件的抓料点的位置信息。
115.具体地，控制工业机器人进行抓取作业时，待抓取工件位于上料台上，可以通过设置于上料台上方的图像传感器获取待抓取工件的俯视图像。基于目标工件的视觉模板和上述待抓取工件的俯视图像，可以对待抓取工件进行目标检测。在确定待抓取工件为目标工件的情况下，可以基于上述待抓取工件的俯视图像获取待抓取工件的中心点的位置信息。
116.获取待抓取工件的中心点的位置信息之后，可以基于第一位置偏差，获取待抓取工件的抓料点的位置信息。
117.基于待抓取工件的抓料点的位置信息，可以控制工业机器人从待抓取工件的抓料点抓取待抓取工件。
118.本发明实施例通过获取携带有第一位置偏差的目标工件的视觉模板之后，基于上述目标工件的视觉模板对待抓取工件进行目标检测，在确定待抓取工件为目标工件的情况下，基于上述第一位置偏差，确定待抓取工件的抓料点的位置信息，能基于本发明提供的视觉模板生成方法生成的视觉模板在复杂场景下进行更准确的目标检测，在控制工业机器人进行抓取作业时，能在确定待抓取工件为目标工件的情况下，更准确、更高效的确定待抓取工件的抓料点的位置信息，能提高工业机器人的作业效率。
119.基于上述各实施例的内容，基于目标工件的视觉模板携带的第一位置偏差，确定待抓取工件的抓料点的位置信息之后，上述方法还包括：基于目标工件的视觉模板携带的第二位置偏差，确定待抓取工件的相对放料点的位置信息；其中，第二位置偏差，用于描述
目标工件的相对放料点与抓料点之间的位置偏差。
120.需要说明的是，目标工件的视觉模板携带有第二位置偏差。第二位置偏差可以用于描述目标工件的抓料点的位置与目标工件的相对放料点的位置之间的偏差。
121.通常情况下，工业机器人进行抓取作业时，从待抓取工件的抓料点抓取待抓取工件之后，可以将待抓取工件移动至预先确定的预设放料点放置待抓取工件，完成上述抓取作业。但是，在待抓取工件的尺寸较大的情况下，在预设放料点放置待抓取工件，可能会出现待抓取工件超出放料平台的边界的情况，进而可能导致待抓取工件的掉落或损坏放料平台的边界，需要对预设放料点进行修正，确定待抓取工件相对放料点的位置信息。
122.基于目标工件的视觉模板携带的第二位置偏差，可以获取待抓取工件的相对放料点的位置信息。
123.获取待抓取工件的相对放料点的位置信息之后，可以基于待抓取工件的相对放料点的位置信息，控制工业机器人将待抓取工件放置于相对放料点，从而避免待抓取工件超出放料平台的边界。
124.本发明实施例通过基于目标工件的视觉模板携带的第二位置偏移，获取待抓取工件的相对放料点的位置信息，能更准确、更高效的确定待抓取工件的相对放料点的位置信息，能避免待抓取工件尺寸较大时超出放料平台的边界，能提高工业机器人的作业安全。
125.图3是本发明提供的视觉模板生成装置的结构示意图。下面结合图3对本发明提供的视觉模板生成装置进行描述，下文描述的视觉模板生成装置与上文描述的本发明提供的视觉模板生成方法可相互对应参照。如图3所示，该装置包括：图纸获取模块301、偏差确定模块302和模板生成模块303。
126.图纸获取模块301，用于获取目标工件的图纸；其中，目标工件的图纸中已标注目标工件的抓料点。
127.偏差确定模块302，用于基于目标工件的图纸，获取抓料点与目标工件的中心点之间的第一位置偏差。
128.模板生成模块303，用于基于目标工件的图纸，生成目标工件的视觉模板，并将第一位置偏差写入目标工件的视觉模板。
129.具体地，图纸获取模块301、偏差确定模块302和模板生成模块303。
130.图纸获取模块301可以通过多种方式获取已标注目标工件的抓料点的目标工件的图纸，例如：可以基于先验知识，在目标工件的原始图纸上标注目标工件的抓料点之后，通过图像传感器或截图工具等方式获取目标工件的图纸。
131.偏差确定模块302可以对目标工件的图纸进行解析，在目标工件的图纸中确定目标工件的抓料点的位置和目标工件的中心点的位置。在目标工件的图纸中确定目标工件的抓料点的位置和目标工件的中心点的位置之后，可以通过数值计算的方法，获取上述抓料点和上述中心点之间的第一位置偏差。
132.模板生成模块303可以基于目标工件的图纸，可以通过图像变换、边缘提取等方式，生成目标工件的视觉模板。上述目标工件的视觉模板中，背景信息为空，在基于上述目标工件的视觉模板进行目标检测时，对场景的要求不高，可以适用于复杂场景下的目标检测。
133.模板生成模块303生成目标工件的视觉模板之后，可以将获取到的第一位置偏差
写入目标工件的视觉模板。
134.可选地，偏差确定模块302还可以用于基于目标工件的图纸，获取相对放料点与目标工件的抓料点之间的第二位置偏差。
135.可选地，模板生成模块303还可以用于将第二位置偏差写入目标工件的视觉模板。
136.可选地，模板生成模块303还可以具体用于基于目标工件对应的预设角度范围，生成预设角度范围内的目标角度对应的目标工件的视觉模板。
137.模板生成模块303还可以具体用于基于目标工件的图纸，生成目标工件每一预设尺度的视觉模板。
138.模板生成模块303还可以具体用于基于目标工件的图纸和目标工件对应的预设角度范围，生成预设角度范围内目标角度对应的每一预设尺度的目标工件的视觉模板。
139.本发明实施例通过基于已标注目标工件的抓料点的目标工件的图纸，获取目标工件的图纸中目标工件的抓料点与目标工件的中心点之间的第一位置偏差，基于目标工件的图纸，生成目标工件的视觉模板，并将上述第一位置偏差写入目标工件的视觉模板，能生成适用于更多场景的视觉模板，能在复杂场景下进行更准确的目标检测，在控制工业机器人进行抓取作业时，能在确定待抓取工件为目标工件的情况下，更准确、更高效的确定待抓取工件的抓料点的位置信息，能提高工业机器人的作业效率。
140.图4是本发明提供的目标检测装置的结构示意图。下面结合图4对本发明提供的视觉模板生成装置进行描述，下文描述的视觉模板生成装置与上文描述的本发明提供的视觉模板生成方法可相互对应参照。如图4所示，该装置包括：模板获取模块401和目标检测模块402。
141.模板获取模块401，用于获取目标工件的视觉模板。
142.目标检测模块402，用于基于目标工件的视觉模板对待抓取工件进行目标检测，在确定待抓取工件为目标工件的情况下，基于目标工件的视觉模板携带的第一位置偏差，确定待抓取工件的抓料点的位置信息。
143.其中，目标工件的视觉模板，是基于如上所述的视觉模板生成方法生成的；第一位置偏差，用于描述目标工件的中心点与目标工件的抓料点之间的位置偏差。
144.具体地，模板获取模块401和目标检测模块402电连接。
145.模板获取模块401基于上述各实施例中的视觉模板生成方法，生成目标工件的视觉模板。
146.需要说明的是，模板获取模块401可以包括视觉模板生成装置。
147.控制工业机器人进行抓取作业时，待抓取工件位于上料台上，可以通过设置于上料台上方的图像传感器获取待抓取工件的俯视图像。目标检测模块402可以基于目标工件的视觉模板和上述待抓取工件的俯视图像，对待抓取工件进行目标检测。在确定待抓取工件为目标工件的情况下，可以基于上述待抓取工件的俯视图像获取待抓取工件的中心点的位置信息。获取待抓取工件的中心点的位置信息之后，可以基于第一位置偏差，获取待抓取工件的抓料点的位置信息。
148.可选地，目标检测模块402还可以用于基于目标工件的视觉模板携带的第二位置偏差，确定待抓取工件的相对放料点的位置信息；其中，第二位置偏差，用于描述目标工件的相对放料点与抓料点之间的位置偏差。
149.本发明实施例通过获取携带有第一位置偏差的目标工件的视觉模板之后，基于上述目标工件的视觉模板对待抓取工件进行目标检测，在确定待抓取工件为目标工件的情况下，基于上述第一位置偏差，确定待抓取工件的抓料点的位置信息，能基于本发明提供的视觉模板生成方法生成的视觉模板在复杂场景下进行更准确的目标检测，在控制工业机器人进行抓取作业时，能在确定待抓取工件为目标工件的情况下，更准确、更高效的确定待抓取工件的抓料点的位置信息，能提高工业机器人的作业效率。
150.图5是本发明提供的机器人系统的结构示意图之一。下面结合图5对本发明提供的机器人系统进行描述。如图5所示，机器人系统，包括：如上所述的目标检测装置501、工业机器人502和图像传感器503。
151.具体地，工业机器人502可以固定于底座504上。
152.可选地，工业机器人502为可以进行抓取作业的工业机器人。工业机器人502可以为六轴工业机器人、桁架手或者四轴工业机器人等。本发明实施例中对工业机器人502的具体类型不作限定。
153.工业机器人502的机械臂末端设置有图像传感器503。上料台505和放料平台507设置于工业机器人502的机械臂的臂展行程范围内，由工业机器人502的机械臂带动图像传感器503移动至上料台505的正上方。图像传感器503可以用于获取放置在上料台505上的待抓取工件506的俯视图像。
154.图像传感器503可以为线激光传感器，还可以是其他类型的图像传感器。本发明实施例中对图像传感器503的具体类型不作限定。
155.需要说明的是，图像传感器503与目标检测装置501连接。目标检测装置501与工业机器人502连接。目标检测装置501的安装位置可以根据实际情况确定，图5所示的目标检测装置501的安装位置仅为一个实例。
156.图6是本发明提供的机器人系统的结构示意图之二。如图6所示，工业机器人502基于plc程序执行抓取动作。目标检测装置501可以基于视觉模板生成装置601提供的视觉模板对待抓取工件进行目标检测，并向工业机器人502提供控制数据。图像传感器503为待抓取工件的图像数据的输入提供硬件支持。
157.需要说明的是，本发明实施例中的机器人系统，不包括视觉模板生成装置601。
158.目标检测装置501基于目标工件的视觉模板对待抓取工件506进行目标检测的具体过程，以及视觉模板生成装置601生成目标工件的视觉模板的具体过程可以参见上述各实施例的内容，本发明实施例中不再赘述。
159.本发明实施例中的机器人系统包括目标检测装置、工业机器人和图像传感器，通过获取携带有第一位置偏差的目标工件的视觉模板之后，基于上述目标工件的视觉模板对待抓取工件进行目标检测，在确定待抓取工件为目标工件的情况下，基于上述第一位置偏差，确定待抓取工件的抓料点的位置信息，能基于本发明提供的视觉模板生成方法生成的视觉模板在复杂场景下进行更准确的目标检测，在控制工业机器人进行抓取作业时，能在确定待抓取工件为目标工件的情况下，更准确、更高效的确定待抓取工件的抓料点的位置信息，能提高工业机器人的作业效率。
160.基于上述各实施例的内容，机器人系统，还包括：如上所述的视觉模板生成装置601。
161.本发明实施例中的机器人系统还包括视觉模板生成装置，能更简单、更高效的获取目标工件的视觉模板，能提高工业机器人的作业效率。
162.图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行视觉模板生成方法，该方法包括：获取目标工件的图纸；其中，目标工件的图纸中已标注目标工件的抓料点；基于目标工件的图纸，获取抓料点与目标工件的中心点之间的第一位置偏差；基于目标工件的图纸，生成目标工件的视觉模板，并将第一位置偏差写入目标工件的视觉模板；以及目标检测方法，该方法包括：获取目标工件的视觉模板；基于目标工件的视觉模板对待抓取工件进行目标检测，在确定待抓取工件为目标工件的情况下，基于目标工件的视觉模板携带的第一位置偏差，确定待抓取工件的抓料点的位置信息；其中，目标工件的视觉模板，是基于如上所述的视觉模板生成方法生成的；第一位置偏差，用于描述目标工件的中心点与目标工件的抓料点之间的位置偏差。
163.此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
164.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的视觉模板生成方法，该方法包括：获取目标工件的图纸；其中，目标工件的图纸中已标注目标工件的抓料点；基于目标工件的图纸，获取抓料点与目标工件的中心点之间的第一位置偏差；基于目标工件的图纸，生成目标工件的视觉模板，并将第一位置偏差写入目标工件的视觉模板；以及目标检测方法，该方法包括：获取目标工件的视觉模板；基于目标工件的视觉模板对待抓取工件进行目标检测，在确定待抓取工件为目标工件的情况下，基于目标工件的视觉模板携带的第一位置偏差，确定待抓取工件的抓料点的位置信息；其中，目标工件的视觉模板，是基于如上所述的视觉模板生成方法生成的；第一位置偏差，用于描述目标工件的中心点与目标工件的抓料点之间的位置偏差。
165.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的视觉模板生成方法，该方法包括：获取目标工件的图纸；其中，目标工件的图纸中已标注目标工件的抓料点；基于目标工件的图纸，获取抓料点与目标工件的中心点之间的第一位置偏差；基于目标工件的图纸，生成目标工件的视觉模板，并将第一位置偏差写入目标工件的视觉模板；以及目标检测方法，该方法包括：获取目标工件的视觉模板；基于目标工件的视觉模板对待抓取工件进行
目标检测，在确定待抓取工件为目标工件的情况下，基于目标工件的视觉模板携带的第一位置偏差，确定待抓取工件的抓料点的位置信息；其中，目标工件的视觉模板，是基于如上所述的视觉模板生成方法生成的；第一位置偏差，用于描述目标工件的中心点与目标工件的抓料点之间的位置偏差。
166.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
167.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
168.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。