一种基于视觉的螺母分拣设备的制作方法

1.本实用新型涉及零件分拣设备领域，具体涉及一种基于视觉的螺母分拣设备。


背景技术：

2.随着工业的进步，工业上的零件分拣已经逐步趋向于自动化和智能化代替传统人工分拣和抽检的方式，以解决传统人工分拣速度慢、劳动量大、易漏检等问题。
3.但目前采用智能化进行零件分拣存在以下的问题：首先，在捡取零件时，由于零件的放置存在不确定性，且当不同类型的零件错综叠放互相遮挡时，会导致进行扫描采集的相机识别困难，从而导致在获取零件群体的点云图像信息时，出现识别不准确，且目前传统机器人工作的校准方式是通过示教器校准的，这就导致抓取时顺序混乱，容易碰撞等问题。此外，分拣或抓取零部件效率较低，泛化能力低，难以满足多种工件识别和抓取的要求。


技术实现要素：

4.针对现有技术的不足，本实用新型提出一种基于视觉的螺母分拣设备，通过在工作平台上方设置视觉识别装置，且视觉识别装置与设置有efficient net卷积神经网络的总控制处理器电连接的方式提高了对不同螺母零件的特征识别，进而提高了抓取的精准度。
5.本实用新型的技术方案是这样实现的：
6.本实用新型提供的一种基于视觉的螺母分拣设备，包括视觉识别装置、机座、中转机械手及夹持机械手，所述视觉识别装置、所述中转机械手及所述夹持机械手均固定安装在所述机座上并均与设置有efficient net卷积神经网络的总控制处理器电连接；所述机座设有用于放置若干待分拣的螺母的工作平台及放置完成初次分拣的所述螺母的中转台，所述工作平台位于所述视觉识别装置的下方并均在所述视觉识别装置扫描采集的范围内，所述中转机械手设置在所述工作平台与所述中转台之间，所述夹持机械手位于所述中转台的一侧。
7.本实用新型优选的技术方案在于，所述视觉识别装置包括光源装置及相机，所述相机位于若干所述光源装置的内部，所述相机与所述总控制处理器的输入端电连接，所述光源装置与所述总控制处理器的输出控制端电连接。
8.本实用新型优选的技术方案在于，所述中转机械手包括x轴运动装置、y轴运动装置、z轴升降装置及旋转夹头，所述y轴运动装置滑动连接在所述x轴运动装置上，所述z轴升降装置滑动连接在所述y轴运动装置上，所述旋转夹头固定连接在所述z轴升降装置的下端端部，所述x轴运动装置固定连接在所述机座上且一端位于所述中转台内部的上方，另一端位于所述工作平台内部的上方。
9.本实用新型优选的技术方案在于，所述夹持机械手为六轴机械臂；所述六轴机械臂包括夹取执行端、转动端及固定端，所述转动端转动连接在所述固定端上，所述夹取执行端转动连接在所述转动端上；所述夹取执行端与所述螺母相适配，所述转动端最大覆盖范
围与所述工作平台相适配。
10.本实用新型优选的技术方案在于，还包括进料装置，所述进料装置与所述总控制处理器电连接且固定安装在所述机座上；所述机座上还设有取料区及进料口，所述取料区位于所述工作平台的一侧，所述进料装置的一端位于所述取料区内部，另一端与所述进料口相对应。
11.本实用新型优选的技术方案在于，还包括两个输送轨道、两个滑块及用于吸取所述螺母的电磁取料装置，两个所述滑块各自分别滑动连接在所述输送轨道上且两个所述输送轨道固定连接在所述机座上，所述电磁取料装置的对称两端分别固定安装在两个所述输送轨道上；两个所述输送轨道平行设置且其中一端均位于所述取料区的一侧，另一端均位于所述工作平台的一侧。
12.本实用新型优选的技术方案在于，基于视觉的螺母分拣设备的分拣方法，包括如下步骤：
13.s1、图像分类与采集：所述相机进行多方位扫描所述工作平台上的若干所述螺母，并经完成训练的efficient net卷积神经网络进行特征识别及分类处理，将在所述工作平台上的若干所述螺母形成标准位姿点云图后发送到所述总控制处理器中；
14.s2、信息处理与转化：将所述标准位姿点云图的信息进行点云对齐及目标检测的处理，再转化形成为第一控制指令或第二控制指令；
15.s3、分拣控制：所述总控制处理器将所述第一控制指令发送到所述中转机械手，将所述工作平台上若干所述螺母逐一抓取到所述中转台上，同时，所述总控制处理器将所述第二控制指令发送到所述夹持机械手，将已放置在所述中转台上的所述螺母进行夹取。
16.本实用新型优选的技术方案在于，在步骤s1中，训练所述efficient net卷积神经网络的方式如下：
17.s11、在windows10系统上运用python、pytorch以及pycharm搭建用于训练所述efficient net卷积神经网络的环境平台；
18.s12、根据所述螺母的类型使用labelimg进行标签标注，再通过所述相机(12)采集若干所述螺母的图像样本，并将若干所述图像样本分为训练集和测试集，所述训练集与所述测试集的数目各占70％和30％；
19.s13、在所述python中将所述训练集与所述测试集输入到所述efficient net卷积神经网络内进行迭代训练。
20.本实用新型优选的技术方案在于，在s12步骤中，训练所述efficient net卷积神经网络时，查看所述efficient net卷积神经网络的网络精度并设置其初始参数batch_size为64、momentum为0.9、weight decay为1e
‑
5、初始学习率为0.256以及每个epoches衰减0.97。
21.本实用新型优选的技术方案在于，在步骤s2中，将所述标准位姿点云图的信息进行点云对齐包括：
22.s21、通过所述相机对所述工作平台的若干所述螺母扫描并获取点云，经point
‑
sift神经网络模型对所述点云进行识别；
23.s22、利用db
‑
scan聚类算法将所述点云实例化并分析获取每个所述螺母的单一点云；
24.s23、利用icp将所述标准位姿点云图与所述点云配准算法，对每个所述螺母进行位姿估计。
25.本实用新型的有益效果：
26.该设备通过在机座上设置工作平台，并在工作平台上设置相机以进行对螺母零件的扫描采集，同时，相机通过总控制处理器中的efficient net卷积神经网络进行控制分类识别，进而实现相机对螺母零件的特征识别更加精准，再由总控制处理器进行点云对齐和点云配准，进而实现有效提高了智能化识别的准确率，进而有利于机械手更加准确抓取螺母零件和提高分拣的效率。
附图说明
27.为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1为本技术具体实施方式基于视觉的螺母分拣设备的第一结构图；
29.图2为本技术具体实施方式基于视觉的螺母分拣设备的第二结构图；
30.图3为本技术具体实施方式基于视觉的螺母分拣设备的局部示意图。
31.图4为本技术具体实施方式基于视觉的螺母分拣设备的方法流程图。
32.图中各附图标记说明如下：
33.1、视觉识别装置；11、光源装置；12、相机；2、机座；21、工作平台；22、中转台；23、取料区；24、进料口；31、x轴运动装置；32、y轴运动装置；33、z轴升降装置；34、旋转夹头；41、夹取执行端；42、转动端；43、固定端；5、进料装置；61、输送轨道；62、滑块；63、电磁取料装置。
具体实施方式
34.下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
35.在本实用新型的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。此外，术语“第一”、“第二”、“第三”、“第四”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
36.在本实用新型的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本实用新型中的具体含义。
37.如图1至图3所示为本实用新型所提供的一种基于视觉的螺母分拣设备的具体实
施方式，一种基于视觉的螺母分拣设备包括视觉识别装置1、机座2、中转机械手及夹持机械手，视觉识别装置1、中转机械手及夹持机械手均固定安装在机座2上并均与设置有efficient net卷积神经网络的总控制处理器电连接；机座2设有用于放置若干待分拣的螺母的工作平台21及放置完成初次分拣的螺母的中转台22，工作平台21位于视觉识别装置1的下方并均在视觉识别装置1扫描采集的范围内，中转机械手设置在工作平台21与中转台22之间，夹持机械手位于中转台22的一侧。
38.具体地，若干待分拣的螺母错落放置在工作平台21上，且工作平台21处于其正上方设置的视觉识别装置1的扫描采集方位内，则视觉识别装置1有效的将每个待分拣的螺母全部进行扫描。在工作平台21一侧设置有中转机械手和中转台22，且中转机械手位于工作平台21与中转台22之间，视觉识别装置1、中转机械手与夹持机械手均与总控制处理器电连接，因此，当视觉识别装置1将工作平台21上的螺母进行扫描成为点云图的信息传递到总控制处理器后，总控制处理器经处理生成控制指令，控制中转机械手夹取目标，也即指定的螺母输送到中转台22内，中转台22旁还设有夹持机械手，具体的，夹持机械手与中转机械手位于中转台22相对两侧上，则当分拣后零件螺母放置到中转台22后，总控制处理器发送控制指令进行控制夹持机械手进行夹取，进一步实现二次定位的目的，从而实现有效提高了生产效率，无需人工监督，减少人工劳动成本的目的。
39.如图3所示，视觉识别装置1包括光源装置11及相机12，相机12位于若干光源装置11的内部，相机12与总控制处理器的输入端电连接，光源装置11与总控制处理器的输出控制端电连接。
40.具体地，光源装置11用于相机12的扫描采集提供适当的光源，且光源装置11可在总控制处理器的控制下进行调节光线的亮度，则相机12反馈的扫描信息到总控制处理器，经总控制处理器对比分析，将调节控制信号发送到光源装置11上，对光线亮度调节至相机12适当的亮度，进而有利于相机12更好地对工作平台21的扫描。优选的，相机12为一种三维相机，本实施例中相机12采用ccd相机，相机12的扫描摄取的范围均覆盖了工作平台21的面积，同时经efficient net卷积神经网络的控制，对工作平台21上待分拣的螺母零件更加精准的扫描识别以及采集分类，避免了传统扫描出现识别检测不准确的问题，进而相机12扫描后信息发送到总控制处理器后，有利于总控制处理器控制中转机械手抓取工作平台21的零件抓取，从而提高了抓取螺母零件的效率。
41.作为本实施例的优选方案，如图1至图2所示，中转机械手包括x轴运动装置31、y轴运动装置32、z轴升降装置33及旋转夹头34，y轴运动装置32滑动连接在x轴运动装置31上，z轴升降装置33滑动连接在y轴运动装置32上，旋转夹头34固定连接在z轴升降装置33的下端端部，x轴运动装置31固定连接在机座2上且一端位于中转台22内部的上方，另一端位于工作平台21内部的上方。
42.具体地，x轴运动装置31包括x轴驱动电机、沿x轴设置的滑轨和与滑轨滑动连接的滑块，y轴运动装置32包括y轴驱动电机、沿y轴设置的滑轨和与滑轨滑动连接的滑块，z轴运动装置33包括z轴驱动电机、沿z轴设置的滑轨和与滑轨滑动连接的滑块，其中，x轴驱动电机、y轴驱动电机与z轴驱动电机均与总控制处理系统电连接，y轴设置的滑轨固定连接在x轴方向运动的滑块上，则实现了x轴方向的运动。z轴设置的滑轨固定连接在y轴方向运动的滑块上，且旋转夹头34固定连接在z轴设置的滑块上，则中转机械手具有四个维度的运动，
以便于夹取螺母零件。进一步，本实施例中的驱动电机可用气缸进行替换，本实施例中的中转机械手亦可用四轴机械手或六轴机械手进行替换。通过中转机械手夹取螺母零件，进而实现自动化夹取的目的，进而实现了通过总控制处理器进行智能化分拣的目的。
43.作为本实施例的优选方案，如图1至图2所示，夹持机械手为六轴机械臂；六轴机械臂包括夹取执行端41、转动端42及固定端43，转动端42转动连接在固定端43上，夹取执行端41转动连接在转动端42上；夹取执行端41与螺母相适配，转动端42最大覆盖范围与工作平台21相适配。具体地，夹取执行端41为用于夹取螺母零件的端部，提供更多的自由度进行夹取零件，以便于更好的夹取螺母零件及将夹取的螺母零件进行焊接等后续的工序操作，进而提高了分拣效率。
44.如图1至图2所示，一种基于视觉的螺母分拣设备还包括进料装置5，进料装置5与总控制处理器电连接且固定安装在机座2上；机座2上还设有取料区23及进料口24，取料区23位于工作平台21的一侧，进料装置5的一端位于取料区23内部，另一端与进料口24相对应。
45.具体地，进料装置5包括输送导轨与输送电机，输送电机与总控制处理器电连接，则待分拣的螺母零件通过进料口24放置在输送导轨上，再通过输送电机驱动，带动输送导轨对螺母零件进行输送至取料区23，电磁取料装置63再将若干螺母零件输送到工作平台21进行识别和分拣，有效的减小工作人员的工作量，提高分拣效率。
46.如图1至图2所示，一种基于视觉的螺母分拣设备还包括两个输送轨道61、两个滑块62及用于吸取螺母的电磁取料装置63，两个滑块62各自分别滑动连接在输送轨道61上且两个输送轨道61固定连接在机座2上，电磁取料装置63的对称两端分别固定安装在两个输送轨道61上；两个输送轨道61平行设置且其中一端均位于取料区23的一侧，另一端均位于工作平台21的一侧。
47.作为本实施例的优选方式，当电磁取料装置63通电获得磁性时，可对取料区23的待分拣的若干螺母零件进行吸取，以达到快速抓取大批量螺母零件的目的，进一步地，两个输送轨道61平行设置且其中一端均位于取料区23的一侧，另一端均位于工作平台21的一侧。则电磁取料装置63可在取料区23与工作平台21之间来回运动，进而实现将取料区23的螺母零件抓取放置到工作平台21的目的。
48.如图4所示，一种基于视觉的螺母分拣设备的分拣方法，包括如下步骤：
49.s1、图像分类与采集：相机12进行多方位扫描工作平台21上的若干螺母，并经完成训练的efficient net卷积神经网络进行特征识别及分类处理，将在工作平台21上的若干螺母形成标准位姿点云图后发送到总控制处理器中；
50.具体地，通过输入不同螺母的外形尺寸和特征的图片作为训练样本对efficient net卷积神经网络进行训练，经深度学习后的efficient net卷积神经网络，不仅有利于适应螺母的不同特征，善于挖掘特征信息，且有效提高网络识别特征的效率和精确度，此外，总控制处理器还通过基于欧氏距离的计算方法来建立一个目标函数，对距离进行计算，将建议候选区域正确分类，从而降低每个螺母的摆放要求，有效提高系统鲁棒性，因此，通过efficient net卷积神经网络协助相机12自动对工作平台21上的螺母进行识别与分类，并形成标准位姿点云图，再由总控制处理器对标准位姿点云图进行配准，并转化成为控制程序，控制中转机械手对螺母抓取，从而通过efficient net卷积神经网络实现提高分拣的精
度和效率，减少人工劳动力。
51.s2、信息处理与转化：将标准位姿点云图的信息进行点云对齐及目标检测的处理，再转化形成为第一控制指令或第二控制指令；
52.s3、分拣控制：总控制处理器将第一控制指令发送到中转机械手，将工作平台21上若干螺母逐一抓取到中转台22上，同时，总控制处理器将第二控制指令发送到夹持机械手，将已放置在中转台22上的螺母进行夹取。
53.具体地，通过总控制处理器进行第一次的目标检测归类后放置在中转台22上，总控制处理器同步将第二控制指令发送夹持机械手，因此，由同一总控制处理器进行控制，则更加准确抓取放置在中转台22上的若干螺母，有效的提高了分拣的精准度，降低了分拣的错误率，进而经过二次分拣，进一步的提高了分拣的准确度。
54.如图4所示，在步骤s1中，训练efficient net卷积神经网络的方式如下：
55.s11、在windows10系统上运用python、pytorch以及pycharm搭建用于训练efficient net卷积神经网络的环境平台；
56.s12、根据螺母的类型使用labelimg进行标签标注，再通过相机12采集若干螺母的图像样本，并将若干图像样本分为训练集和测试集，训练集与测试集的数目各占70％和30％；
57.具体的，通过具有标签标注的螺母图片作为的图像样本对efficient net卷积神经网络进行训练学习，efficient net卷积神经网络可以实现自动学习识别特征并分类，有效提高生产效率，无需人工监督，减少人工劳动成本。
58.s13、在python中将训练集与测试集输入到efficient net卷积神经网络内进行迭代训练。
59.具体地，通过迭代训练次数以及收敛情况调整学习率，使损失函数快速收敛并较为准确的完成训练，来优化网络，提高准确率。
60.在s12步骤中，训练efficient net卷积神经网络时，查看efficient net卷积神经网络的网络精度并设置其初始参数batch_size为64、momentum为0.9、weight decay为1e
‑
5、初始学习率为0.256以及每个epoches衰减0.97。
61.具体地，训练efficient net卷积神经网络中初始学习率的数值越大，损失函数约快速接近最低点，而当初始学习率的数值过大时，将会很难收敛到最低点，经实用新型人多次试验，初始学习率为0256，并经计算和校验取得其他参数相对应的数值，从而使得网络训练后的准确率较高，迭代训练次数较少，计算量小且训练速度更快的技术效果，有益于网络深度、宽度和分辨率之间的平衡。
62.在步骤s2中，将标准位姿点云图的信息进行点云对齐包括：
63.s21、通过相机12对工作平台21的若干螺母扫描并获取点云，经point
‑
sift神经网络模型对点云进行识别；
64.s22、利用db
‑
scan聚类算法将点云实例化并分析获取每个螺母的单一点云；
65.s23、利用icp将标准位姿点云图与点云配准算法，对每个螺母进行位姿估计。在配准完成后，经过pcl编程进行转化成为各项控制指令，再将各项控制指令发送到各个控制器件，如中转机械手、夹持机械手等进行夹持分拣的工序，完成分拣的操作。
66.综合上述一种基于视觉的螺母分拣设备的有益效果在于：
67.该设备通过在机座上设置工作平台，并在工作平台上设置相机以进行对螺母零件的扫描采集，同时，相机通过总控制处理器中的efficient net卷积神经网络进行控制分类识别，进而实现相机对螺母零件的特征识别更加精准，再由总控制处理器进行点云对齐和点云配准，进而实现有效提高了智能化识别的准确率，进而有利于机械手更加准确抓取螺母零件和提高分拣的效率。
68.显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。