一种基于大数据深度学习的机械臂智能控制系统

1.本发明涉及机械臂控制技术领域，具体为一种基于大数据深度学习的机械臂智能控制系统。


背景技术：

2.现代工业生产中广泛应用机械手去完成特定的任务，如抓取、搬运和分拣。它们代替人完成繁重且反复的工作任务，能在有害环境下操作以保护人身安全，实现生产的机械化和自动化，极大地解放了生产力，提高了生产效率。
3.但是现有技术在实际使用时，机器人视觉抓取任务中抓取目标位姿的确定一般是通过人工标记进行的，这样虽然大大提高了图像处理过程的速度，但很难应用于类似家庭、安保、物流等非结构化环境中机械臂自主抓取。


技术实现要素：

4.本发明的目的在于提供一种基于大数据深度学习的机械臂智能控制系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：包括图像采集模块、点云建立模块、坐标系生成模块、图像识别模块、网络连接模块、数据库模块、神经网络控制模块、抓取姿势确定模块、机械臂驱动模块、自适应学习模块和转换模块，所述图像采集模块和点云建立模块的输出端均分别与坐标系生成模块和图像识别模块的输入端连接，所述坐标系生成模块的输出端与转换模块的输入端连接，所述转换模块的输出端与图像识别模块的输入端连接，所述网络连接模块的连接端分别与图像识别模块、数据库模块、神经网络控制模块和自适应学习模块的连接端双向连接，所述图像识别模块的输出端与神经网络控制模块的输入端连接，所述神经网络控制模块的输出端与抓取姿势确定模块的输入端连接，所述机械臂驱动模块的输入端分别与抓取姿势确定模块和自适应学习模块的输出端连接，所述图像识别模块包括特征提取模块、图像分割模块、图像分类模块、目标识别模块和预处理模块，所述预处理模块的输出端与特征提取模块的输入端连接，所述特征提取模块的输出端与图像分割模块的输入端连接，所述图像分割模块的输出端与图像分类模块的输入端连接，所述图像分类模块的输出端与目标识别模块的输入端连接。
6.优选的，所述图像采集模块包括但不限于相机和补光灯，且图像采集模块用于获取画面信息，所述点云建立模块包括但不限于激光扫描仪，且点云建立模块用于获取位置点云数据。
7.优选的，所述坐标系生成模块用于以图像采集模块中相机为原点建立三维坐标系，且坐标系生成模块包括固定在机械臂上的坐标系标定板。
8.优选的，所述预处理模块用于对传递来的数据进行滤波去噪处理，所述特征提取模块用于基于区域分割的方法将画面信息分割成若干个子区域。
9.优选的，所述图像分割模块用于根据全局特征和局部特征对图像进行特征提取，
其中所述全局特征包括但不限于颜色特征、形状特征和纹理特征，所述局部特征包括角点特征和斑点特征。
10.优选的，所述图像分类模块用于采用人工神经算法对图像进行分类，所述目标识别模块包括图像字符识别模块和图像物体识别模块，所述图像字符识别模块用于识别图像中的字母、数字和文字符号，所述图像物体识别模块用于对图像中的物体进行分类与检测。
11.优选的，所述神经网络控制模块用于采用bp神经网络控制抓取姿势确定模块工作，所述抓取姿势确定模块用于确定机械手臂夹持的姿势，所述机械臂驱动模块用于控制机械手臂，所述自适应学习模块用于通过多次监督学习、半监督学习以及非监督学习过程使机械臂可自主学习，所述转换模块用于将坐标系生成模块建立的以相机为原点的坐标系通过计算转换成以机械臂固定点为原点的坐标系。
12.优选的，所述转换模块的输出端连接有自检模块，所述自检模块的连接端与图像识别模块的连接端双向连接。
13.与现有技术相比，本发明的有益效果是：
14.1、本发明通过图像采集模块配合点云建立模块将画面信息和点云信息传递至图像识别模块内，通过图像识别模块进行画面识别并最终将结果向神经网络控制模块输出，通过神经网络控制模块采用bo神经网络模块配合抓取姿势确定模块和机械臂驱动模块驱动机械臂实现物体抓取操作，并通过自适应学习模块提供可行标准和指标，使得机械臂可以以此为标准和指标自行学习，从而实现了可自主深度学习的目的，同时增强了机械臂的灵活性；
15.2、本发明同时还通过图像采集模块中相机对机械臂的图像采集，以及点云建立模块中采集的机械臂表面的点云数据形成机械臂的三维移动向量坐标，并对机械臂的移动进行持续监督，使得当机械臂两两关节之间会产生轻微的应力形变，轻微的应力形变会导致机械手在运动过程中产生轻微的位置偏差时，可以被快速得知并对机械臂进行重新校准，从而避免机械臂在持续运动过程中会不断累积轻微的位置偏差，最终形成较大的位置偏差而不能被忽略，从而导致机械手不能精确地工作。
附图说明
16.图1为本发明一种基于大数据深度学习的机械臂智能控制系统整体结构系统控制框图；
17.图2为本发明一种基于大数据深度学习的机械臂智能控制系统整体图像识别模块系统框图；
18.图3为本发明一种基于大数据深度学习的机械臂智能控制系统相机坐标系示意图；
19.图4为本发明一种基于大数据深度学习的机械臂智能控制系统机械臂固定点坐标系示意图。
20.图中：1、图像采集模块；2、点云建立模块；3、坐标系生成模块；4、图像识别模块；41、特征提取模块；42、图像分割模块；43、图像分类模块；44、目标识别模块；441、图像字符识别模块；442、图像物体识别模块；45、预处理模块；5、网络连接模块；6、数据库模块；7、神经网络控制模块；8、抓取姿势确定模块；9、机械臂驱动模块；10、自适应学习模块；11、转换
模块；12、自检模块。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.请参阅图1-4，本发明提供一种技术方案：包括图像采集模块1、点云建立模块2、坐标系生成模块3、图像识别模块4、网络连接模块5、数据库模块6、神经网络控制模块7、抓取姿势确定模块8、机械臂驱动模块9、自适应学习模块10和转换模块11，图像采集模块1和点云建立模块2的输出端均分别与坐标系生成模块3和图像识别模块4的输入端连接，坐标系生成模块3的输出端与转换模块11的输入端连接，转换模块11的输出端与图像识别模块4的输入端连接，网络连接模块5的连接端分别与图像识别模块4、数据库模块6、神经网络控制模块7和自适应学习模块10的连接端双向连接，图像识别模块4的输出端与神经网络控制模块7的输入端连接，神经网络控制模块7的输出端与抓取姿势确定模块8的输入端连接，机械臂驱动模块9的输入端分别与抓取姿势确定模块8和自适应学习模块10的输出端连接，图像识别模块4包括特征提取模块41、图像分割模块42、图像分类模块43、目标识别模块44和预处理模块45，预处理模块45的输出端与特征提取模块41的输入端连接，特征提取模块41的输出端与图像分割模块42的输入端连接，图像分割模块42的输出端与图像分类模块43的输入端连接，图像分类模块43的输出端与目标识别模块44的输入端连接。
23.图像采集模块1包括但不限于相机和补光灯，且图像采集模块1用于获取画面信息，点云建立模块2包括但不限于激光扫描仪，且点云建立模块2用于获取位置点云数据。
24.坐标系生成模块3用于以图像采集模块1中相机为原点建立三维坐标系，且坐标系生成模块3包括固定在机械臂上的坐标系标定板。
25.预处理模块45用于对传递来的数据进行滤波去噪处理，特征提取模块41用于基于区域分割的方法将画面信息分割成若干个子区域。
26.图像分割模块42用于根据全局特征和局部特征对图像进行特征提取，其中全局特征包括但不限于颜色特征、形状特征和纹理特征，局部特征包括角点特征和斑点特征。
27.图像分类模块43用于采用人工神经算法对图像进行分类，目标识别模块44包括图像字符识别模块441和图像物体识别模块442，图像字符识别模块441用于识别图像中的字母、数字和文字符号，通过对图像中的字符进行提取，之后对提取的结果进行文本检测，并将提取到的结果输出组合成字符表达，最终得到图像中完整的文字符号，图像物体识别模块442用于对图像中的物体进行分类与检测，物体分类只需要对图像中的目标物体进行特征描述，而物体检测不仅需要得到图像中物体的特征描述，还需要得到物体的具体位置信息。
28.神经网络控制模块7用于采用bp神经网络控制抓取姿势确定模块8工作，其中bp神经网络的输入量为机械手各关节的位置信息，bp神经网络的输出量为机械手各关节的控制量，抓取姿势确定模块8用于确定机械手臂夹持的姿势，机械臂驱动模块9用于控制机械手臂，自适应学习模块10用于通过多次监督学习、半监督学习以及非监督学习过程使机械臂
可自主学习，转换模块11用于将坐标系生成模块3建立的以相机为原点的坐标系通过计算转换成以机械臂固定点为原点的坐标系。
29.转换模块11的输出端连接有自检模块12，自检模块12的连接端与图像识别模块4的连接端双向连接。
30.工作原理：在使用时，该发明在使用时，先将坐标系生成模块3中的坐标系标定板固定安装在机械臂上，然后将多组图像采集模块1中的相机固定，并使得相机对着机械臂进行画面采集，并通过坐标系生成模块3建立以图像采集模块1中相机为原点的三维坐标系，通过转换模块11根据坐标系生成模块3传递来的坐标系信息加以计算，并将坐标系生成模块3中以相机为原点的坐标系转化为以机械臂固定点为原点的坐标系，同时图像采集模块1中的补光灯工作进行补光，使得图像采集模块1中的相机可以捕捉不同反光的物体，并采用此种反差较大的背景手段，精确捕捉物体的形状，减少系统变量，同时采用点云建立模块2中的激光扫描仪对物体表面进行扫描，并采集物体表面扫描的点云数据，配合图像采集模块1中相机对物体图像的明暗对比，同时将画面信息和点云信息传递至图像识别模块4内，通过图像识别模块4将输入的图像内容先通过预处理模块45进行预处理操作，即图像采集模块1采集的明暗对比的图像配合点云建立模块2采集的点云数据进行滤波去噪，并增强图像中的有用信息，提高目标物体的可检测性，其中坐标系生成模块3采集的点云数据还可提供图像的体积等信息，之后将图像通过特征提取模块41根据基于区域分割的方法分割成若干个子区域，各区域之间特征具有明显的差异，而各区域内部特征具有一定的相似性的过程，之后通过图像分割模块42根据全局特征(颜色特征、形状特征和纹理特征)和局部特征(角点特征和电源斑点特征)对图像进行特征提取，并通过图像分类模块43中的人工神经算法对图像进行分类，之后再通过目标识别模块44采用的mobilenet ssd的算法模型进行目标识别，其前端的主网络结构主要采用mobilenet网络的13个卷积层代替ssd模型中vgg网络的13个传统卷积层，之后连接8个卷积层构造成整个算法模型的网络结构，适合移动设备快速识别目标，最终通过其中图像字符识别模块441和图像物体识别模块442共同配合实现图像识别工作，用于分别识别图像中的字母、数字和文字符号以及对图像中的物体进行分类与检测，最终将结果向神经网络控制模块7输出，完成对物体的识别后，通过图像采集模块1中的相机对物体图像的采集以及点云建立模块2中采集物体表面的点云数据，使得可以将物体的特征信息建立在以机械臂固定点为原点的坐标系上，并通过神经网络控制模块7采用bo神经网络模块配合抓取姿势确定模块8和机械臂驱动模块9驱动机械臂实现物体抓取操作，在初次试用阶段，可通过自适应学习模块10进行多次监督学习、半监督学习以及非监督学习过程为机械臂的工作提供可行标准和指标，使得机械臂可以以此为标准和指标自行学习，从而实现了可自主深度学习的目的，同时增强了机械臂的灵活性，通过图像采集模块1中相机对机械臂的图像采集，以及点云建立模块2中采集的机械臂表面的点云数据形成机械臂的三维移动向量坐标，并对机械臂的移动进行持续监督，使得当机械臂两两关节之间会产生轻微的应力形变，轻微的应力形变会导致机械手在运动过程中产生轻微的位置偏差时，可以被快速得知并对机械臂进行重新校准，从而避免机械臂在持续运动过程中会不断累积轻微的位置偏差，最终形成较大的位置偏差而不能被忽略，从而导致机械手不能精确地工作。
31.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实
体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
32.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。