一种基于智能交互技术的机械手远程控制系统的制作方法

本发明涉及远程控制领域，更具体地涉及一种基于智能交互技术的机械手远程控制系统。

背景技术：

1、随着计算机视觉和机器学习等相关学科的发展，智能交互技术已经成为人们日常生活中不可或缺的重要组成部分，在各行各业扮演着重要作用。目前有研究者将手势识别技术与机器人相结合，具有手势交互的功能，士兵通过打出对应手势控制机器人执行操作；又如我国为照顾老人而设计的服务机器人，老年人通过几个简单的手势，就可以控制机器人进行倒水、拿药瓶等操作，由此可见，智能交互技术已经能给社会带来很多便利。

2、现有的机械手远程控制方法通常是通过在智能体感手套上设置多种传感器，如加速度计、陀螺仪、磁力计以及柔性传感器等，但是这种远程控制方法会导致因材料设备价格昂贵，且由于个体手型差异，将会造成需求者负担不起及控制灵敏精度下降的问题。

3、针对上述问题，本发明提出一种解决方案。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明提供了一种基于智能交互技术的机械手远程控制系统，以解决上述背景技术中存在的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于智能交互技术的机械手远程控制系统，包括手势采集模块、手势识别模块、无线传输模块以及机械手控制模块，模块之间通过信号连接，各模块之间数据化处理步骤如下：

4、手势采集模块，用于使用手机上的摄像装置采集手部动作视频，对采集的手部动作视频进行预处理，得到手部动作图像，并将手部动作图像传输给手势识别模块；

5、手势识别模块，用于接收手势采集模块传输的手部动作图像，通过几何特征区分的方法将手部动作图像区分为不同的手势类别，得到手势图像特征，将手势图像特征与预设动作编号进行对应，并将动作编号传输至无线传输模块；

6、无线传输模块，用于接收手势识别模块传输的动作编号，并使用python在完成一次手势信号识别后，将识别出的动作编号向电脑端连接主蓝牙模块的串口发送蓝牙信号，并将信号传输至机械手控制模块；

7、机械手控制模块，用于接收到无线传输模块传来的信号，在动作集合中找出对应的动作编号，随后根据预设的手势，改变各个舵机的角度，最终实现机械手的控制。

8、优选的，所述对采集的手部动作视频进行预处理步骤为：

9、将视频流分割成单帧图像；

10、使用图像分割算法获取手部的roi图像；

11、使用中值滤波的方法减少图像噪声。

12、优选的，所述将视频流分割成单帧图像步骤为：

13、从视频的元数据中确定视频的帧率；

14、使用帧率来计算每一帧之间的时间间隔，帧时间间隔的公式为其中jg表示为每一帧之间的时间间隔，zl表示为视频帧率；

15、按照计算出的帧时间间隔，从视频流中逐帧读取图像。

16、优选的，所述使用图像分割算法获取手部的roi图像步骤为：

17、对图像进行预处理操作；

18、使用sobel算子对图像进行边缘检测，计算图像中每个像素点的梯度强度和方向，sobel算子在水平和竖直方向分别进行卷积操作，然后计算梯度大小，其计算公式为其中i为输入的灰度图像，gx和gy分别表示为水平和竖直方向的梯度图像；

19、计算每个像素点的梯度幅值，其计算公式为其中g表示为像素点的梯度幅值，gx和gy分别表示为水平和竖直方向的梯度图像；

20、预设像素点梯度幅值的高低阈值，将像素点的梯度幅值与预设阈值进行对比，并将强度超过高阈值的像素点作为强边缘点，然后利用弱边缘点的连通性进行边缘连接；

21、对于高阈值和低阈值之间的像素，根据其与强边缘点的连接性，决定边缘点；

22、使用轮廓检测算法检测边缘图像中的连通区域，并找到最大的连通区域作为手部区域。

23、优选的，所述通过几何特征区分的方法将手部动作图像区分为不同的手势类别步骤为：

24、根据手势采集模块获取的手部的roi图像计算手部区域的面积，其计算公式为其中ae表示为手部区域的面积，即手部区域内像素的数量，i(i,j)表示为图像中第i行，第j列未知的像素值；

25、使用图像处理库提供的函数提取图像轮廓的最小外接矩形，所述矩形具有中心点坐标、宽度和高度、长宽比以及旋转角度的属性，所述中心点坐标为矩形的中心点坐标，所述宽度和高度为矩形的宽度和高度，所述旋转角度为矩形相对于水平轴的旋转角度；

26、通过中心点坐标、宽度、高度和旋转角度，计算出矩形的四个顶点坐标；

27、通过矩形的宽度和高度计算出矩形的长宽比，其计算公式为其中ar表示为矩形的长宽比，w为矩形的宽度，h为矩形的高度；

28、将提取的区域特征和形状特征表示为特征向量，其表达式为fv＝[ae,w,h,ar,ag]，其中fv表示为特征向量，ae表示为手部区域的面积，w为矩形的宽度，h为矩形的高度，ar表示为矩形的长宽比，ag为矩形相对于水平轴的旋转角度；

29、通过神经网络模型训练分类器，使用训练好的模型对不同手势类别进行识别。

30、优选的，所述通过神经网络模型训练分类器，使用训练好的模型对不同手势类别进行识别步骤为：

31、步骤一：收集大量的手势图像数据集，每张图像都应标注其对应的手势类别标签；

32、步骤二：对所有手势图像进行统一的预处理步骤，所述预处理包括灰度化、去噪以及二值化处理；

33、步骤三：从预处理后的图像中提取手势的几何特征和形状特征，所述几何特征包括手部区域的最小矩形，其宽度、高度、长宽比以及旋转角度；

34、步骤四：将每张图像提取的特征组合成一个特征向量，其表达式为fv＝[ae,w,h,ar,ag]；

35、步骤五：将数据集划分为训练集和测试集；

36、步骤六：使用神经网络分类器对训练集进行模型训练；

37、步骤七：使用测试集评估训练好的模型性能指数；

38、步骤八：将模型性能指数与预设阈值进行对比，若模型性能指数大于预设阈值，则判定当前模型性能好，输出当前模型，若模型性能指数小于预设阈值，则判定当前模型性能差，返回步骤六继续进行模型训练，直到模型性能指数大于预设阈值。

39、本发明的技术效果和优点：

40、使用摄像装置采集手部动作视频，并进行预处理，得到手部动作图像，通过几何特征区分的方法将手部动作图像区分为不同的手势类别，与预设动作编号进行对应，使用python在完成一次手势信号识别后，将识别出的动作编号向电脑端连接主蓝牙模块的串口发送蓝牙信号，在动作集合中找出对应的动作编号，随后根据预设的手势，改变各个舵机的角度，最终实现机械手的控制，有效降低产品成本，并提高了控制灵敏度。

1.一种基于智能交互技术的机械手远程控制系统，其特征在于，包括手势采集模块、手势识别模块、无线传输模块以及机械手控制模块，模块之间通过信号连接，各模块之间数据化处理步骤如下：

2.根据权利要求1所述的一种基于智能交互技术的机械手远程控制系统，其特征在于：所述对采集的手部动作视频进行预处理步骤为：

3.根据权利要求2所述的一种基于智能交互技术的机械手远程控制系统，其特征在于：所述将视频流分割成单帧图像步骤为：

4.根据权利要求2所述的一种基于智能交互技术的机械手远程控制系统，其特征在于：所述使用图像分割算法获取手部的roi图像步骤为：

5.根据权利要求1所述的一种基于智能交互技术的机械手远程控制系统，其特征在于：所述通过几何特征区分的方法将手部动作图像区分为不同的手势类别步骤为：

6.根据权利要求5所述的一种基于智能交互技术的机械手远程控制系统，其特征在于：所述通过神经网络模型训练分类器，使用训练好的模型对不同手势类别进行识别步骤为：