一种基于RGB-D相机的人机安全协作在线监控方法及系统与流程

一种基于rgb-d相机的人机安全协作在线监控方法及系统
技术领域
1.本发明属于人机协作领域，特别是涉及一种基于rgb-d相机的人机安全协作在线监控方法及系统。


背景技术：

2.随着自动化技术的发展，各行业产品的制造过程逐渐从纯手工状态过渡到半自动化或全自动化状态，但当前阶段大多数自动化作业设备的灵巧性与智能性仍与人有较大差距，许多行业难以实现全自动化，因此各行业中采用人机协同操作的半人半自动化制造模式已成为一种趋势。然而自动化机械通常具有高危险性，在操作者作业不规范和没有安全措施的情况下，人机协同作业过程中工人的安全性无法保障；其次，不规范作业行为通常会导致产品质量下降，如出现残次品等。近年来随着人机协作需求的增长，一些基于视觉的安全监控设备开始出现(如pilz safetyeye)，然而这些设备通常价格昂贵且配置不灵活，其次功能单一，无法识别操作者的不规范作业行为，难以满足行业的多重需求。


技术实现要素：

3.本发明的目的是针对上述问题，提供了一种基于rgb-d相机(如kinect)的人机安全协作在线监控方法及系统，以低成本实现对人机协作过程中操作者安全和作业规范性的双重监控。
4.为了实现上述目的，本发明提供基于rgb-d相机的人机安全协作在线监控方法及系统。
5.一种基于rgb-d相机的人机安全协作在线监控方法，包括：
6.根据人机协作任务的工作空间划分各操作区，使用增强现实标签对划分的各区域分别进行位置标定；
7.通过rgb-d相机捕捉各标签的位置坐标，确定各操作区在相机空间下的位置，并结合各区域的所占空间大小计算在相机空间下的坐标范围，建立虚拟操作区；根据人机最小安全距离在危险操作区外围建立虚拟监测区；
8.采用rgb-d相机采集深度图像数据获取不包含操作者的工作空间背景深度图像；
9.采集现场深度图像，提取操作者3d骨架数据，去除工作空间背景，得到操作者在相机空间下位置信息的身体点云；
10.提取操作者3d骨架数据和身体点云数据并进一步处理；通过检测3d骨架数据中各关节与各虚拟操作区的动态位置关系判断加工工序的执行状态，通过检测操作者身体点云是否侵入危险监测区判断操作者是否在机器运作状态下接近机器，给予警报。
11.所述各操作区分为操作者可以进入的原料获取区域、原料加工区、操作者作业区域，以及机器作业区域。
12.是在不同的操作区使用aruco增强现实标签进行位置标定的。
13.所述去除背景为将采集的现场深度图像与预先存储的工作空间背景深度图像逐
像素作差得到仅包含操作者的深度图。
14.是采用pcl点云库将操作者深度图转换为3d点云，再进一步滤波聚类处理为身体点云数据。
15.是对提取的各个关节数据去除异常点、再平滑处理；所述去异常点处理为若同一关节点在连续两帧图像数据的时间间隔内的位置变化不在预设范围内，则此关节点为异常点；所述平滑处理为霍尔特双参数指数算法。
16.所述加工工序的执行状态的判断用于识别操作者是否在作业规范指定的区域作业、是否漏取或多取原材料、是否按照指定的顺序对原材料进行加工。
17.是通过检测操作者3d骨架数据中的关节数据与虚拟操作区各区位置关系判断加工工序的执行状态，包括：
18.当头部关节、颈部关节或肩脊柱关节在协作阶段始终在操作者作业区内则判断为操作者在指定区域作业；
19.当操作者的手部关节进入原料获取区域内则判断为操作者在当前原料获取区域拾取原料，重复进入则判断为重复拾取；
20.当手部关节进入原料加工区内则判断为操作者在原料加工区进行加工操作。
21.一种基于rgb-d相机的人机安全协作在线监控系统，包括：工业控制计算机以及与其通信的rgb-d相机、警示模块、复位按钮、与人协作的自动化机器的控制系统；所述rgb-d深度相机用于采集人机协作任务的实际工作空间的深度图像，所述警示模块用于当发生加工工序错误或涉及人身危险时报警，所述复位按钮用于待操作者脱离危险区域后按下复位按钮继续检测；所述工业控制计算机存储有程序，当程序被加载时执行如权利要求1-8所述的一种基于rgb-d相机的人机安全协作在线监控方法的步骤，实现加工工序的执行状态的判断，以及操作者进入危险监测区时给予报警。
22.本发明与现有技术相比具有以下优点及有益效果：
23.1、本发明能使用低成本的rgb-d相机完成人机协作过程的在线监控，保证人类操作者的安全；
24.2、本发明能对人机协作过程中操作者作业的规范性进行在线监控，降低产品的次品率；
25.3、本发明无需其他三维测量仪器对工作空间进行划分与标记，仅使用rgb-d相机和aruco增强现实标签即可完成位置标定工作；
26.4、本发明可适用于绝大多数人机协作场景，通用性强。
附图说明
27.图1为本发明中具体实施例的操作者作业规范性与安全性的判断逻辑图；
28.图2为rgb-d相机的3d骨架布局图；
29.图3为本发明的操作者点云提取与处理流程图；
30.图4为本发明中用于实施本方法所提供的通用系统架构图；
31.其中，编号20、7、11的关节分别为：肩脊柱关节、左手关节、右手关节。
具体实施方式
32.下面结合附图及实施例对本发明做进一步的详细说明。
33.本发明提供了一种基于rgb-d相机的人机安全协作在线监控方法及系统，为使实施方式更加清楚、明白，本实施例中假设操作区1为操作者的作业区，操作区2、3为原料获取区，操作区4为原料加工区，操作区5为机器作业区；作业流程为：操作者全程在1区作业，在协作阶段不得擅自离开，在2、3区获取原料并在4区加工，最后在机器未作业的状态下将加工好的原料放入5区由机器进行进一步加工，并运输到下一环节，其中每次任务循环中原料1和2的需求量均为1。
34.其中方法包括离线阶段和在线阶段两部分，按照以下步骤实施：
35.1)离线阶段：
36.步骤1.工作空间划分与标记：
37.首先对实施监控的人机协作任务的工作空间进行划分，可将其划分为原料获取区域、操作者作业区域、机器作业区域等(统称为操作区)，最后使用不同的aruco增强现实标签对划分的各区域分别进行位置标定；
38.步骤2.相机空间下操作区与监测区的建立：
39.基于rgb-d相机对aruco标签位姿的捕捉，获取步骤1中各标签在相机空间下的位姿数据，并依据位姿数据和各操作区域界定的几何尺寸在相机空间下建立虚拟操作区，根据iso/13855所规定的人机最小安全距离在危险区域外(如机器作业区)建立监测区，最后将所建立操作区和监测区的坐标范围离线保存；
40.步骤3.工作空间背景深度图像的保存：
41.基于对rgb-d相机深度图像数据的获取，保存未包含操作者的工作空间背景深度图，为步骤6的操作者3d点云提取提供工作空间背景数据；
42.步骤4.操作者安全性及作业规范性判断逻辑的编写：
43.基于步骤1中具体的人机协作任务及划分的操作区域，依据协作任务的操作规程和坐标范围检测的方法设计并编写判断操作者安全性和作业规范性状态的逻辑与程序，其中坐标范围检测的方法是指基于操作者3d骨架和点云数据实现的对操作者位置的追踪，在线检测其位置是否处于某一区域的坐标范围；
44.操作者安全性判断的依据为其是否在禁止接近危险区(机器作业区)的情况下某一身体部分进入到步骤2所述建立的监测区，若操作者的3d点云中存在数据点在机器运作状态下侵入监测区的坐标范围，则判断为操作者处于危险状态；
45.操作者作业规范性判断的主要依据为其是否在作业规范指定的区域作业、是否漏取或多取原材料、是否按照指定的顺序对原材料进行加工等，以上状态的判断主要根据操作者手部关节和肩脊柱关节是否处于以上操作区的坐标范围内，若其肩脊柱关节已处于操作者作业区的坐标范围，则判断为操作者已在指定区域作业，同样若其手部关节已进入原料获取区，则判断为该原料已被拾取，重复进入则判断为重复获取；
46.2)在线阶段：
47.步骤5.操作者关节数据的获取：
48.基于rgb-d相机的3d骨架追踪技术，在线捕捉操作者的双手关节以及肩脊柱关节在相机空间中的三维坐标，关节布局如图2所示；
49.步骤6.关节数据异常点去除与平滑处理：
50.基于步骤4中在线捕捉的原始关节数据，对其进行去异常点和平滑处理，将误差较大的异常点去除后，对误差较小的原始数据进行霍尔特双参数指数平滑，输出更为稳定可靠的关节数据；
51.其中去异常点算法的原理为：若rgb-d相机对深度图像数据和关节数据的获取速度为30帧/秒，由于人类操作者的运动能力有限，所以操作者在连续两帧数据的时间间隔内(1/30s)的运动距离d和运动方向的改变量(运动角度)θ应在合理的范围内，据此建立关节可靠性的衡量算法，可去除部分由于遮挡或传感器噪声导致的大范围抖动的不可靠关节数据，最后将满足可靠性的关节数据点使用霍尔特双参数指数算法进行平滑处理，去除小范围抖动的影响，可得到更加稳定可靠的关节数据点；
52.步骤7.操作者3d点云的提取：
53.基于rgb-d相机在线获取的工作空间深度图像数据流和步骤3获取的工作空间背景深度图，使用去背景算法分离出操作者的深度图像，并使用pcl点云库将其转换为3d点云，使用点云滤波算法滤除多余噪点，最后得到纯净的操作者3d点云，操作者3d点云的提取流程如图3所示；
54.步骤8.操作者3d点云的位置监控：
55.基于步骤6获取的操作者点云数据，逐点检测其是否存在数据点进入监测区的坐标范围，为步骤3中的操作者安全性判断逻辑提供输入。
56.为将本发明提供的方法进行具体实施，本发明提供基于rgb-d相机的人机安全协作在线监控系统的通用系统模型，包括rgb-d相机、含蜂鸣器三原色led警示灯、复位按钮、工业控制计算机；其中由于aruco增强现实标签仅用于离线阶段的操作区位置标定，所以不在本系统架构中体现，工业控制计算机使用linux操作系统并集成了ros机器人操作系统平台、pcl点云库等，用于提供本方法的运行环境，工控机提供的i/o接口与rgb-d相机、三原色led警示灯，复位按钮以及与人协作的自动化机器的控制系统相连，其中rgb-d相机的深度图像数据流和3d骨架数据流通过i/o接口传入工控机并处理，可根据本发明提供的方法进行操作者状态的判断，若操作者的状态判断为正常，则工控机置led警示灯的状态为绿灯常亮，若操作者的状态判断为违反规范作业，则置led警示灯为黄灯闪烁并伴有蜂鸣，此时根据与人协作的机器类型不同，可通过工控机i/o发送减速运转或停机的指令，在操作者重新回到正常逻辑后(如回到规定的作业区域)，系统自动恢复到正常模式；若操作者的状态判断为危险操作，则置led警示灯为红色闪烁并伴有蜂鸣，此时发送停机指令，待操作者脱离危险区域并按下复位按钮后，系统重新回到正常运作模式。
57.按照本发明提供的通用系统架构搭建本实施例的人机安全协作在线监控系统，如图4所示。
58.按照上述内容步骤1划分和标记本实施例的各操作区。
59.按照步骤2获取各操作区坐标范围，在操作区5外围建立监测区，将操作区和监测区坐标范围和获取的本实施例工作空间背景深度图保存至工业控制计算机中。
60.按照图1的判断逻辑编写本实施例操作者作业规范性与安全性的判断程序，并载入工控机。
61.按照步骤5-6在线获取关节数据，进行异常点去除与平滑处理，得到稳定可靠的关
节数据，基于步骤6中所提供的关节异常点去除算法的原理，作为优选，可设置连续两帧时间间隔内操作者运动的最大距离为d
max
＝0.01m，运动角度为θ
max
＝85
°
。
62.按照步骤7在线提取不含工作空间背景的纯净操作者3d点云。
63.基于在线获取并处理的关节数据和点云数据，按照判断程序完成本实施例的人机协作任务的在线监控。
64.以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。