一种基于机器视觉工业机器人安全防护系统及安全防护方法

1.本发明涉及工业机器人安全综合控制技术领域，特别涉及一种基于机器视觉工业机器人安全防护系统及安全防护方法。


背景技术：

2.机器人最早被应用在工业生产中，工业机器人的使用可以有效的提高劳动生率、减少成本，促进经济的快速发展。工业机器人可以应用在不同的工作环境中，尤其是高温、高毒等极端条件下，能够代替人类完成复杂、危险的生产任务，具有较好的适应性、灵活性。机器人代替人类工作，能够轻松应对繁重、危险的劳动任务，同时对提高劳动产品的质量、产量，提高劳动生产率，降低生产成本，有着十分重要的意义。机器人已逐渐成为一种标准的设备，应用在社会生产的各个领域，机器人技术的发展及应用水平，在国际上逐渐变成评判一个国家自动化发展水平的标尺。
3.随着机器人越来越广泛的使用，机器人工作区域内的人员及设备安全性问题，也逐渐暴露人们的视野之中。一般来说，工业机器人的工作环境复杂、功率较大、关节自由度高、指令动作复杂，一旦出现安全问题，工业机器人很可能会产生不可预料的后果，轻则与周围物体产生碰撞，损坏机器人自身及周边设备的安全，重则造成现场工作人员的伤亡。
4.一般来说机器人安全防护手段大致分为三类：
5.1、确保机器人本体安全运行；
6.2、实时检测机器人运行状态；
7.3、将工作人员和机器人隔离，建立各自的安全区域；
8.机器视觉技术在运动目标检测、人体识别、实时定位等方面已经有相当多的研究成果。因此，可以利用机器视觉系统对工业机器人工作区域进行实时检测，用于识别对象和机器人本体位置，来防止可能发生的机器人与人等外界干扰之间的碰撞，解决机器人运行中的安全问题，最大程度地保障机器人与人类之间的相互安全。另外，还可以利用机器视觉技术，设计工业机器人安全控制器，实现对机器人的实时监控，避免事故的发生。


技术实现要素：

9.为了克服现有技术中的不足，本发明提供一种基于机器视觉工业机器人安全防护系统及安全防护方法，能够实时调整监控区域，完成区域分级报警任务，同时也能根据现场情况，智能预判事故的发生，并通过对机器人的控制，确保人员和设备的安全，消除了传统安全防护措施带来的安装不便、改造困难、灵活性和适应性差等问题。
10.为了达到上述发明目的，解决其技术问题所采用的技术方案如下：
11.本发明公开了一种基于机器视觉工业机器人安全防护系统，包括中央处理器、视频图像采集模块、区域设定模块、按键模块、报警模块和显示模块，其中：
12.所述中央处理器，用于运算复杂的目标检测算法、目标定位算法和将采集到的工业现场数据发送给云端服务器，使其训练和优化目标检测模型；
13.所述视频图像采集模块，用于采集完整的机器人工作区域及其周边的视频图像信息，以便后续进行处理；
14.所述区域设定模块，用于对系统的需求分析进而设计满足不同需求的区域形状；
15.所述按键模块包括区域设定按键、报警复位按键和急停按键；
16.所述报警模块，用于建立分级报警机制，以保护所设定区域；
17.所述显示模块，用于将区域设定情况实时显示到屏幕上，实时显示监控信息和区域防护范围，并且能够将闯入的运动目标用矩形框实时标记。
18.优选的，所述中央处理器采用树莓派2，型号为raspberry pi 4model b。
19.优选的，所述视频图像采集模块采用鱼眼镜头，可以获得接近180
°
的可视范围。
20.优选的，所述区域设定模块采用鼠标作为设定区域的工具或者手指在触摸屏上面设定区域。
21.优选的，所述报警模块采用蜂鸣器、警报灯。
22.优选的，所述显示模块为上位机的屏幕或工业现场的触摸屏。
23.本发明另外公开了一种基于机器视觉工业机器人安全防护方法，利用上述基于机器视觉工业机器人安全防护系统进行防护，包括以下步骤：
24.步骤1：图像采集与预处理；
25.步骤2：运动目标检测和定位；
26.步骤3：建立区域分级报警。
27.进一步的，步骤1中的图像采集与预处理，包括以下几个步骤：
28.步骤11：用鱼眼相机采集信息，得到大视场范围的畸变图片；
29.步骤12：将得到的图片滤波，过滤掉噪声，确定图片有效区域；
30.步骤13：确定拟合大圆的中心和半径；
31.步骤14：建立球面坐标模型，确定畸变中心、焦距参数；
32.步骤15：使用球面透视投影法建立各像素点与矫正后的点的坐标映射关系；
33.步骤16：得到正常图像。
34.进一步的，步骤2中的运动目标检测和定位，包括以下几个步骤：
35.步骤21：整合网络上的行人数据集、行为数据集和自己制作的现场物品数据集生成新的数据集；
36.步骤22：用步骤21中的数据集训练yolov5模型生成新的预测模型，用该模型检测图片上的目标；
37.步骤23：用背景分差法跟踪目标图像：bk(x,y)为背景图像，fk(x,y)为当前帧图像，将当前帧与背景帧进行差值运算得到dk(x,y)，然后进行阈值分割得到目标图像r(x,y)；
38.步骤24：利用卡尔曼滤波方法追踪图像中的目标。
39.进一步的，步骤3中的建立区域分级报警，包括以下几个步骤：
40.步骤31：在上位机设定监控区域；
41.步骤32：划分监控级别；
42.步骤33：对目标区域的目标和目标的行为动作检测；
43.步骤34：判断是否有不规范动作或超出安全范围，如果超出范围或有不规范行为则会发出警报。
44.本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：
45.1、本发明一种基于机器视觉工业机器人安全防护系统，能够实时调整监控区域，完成区域分级报警任务，同时也能根据现场情况，智能预判事故的发生，并通过对机器人的控制，确保人员和设备的安全，消除了传统安全防护措施带来的安装不便、改造困难、灵活性和适应性差等问题；
46.2、本发明一种基于机器视觉工业机器人安全防护方法，其中方法包括利用ccd鱼眼相机采集监控区域的图像信号，并针对鱼眼图像存在较大畸变的问题，选择了基于球面透视投影法的鱼眼校正方法，完成图像的畸变校正；针对于鱼眼矫正算法计算量大、耗时长的问题，提出根据畸变图像与实际位置之间的映射关系建立映射表的方案，通过查表转换得到正常图像；着重研究了yolov5算法、背景差分法，并对基于均值法的背景建模方法进行了改进；利用投影直方图法设计机器视觉目标定位算法，完成了目标检测和定位；提出了区域分级报警机制，以及工业机器人报警控制策略；本发明提供的基于机器视觉工业机器人安全防护系统，系统能在人员闯入时，实现区域分级报警，满足机器人安全防护的基本需求，达到预期效果。
附图说明
47.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：
48.图1是本发明一种基于机器视觉工业机器人安全防护系统的监控示意图；
49.图2是本发明一种基于机器视觉工业机器人安全防护系统的总体框图；
50.图3是本发明一种基于机器视觉工业机器人安全防护方法的总体算法流程图；
51.图4是本发明一种基于机器视觉工业机器人安全防护方法中的图像采集与预处理算法流程图；
52.图5是本发明一种基于机器视觉工业机器人安全防护方法中的yolov5网络结构图；
53.图6是本发明一种基于机器视觉工业机器人安全防护方法中的背景分差法流程图。
具体实施方式
54.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.实施例一
56.如图1和2所示，本发明公开了一种基于机器视觉工业机器人安全防护系统，包括中央处理器、视频图像采集模块、区域设定模块、按键模块、报警模块和显示模块，其中：
57.所述中央处理器，用于运算复杂的目标检测算法、目标定位算法和将采集到的工
业现场数据发送给云端服务器，使其训练和优化目标检测模型。本实施例中，所述中央处理器采用树莓派2，具体型号为raspberry pi 4model b。
58.所述视频图像采集模块，用于采集完整的机器人工作区域及其周边的视频图像信息，以便后续进行处理；
59.所述区域设定模块，用于对系统的需求分析进而设计满足不同需求的区域形状；
60.所述按键模块包括区域设定按键、报警复位按键和急停按键；
61.所述报警模块，用于建立分级报警机制，以保护所设定区域；
62.所述显示模块，用于将区域设定情况实时显示到屏幕上，实时显示监控信息和区域防护范围，并且能够将闯入的运动目标用矩形框实时标记。
63.优选的，所述视频图像采集模块采用鱼眼镜头，可以获得接近180
°
的可视范围。鱼眼镜头可以获得足够的可视范围，但是视野中的图像已经发生形变，尤其是靠近边缘的地方，故要对图像进行畸变矫正。畸变矫正后，图像中畸形得到修正，视野范围相对缩小，但是可以满足更大监控区域的需要。通过调整摄像头的高度，可以获得更大的可视范围。处理器采用的是dsp处理器，其芯片是专门用于实现数字信号处理技术的芯片。本系统中dsp处理器芯片要运算处理复杂的实时图像处理算法。dsp处理器芯片具有专门的硬件乘法器，执行指令时采用流水线技术，能够提高代码运行效率。并且采用“哈佛结构”，将程序和数据分开处理，可以用来快速的实现各种数字信号处理算法。dsp处理器芯片具有数字信号处理技术的全部优点，包括：接口方便、容易编程、性能稳定、精度高、可重复性好、而且集成方便等。这些优势使得dsp处理器芯片被广泛应用于通讯、语音、图像、高精度控制等处理领域。dsp处理器芯片在处理数字信号方面有十分强大的功能，特别是在处理复杂的图像处理算法上。dsp处理器芯片能利用硬件乘法器，一步就能完成其他通用芯片处理器需要几步才能完成的计算。这些优势使得dsp处理器芯片在处理复杂图像和复杂算法时候节省了大量的运算时间，适合在应用在实时图像处理系统中。本系统中图像畸变校正和图像预处理算法在dsp处理器芯片中运行。
64.优选的，所述区域设定模块采用鼠标作为设定区域的工具或者手指在触摸屏上面设定区域。本实施例中，提供了矩形、圆形、折线三种方式。选择矩形方式，用户可以设定任意大小的矩形区域；选择圆形方式，用户可以设定不同大小的圆形区域；选择折线方式，用户可以设定不规则区域。
65.优选的，所述报警模块采用蜂鸣器、警报灯。本实施例中，安全防护系统依据距离保护区域的距离远近，设计了两级保护区域，并在显示器中用与所设定区域相同形状标识出来。两级警报由近到远依次为：红色警报和黄色警报。其中，黄色报警响应时，系统以黄灯闪亮和蜂鸣器鸣响的方式，向周围人员示警。红色报警响应时，除了具备类似黄色报警的功能外，还增加了对机器人的控制。系统能够在警报响应时将机器人的速度降低到安全值以内，必要时可控制机器人直接停车。系统能够根据实际情况自动解除黄色警报，而机器人停车后，必须有工作人员手动解除警报，最大程度的保证人员安全。所有的报警功能均可根据用户的要求，由编程人员或系统维护人员设定。
66.优选的，所述显示模块为上位机的屏幕或工业现场的触摸屏。本实施例中，安全防护系统设置了两个功能显示界面，第一个是区域设定界面，该界面可以将区域设定情况实时的显示到屏幕上，用户可以根据界面指示设定安全防护区域，如果区域设定有误，则可点
击当前界面的“n”图标，清除已设定的区域，重新进行区域设定。区域设定完成之后，用鼠标点击界面上的“y”图标，系统进入第二个界面，此界面用于实时显示监控信息和区域防护范围，并且能够将闯入的运动目标用矩形框实时标记。
67.实施例二
68.如图3-6所示，本发明另外公开了一种基于机器视觉工业机器人安全防护方法，利用上述基于机器视觉工业机器人安全防护系统进行防护，包括以下步骤：
69.步骤1：图像采集与预处理；
70.步骤2：运动目标检测和定位；
71.步骤3：建立区域分级报警。
72.其中，图像采集与预处理是系统算法实现的基础，主要完成视频图像的采集、图像矫正及滤波等操作，为了下一步目标检测打下良好的基础；运动目标检测是系统功能实现的关键，主要目的是利用yolov5算法检测出运动目标，其结果将直接影响目标定位的准确度与精度；通过利用背景差分法去除目标的背景噪声，结合背景差分法和均值法建模计算出运动目标的位置。通过以上程可以定位闯入的运动目标；报警处理部分是系统的输出部分，主要完成报警信息的确定与输出，同时也包括对机器人的控制。
73.本实施例中，所述图像采集是机器视觉系统实现的基础，是整个系统的关键之一。鱼眼相机是通过引入光学畸变，而得到远大于普通光学镜头的视场范围，因此，完成图像采集之后，需要对采集的鱼眼图像进行处理，以得到不含畸变或畸变较小的图片供后续使用。本系统利用数字图像技术，通过建立数学模型进行修正，这种方式相对来说，成本较低，也较为常用。通过相机采集得到的图像一般不是标准的圆形，因此，使用投影变换模型之前需要首先确定并提取有效区域，确定拟合大圆的中心和半径，才能进行下一步校正工作。使用球面透视投影法时，首先应建立球面坐标模型，确定畸变中心、焦距等参数，然后建立各像素点与矫正后的点的坐标映射关系，从而将带有畸变的图像校正为正常图像。具体算法流程如附图4所示，具体的，步骤1中的图像采集与预处理，包括以下几个步骤：
74.步骤11：用鱼眼相机采集信息，得到大视场范围的畸变图片；
75.步骤12：将得到的图片滤波，过滤掉噪声，确定图片有效区域；
76.步骤13：确定拟合大圆的中心和半径；
77.步骤14：建立球面坐标模型，确定畸变中心、焦距等参数；
78.步骤15：使用球面透视投影法建立各像素点与矫正后的点的坐标映射关系；
79.步骤16：得到正常图像。
80.本实施例中，所述运动目标检测和定位是利用yolov5算法检测出运动目标，检测效果将直接影响目标定位的准确度与精度。本系统采用帧差法和均值法相结合的方法进行建模，首先利用帧差法去除环境噪声，再利用均值法进行建模，提高所建立模型的准确度，同时也使得该方法能够在含有动态目标(噪声)的情况下使用，提高模型的鲁棒性和准确性。如附图5所示，是yolov5网络结构图。如附图6所示，是背景分差法流程图，bk(x,y)为背景图像，fk(x,y)为当前帧图像。将当前帧与背景帧进行差值运算得到dk(x,y)，然后进行阈值分割得到目标图像r(x,y)。
81.背景差分图像经过阈值分割之后已经能够从图中看出运动目标的位置、形态等信息，本系统需要获得运动目标的位置。可以利用投影直方图法进行分析，首先计算背景差分
之后的二值图像在水平和垂直两个方向上的投影直方图，然后根据投影关系，确定运动目标在图像中的坐标。
82.具体的，步骤2中的运动目标检测和定位，包括以下几个步骤：
83.步骤21：整合网络上的行人数据集、行为数据集和自己制作的现场物品数据集生成新的数据集；
84.步骤22：用步骤21中的数据集训练yolov5模型生成新的预测模型，用该模型检测图片上的目标；
85.步骤23：用背景分差法跟踪目标图像：bk(x,y)为背景图像，fk(x,y)为当前帧图像，将当前帧与背景帧进行差值运算得到dk(x,y)，然后进行阈值分割得到目标图像r(x,y)；
86.步骤24：利用卡尔曼滤波方法追踪图像中的目标。
87.本实施例中，所述报警功能设计的核心内容是监控区域的设定。本系统采用在线设定方式，这种方式的好处在于，可以设定多个监控区域赋予不同的监控级别。可以通过鼠标在上位机的屏幕上面实时设定监控区域，也可以通过手指在触摸屏上面实现该功能。
88.具体的，步骤3中的建立区域分级报警，包括以下几个步骤：
89.步骤31：在上位机设定监控区域；
90.步骤32：划分监控级别；
91.步骤33：对目标区域的目标和目标的行为动作检测；
92.步骤34：判断是否有不规范动作或超出安全范围，如果超出范围或有不规范行为则会发出警报。
93.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。