一种基于5G和边缘计算的分布式机器视觉系统的制作方法

一种基于5g和边缘计算的分布式机器视觉系统
技术领域
1.本发明涉及机器视觉领域，具体为一种边缘计算的分布式机器视觉系统。


背景技术：

2.当前市面上已经有许多5g相关的边缘计算产品，每套边缘计算产品可以搭建一套机器视觉检测系统，但大部分产品的功能都是单一的，只针对当前项目，当进行其他不同的任务时，又需要从头开始对项目进行开发，甚至当前项目需求发生变化时，也需要对本系统做出巨大调整，开发难度大，灵活性低，开发周期长，项目成果复用率低。比如，现有的边缘计算系统，当切换不同厂家的工业相机时，需要重新根据新产品的sdk进行二次开发，重新编译软件，这其中可能会带来如sdk兼容性等许多开发过程中会出现的问题，加大开发难度，延长开发周期，再者，目前深度学习模型多重多样(如yolo系列、r
‑
cnn系列以及mobilenet等系列)，部署方式也各有不同(如libtorch、tensorrt、openvino等知名部署框架)，若采用市面上现有的边缘计算视觉检测系统，每次因为项目需求切换模型时，都得做出大量调整，中途还会由于开发包之间的版本冲突或者兼容性问题导致开发周期延长，开发难度较大、适应性低、开发周期长，灵活性差，开发人员二次开发体验性差。


技术实现要素：

3.本发明是为了解决上述现有技术存在的不足之处，提出一种基于5g和边缘计算的分布式机器视觉系统，只需用户选择与外围检测设备相符合的插件即可完成对外围设备的控制及视觉检测系统的组建，从而能提高边缘计算机器视觉系统的灵活性和适应性，降低项目开发难度，减短项目开发周期。
4.本发明为达到上述发明目的，采用如下技术方案：
5.本发明一种基于5g和边缘计算的分布式机器视觉系统的特点是应用于工业产品的流水线上，并包括：云服务器、本地主机、用户终端以及n个检测系统节点上的边缘计算盒；且每个边缘计算盒与外围的检测设备相连；
6.所述用户终端通过4g/5g或者以太网向所述云服务器发送控制指令，所述云服务器通过4g/5g或以太网将所述控制指令发送给所述本地主机；所述控制指令的内容包括：远程开关机指令、检测开始指令、检测暂停指令、检测停止指令、更换插件指令、参数设置指令以及查询指令；
7.所述本地主机对所述控制指令进行解析，得到控制对象和指令内容并通过4g/5g或以太网向所述控制对象指定的1个或者多个边缘计算盒发送相应指令内容；
8.任一个边缘计算盒包括：中央处理单元、工业相机模块、光源控制器模块、运动控制模块、机器视觉算法模块、网络模块以及显示模块；
9.所述工业相机模块包括：usb2.0接口插件、usb3.0接口插件、gige千兆网接口插件以及cameralink接口插件，用于连接并控制外围的检测设备中的一个或多个工业相机；
10.所述光源控制器模块包括：准直光源插件、环形光源插件以及条形光源插件，用于
连接并控制外围的检测设备中的一个或多个光源控制器；
11.所述运动控制模块包括：plc控制单元插件和运动控制卡插件，用于连接并控制外围的检测设备中的一个或多个plc控制器和运动控制卡；
12.所述机器视觉算法模块包括：传统图像处理算法插件、机器学习算法插件以及深度学习模型插件，用于对自身边缘计算盒所连接的外围的检测设备中数据进行视觉检测和图像处理；
13.所述网络模块包括：4g/5g，以太网和wifi，用于与本地主机之间进行数据交互；
14.相应的边缘计算盒根据所接收到指令内容，利用中央处理单元进行解析，若是所述远程开关机指令，则得到指令操作对象，以远程对自身所边缘计算盒通过插件所连接的外围的检测设备以及本地主机进行开机和关机操作；
15.若是所述更换插件指令，则得到插件信息，以更换或选择对应的工业相机插件、光源控制器插件和/或运动控制单元插件来连接相应的外围的检测设备；
16.若是所述参数设置指令，则得到参数信息，以设置相应插件的参数；
17.若是所述检测开始指令、检测暂停指令及检测停止指令，则得到指令操作对象，以控制自身边缘计算盒通过插件所连接的外围的检测设备的开始、暂停和停止；
18.若是所述查询指令，则得到查询对象，以获取相应查询对象的系统参数、插件参数、检测参数、以及检测结果；
19.所述中央处理单元根据检测开始指令的指令操作对象，调用工业相机模块和光源控制器模块中相应的插件以控制外围的检测设备中的工业相机和光源控制器对流水线上的工业产品进行图像采集，并将所采集的图像发送到显示模块用于原图显示；同时将所述采集的图像发送给所述机器视觉算法模块；
20.所述机器视觉算法模块利用自身的插件对所采集的图像进行处理，得到处理结果后发送给显示模块用于结果显示，同时发送给所述运动控制模块；
21.所述运动控制模块根据处理结果调用相应的插件来控制外围的检测设备中的plc控制器和/或运动控制卡执行相应动作；
22.所述n个边缘计算盒将当前工业产品检测结果通过4g/5g或者以太网发送到本地主机；
23.所述本地主机对所有执行结果进行汇总和分析后，得到分析结果，把分析结果进行本地存储，并通过4g/5g或以太网把分析结果发送到云服务器；由所述云服务器将所述分析结果分发给各个用户终端，以完成实时反馈。
24.本发明所述的基于5g和边缘计算的分布式机器视觉系统的特点也在于：所述处理结果包括：当前所检测的工业产品的编号、检测时间、缺陷数量、每种缺陷的种类、尺寸、形状和位置；若处理结果中的缺陷数量为0或缺陷的数量、尺寸、种类和形状都在工业产品所允许的合格标准以内，则判断当前所检测的工业产品为良品，反之则判断为次品，并将是否为良品的判断结果加到所述处理结果中，从而得到当前工业产品的检测结果并发送给显示模块，同时将当前所检测的工业产品的编号和判断结果发送给运动控制模块；
25.所述显示模块根据所获得的当前工业产品的检测结果对当前工业产品的编号、检测时间、缺陷数量、每种缺陷的种类、尺寸、形状、位置以及判断结果进行显示，并更新工业产品的合格率和已检工业产品的总数；
26.所述运动控制模块根据所获得的当前工业产品的编号和判断结果，调用当前的plc控制单元插件或运动控制卡插件，控制所连接的外围设备中的plc控制器或运动控制卡，对当前工业产品进行筛选动作，即：若当前工业工件为良品，则plc控制器和/或运动控制卡控制外围设备中的电汽设备和/或机械结构将其放入良品的流水线，反之则，放入次品的流水线。
27.与现有技术相比，本发明的有益效果在于：
28.1、本发明通过5g工业互联网技术，实现了设备灵活组网，跨平台数据融合处理，方便管理；其中的边缘计算盒既可以单独使用，每台边缘计算盒控制一台相机、一个光源控制器以及一个运动控制单元，配合显示器，构成了一套机器视觉检测系统；也可以利用多台边缘计算盒替换掉传统成本较高的下位pc机，与汇总主机一起，构成主从分布式系统，融合不同节点的检测数据，综合了评价检测结果，实现了分布式检测，可以有效节约成本，解决了布线困难问题。
29.2、本发明将工业相机模块、光源控制器模块、运动控制模块以及机器视觉算法模块独立成单独的插件，用于连接/控制外围设备和算法部署，只需选择与外围检测设备相符合的插件即可组建一套完整的视觉检测系统，使得用户可以像搭积木一样，灵活利用现有的模块搭建自己的检测系统，完成项目开发，使用灵活，开发周期短，适应性强，降低了项目开发成本和开发难度。
30.3、本发明将多个厂家的工业相机sdk或传输协议做成插件形式嵌入到边缘计算盒的控制软件当中，使得检测系统可以使用不同厂家的相机，方便根据不同的项目需求来选择合适的相机及其软件插件，成本灵活可控，不因相机厂家的供货短缺受限；
31.4、本发明将多个厂家的运动控制单元(如plc运动控制系统和运动控制卡等)及光源控制器等单元的指令通讯协议做成插件形式嵌入到边缘计算盒的软件当中，使得检测系统可以使用不同厂家的控制设备，用户可根据实际情况自由搭配，极大程度上降低了开发难度，减少了开发周期；
32.5、本发明将多个机器视觉算法编写为插件，嵌入到边缘计算盒的软件当中，使得用户可以根据实际情况选择合适的图像处理算法，同时，还可以根据项目需求，选择合适的深度学习模型部署插件(如libtorch、tensorrt等)，部署灵活，简易，便捷，实用性和适应性强，极大程度上减小了神经网络模型的部署难度。
附图说明
33.图1是基于5g和边缘计算的分布式机器视觉系统的通信组成示意图；
34.图2是本发明提供的5g边缘计算盒控制软件的模块组成示意图；
35.图3是本发明的边缘计算盒子系统整体架构图；
36.图4是本发明中边缘计算盒的系统主板结构图。
具体实施方式
37.本实施例中，基于5g和边缘计算的分布式机器视觉系统，是一种将5g工业网络、边缘计算、主从分布式以及机器视觉相结合并应用于工业的分布式机器视觉系统，主要应用于磁环工业产品的检测流水线上。整个分布式系统主要由云服务器、本地主机、用户终端以
及n个检测系统节点上的边缘计算盒组成；且每个边缘计算盒与外围的检测设备相连；如图1所示，n个边缘计算盒与本地主机之间通过5g工业网络进行连接，本地主机将边缘计算盒的处理结果汇总以后发到云服务器上，用于用户终端的访问和实时控制。
38.用户终端通过4g/5g或者以太网向云服务器发送控制指令，云服务器通过4g/5g或以太网将控制指令发送给本地主机；其中，控制指令的内容包括：远程开关机指令、检测开始指令、检测暂停指令、检测停止指令、更换插件指令、参数设置指令以及查询指令；
39.本地主机对控制指令进行解析，得到控制对象和指令内容并通过4g/5g或以太网向控制对象指定的1个或者多个边缘计算盒发送相应指令内容；
40.如图2所示，任一个边缘计算盒包括：中央处理单元、工业相机模块、光源控制器模块、运动控制模块、机器视觉算法模块、网络模块和显示模块；在本实施案例中，利用qt跨平台框架编写边缘计算盒控制软件来作为中央处理单元，在控制软件上完成图片显示、数据存储、数据传输、人机交互等基本功能，在控制软件上编写统一的工业相机插件接口、光源控制器插件接口、plc运动控制单元插件接口以及机器视觉算法插件接口，并利用qt框架编写插件管理器，用于识别、管理和加载工业相机插件、光源控制器插件、plc运动控制单元插件以及机器视觉算法插件；最后，利用qt框架编写插件类，相应插件类组合构成工业相机模块、光源控制器模块、运动控制模块和机器视觉算法模块；其中，各插件类分别继承于上述的四种接口类，并将通用功能编写为函数接口，方便用户调用，实现对应目的，
41.工业相机模块包括：usb2.0接口插件、usb3.0接口插件、gige千兆网接口插件以及cameralink接口插件，用于连接并控制外围的检测设备中的一个或多个工业相机；在本实施案例中，利用qt跨平台框架，将多款工业相机对应的sdk开发包进行二次开发，编写为上述插件类，多款插件类都继承于工业相机接口类，并将工业相机的通用功能编写为函数接口，用于实现对不同厂家、不同类型、不同接口的工业相机的连接和控制；
42.光源控制器模块包括：准直光源插件、环形光源插件以及条形光源插件，用于连接并控制外围的检测设备中的一个或多个光源控制器；在本实施案例中，利用qt跨平台框架，将不同光源控制器的以太网指令协议进行封装，编写为光源控制器插件，并按照光源的种类分为上述三类插件，用于实现对不同厂家的光源控制器的连接和控制；
43.运动控制模块包括：plc控制单元插件和运动控制卡插件，用于连接并控制外围的检测设备中的一个或多个plc控制器和运动控制卡；在本实施案例中，利用qt跨平台框架，将多种不同的plc控制器的以太网指令协议进行封装，编写为plc控制单元插件，用于实现对不同厂家的plc控制器的连接和控制；并利用qt跨平台框架，将不同厂家的运动控制卡sdk进行二次开发，编写为多个运动控制卡插件，用于实现对相应厂家的运动控制卡的连接和控制；
44.机器视觉算法模块包括：传统图像处理算法插件、机器学习算法插件以及深度学习模型插件，用于对自身边缘计算盒所连接的外围的检测设备中数据进行视觉检测和图像处理；在本实施案例中，利用qt跨平台框架，将多种opencv基本图像处理算法进行组合/封装，编写为传统图像处理算法插件，用于完成简单的图像处理任务；将opencv里面的机器学习算法用统一的接口进行封装，编写为机器学习算法插件，用于完成机器学习算法部署和使用；最后，利用qt跨平台框架，用统一的接口将多种深度学习模型的tensorrt部署和/或libtorch部署进行二次封装，编写为对应的深度学习模型插件，用于实现多种深度学习模
型算法的部署和使用；
45.网络模块包括：4g/5g，以太网和wifi，用于与本地主机之间进行数据交互。
46.如图3所示，边缘计算盒的硬件由显示器、系统主板、外部接口、外部卡槽和5g模块五部分构成；
47.显示器用于显示人机交互软件界面，方便用户操作。
48.如图4所示，边缘计算盒的系统主板包括：arm架构核心板和fpga核心板。arm架构核心板以nvidia公司的jetson tx2超算模组为核心，包括cpu和gpu处理单元，用于部署算法、对工业相机采集的图像数据进行处理、对plc和光源控制器、用户终端的请求和云端处理器的控制指令进行处理；以jetson tx2为核心，扩展多个外设接口，用于连接多种外围设备；fpga核心板用于扩展cameralink接口，使边缘计算盒能使用cameralink接口的相机。
49.如图3所示，边缘计算盒能使用的工业相机接口类型为gige千兆网接口、usb和cameralink接口，用于将获取到的工件图片发送到边缘计算盒。
50.如图4所示，边缘控制盒的外部接口包括：usb接口、以太网口、cameralink接口、rs485接口、rs23接口以及ttl串口，分别用于与云端处理器、本地主机、plc、光源控制器和服务终端之间进行数据交互。
51.如图4所示，边缘控制盒的外设卡槽包括：wifi卡槽、4g卡槽和扩展卡槽，并采用热插拔、可替换的使用方式插入相应协议板卡，用于完成对多种传输协议下采集节点上传的各类数据、云端处理器、本地主机、plc、光源控制器和服务终端的数据进行解析。
52.边缘控制盒的5g模块为网口或usb3.0接口5g模块，用于与本地主机之间进行数据交互。
53.相应的边缘计算盒根据所接收到指令内容，利用中央处理单元进行解析，若是远程开关机指令，则得到指令操作对象，以远程对自身所边缘计算盒通过插件所连接的外围的检测设备以及本地主机进行开机和关机操作；
54.若是更换插件指令，则得到插件信息，以更换或选择对应的工业相机插件、光源控制器插件和/或运动控制单元插件来连接相应的外围的检测设备；
55.若是参数设置指令，则得到参数信息，以设置相应插件的参数；
56.若是检测开始指令、检测暂停指令及检测停止指令，则得到指令操作对象，以控制自身边缘计算盒通过插件所连接的外围的检测设备的开始、暂停和停止；
57.若是查询指令，则得到查询对象，以获取相应查询对象的系统参数、插件参数、检测参数、以及检测结果；
58.中央处理单元根据检测开始指令的指令操作对象，调用工业相机模块和光源控制器模块中相应的插件以控制外围的检测设备中的工业相机和光源控制器对流水线上的磁环工业产品进行图像采集。
59.在每个边缘计算盒组成的检测子节点中，当每个磁环工业产品到达检测流水线指定位置时，会触发外围设备中的光电传感器的脉冲信号，并被外围设备中的工业相机和/或光源控制器检测到，触发工业相机进行图像采集；每次触发采集，工业相机插件都会从工业相机里获得本次的磁环工业产品图片并将获取到的磁环工业产品图片发送给边缘计算盒的显示模块和机器视觉算法模块中的深度学习模型插件；其中，显示模块用于原图显示，并记录当前磁环工业产品编号。
60.机器视觉算法模块中的深度学习模型插件对所采集的图像进行处理，得到本次磁环工件的缺陷数量、每种缺陷的种类、大小、形状和位置，若结果中缺陷数量为0或缺陷的数量、大小、种类和形状都在工业产品所允许的合格标准以内，则将当前所检测的工业产品视为良品，反之则视为次品，并将是否为良品这一信息加到处理结果中，得到当前工业产品的检测结果，并将检测结果发送给显示模块，将磁环工业产品编号和是否为良品两个信息发送给运动控制模块；
61.显示模块获得当前工业产品的检测结果以后，根据当前磁环产品的检测结果的具体内容，显示当前磁环工业产品的编号、检测时间、缺陷数量、每种缺陷的种类、大小、形状和位置以及产品是否合格，并更新产品合格率和已检磁环工业产品总数；
62.运动控制模块根据当前工业产品的产品编号和是否为良品这一信息后，调用当前的plc控制单元插件，控制所连接的外围设备中的plc控制器，进行筛选动作；若当前工件为良品，则plc控制器控制外围设备中的机械挡板开启，令其进入良品的流水线；反之，若为次品，则关闭机械挡板，对次品进行拦截，换到次品流水线进行剔除。
63.最后，n个边缘计算盒分别将磁环工业产品最终的检测结果通过4g/5g或者以太网发送到本地主机；
64.本地主机对所有执行结果进行汇总和分析后，得到分析结果，把分析结果进行本地存储，并通过4g/5g或以太网把分析结果发送到云服务器；由云服务器将分析结果分发给各个用户终端进行显示，如电脑客户端软件、网站、手机app等，最终完成整个分布式磁环缺陷检测系统中磁环缺陷检测和服务用户的功能。用户终端若对检测结果无异议，则实时观测检测数据。用户终端若对检测结果有异议，则通过3g/4g/5g协议或以太网向云服务器发送控制指令，用于调整和/或控制检测结果有异议的边缘计算盒检测子节点。云服务器拿到指令以后，向本地主机进行交互，并由本地主机向存有异议的边缘计算盒发送控制指令，所指定的边缘计算盒收到控制指令以后，根据指令做出相应动作，完成用户终端对存有异议的边缘计算盒的调整和/或控制。
65.本发明将机器视觉检测中所需的工业相机模块、光源控制器模块、运动控制模块以及机器视觉算法模块独立成单独的插件，用于连接/控制外围设备和算法部署，使得用户可以像搭积木一样，灵活利用现有的模块搭建自己的检测系统，完成项目开发。当任务量较大、任务复杂、一台边缘计算盒组成的子系统难以进行实时处理时，还可以将任务分解，利用5g工业互联网技术，建立多台边缘计算设备以及云服务器的连接与通信，融合不同节点的检测数据，综合评价检测结果，组成分布式检测系统，完成了分布式缺陷检测，方便在产线推广应用，完成了项目的整体管理，使用灵活，开发周期短，适应性强，降低了项目开发成本和开发难度，加强了边缘计算盒和检测系统的可复用性，节约了项目开发成本。