一种基于WebGL的工业机器人智能生产线仿真系统的制作方法

一种基于webgl的工业机器人智能生产线仿真系统
技术领域
1.本发明涉及工业互联网及机器人家具喷涂等智能生产线，具体涉及一种基于 webgl的工业机器人智能生产线仿真系统。
技术背景
2.自2013年德国工业4.0概念正式提出以来，世界各国均出台相关战略决策， 旨在抓住新一轮技术发展契机，加速完成工业生产的转型升级，提升本国实体制 造产业的竞争力。先进制造高速发展背景下，优先完成转型将意味着在未来世界 市场竞争中处于有利位置，刺激本国经济发展，提升新经济格局下国家硬实力和 话语权。
3.智能制造蓬勃发展催生的工业互联网及其应用平台，近年来在工业生产生命 周期中扮演着越来越重要的角色。所谓工业互联网是互联网技术在传统工业系统 中的新型应用形式，其模型按技术架构从底至上可被抽象为“设备、网关、边缘 计算、网络平台、企业应用”5个层次，其中网络平台需承担现场设备可视化管 理、生产数据采集分析以及安全支撑等功能。
4.当下工业生产线仿真系统往往都扎根于某个行业中，面向领域专一化，缺少 拓展性；此外对生产过程的监控往往停留于数据层面，缺少对实际现场的直观展 现，无法模拟运行，不具备提前评估预测能力；而一些具备仿真能力的平台则大 多应用重型引擎开发，运行在pc平台，灵活性差，使用成本高。现有的一些应 用webgl的系统平台主要面向地理位置、建筑设计等信息展示。如吴越等在一 种基于社区业务中台与数据中台结合bim的社区实时孪生系统[zh]中使用 webgl对社区内部位置信息进行了三维化的展示；孙上等在一种基于智慧建筑 的全景三维交互混合现实方法[zh]中，提出了一种应用webgl进行建筑结构三 维化展示的方法。而例如thingjs以及ht for web等应用webgl技术的商业化 软件，他们更多的是提供工业相关的模型组件和模拟动画，进行工业场景运行展 示，无法动态按照实际需求进行场景的编辑，也无法接收实际生产线上的实时数 据进行真实的数字孪生仿真和虚拟调试。因此亟需一种基于webgl技术的工业 机器人智能生产线仿真系统，可根据实际需要编辑场景内容，接收实际生产数据， 进行仿真运行和虚拟调试。


技术实现要素：

[0005]
本发明要克服现有技术的上述缺点，提供一种基于webgl的工业机器人智 能生产线仿真系统。
[0006]
首先该系统可解决生产监控停留于数据层面不够直观的问题。其次可自定义 搭建生产线，按照实际需求进行场景编辑，动态调整生产线模型的数量、相对位 置、周边环境等，解决仿真系统拓展性差的问题。编辑完成的生产线仿真场景可 以接收真实生产线的实时运行数据，进行1：1的数字孪生仿真运行，并且场景 可以json文件的格式保存在数据库中，支持重复编辑。针对历史生产数据，建 立优化模型，通过相应算法得出分析结果，优化生产过程。最后采用易于部署和 远程访问使用的b/s架构。整个系统前后端分离开发，低耦
合可独立部署，解决 系统跨平台访问的问题。
[0007]
本发明为解决现有技术问题所采用的技术方案是：
[0008]
一种基于webgl的工业机器人智能生产线仿真系统，包括基于多种数据库 的数据存储模块；仿真模型库模块；生产可视化模块；基于工艺优化算法的数据 分析模块；系统功能模块。
[0009]
所述数据存储模块主要接收用户上传数据和生产现场设备运行数据。用户上 传数据主要是一些模型数据，提供给仿真模型库模块，做常规检索与查看；现场 设备数据输出给生产可视化模块，实现3d仿真生产线的同步运行以及数据监控 大屏的数据更新。
[0010]
所述仿真模型库模块接收用户输入的工业机器人等3d模型文件和模型相关 参数信息，将模型文件本身存入数据存储模块中的文件数据中，将模型相关信息 存入关系型数据库中。当用户需要查找下载及使用相关模型时，从数据存储模块 中取出模型数据，在前端页面通过3d引擎进行渲染展示。
[0011]
所述生产可视化模块下分两个部分：数据面板和生产线数字孪生。数据面板 部分接收来自数据存储模块中的现场生产数据，对数据进行整合处理后，输出到 前端页面上如echarts等数据可视化组件。生产线数字孪生部分首先可以获取仿 真模型库模块中用户上传的3d模型，按照实际需求，自定义编辑仿真生产线场 景，编辑完成的场景按照json文件格式存入数据库模块中，支持重复打开编辑。 其次，编辑好的仿真生产线可以接收数据存储模块的现场数据，通过高速网络传 输到前端模型关节接口，实时更新3d仿真生产线中的模型姿态位置，达到与现 场设备同步运行的目的，实现数字孪生。仿真生产线也可以接收编译后的工业机 器人代码数据，提前预演产线运行状况，实现产线仿真功能。
[0012]
所述数据分析模块调用数据存储模块中存储的设备、原材料及产品数量等生 产历史数据，应用第三方数据处理库，建立相应的数据分析模型，再应用常见的 成熟大数据算法，分析模型得到数据分析结果，以文本形式输出到前端页面，展 示如生产工艺效率等结果，提供生产优化建议。
[0013]
所述系统功能模块主要实现一些系统通用的基础功能。主要输入数据为数据 存储模块中的用户信息、登录日志等常规信息，以表格形式展示到前端页面。同 时系统管理院可再前端界面输入操作指令，进行信息的查看编辑和删除等，并将 修改后的信息数持久化到数据存储模块。
[0014]
本发明的优点和积极效果是：
[0015]
1.设计实现的基于webgl的工业机器人智能生产线仿真系统，能够为一般 化的生产线提供生产优化支撑，降低运行风险，提升生产效率。
[0016]
2.将webgl技术应用于工业仿真领域，区别与一般的3d展示平台，本发 明设计实现的系统可以自定义编辑仿真生产线的布局方案，接收实际的生产数据 进行仿真运行，支持生产线场景持久化保存和重复编辑。
[0017]
3.应用工业大数据算法，将不同种类的数据分类处理，提供可拓展的模型存 储应用平台，实现对生产过程的数据化分析和数据价值提取展示。
[0018]
4.系统采用b/s架构，部署在云端，方便远程操作。前后端完全分离开发， 易于维护和拓展；一个后端服务器可支持不同平台使用，web端使用图形化界面， 组件式开发，应用成熟可视化插件，提升交互性。
附图说明
[0019]
图1为本发明的系统软件架构图。
[0020]
图2为本发明的硬件系统架构图。
[0021]
图3为本发明系统功能逻辑框图。
具体实施方式
[0022]
以下结合附图对本发明的实施做进一步详述。
[0023]
参照图1，一种基于webgl的工业机器人智能生产线仿真系统，整个软件 系统按照功能一共可以分为5个模块：数据存储模块、生产可视化模块、仿真模 型库模块、数据分析模块和系统功能模块。数据存储模块主要包含关系型数据库 mysql、缓存数据库redis和文件数据库。根据系统中各类数据的不同特点存入 适合的数据库中，mysql存普通的关系型数据如用户信息、模型信息等；redis 用于缓存生产线上的实时数据；文件数据库用于存储训练好的数据分析模型和 3d模型文件。其余的4个功能模块都分为后端逻辑服务和前端可视化界面两个 部分。其中后使用java语言基于springboot框架开发，该框架内集成mybatis及 数据处理框架，联通数据库。前端通过地址发送数据至后端controller层，由其 调用service层中的方法，通过这些方法调用持久层框架，操作数据库中的内容。 后端部分在intellij idea集成开发环境下开发。前端部分主要使用vue.js框架结 合前端的基础语言html、css、javascript，图形化组件库element ui，图表插 件echarts等开发，利用vue的双向绑定机制，实现动态更新页面数据，开发环 境选择jetbrains webstorm。前后端之间完全分离，独立开发，减少耦合。前后 端之间使用axios基于http协议进行数据通信。软件系统遵循b/s架构，完全 部署在云端服务器上，通过浏览器远程访问，易于维护和后期拓展。
[0024]
图2为系统硬件系统架构图。主要由一台云服务器、现场数据服务器和接入 系统的制造设备组成。其中现场数据服务器架设在生产现场，向下通过成熟协议 转换系统连接各款设备，向上通过消息队列中间件发送实时数据；云端服务器上 部署本课题开发系统，向下接受消息队列中间件传输的实时数据，向上提供处理 结果，用户可通过浏览器和公网ip访问；所有部分通过高速网络连接，降低延 迟。设计该硬件平台用于整体平台搭建和系统功能验证。
[0025]
图3为系统功能逻辑框图。系统各个模块功能的具体实施方法为：
[0026]
在本发明应用的工业生产环境中，会产生多种类型的数据，并且在实现系统 功能是产生的数据也是多样的。再次前提下，应用多种类型数据库，根据数据类 型进行数据库配置，可以提升数据存取的效率，进而提升系统运行效率。
[0027]
mysql数据库中存储系统基本的关系型数据，这些数据的数据量不会太大 但逻辑上存在联系，例如与用户相关的用户名、用户密码、用户权限等；与设备 3d模型相关的模型名称、模型导入日期、模型文件存储路径等。对关系型数据 库中数据的增删改查操作，是整个系统运行的基础。
[0028]
redis缓存数据库具有快速存取的特点，能够满足生产现场数据的特点和对 这些数据的使用要求。在redis中主要存储的数据包括工业机器人等设备的电信 号数据、运动数据，产品相关的原材料数据、单位时间产量数据等。redis向下 接受数据采集中间件传送
来的数据，向上输出到系统后端服务器，支持数据的图 表可视化；在数字孪生产线和单模型仿真中，作为模型运动的数据源。
[0029]
文件数据库中存储的是一些固定的，多数情况下供读取的文件数据。这些文 件数据主要包括格式化的生产数据、训练好的数据分析模型和设备运动模型、设 备的3d仿真模型等。文件数据库一般用ftp服务器来实现，后端程序通过ftp 协议完成对其中数据的存储和读取。
[0030]
仿真模型库模块主要用来作为一个存储设备模型、展示设备模型的仿真平台。 存储设备模型指用户将符合格式的单个设备3d模型导入至文件数据库中，并一 同保留相关的参数设置，可导入的模型按照设备种类划分为工业机器人、传送带 等，不区分具体品牌和型号。模型的展示指将已经导入的设备3d模型添加入渲 染环境中，可以进行拖动、缩放和旋转等基本的场景展示。除此之外还可以进行 模型的运动展示，模型可以按照控制面板上用户输入的指令进行基础运动，也可 以接入实际的运动数据运动，实现实际连续运动的3d仿真展示。
[0031]
由于整个系统是部署在云端的web平台，因此需要使用webgl技术实现在 网页上呈现高质量3d模型的功能。webgl本质上是对计算机图形学标准 opengl的javascript实现，在浏览器上使用前端脚本语言直接调用计算机硬件 的gpu资源。这项技术的相关标准于2010年提出，经过十几年的发展，已具备 较强的应用价值。基于webgl标准框架开发的仿真系统在医学、交通、城市管 理等领域都有广泛的应用。但是直接使用webgl基础api开发效率不高，因此 系统开发选择基于webgl标准的图形学库three.js。three.js库的发展基本伴随 着整个webgl技术的发展过程，其由mr.doob开发并开源，目前已经形成了覆 盖全球的成熟开发社区，是当前应用最广泛的web端3d图形学库。
[0032]
本模块功能设计需求中模型在线导入通过three.js中的模型加载器实现，重 写其中不同格式模型的导入方法，可以实现对相应格式的在线导入，但是导入的 模型件必须满足一定的命名格式，设计支持至少两种格式的3d模型导入。单个 模型的一般导入流程为：
[0033]
(1)点击导入按钮；
[0034]
(2)选择模型设备类型和模型文件格式类型、命名模型、设置相应参数；
[0035]
(3)点击确定导入按钮。
[0036]
上述流程中输入的模型名称作为实际模型文件存储的二级路径，设置的参数 供模型运动编程使用，所有输入数据存入该模型的关系数据表中。通过筛选数据 库表中设备模型的类型记录返回每类模型的数量和可使用模型，以表格的形式展 示在页面上。
[0037]
自定义模型组合功能通过在一个渲染场景中添加系统中已存储的设备模型 实现，用户可以往场景中添加任意数量的模型对象，并且可拖动模型，调整其位 置，这部分功能使用dragcontroller插件实现，也可以直接在输入框中输入准确 的空间坐标数据实现位置变动。
[0038]
设备模型展示除了将已导入模型拖入渲染场景进行静态展示之外，还需进行 设备的运动展示。根据模型导入时设置的参数设置设备模型的运动关节，并将关 节位置数据写为数据接口暴露出来，接收输入的数据，完成关节运动。用户可以 直接使用控制面板输入关节运动数据，也可以通过通信协议接受redis中的关节 运动数据。
[0039]
生产可视化模块下分两个主要功能，生产数据可视化和生产过程可视化。生 产数据可视化用于展示生产细节，生产过程可视化用于仿真宏观生产过程。
[0040]
生产数据可视化功能接受redis缓存中实时设备数据，统计产生的产品数量、 原材料数量，计算得出的生产效率、单位产值等数据。这些数据适用echarts组 件进行可视化展示，形式包括动态表格、柱状图、折线图和圆饼图等。此外除了 单独的图表页面外，使用three.js中的sprite组件将图表融合进3d场景中。
[0041]
生产过程可视化功能应用webgl技术，按照实际的工业机器人生产线制作 3d模型，根据实际的工业机器人生产线设备布局方式在web系统中还原出1： 1的仿真产线，并存入文件数据库中。而对整个场景的存储功能主要写入数据表 的是用户定义场景中包含的模型种类、模型数量以及每个模型在场景世界坐标系 中的位置。场景本身使用threejs引擎的tojson方法，保存成一个json文件， 再将文件通过java的file类保存成文件对象，用i/o流存入磁盘持久化保存。 仿真生产线可以接收redis中缓存的实际生产线数据，驱动工业机器人等生产设 备，作为实际生产线的数字孪生同步运行，方便设备管理；也可以作为演示模型， 展示完整生产过程。
[0042]
数据分析模块功能操作流程可概括为三部分，数据准备、数据分析、结果表 达。
[0043]
数据准备过程包括数据的清理、数据集成多个数据库、数据集简化和数据的 规范化。在本系统应用的工业生产环境中，产生的工业数据本身存在不完整、大 量重复、数据缺失等特点。针对这些问题，本模块应用spark并行计算框架实现 对数据的清理。具体实现为首先加载数据源对其进行简单分类处理，然后应用 tf
‑
idf算法进行特征提取排除多于数据，将数据降维，最后应用k
‑
means算法， 按照聚类原则，对偏离较大的异常数据进行清除，符合要求的数据存入数据库中， 作为可用数据集。
[0044]
在完成数据准备后，根据分析需求进行模型训练和数据价值挖掘。本模块中 主要根据大数据进行两个方面的分析，产品的质量分析和设备运行状态分析。
[0045]
关于产品质量的分析本模块应用adtree决策树作为产品质量分析的算法。 将产品生产过程中相关工艺参数的特征值、生产设备、生产班次、生产车间、生 产批次作为算法输入，并将qualified字段设为标记字段，1为合格，2为不合格。 算法会根据输入数据输出决策树作为结果。
[0046]
设备运行状态分析主要依据数据库中设备运行的历史数据作为模型训练数 据集，输入spark
‑
mllib中，选择回归算法建立特征模型，再进行模型训练，得 到设备状态预测模型。该模型可以对相关设备的运行状态进行监控，预测其使用 寿命，运行状态。
[0047]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的 保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及 于本领域技术人员根据本发明构思所能够想到的等同技术手段。