一种三维沉浸式化工虚拟仿真系统

1.本发明属于虚拟现实及数字工厂系统领域，具体涉及一种三维沉浸式化工虚拟仿真系统。


背景技术：

2.化工生产过程工艺复杂，设备、机器、管道众多，处理的物料往往为危险性物质，且单元操作条件苛刻，在生产中潜在着众多风险因素，发生事故的可能性及造成的后果较其它行业更为严重。
3.化工行业安全事故发生率和事发后果严重度在各行业中高居不下，生产人员安全意识不足或操作不当是导致这一现象的主要原因。针对化工安全生产所进行的安全培训往往缺乏沉浸性和贴近现实的交互功能，操作人员难以将理论知识与复杂的动态化工过程相联系，培训效果较差。
4.专利文献cn108389462a-一种虚实结合的工厂实验室实训系统，以虚实结合为主要特点，模拟展示出智能工厂生产制造产品的全生命周期。专利文献cn110111671a公开了一种模拟智能工厂的实训系统，这些实训系统应用多数停留在人员培训层面，未能充分利用仿真系统特性。
5.为了解决这个问题所进行的基于虚拟现实技术的化工仿真系统研究不断深入，沉浸感和交互性不断提升。但当前系统的开发局限于特定流程的实现，所有模块建立后进行耦合，封装在一个软件中，调整与升级优化依赖于开发厂商，用户无法自主进行系统的完善和改进。
6.随着时间的推移，用户对仿真系统的需求也会产生变化。在化工系统规模不断增大以及用户需求多样化的趋势下，由一方开发仿真系统的全部内容通常不是最佳的解决方案。因此，亟需一种能够容纳多方共同开发的、具有高可扩展性、高灵活性的化工仿真系统。


技术实现要素：

7.鉴于上述，本发明的目的是提供一种三维沉浸式化工虚拟仿真系统，通过多个可自由组合的独立子系统，进行与实际过程相符的化工全流程模拟，为人员培训提供沉浸式虚拟环境。
8.为实现上述发明目的，实施例提供的一种三维沉浸式化工虚拟仿真系统，包括三维模型子系统、流程仿真子系统、过程控制子系统、虚拟现实子系统；
9.所述三维模型子系统用于构建化工场景的三维模型并提供三维可视化平台；
10.所述流程仿真子系统用于根据化工过程的数据和模型模拟化工生产过程；
11.所述虚拟现实子系统用于建立虚拟工厂并提供给用户以实现工厂虚拟现实漫游和交互操作；
12.所述过程控制子系统用于控制流程仿真子系统、虚拟现实子系统工作；
13.各子系统彼此独立运行，建立于一台或多台电子设备上，每个子系统在进行相应
硬件配置的同时，能够独立进行软件的更新，根据实际应用需求1个子系统或者至少2个子系统之间建立通信，形成实际应用系统。
14.在一个实施例中，所述三维模型子系统中，提供的三维可视化平台用于可视化三维模型；
15.所述三维模型的构建方法包括工程图纸建模、实地三维重建以及标准模块拼接建模。
16.在一个实施例中，所述流程仿真子系统配有包含多个功能单元的流程模拟软件，调用多功能单元对化工流程进行数学模型描述，根据配置参数运行数学模型描述以模拟实际生产过程，得到动态数据，其中，化工流程包括但不限于化学反应过程、换热过程以及分离过程等。
17.在一个实施例中，所述模拟软件还能够实现化工流程的设计、经济评价、操作模拟、寻优分析和故障诊断任务。
18.在一个实施例中，所述虚拟现实子系统包括虚拟工厂建立模块和虚拟现实设备，所述虚拟工厂建立模块根据化工场景的三维模型和动态数据建立动态虚拟工厂，并传输动态虚拟工厂场景至虚拟现实呈现设备，用户通过虚拟现实交互设备实现工厂虚拟现实漫游及交互操作，其中，动态虚拟工厂呈现状态包括化工正常生产流程状态、生产事故状态。
19.在一个实施例中，所述过程控制子系统通过控制命令控制流程仿真子系统的生产模拟过程，并驱动虚拟现实子系统中的现场设备动作，采集现场设备信息呈现于人机交互界面，其中，控制命令实现的功能通过仿真控制器或真实控制器实现。
20.在一个实施例中，所述实际应用系统包括三维模型子系统、流程仿真子系统、虚拟现实子系统以及过程控制子系统；其中，
21.三维模型子系统用于构建化工场景的三维模型，并传输三维模型至虚拟现实子系统；
22.流程仿真子系统用于模拟化工生产过程并产生动态数据，传输动态数据至虚拟现实子系统和过程控制子系统，接收虚拟现实子系统或过程控制子系统传输的控制命令，依据控制命令调节模拟流程中的操作条件；
23.虚拟现实子系统用于依据接收的动态数据和三维模型构建动态虚拟工厂，通过虚拟现实设备实现用户在动态虚拟工厂的虚拟现实漫游及交互操作，接收虚拟现实设备采集的第一控制信息，根据第一控制信息生成控制命令并发送至流程仿真子系统，传输第一控制信息至过程控制子系统；还用于根据过程控制子系统传输的第二控制命令调节操作条件/运行条件。
24.过程控制子系统用于对接收的动态数据进行实时显示；还用于根据控制信息生成控制命令，传输控制命令至流程仿真子系统，其中，控制信息包括来自于虚拟现实子系统传输的第一控制信息、过程控制子系统仿真模拟生成的第二控制信息、过程控制子系统的真实控制设备接收的第三控制信息；还用于根据第二控制信息和/或第三控制信息生成第二控制命令并传输至虚拟现实子系统。
25.在一个实施例中，所述实际应用系统包括三维模型子系统、流程仿真子系统、虚拟现实子系统；其中，
26.三维模型子系统用于构建化工场景的三维模型，并传输三维模型至虚拟现实子系
统；
27.流程仿真子系统用于模拟化工生产过程并产生动态数据，传输动态数据至虚拟现实子系统，接收虚拟现实子系统传输的控制命令，依据控制命令调节模拟化工生产过程中的操作条件/运行条件；
28.虚拟现实子系统用于依据接收的动态数据和三维模型构建动态虚拟工厂，通过虚拟现实设备实现在动态虚拟工厂的虚拟现实漫游及用户交互，接收虚拟现实设备采集的第一控制信息，根据第一控制信息生成控制命令并发送至流程仿真子系统。
29.在一个实施例中，各子系统之间建立的通信协议包括：opc协议、ascii协议、和/或tcp/ip协议，各子系统之间的通信方式包括实时通信或定期通信。
30.与现有技术相比，本发明具有的有益效果至少包括：
31.三维沉浸式化工虚拟仿真系统由多个子系统组成，整个系统具有开放性、灵活性与拓展性，子系统具有独立性与多样性。在特定的通信协议下，用户可以根据需求在同一台计算机/服务器或者多台计算机/服务器上进行子系统的自由组合以及改进替换，使得系统建立过程更灵活、更高效、拓展性也更好。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
33.图1是一实施例提供的三维沉浸式化工虚拟仿真系统的结构示意图；
34.图2是另一实施例提供的三维沉浸式化工虚拟仿真系统的结构示意图。
具体实施方式
35.为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
36.实施例提供的三维沉浸式化工虚拟仿真系统包括三维模型子系统、流程仿真子系统、过程控制子系统、虚拟现实子系统，各子系统彼此独立运行，可以在一台电子设备上同时实现各子系统，可以在多台电子设备分别实现各子系统，任一子系统可以独立运行，不依赖于其他系统，用户可以对任一子系统进行单独操作。
37.实施例中，各子系统功能实现方式多样化，三维模型子系统和流程仿真子系统可以分别采用符合特定通信协议的各种软件实现，过程控制子系统可以用真实控制系统或仿真控制系统实现，虚拟现实子系统也可采用不同的虚拟现实设备。
38.实施例中，可以根据实际应用需求进行子系统的选取，通过在子系统之间建立通信，实现部分子系统或全子系统的组合以形成实际应用系统，满足最终实际应用需求。子系统间可以进行耦合与解耦，在必要时进行子系统的改进与更换。
39.实施例中，三维模型子系统用于将现实物理世界中化工场景表示成可以用计算机显示和处理的三维模型，同时还提供用于可视化三维模型的三维可视化平台。三维模型的
构建方法包括工程图纸建模、实地三维重建以及标准模块拼接建模等。其中，实地三维重建方法可以分为激光扫描和倾斜摄影两种。激光扫描获得的模型本质为三维点云，只具有三维几何模型，不具有外观信息，需要进一步添加材质信息。倾斜摄影获得的三维模型具有外观信息，对于密集管道部分重建效果不佳，精度较低，需要利用激光扫描法或者图纸法补充。在具体建模时，分析建模对象的复杂程度，采用单一方法或组合方法建模，得到生动逼真的三维模型后传输到虚拟现实子系统。
40.实施例中，流程仿真子系统配有包含多个功能单元的流程模拟软件，调用多功能单元对化工流程进行数学模型描述，根据配置参数运行数学模型描述以模拟实际生产过程，生成模拟过程中产生的动态数据，其中，化工流程包括化学反应过程、换热过程以及分离过程。模拟软件包含的多功能单元可实现合成、氧化、加氢、裂解以及电解质溶液反应等。
41.明确化工流程组成后，分析生产工艺特性，在流程模拟软件中的物性数据库选择合适的物性方法，调用功能单元库的功能单元搭建化工流程以形成数学模型，设置输入输出功能单元参数后通过解算和管理系统进行流程运算和系统管理。进一步调整数学模型完成化工过程及设备的计算、设计、经济评价、操作模拟、寻优分析和故障诊断等多种任务。在此基础上通过实时数据通信技术与其他子系统实现实时数据交换。
42.实施例中，虚拟现实子系统包括虚拟工厂建立模块和虚拟现实设备，所述虚拟工厂建立模块根据化工场景的三维模型和动态数据建立动态虚拟工厂，并传输动态虚拟工厂场景至虚拟现实设备，用户通过虚拟现实设备实现工厂虚拟现实漫游及交互操作，其中，动态虚拟工厂呈现状态包括化工正常生产流程状态、生产事故状态。也就是用户通过虚拟现实设备能够沉浸式体验化工正常生产流程和生产事故等，同时用户还可以通过虚拟现实设备进行交互操作，交互操作过程的系统状态变化通过实时通信技术实时更新在人机交互界面上。
43.实施例中，过程控制子系统通过控制命令控制流程仿真子系统的生产模拟过程并驱动虚拟现实子系统中的现场设备动作，采集现场设备信息呈现于人机交互界面，其中，控制命令实现的功能通过仿真控制器或真实控制器实现。
44.具体地，过程控制子系统可用于控制不同类型的生产过程，包括连续过程、间歇过程、半连续过程以及离散过程，流程变量包括温度、压力、流量、液位、化学成分(如产品成分、含氧量)、物性参数(如粘度、熔融指数)等。
45.实际应用中，根据化工过程的复杂程度及控制需求选择合适的控制器与控制系统满足系统的安全性、稳定性以及经济性。常见的控制系统有dcs、plc、scada等以及它们的仿真形式。此外，过程控制方案具有多样性，同一被控过程因为受到扰动不同，可以采用不同的控制方案，同一控制方案可适用于不同的生产过程。在此基础上，根据需要过程控制子系统可与流程仿真子系统进行耦合或解耦，实现柔性、灵活的生产管控。过程控制子系统的控制命令根据需求通过实时数据通信技术实时传输到其他子系统，实现数据交换。
46.在一个实施例中，实际应用系统包括三维模型子系统、流程仿真子系统、虚拟现实子系统以及过程控制子系统，各子系统可以分别采用不同的网络协议，最后应用协议转换实现数据传输，拓展了各子系统的协议使用范围和功能实现手段。通过特定的通用协议实现不同供应厂商的设备和应用程序之间的软件接口标准化，为用户提供不依靠于特定开发语言和开发环境的可以自由组合使用的过程控制软件组件产品。
47.在实际应用系统中，三维模型子系统用于构建化工场景的三维模型，并传输三维模型至虚拟现实子系统；
48.流程仿真子系统用于模拟化工生产过程并产生动态数据，传输动态数据至虚拟现实子系统和过程控制子系统，接收虚拟现实子系统或过程控制子系统传输的控制命令，依据控制命令调节模拟化工生产过程中的操作条件/运行条件；
49.虚拟现实子系统用于依据接收的动态数据和三维模型构建动态虚拟工厂，通过虚拟现实设备实现与动态虚拟工厂的虚拟现实漫游，接收虚拟现实设备采集的第一控制信息，根据第一控制信息生成控制命令并发送至流程仿真子系统，传输第一控制信息至过程控制子系统；还用于根据过程控制子系统传输的第二控制命令调节操作条件/运行条件。
50.过程控制子系统用于对接收的动态数据进行实时显示；还用于根据控制信息生成控制命令，传输控制命令至流程仿真子系统，其中，控制信息包括来自于虚拟现实子系统传输的第一控制信息、过程控制子系统仿真模拟生成的第二控制信息、过程控制子系统的真实控制设备接收的第三控制信息；还用于根据第二控制信息和/或第三控制信息生成第二控制命令并传输至虚拟现实子系统。
51.在实际应用系统中三维模型子系统和虚拟现实子系统集成于一台电子设备，便于虚拟现实子系统对三维模型的调用，过程控制子系统和流程仿真子系统分别设于两台电子设备；或，三维模型子系统和虚拟现实子系统分别设于两台电子设备，过程控制子系统和流程仿真子系统集成于一台电子设备，通过耦合形成新系统，例如为过程模型子系统。其中，电子设备包括计算机或服务器。
52.需要说明的是，第一控制信息是指用户在通过虚拟现实设备交互过程中操作的控制信息，第二控制信息是指过程控制子系统通过仿真模拟逻辑产生的控制信息，第三控制信息是指用户通过真实控制设备输入的控制信息，这些控制信息均可对应调节上述流程操作条件/运行条件。
53.在一个实施例中，实际应用系统包括三维模型子系统、流程仿真子系统、虚拟现实子系统；其中，三维模型子系统用于构建化工场景的三维模型，并传输三维模型至虚拟现实子系统；流程仿真子系统用于模拟化工生产过程并产生动态数据，传输动态数据至虚拟现实子系统，接收虚拟现实子系统传输的控制命令，依据控制命令调节模拟化工生产过程中的流程操作条件/运行条件；虚拟现实子系统用于依据接收的动态数据和三维模型构建动态虚拟工厂，通过虚拟现实设备实现与动态虚拟工厂的虚拟现实漫游，接收虚拟现实设备采集的第一控制信息，根据第一控制信息生成控制命令并发送至流程仿真子系统。
54.需要说明的是，各子系统间的数据传输形式不仅有实时数据通信，也包括非实时数据通信。实时数据传输要求通信双方均为在线状态，传输过程在一定时间内完成以确保数据的实时性。非实时数据通信可以将数据暂时放在数据服务器中进行中转，也可以将数据导出至外部存储设备，其他计算机/服务器从外部存储设备获取数据。用户可以根据不同的需求选择合适的数据通信方式。
55.实施例中，子系统功能实现手段具有多样性。三维模型子系统可以采用单一建模方法或多种建模方法灵活组合，实现高效建模。流程仿真子系统可采用不同的流程仿真软件建立，根据系统设计与升级要求灵活调整流程仿真模型，拓展模型的使用范围。过程控制子系统可以同时建立产生仿真控制逻辑的仿真控制系统和包含真实控制器的真实控制系
统，在不同需求下进行自由切换。虚拟现实子系统中，根据虚拟现实系统交互和进入程度的不同，分为：桌面式虚拟现实系统、沉浸式虚拟现实系统、增强式虚拟现实系统以及分布式虚拟现实系统。不同类型的虚拟现实系统在必要时可以进行替换，同一类型的虚拟现实系统可以采用不同的输入设备，如：键鼠、操作手柄以及动作捕捉手套等，便于用户进行灵活操作。
56.实施例中，各子系统间只要满足特定通信协议即可实现数据互通及数据同步，通信规程的选择考虑特定条件下的最优方案，包括：opc协议、ascii协议、tcp/ip协议等。整个系统通信可以采用单一的通信协议，也可以采用多个通信协议，通过协议转换实现多种协议间的数据传输。
57.下面以两个具体实施例进行详细说明：
58.实施例1
59.如图1所示，实施例提供实际应用系统由三台计算机上的三维模型子系统、过程模型子系统以及虚拟现实子系统组成。其中，过程模型子系统由仿真控制系统与动态机理模型耦合而成，为虚拟现实子系统提供可靠的动态数据。动态机理模型来自于流程仿真子系统，仿真控制系统来自于过程控制子系统。
60.在计算机1上建立三维模型子系统。三维模型子系统根据工程图纸，采用三维绘图软件3dmax添加基本几何元素，包括线、圆以及矩形等，通过平移、旋转、拉伸、拼接、扣减以及布尔运算构建设备模型。完成模型搭建后进行布局优化，并对设备模型添加设备名称、空间位置以及位号等信息。进一步将模型分为静态部分和动态部分，静态部分是如工厂中管道、压力容器等现成操作工人无法直接操作的部分，动态部分是如阀门、开关、现场仪表等现场工人可以直接操作的部分。完成三维建模后导出fbx文件到计算机2上的虚拟现实子系统中。
61.过程模型子系统在计算机3上进行仿真控制系统与动态机理模型耦合，运行后通过cogent datahub软件配置opc通信的服务器和客户端，采用opc ua通信技术为虚拟工厂中的设备建立联系，提供动态数据，实现各子系统不同网络协议间的连接。针对工艺提取描述过程的动态机理模型表示为：
[0062][0063]
f()表示不同类型函数类型，根据实际流程选择线性函数、非线性函数等函数类型。y是系统的输出变量，
x
为系统内部的状态变量，u代表系统的输入变量。其中，系统的状态变量是指能够完全描述动态系统时域行为的所含变量个数最少的变量组。进一步根据机理模型在aspen plus软件中建立流程模型，添加控制模块后利用操作变量控制对应的关键状态变量，从而实现流程安全稳定运行，通过opc ua通信技术实时将结果传输到计算机2上的虚拟现实子系统中。
[0064]
计算机2上的虚拟现实子系统分别通过非实时数据通信以及opc ua通信技术接收来自三维模型子系统的工厂三维模型与过程模型子系统的动态数据。对于三维工厂模型，进行场景渲染与多重纹理融合的材质贴图操作，得到高还原度的虚拟工厂。添加人物控制模块、碰撞检测模块以及人机交互模块控制虚拟人在虚拟工厂中完成向前、向后、向左、向右行走、转向、原地站立、跳跃、奔跑上楼梯、阀门操作以及设备操作等交互功能。交互信息
包括设备信息以及流程仿真模型得到的动态数据，使用实时通信技术将其呈现在人机交互界面上。进一步添加小地图和搜索功能，实现用户对虚拟工厂的快速了解以及目标设备的快速找寻。
[0065]
最后采用多通道传输技术将动态虚拟工厂呈现在图像输出设备上，实时数据通信技术提供动态数据，为人员培训提供沉浸式虚拟环境。受训人员通过输入设备手柄进行人物移动以及开关阀门等一系列操作。
[0066]
本实施例的操作方法如下：
[0067]
s1在三维模型子系统中根据工程图纸建立三维工厂模型，进行布局优化，得到高还原度的三维工厂模型导入虚拟现实子系统。
[0068]
s2建立过程模型子系统，通过opc ua通信技术为虚拟现实子系统提供可靠的动态数据。
[0069]
s3虚拟现实子系统对来自三维模型子系统的三维工厂模型进行场景渲染和材质贴图，添加功能模块实现虚拟人在虚拟工厂中的操作以及交互信息呈现，并提供小地图和搜索功能。
[0070]
s4虚拟工厂通过多通道传输技术呈现在图像输出设备上，实时通信技术实时提供动态数据，受训人员借助输入设备完成培训操作。
[0071]
实施例2
[0072]
如图2所示，实施例提供的实际应用系统由三维模型子系统、流程仿真子系统、过程控制子系统以及虚拟现实子系统组成。其中，三维模型子系统与虚拟现实子系统在图2中的计算机3上完成。同时进行过程模型子系统中的仿真控制系统和动态机理模型解耦得到流程仿真子系统与过程控制子系统，使得生产管控更加灵活。
[0073]
计算机3上的三维模型子系统不同于实施例1中的工程图纸建模方法，采用倾斜摄影技术和激光扫描技术相结合的方法对实地厂区建立三维模型。通过在同一飞行平台上搭载多台传感器，同时从垂直、前视、后视、左视、右视不同角度进行实地影像采集。对收集到的区域内矢量线划数据、倾斜模型数据进行数据处理，综合利用三维空间物理分割技术与倾斜模型技术实现实体模型的自动提取和自动化物理分割。在此基础上重建模型与纹理之间的映射，生成纹理图片后进行纹理贴图。对于管道、设备密集部分，利用激光扫描技术完善管道与设备的细节，得到高还原的工厂三维模型。使用扫描仪采集点云，进行点云拼接、去噪。规则物体采用特征线提取法建模，不规则物体采用三角网格法建模，建模完成后进行优化与减面处理，进一步进行纹理映射与贴图。最后将所得的三维模型导入到虚拟现实子系统中。
[0074]
在计算机1中建立的流程仿真子系统通过组合不同的化工单元操作来模拟化工工艺流程，通过opc ua技术为虚拟现实子系统提供动态数据。子系统选择chemcad软件进行塔器设计、换热器设计、流程安全设计以及管网分析计算等操作，实现流程安全、高效模拟。运行后通过软件的opc接口向虚拟现实子系统传输动态数据。
[0075]
计算机2上的过程控制子系统同时包含相同控制效果的仿真控制系统和真实控制系统，正常运行是其中一种控制系统生效。用户根据实际情况和需求进行控制系统的切换，通过通讯接口重新建立数据通信。分析过程中的温度、压力、流量、液位等变量确定控制变量和被控变量，明确控制逻辑后制定控制方案，搭建控制系统后借助opc ua技术传输控制
信号实现对流程仿真子系统的控制。进一步建立虚拟控制子系统与过程控制子系统的实时数据通信，模拟内操工在生产过程中的流程操作。
[0076]
虚拟现实子系统在三维工厂模型的基础上完成虚拟工厂建立，添加功能模块后在图像输出设备上进行呈现，用户通过输入设备进行流程操作。此例中采用动作捕捉手套作为输入设备，使得开关阀门等流程操作更贴近实际生产过程。
[0077]
本实施例的操作方法如下：
[0078]
s1在三维模型子系统中采用倾斜摄影与激光扫描相结合的方法建立三维工厂模型，进行纹理贴图后导入到同一计算机上的虚拟现实子系统。
[0079]
s2建立流程仿真子系统，通过opc ua通信技术为虚拟工厂提供动态数据。
[0080]
s3过程控制子系统同时包含仿真控制系统和真实控制系统，用户根据需求进行控制系统的切换。控制信号通过opc ua技术传输到流程仿真子系统中。
[0081]
s4虚拟现实子系统完成虚拟工厂的建立。
[0082]
s5虚拟工厂通过多通道传输技术呈现在图像输出设备上，受训人员借助输入设备动作捕捉手套完成流程操作。
[0083]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。