基于HoloLens可穿戴设备的地下矿掘进钻孔作业指导系统及方法与流程

基于hololens可穿戴设备的地下矿掘进钻孔作业指导系统及方法
技术领域
1.本发明涉及采矿及混合现实技术领域，尤其涉及一种基于hololens可穿戴设备的地下矿掘进钻孔作业指导系统及方法。


背景技术：

2.近年来，国家明确要求加快建设数字化、智能化、信息化、自动化矿山，不断加快对矿业领域的改革，智慧矿山的建设已经成为传统矿山未来发展的必然趋势，传统的生产模式也亟待优化改良。
3.在矿山的开采过程中，巷道的爆破掘进是其中一个重要环节，尤其对于光面爆破而言。地下矿山钻孔作业环境差，设计图在学习、施工等范围内起到了重要的作用，是了解矿层赋存条件、地质构造及水文地质等的必要材料。和传统的设计图相比较，使用三维模型来显示整个巷道及钻孔布置视觉效果更加直观，目前在实际应用中有基于cad、3ds max等进行建立的二维图纸。
4.目前，增强现实(augmented reality,ar)、虚拟现实(virtual reality,vr)和混合现实(mixedreality,mr)技术已逐渐成熟并在医疗、军事、教育和建筑等领域得到广泛的应用。其中mr技术将计算机产生的模拟信息带入到用户的感受范围内，并以真实场景为主体，以计算机的搭建的信息平台以及虚拟物体为客体，让用户沉浸在真实与虚拟的交互过程中。在巷道爆破掘进作业中，传统的钻孔定位都是人工手动测量完成的，而混合现实技术具有的将虚拟模型和现实空间相互标记的特点，使得它能够应用于地下矿山系统并优化掘进钻孔作业流程。
5.在矿山的开采过程中，巷道的爆破掘进是其中一个重要环节，尤其对于光面爆破而言。然而，传统的钻孔定位都是人工全手动测量完成的，定位工作繁琐复杂，不能精确导向并确定装药炮孔的位置，耗费时间长，工作效率低，劳动强度大，钻孔易偏斜、超深从而导致爆破效果差。
6.中国专利“cn110080679”提供了一种掘进设备和掘进设备的控制方法，通过合理设置掘进设备的结构，实现掘进设备沿围岩曲线形掘进钻孔，可根据具体实际使用情况有针对性地增大钻孔的深度，以满足成孔的深度要求，进而可满足隧道拱脚补强的要求。但不适用于地下矿山掘进钻孔作业。
7.中国专利“cn104748631”提供了一种煤矿半圆拱形巷道掘进炮孔定位仪，环形阵列激光头由连杆机构及端头操纵面板操控，矩形阵列排布激光头由小型二维舵机编程操控，舵机、步进电机等装置在控制器的调控下精确控制激光灯灯头的旋转角度，提高了井下炮眼布置位置的精准性，定位工作简单、精确导向并确定装药炮孔的位置。但灯光调控设计复杂繁琐，难以应对地下矿复杂多变的地质环境。


技术实现要素：

8.本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于hololens可穿戴设备的地下矿掘进钻孔作业指导系统及方法，将钻孔作业方案在现实空间中三维立体化展示并指导钻孔作业。
9.为解决上述技术问题，本发明所采取的技术方案是：
10.一方面，本发明提供一种基于hololens可穿戴设备的地下矿掘进钻孔作业指导系统，对掘进钻孔作业方案进行三维重建得到作业方案模型；
11.将作业方案模型设置到hololens眼镜内；
12.作业人员通过戴上hololens眼镜识别当前作业场景，并将作业方案模型呈现到现实空间。
13.具体包括hololens眼镜、ui控制模块、场景识别模块、逻辑控制模块、作业方案模型库、交互控制模块和显示模块；
14.所述ui控制模块、场景识别模块、逻辑控制模块、交互控制模块、显示模块均部署到hololens眼镜上，作业方案模型库作为预制件保存在工程文件中以备调用；场景识别模块能识别当前场景信息并完成数据库匹配、显示当前作业方案、微调虚拟三维模型进行交互；
15.所述ui控制模块，分别与场景识别模块、逻辑控制模块、交互控制模块、作业方案模型库和显示模块连接，根据场景识别模块识别的当前场景信息识别对应的作业方案数据库中的作业方案三维模型，并调用交互控制模块；
16.所述场景识别模块，识别当前场景信息，并通过逻辑控制模块建立当前场景信息与作业方案数据库中的作业方案三维模型之间的对应关系；
17.所述逻辑控制模块，用于存储各模块功能的实现及相互调用的逻辑函数，所述逻辑函数包括：场景识别函数、作业方案读取函数、交互控制函数、模块调用函数、显示功能函数，从而控制实现各模块功能；
18.所述交互控制模块，通过手势、眼动和语言的方式进行虚拟模型和现实空间之间的交互；
19.所述作业方案模型库，根据ui控制模块和场景识别模块识别并加载相应作业场景，通过逻辑控制模块调取相应作业方案三维模型；
20.所述显示模块，通过hololens眼镜采集到的场景信息与通过交互控制模块所选择的虚拟三维模型，透过hololens眼镜的显示屏将虚拟三维模型显示在真实物理环境中，以虚实融合方式显示。
21.进一步地，所述作业方案模型库用于存储作业方案模型，所述作业方案模型是根据掘进钻孔作业方案的cad图纸建立的三维模型，具体包括，掘进断面的位置及形状，三维实体化的布孔位置、方式及孔深。
22.进一步地，所述交互控制模块是基于hololens眼镜支持的凝视、手势、语音三大交互模式进行二次开发，以注视、点击和特定语音输入的方式，实现ui界面元素及作业方案三维模型现实空间之间的交互。
23.进一步地，所述显示模块中，在当前hololens眼镜中显示的文本、按钮和模型这些虚拟信息通过ui控制模块和交互控制模块实现微调。
24.进一步地，所述场景识别模块采用视觉slam自定位传感器和景深摄像头采集当前场景信息。
25.进一步地，所述的作业方案模型库，在模型加载且微调之后添加空间锚实现视觉锁定和场景保持。
26.另一方面，本发明提供基于hololens可穿戴设备的地下矿掘进钻孔作业指导方法，包括以下步骤：
27.步骤1、ui控制模块、场景识别模块、逻辑控制模块、交互控制模块、显示模块部署到hololens眼镜；
28.步骤2、通过场景识别模块，对地下矿掘进钻孔作业周围环境进行扫描识别，获得当前场景信息；
29.步骤3、场景信息识别完成后通过手势点击或语音命令将当前场景信息与现实空间结合形成作业方案模型；
30.步骤4、通过注视及手势控制作业方案模型移动及旋转，对作业方案模型的位置及方向进行微调；
31.步骤5、判断作业方案模型是否符合现场实际需求，若是，则执行步骤6，若否，则返回至步骤4；
32.步骤6、对作业方案模型添加空间锚，以实现视觉锁定和场景保持；
33.步骤7、根据作业方案模型中钻孔的位置及方向指导钻孔作业。
34.进一步地，将所述ui控制模块、场景识别模块、逻辑控制模块、交互控制模块、显示模块部署到hololens眼镜的具体方法为：
35.在unity 3d平台中进行mr(混合现实)场景搭建，在mr场景下设计包含各功能模块的ui界面，利用hololens眼镜的slam自定位传感器和景深摄像头设计场景识别功能模块，利用cad作业方案图纸和3ds max软件搭建作业方案模型库，利用mrtk工具包开发ggv交互模块，实现对作业方案模型的微调及空间锚定位设计，各功能模块间通过交互控制模块和逻辑控制模块相互连接，将代码封装测试验证系统稳定性，最后将系统打包发布至hololens眼镜中，形成地下矿山掘进钻孔作业指导app。
36.采用上述技术方案所产生的有益效果在于：本发明提供的基于hololens可穿戴设备的地下矿山掘进钻孔作业指导系统及方法，将hololens可穿戴设备这种混合现实设备应用于地下矿山掘进钻孔工程中，通过注视、手势和语音命令实现虚拟模型与现实空间之间的交互，有利于帮助作业人员更加全面地掌握工程内容。将掘进钻孔作业方案的cad图纸进行三维重建并录入至作业方案模型库，与现实空间结合以三维立体形式展示，从而优化了作业指导方案，提高钻孔精度。通过添加空间锚以实现视觉锁定与场景保持，避免了作业方案模型因人员位置移动发生偏移，有效降低了作业误差。为地下矿山掘进钻孔作业提供了可交互的混合现实数字化平台。
附图说明
37.图1为本发明实施例提供的基于hololens可穿戴设备的地下矿掘进钻孔作业指导系统的结构框图；
38.图2为本发明实施例提供的基于hololens可穿戴设备的地下矿掘进钻孔作业指导
方法的流程图；
39.图3为本发明实施例提供的基于hololens可穿戴设备的地下矿掘进钻孔作业指导系统的技术路线图；
40.图4为本发明实施例提供的对掏槽孔进行定位指导的示意图。
具体实施方式
41.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
42.本实施例中，一种基于hololens可穿戴设备的地下矿掘进钻孔作业指导系统，如图1所示，包括hololens眼镜、ui控制模块、场景识别模块、逻辑控制模块、作业方案模型库、交互控制模块和显示模块；
43.所述ui控制模块、场景识别模块、逻辑控制模块、交互控制模块、显示模块均部署到hololens眼镜上，作业方案模型库作为预制件保存在streamingassets工程文件中以备调用；场景识别模块能识别当前场景信息并完成数据库匹配、显示当前作业方案、微调虚拟三维模型进行交互；
44.所述ui控制模块，分别与场景识别模块、逻辑控制模块、交互控制模块、作业方案模型库和显示模块连接，根据场景识别模块识别的当前场景信息识别对应的作业方案数据库中的作业方案三维模型，并调用交互控制模块；
45.所述场景识别模块，识别当前场景信息，并通过逻辑控制模块建立当前场景信息与作业方案数据库中的作业方案三维模型之间的对应关系；
46.所述逻辑控制模块，用于存储各模块功能的实现及相互调用的逻辑函数，所述逻辑函数包括：场景识别函数、作业方案读取函数、交互控制函数、模块调用函数、显示功能函数，从而控制实现各模块功能；
47.所述交互控制模块，通过手势、眼动和语言的方式进行虚拟模型和现实空间之间的交互；
48.所述作业方案模型库，根据ui控制模块和场景识别模块识别并加载相应作业场景，通过逻辑控制模块调取相应作业方案三维模型；
49.所述显示模块，通过hololens眼镜采集到的场景信息与通过交互控制模块所选择的虚拟三维模型，透过hololens眼镜的显示屏将虚拟三维模型显示在真实物理环境中，以虚实融合方式显示。
50.所述作业方案模型库用于存储作业方案模型，所述作业方案模型是根据掘进钻孔作业方案的cad图纸建立的三维模型，具体包括，掘进断面的位置及形状，三维实体化的布孔(掏槽眼、辅助眼和周边眼)位置、方式及孔深。
51.所述交互控制模块是基于hololens眼镜支持的凝视、手势、语音(gaze、gesture、voice)三大交互模式进行二次开发，以注视、点击和特定语音输入的方式，实现ui界面元素及作业方案三维模型现实空间之间的交互。
52.所述显示模块中，在当前hololens眼镜中显示的文本、按钮和模型这些虚拟信息通过ui控制模块和交互控制模块实现微调。
53.所述场景识别模块采用视觉slam自定位传感器和景深摄像头采集当前场景信息。
54.所述的作业方案模型库，在模型加载且微调之后添加空间锚(worldanchor)实现视觉锁定和场景保持。
55.基于hololens可穿戴设备的地下矿掘进钻孔作业指导方法，如图2所示，包括以下步骤：
56.步骤1、ui控制模块、场景识别模块、逻辑控制模块、交互控制模块、显示模块部署到hololens眼镜，如图3所示，具体方法为：
57.在unity 3d平台中进行mr(混合现实)场景搭建，在mr场景下设计包含各功能模块的ui界面，利用hololens眼镜的slam自定位传感器和景深摄像头设计场景识别功能模块，利用cad作业方案图纸和3ds max软件搭建作业方案模型库，利用mrtk工具包开发ggv(gaze、gesture、voice)交互模块，实现对作业方案模型的微调及空间锚定位设计，各功能模块间通过交互控制模块和逻辑控制模块相互连接，将代码封装测试验证系统稳定性，最后将系统打包发布至hololens眼镜中，形成地下矿山掘进钻孔作业指导app。
58.步骤2、通过场景识别模块，对地下矿掘进钻孔作业周围环境进行扫描识别，获得当前场景信息；
59.步骤3、场景信息识别完成后通过手势点击或语音命令将当前场景信息与现实空间结合形成作业方案模型；
60.步骤4、通过注视及手势控制作业方案模型移动及旋转，对作业方案模型的位置及方向进行微调；
61.步骤5、判断作业方案模型是否符合现场实际需求，若是，则执行步骤6，若否，则返回至步骤4；
62.步骤6、对作业方案模型添加空间锚，以实现视觉锁定和场景保持；
63.步骤7、根据作业方案模型中钻孔的位置及方向指导钻孔作业。
64.本实施例中，通过基于hololens可穿戴设备的地下矿掘进钻孔作业指导系统进行掏槽孔定位指导的过程如图4所示，该图中作业人员在2#进路掘进面前，戴上hololens眼镜通过扫描当前场景得到掏槽眼定位指导模型。
65.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。