基于微服务的前沿装备远程互动体验系统

1.本发明属于远程教学领域，具体涉及一种基于微服务的前沿装备远程互动体验系统。


背景技术：

2.在教学实训领域和科技旅游领域，往往会展示各种科技领域中新研发的前沿装备，让学生或游客了解这些科技领域的发展情况。目前，在前沿装备的展示场所中，虽然会部署一些前沿装备作为实验或展示资源，但是对于那些价格昂贵、更新快、部署要求高、操作限制多的前沿装备，就比较难以进行部署，导致学生或游客无法进行了解以及观摩。
3.有一些展示场所为了避免这样的问题，采用虚拟仿真沙盘以及虚拟现实、增强现实以及混合现实系统，从而通过这些装置来辅助进行前沿装备的展示。但这样的展示方法也会导致有观感无实效，不容易激发学生或者游客兴趣。
4.另外，由于各种前沿装备往往是不同机构研发得到的，涉及的接口、软件、模型专有、标准、不开放，因此前沿装备与展示场所的系统的接入往往也十分困难，需要专门地进行开发和维护，导致前沿装备接入涉及的开发、集成、共享效率低下。


技术实现要素：

5.为解决上述问题，提供一种将不同前沿装备涉及的发布、部署、控制、视频、操作、界面涉及的活动，均以微服务的形式进行设计、开发、集成的前沿装备远程互动体验系统，本发明采用了如下技术方案：
6.本发明提供了一种基于微服务的前沿装备远程互动体验系统，用于让用户对若干种前沿装备进行远程互动操作，其特征在于，包括：至少一个互动终端，用于让用户对前沿装备进行远程操控；以及云服务器，分别与前沿装备以及互动终端相通信连接，其中，云服务器具有装备服务运维环境模块、终端服务环境运维模块、检索获取模块以及服务运行模块，互动终端具有配置服务存储模块、远程互动界面模块以及终端侧通信模块，装备服务运维环境模块至少存储有与每一种前沿装备相对应的设备控制微服务单元以及装备识别号，终端服务运维环境模块至少存储有与每一种前沿装备相对应且与互动终端相适配的设备操作微服务单元以及终端服务识别号，配置服务存储模块存储有预先配置的装备识别号以及终端服务识别号，终端侧通信部用于将装备识别号以及终端服务识别号与互动终端的终端识别号对应地发送给云服务器，检索获取模块根据装备识别号从装备服务运维环境模块中检索获取到对应的设备控制微服务单元，并根据终端服务识别号检索获取到对应的设备操作微服务单元，服务运行模块运行检索获取到的设备操作模块并根据终端识别号与互动终端进行通信，从而使得远程互动界面模块显示与设备操作模块相对应的设备操作画面让用户输入设备操作参数，并运行设备控制模块根据设备操作参数控制前沿装备执行对应操作。
7.本发明提供的基于微服务的前沿装备远程互动体验系统，还可以具有这样的技术
特征，其中，每个前沿装备配备有用于对该前沿装备进行拍摄的摄像头，装备服务运维环境模块还存储有与每一种前沿装备相对应的视频拍摄微服务单元，终端服务运维环境模块还存储有与每一种前沿装备相对应且与互动终端相适配的视频分析微服务单元以及操作评价微服务单元，检索获取模块在进行检索获取时，还检索获取到视频拍摄模块、视频分析微服务单元以及操作评价微服务单元，服务运行模块还用于运行视频拍摄模块控制摄像头在用户远程操作前沿装备时拍摄该前沿装备的操作视频，并运行视频分析微服务单元对操作视频进行分析得到视频分析结果，进一步运行操作评价微服务单元调用视频分析结果以及用户预先设计的前沿装备操作计划对用户的操作进行比对评价，若视频分析结果与前沿装备操作计划的匹配程度大于预定阈值则判断操作成功，若匹配程度小于预定阈值则判断可操作性弱，若前沿装备操作计划违反涉及的操作原理或规则就判定扣分，远程互动界面模块还用于显示操作评价画面让用户确认比对评价的结果。
8.本发明提供的基于微服务的前沿装备远程互动体验系统，还可以具有这样的技术特征，其中，装备服务运维环境模块还存储有与每一种前沿装备相对应的设备状态微服务单元，检索获取模块在进行检索获取时，还检索获取到设备状态微服务单元，服务运行模块还用于运行设备状态微服务单元从而在用户远程操作前沿装备时获取该前沿装备自身控制器定义的装备状态，远程互动界面模块还用于显示视频分析画面从而为用户提供操作视频以及视频分析结果和装备状态的反馈，装备状态包括位置坐标、设备状态和执行状态。
9.本发明提供的基于微服务的前沿装备远程互动体验系统，还可以具有这样的技术特征，其中，视频分析结果为操作视频的来源、时间序列、前沿装备在操作视频内的执行状态、活动轨迹以及音视频内容，视频分析微服务单元的微服务接口包括：操作视频的来源、时间序列、前沿装备在视频内的执行状态、活动轨迹以及音视频内容的参数，以及操作这些参数的函数。
10.本发明提供的基于微服务的前沿装备远程互动体验系统，还可以具有这样的技术特征，还包括：区块链存证子系统，其中，装备服务运维环境模块以及终端服务环境运维模块使用虚拟机和容器支持微服务运行，区块链存证子系统用于对微服务在运行时产生的微服务基本信息、微服务接口信息、使用情况和状态进行存证。
11.本发明提供的基于微服务的前沿装备远程互动体验系统，还可以具有这样的技术特征，其中，区块链存证子系统采用联盟链的形式，相应的参与者至少包括前沿装备的提供者、微服务的提供者和互动终端的提供者，区块链存证子系统还存证有参与者的参与者基本信息。
12.本发明提供的基于微服务的前沿装备远程互动体验系统，还可以具有这样的技术特征，其中，设备控制微服务单元通过预定义的参数转换规则，将设备操作参数转换为前沿装备本身控制器所定义的指令参数，并根据该指令参数对前沿装备进行远程控制，设备操作参数包括变量、活动、执行规则和异常处理，设备控制微服务单元的微服务接口定义设备操作参数，以及实现参数调用、传输、转换、控制、状态、响应对应的函数。
13.本发明提供的基于微服务的前沿装备远程互动体验系统，还可以具有这样的技术特征，其中，设备操作微服务单元用于设计及定义前沿装备的活动、执行规则和异常处理，以及用于支持用户设计、编辑前沿装备操作计划，设备操作微服务单元的微服务接口包括：用户设计的前沿装备的变量、活动、执行规则、异常处理参数，以及操作这些参数的函数。
14.本发明提供的基于微服务的前沿装备远程互动体验系统，还可以具有这样的技术特征，其中，配置服务存储模块中存储的装备识别号以及终端服务识别号由互动终端的管理员预先配置存储，或配置服务存储模块中存储的装备识别号以及终端服务识别号由用户通过远程互动界面模块输入并完成配置存储。
15.本发明提供的基于微服务的前沿装备远程互动体验系统，还可以具有这样的技术特征，其中，互动终端为设置在前沿装备的远程展示场所现场的计算机或由用户持有的智能终端。
16.发明作用与效果
17.根据本发明的基于微服务的前沿装备远程互动体验系统，由于采用微服务架构，将各种前沿装备对应的微服务单元发布至装备服务运维环境模块以及终端服务运维环境模块中，因此实现了前沿装备服务接口的标准化，使得各种前沿装备对应的控制服务能够以微服务的形式统一存储在运维环境中，解决前沿装备远程互动体验系统涉及的开发、集成、共享效率低下问题。还由于通过检索获取模块在接收到互动终端发送的装备识别号以及终端服务识别号时，检索并获取对应的微服务单元，进一步通过服务运行模块运行微服务单元，因此使得互动终端可以根据预定配置来调用对应的微服务单元，进而使得用户可以对相应的前沿装备进行远程操控，解决传统装备展示有观感无实效的问题，激发学生或者游客兴趣。通过本实施例的前沿装备远程互动体验系统，可以实现前沿装备的资源共享，解决教学实训和科技旅游领域缺少价格昂贵、更新快、部署要求高、操作限制多的前沿装备资源获取问题，并且缓解前沿装备购置、升级、操作困难，有助于教学实训领域和科技旅游领域应用并让更多的学生或游客了解、学习前沿装备的发展以及操作。
附图说明
18.图1是本发明实施例中基于微服务的前沿装备远程互动体验系统的结构框图；
19.图2是本发明实施例中云服务器的框图；
20.图3是本发明实施例中前沿装备远程互动体验系统的结构示意图；
21.图4是本发明实施例中互动终端的结构框图；以及
22.图5是本发明实施例中前沿装备远程互动体验系统的集成图。
具体实施方式
23.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于微服务的前沿装备远程互动体验系统作具体阐述。
24.《实施例》
25.图1是本发明实施例中基于微服务的前沿装备远程互动体验系统的结构框图。
26.如图1所示，基于微服务的前沿装备远程互动体验系统100具有多种前沿装备11、云服务器12、互动终端13、区块链存证子系统14以及通信网络15和通信网络16。
27.其中，云服务器12通过通信网络15分别与各种前沿装备11相通信连接，并通过通信网络16与互动终端13相通信连接。本实施例中，通信网络15和通信网络16为互联网。
28.前沿装备11为各种新式、前沿的科技装备，如机器人、新式装备、无人机等，本实施例接下来将以无人机及其控制器作为前沿装备为例进行详细介绍。
29.本实施例中，每个前沿装备11均对应配有至少一个摄像头17，该摄像头17用于对前沿装备11进行拍摄从而得到前沿装备11在被用户远程操作时的操作视频，并将该操作视频发送给云服务器12。
30.图2是本发明实施例中云服务器的框图，图3是本发明实施例中前沿装备远程互动体验系统的结构示意图。
31.如图2及图3所示，云服务器12具有装备服务运维环境模块21、终端服务环境运维模块22、检索获取模块23、服务运行模块24、服务侧通信模块25以及用于控制上述各个模块的服务侧控制模块26。
32.装备服务运维环境模块21用于为对应前沿装备的微服务提供运维环境，具体存储有各个前沿装备11的装备识别号、设备控制微服务单元、视频拍摄微服务单元以及设备状态微服务单元。
33.其中，每一种前沿装备11均对应有一个设备控制微服务单元、一个视频拍摄微服务单元和一个设备状态微服务单元，这些微服务单元与前沿装备11的装备识别号对应地存储在装备服务运维环境模块中，检索获取模块可以根据该装备识别号检索到对应的微服务单元。
34.设备控制微服务单元用于与前沿装备11本身的控制器交互，并通过预定义的参数转换规则，将用户输入的设备操作参数转换为前沿装备控制器可以理解的指令参数，使得控制器根据该指令参数控制前沿装备11执行对应操作。
35.其中，设备操作参数包括变量、活动、执行规则、异常处理。设备控制微服务单元的微服务接口定义为设备操作参数，以及实现参数调用、传输、转换、控制、状态、响应对应的函数。
36.视频拍摄微服务单元用于通过摄像头17拍摄前沿装备11的操作视频，并通过摄像头17支持的视频传输协议，将该视频传输到云服务器12以及互动终端13。该视频拍摄微服务单元的微服务接口包括：摄像头17支持的视频传输协议所定义的视频数据对象参数、视频对象传输函数、以及视频操作函数。
37.本实施例中，视频拍摄微服务单元通过无人机上的摄像头并基于ftmp协议进行视频的推流和拉流。
38.设备状态微服务单元用于采集前沿装备11自身控制器定义的状态，包括位置坐标、设备状态、执行状态，供设备控制微服务单元以及服务运行模块调用。该设备状态微服务单元的微服务接口包括：前沿装备本身控制器所定义的状态参数，以及实现参数调用、传输、转换对应的函数。
39.本实施例中，设备状态微服务单元采集的状态参数为无人机的飞行参数，如经纬度、坐标飞行状态等。
40.终端服务运维环境模块22存储有终端服务识别号、设备操作微服务单元、视频分析微服务单元以及操作评价微服务单元。
41.其中，每一种前沿装备11对应有一个设备操作微服务单元、一个视频分析微服务单元以及一个操作评价微服务单元，并且这些微服务单元与互动终端13相适配。在本发明的其他方案中，当互动终端也存在n种时，这些微服务单元也可以对应地适配有n个，使得每一种前沿装备11对应有n个设备操作微服务单元、n个视频分析微服务单元以及n个操作评
价微服务单元。
42.设备操作微服务单元用于支持用户设计、编辑前沿装备的操作计划(如操作程序)以及让用户设计、定义前沿装备的活动、执行规则和异常处理。该设备操作微服务单元的微服务接口包括：用户设计的前沿装备变量、活动、执行规则、异常处理参数，以及操作这些参数的函数。
43.本实施例中，在用户通过设备操作微服务单元输入变量、活动等参数作为设备操作参数后，设备控制微服务单元通过websocket接收该设备操作参数并与无人机控制器交互，将操作内容转换为无人机控制器可以理解的控制指令使其远程执行，从而实现让用户通过设备操作微服务单元对无人机的各种功能进行操控。
44.视频分析微服务单元用于调用视频分析微服务单元的微服务，从而获取、展示、分析前沿装备的操作视频。本实施例中，视频分析微服务单元能够提取所分析视频对象的来源、时间序列、前沿装备在视频内的执行状态、活动轨迹以及音视频内容。该视频分析微服务单元的微服务接口包括：视频对象的来源、时间序列、前沿装备在视频内的执行状态、活动轨迹以及音视频内容的参数，以及操作这些参数的函数。
45.操作评价微服务单元用于调用视频分析微服务单元的视频分析结果以及操作计划并进行比对，从而评价用户操作的可行性、合理性、专业性，如果操作计划与执行结果匹配程度大于用户自定义阈值认为操作成功，如果匹配程度小于用户自定义阈值则认为可操作性弱；如果操作计划违反涉及的操作原理或者规则判定扣分。该操作评价微服务单元的微服务接口包括：与前沿装备操作计划对应的自定义参数，包括可行性、合理性、专业性参数以及函数。
46.另外，本实施例中，当操作评价微服务单元判断可操作性弱时，会实时生成相应的操作提醒信息并发送给互动终端13，从而提醒用户操作存在问题需要及时调整。
47.本实施例中，装备服务运维环境模块21以及终端服务环境运维模块22的微服务运维环境，可以使用虚拟机和容器支持微服务运行，本实施例中，微服务运维环境采用主流市场开源环境，在容器内运行微服务。
48.检索获取模块23用于在服务侧通信模块25从互动终端13接收到的装备识别号以及终端服务识别号时，根据装备识别号从装备服务运维环境模块中检索获取到对应的设备控制微服务单元、视频拍摄微服务单元以及设备状态微服务单元，并根据终端服务识别号检索获取到对应的设备操作微服务单元、视频分析微服务单元以及操作评价微服务单元。
49.服务运行模块24用于运行检索获取模块23检索到的各个微服务单元，从而执行对应的功能。
50.本实施例中，上述检索获取模块23以及服务运行模块24作为一个前沿装备远程互动集成模块，是云服务器12与前沿装备微服务之间的中间件，用于以微服务客户端的形式，根据互动终端13显示的远程互动界面中被输入的用户需求，调用前沿装备及其远程互动微服务，实现前沿装备远程互动体验系统的动态构建。
51.服务侧通信模块25用于进行云服务器12与前沿装备11、互动终端13以及区块链存证子系统14的数据通信。
52.互动终端13为设置在前沿装备的远程展示场所现场的计算机，用户可以通过该计算机来远程操作前沿装备11。
53.图4是本发明实施例中互动终端的结构框图。
54.如图4所示，互动终端13具有配置服务存储模块31、远程互动界面模块32、终端侧通信模块33以及用于控制上述各个模块的终端侧控制模块34。
55.配置服务存储模块31存储有预先配置的装备识别号以及终端服务识别号。本实施例中，互动终端13为展示场所的计算机，其装备识别号以及终端服务识别号由展示场所的管理人员预先配置，一旦互动终端13启动开机，终端侧通信模块33就将装备识别号以及终端服务识别号发送给云服务器12从而启动对应的微服务并等待用户使用。
56.远程互动界面模块32用于为微服务提供人机交互界面。本实施例中，远程互动界面模块32通过计算机的显示屏幕显示有三个基本界面：设备操作画面、视频分析画面以及操作评价画面。
57.设备操作画面用于为用户提供可选的操作计划以及可编辑的、基于操作参数的操作模版，
58.视频分析画面用于为用户提供操作视频以及视频分析结果和装备状态的反馈
59.操作评价画面用于显示操作评价微服务单元生成的比对评价结果，从而让用户对操作结果进行确认。
60.终端侧通信模块33用于进行互动终端13与云服务器12之间的数据通信。
61.图5是本发明实施例中前沿装备远程互动体验系统的集成图。
62.当检索获取模块23检索到对应的微服务单元并让服务运行模块24运行时，各个微服务组成的前沿装备远程互动集成如图5所示。模块调用无人机(前沿装备)及远程互动微服务，该远程互动微服务封装了直播相关微服务(即直播微服务和视频传输微服务，分别对应视频分析微服务单元和视频拍摄微服务单元)和远程控制相关微服务(即操作评价、远程操控、设备参数和设备操作微服务)，用户不用感知整个原理便能自动使用直播和控制微服务，提升体验感。
63.首先该远程互动微服务与服务器建立两条长连接，一条保证直播画面的传输，另一条保证控制信号与设备参数的传输。在建立连接的时候，会调用继承模块的初始化函数，并携带上用户的终端id(即终端服务识别号)与装备id(即装备识别号)，云服务器收到信息后，会首先进行互斥校验，如果已有连接，便会拒绝该用户的连接，如果没有，便会调用视频拍摄微服务和装备控制微服务把该互动终端连接与前沿装备连接匹配上，之后在这条已经建立的连接上只进行转发工作。
64.用户可以在连接保持的时候主动发送控制信号，信号会被设备控制微服务解码成内部统一的操作控制码，并传输给前沿装备。如果用户传输的是复杂的路径，那么会调用路径巡航微服务，把复杂路径拆解成多个具体的控制信号，再一次性传输给无人机控制器，由此实现无人机的巡航功能。
65.在直播方面，直播微服务会校验连接的正确性，并在前沿装备或者互动终端任意一方断开连接的时候保证通知对方，保证连接可以安全退出；视频传输微服务封装了视频传输的逻辑，包括视频解码，格式转换等，前沿装备端可以自己选择支持的传输协议并用对应的接口进行推流，互动终端就可以进行正常拉取。
66.区块链存证子系统14用于对微服务的基本信息、使用情况、状态进行存证。本实施例中，区块链存证子系统14采用联盟链的形式，系统开发环境采用开源区块链软件，基于超
文本传输协议2.0建立的点对点协议进行传输，数据结构经过优化能够有效维护众参与者重复的整体状态。不同的共识算法或将嵌入每一个配置中，以保证高度一致性。参与者包括无人机提供者、微服务提供者、远程互动体验系统提供者，存证的数据是参与者基本信息、微服务基本信息、微服务接口信息、使用情况、状态，区块大小不做限制。
67.实施例作用与效果
68.根据本实施例提供的基于微服务的前沿装备远程互动体验系统，由于采用微服务架构，将各种前沿装备对应的微服务单元发布至装备服务运维环境模块以及终端服务运维环境模块中，因此实现了前沿装备服务接口的标准化，使得各种前沿装备对应的控制服务能够以微服务的形式统一存储在运维环境中，解决前沿装备远程互动体验系统涉及的开发、集成、共享效率低下问题。还由于通过检索获取模块在接收到互动终端发送的装备识别号以及终端服务识别号时，检索并获取对应的微服务单元，进一步通过服务运行模块运行微服务单元，因此使得互动终端可以根据预定配置来调用对应的微服务单元，进而使得用户可以对相应的前沿装备进行远程操控，解决传统装备展示有观感无实效的问题，激发学生或者游客兴趣。通过本实施例的前沿装备远程互动体验系统，可以实现前沿装备的资源共享，解决教学实训和科技旅游领域缺少价格昂贵、更新快、部署要求高、操作限制多的前沿装备资源获取问题，并且缓解前沿装备购置、升级、操作困难，有助于教学实训领域和科技旅游领域应用并让更多的学生或游客了解、学习前沿装备的发展以及操作。
69.在上述实施例中，设备控制微服务单元、视频拍摄微服务单元、设备状态微服务单元以及前沿装备远程互动涉及的设备操作微服务单元、视频分析微服务单元、操作评价微服务单元，均以微服务的形式进行设计、开发、发布，实现了前沿装备发布、集成、互动的标准化，并在的微服务运维环境部署、运行，的远程互动体验系统通过集成模块调用微服务，通过人机界面支持用户远程操作前沿装备，获得互动操作水平评估，有助于
70.在上述实施例中，由于微服务提供基于容器的云端运行、维护环境，因此还解决了微服务的运维的安全、可靠问题。
71.在上述实施例中，由于具有视频拍摄微服务单元，拍摄并传输前沿装备操作视频，因此可以为远程互动体验系统用户远程观察设备响应情况及操作评估提供依据，延伸用户视力。
72.进一步，由于还具有设备状态微服务单元以及视频分析微服务单元来获取、分析前沿装备的现场视频以及设备状态，因此可以对前沿装备的操作过程的正确性进行评价分析，提升用户操作评估的算法和算力。
73.在上述实施例中，还由于通过区块链存证子系统对微服务的相关信息进行了存证，因此可以为前沿装备及其远程互动涉及的微服务基本信息、使用情况、运行状态提供了不可篡改、不可抵赖的可信存证设施，可以实现微服务的全生命周期溯源与管理，保障了数据的所有权和信息安全。
74.上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
75.例如，在上述实施例中，前沿装备为无人机以及无人机控制器，在本发明的其他方案中，前沿装备也可以是其他如机械臂、机器人等前沿装备。
76.例如，在上述实施例中，互动终端为设置在展示场地的计算机，且该互动终端的配
置服务存储模块由管理人员预先配置。在本发明的其他方案中，互动终端也可以是平板、智能手机等终端。
77.进一步地，互动终端还可以是用户私人持有的计算机、平板，配置服务存储模块中的装备识别号以及终端服务识别号由用户通过远程互动界面模块输入并完成配置存储。