用于混合现实应用中机器人交互的系统和方法与流程

技术特征：
1.一种用于实现混合现实系统的处理装置，该处理装置包括：一个或多个处理核心(206)；和一个或多个存储指令的指令存储器(204)，当所述指令由所述一个或多个处理核心执行时，使得所述一个或多个处理核心：－维持一个虚拟世界，所述虚拟世界至少包括与现实世界中的第一机器人相对应的第一虚拟副本；－生成影响所述虚拟世界中的所述第一虚拟副本的一个或多个虚拟事件；－响应所述一个或多个虚拟事件生成用于控制所述第一机器人的控制信号(ctrl)；以及－将所述控制信号(ctrl)传输至所述第一机器人，以修改所述第一机器人的行为，并为所述一个或多个虚拟事件提供现实世界的响应。2.根据权利要求1所述的处理装置，其中，所述指令进一步使得所述一个或多个处理核心(206)在生成所述控制信号(ctrl)之前接收旨在控制所述第一机器人的用户命令，其中，生成所述控制信号(ctrl)包括基于所述一个或多个虚拟事件修改所述用户命令。3.根据权利要求2所述的处理装置，其中，所述虚拟世界进一步包括与所述现实世界中的第二机器人相对应的第二虚拟副本，并且，其中所述指令还使得所述一个或多个处理核心(206)：－生成影响所述虚拟世界中的第二虚拟副本的一个或多个进一步的虚拟事件；－接收计算机生成的旨在控制所述第二机器人的命令；－基于所述一个或多个进一步的虚拟事件，通过修改所述计算机生成的命令来生成进一步的控制信号(ctrl)；以及－将所述进一步的控制信号(ctrl)传输至所述第二机器人，以修改所述第二机器人的行为，并提供对所述一个或多个进一步的虚拟事件的现实世界的响应。4.根据权利要求2或3所述的处理装置，其中，所述指令进一步使得所述一个或多个处理核心(206)在没有虚拟事件的情况下将由用户或计算机生成的命令生成的控制信号限制在第一范围(
‑
cmd_max，cmd_max)，其中，向所述一个或多个虚拟事件提供现实世界的响应的所述控制信号超过所述第一范围。5.根据权利要求1至3中任一项所述的处理装置，其中，所述指令进一步使得所述一个或多个处理核心(206)生成混合现实视频流，以被转发到显示接口(132)，所述混合现实视频流包括来自在时间和空间上同步，并与由相机(114、116)捕捉的原始视频流合并的所述虚拟世界的一个或多个虚拟特征。6.根据权利要求4所述的处理装置，其中，所述指令使得所述一个或多个处理核心(206)在所述混合现实视频流中生成表示由所述现实世界中的所述第一机器人的行为触发的虚拟事件的虚拟特征(410'、904'、1006')。7.根据权利要求1至5中任一项所述的处理装置，其中，所述指令进一步使得所述一个或多个处理核心(206)基于由跟踪系统(112)提供的跟踪数据，连续跟踪所述第一机器人与其位置和方向相对应的六自由度坐标。8.根据权利要求6所述的处理装置，其中，所述指令进一步使所述一个或多个处理核心(206)至少基于所述第一机器人的所述跟踪数据和所述一个或多个真实静态或移动对象或
其他机器人的六自由度坐标，生成所述控制信号(ctrl)，以确保所述第一机器人与一个或多个真实的静态或移动对象或其他机器人的非接触式交互。9.一种混合现实系统，包括：－权利要求1至7中任一项所述的处理装置；－活动区(102)，包括所述第一机器人和在所述处理装置控制下的一个或多个其他的机器人；以及－跟踪系统(112)，其被配置为跟踪所述第一机器人和所述一个或多个其他的机器人的相对位置和方向。10.根据权利要求8所述的混合现实系统，其中，所述第一机器人是无人机(108)或陆基机器人(110)。11.根据权利要求8或9所述的混合现实系统，还包括一个或多个用户控制接口(125)，用于生成用户命令(cmd)。12.一种在混合现实系统中控制一个或多个机器人的方法，该方法包括：－在由一个或多个指令存储器(204)存储的指令的控制下，由一个或多个处理核心(206)维持一个虚拟世界，所述虚拟世界至少包括与所述现实世界中的第一机器人相对应的第一虚拟副本；－生成影响虚拟世界中的所述第一虚拟副本的一个或多个虚拟事件；－响应所述一个或多个虚拟事件生成用于控制第一机器人的控制信号(ctrl)；以及－将所述控制信号(ctrl)传输至所述第一机器人，以修改所述第一机器人的行为，并为所述一个或多个虚拟事件提供现实世界的响应。13.根据权利要求12所述的方法，还包括：－在生成所述控制信号(ctrl)之前，由所述一个或多个处理核心(206)接收旨在控制所述第一机器人的用户命令，其中，生成所述控制信号(ctrl)包括基于所述一个或多个虚拟事件修改所述用户命令。14.根据权利要求13所述的方法，其中，所述虚拟世界进一步包括与所述现实世界中的第二机器人相对应的第二虚拟副本，该方法进一步包括：－生成影响所述虚拟世界中的第二虚拟副本的一个或多个进一步的虚拟事件；－接收计算机生成的旨在控制所述第二机器人的命令；－基于影响所述第二虚拟副本的一个或多个进一步的虚拟事件，通过修改所述计算机生成的命令来生成进一步的控制信号(ctrl)；以及－将所述进一步的控制信号(ctrl)传输至所述第二机器人，以修改所述第二机器人的行为，并提供对所述一个或多个进一步的虚拟事件的现实世界的响应。

技术总结
本公开涉及一种用于实现混合现实系统的处理装置，该处理装置包括：一个或多个处理核心；以及一个或多个存储指令的指令存储器，当所述指令由所述一个或多个处理核心执行时，使得所述一个或多个处理核心：维持一个虚拟世界，该虚拟世界至少包括与现实世界中的第一机器人对应的第一虚拟副本；生成一个或多个影响所述虚拟世界中的所述第一虚拟副本的虚拟事件；响应所述一个或多个虚拟事件生成用于控制所述第一机器人的控制信号(CTRL)；并将所述控制信号(CTRL)传输至所述第一机器人，以修改所述第一机器人的行为，并提供对所述一个或多个虚拟事件的现实世界的响应。虚拟事件的现实世界的响应。虚拟事件的现实世界的响应。


技术研发人员：文森特
受保护的技术使用者：法国国家科学研究中心 格勒诺布尔理工学院
技术研发日：2020.01.30
技术公布日：2021/11/25