用于查看3D或4D医学图像数据的基于扩展现实的用户接口附加组件、系统和方法与流程

技术特征：
1.一种在计算机或其他数字处理设备上实施的用于查看三维，即3d，或四维，即4d，医学图像数据(2)的系统(1)，所述计算机或其他数字处理设备具有处理单元、数据存储设备和用于允许用户输入和输出的设备，所述系统(1)包括：a)医学查看应用(4)，其包括处理模块(6)和2d用户接口(16)，所述处理模块被配置为处理3d或4d数据集(2)以生成3d内容(8)，其中，所述2d用户接口(16)被配置为显示由所述处理模块(6)生成的所述3d内容(8)并允许用户(30)生成用户输入(18)命令；b)基于扩展现实的用户接口附加组件(100)，即基于xr的用户接口附加组件(100)；以及c)数据交换信道(10)，其操作地耦合到所述处理模块(6)，所述数据交换信道(10)被配置为将所述处理模块(6)与所述基于扩展现实，即xr，的用户接口附加组件(100)接口连接；-其中，所述数据交换信道(10)适于将由所述处理模块(6)生成的所述3d内容(8)引导到所述基于扩展现实的用户接口附加组件(100)；-其中，所述基于扩展现实的用户接口附加组件(100)被配置为解释和处理所述3d内容(8)并且将所述3d内容转换为能够在扩展现实环境(48)中显示给所述用户的xr内容；-其中，所述扩展现实环境(48)被配置为允许用户(30)生成用户输入事件(18)，并且所述基于扩展现实的用户接口附加组件(100)被配置为处理所述用户输入事件并将所述用户输入事件转换为能够由所述医学查看应用(4)读取的用户输入命令(18)；并且-其中，所述数据交换信道(10)适于将用户输入(18)命令从所述基于扩展现实的用户接口附加组件(100)引导到所述医学查看应用(4)。2.根据权利要求1所述的系统(1)，其中，所述医学查看应用(4)包括用于所述基于扩展现实的用户接口附加组件(100)的数据接口(4a)，其中，所述数据接口(4a)操作地耦合到所述数据交换信道(10)，并且被配置为允许在所述医学查看应用(4)和所述基于扩展现实的用户接口附加组件(100)之间交换简化且标准化的操作动作以及数据，所述简化且标准化的操作动作具体地包括3d鼠标位置和/或用户输入命令。3.根据权利要求1或2所述的系统(1)，其中，所述医学查看应用(4)包括用于所述基于xr的用户接口附加组件(100)的数据接口(4a)，其中，所述数据接口(4a)适于通过所述数据交换信道(10)在所述基于扩展现实的用户接口附加组件(100)与所述医学查看应用(4)之间连续地同步对应的用户接口元素(24)，其中，对应的用户接口元素(24)包括以下各项中的至少一项：用户接口元素(24)的值、所述4d数据集的选定帧的标识符、关于所述3d内容和/或所述xr内容的显示的设置，和/或3d鼠标位置。4.根据前述权利要求中的任一项所述的系统(1)，其中，所述基于xr的用户接口附加组件(100)是无状态的，因为其不具有对通过所述数据交换信道(10)被传递到所述处理模块(6)的用户输入命令(18)的记忆。5.根据前述权利要求中的任一项所述的系统(1)，其中，由所述处理模块(6)生成的所述3d内容(8)包括对所述3d或4d数据集(2)的绘制，其中，所述基于扩展现实的用户接口附加组件(100)被配置为基于所述用户输入和/或用户的当前观看视角中的至少一些来调整所绘制的3d内容(8)，具体地使所绘制的3d内容(8)在透视上扭曲。6.根据前述权利要求中的任一项所述的系统(1)，其中，响应于由所述基于扩展现实的用户接口附加组件(100)和所述2d用户接口(16)之中的当前活动的用户接口生成的“切换
用户接口”命令，所述处理模块(6)适于停止对来自所述用户接口的所述用户输入(18)命令作出响应，并且开始对来自另一用户接口的用户输入(18)命令作出响应。7.根据前述权利要求中的任一项所述的系统(1)，其中，由所述处理模块(6)生成的所述3d内容(8)包括以下各项中的至少一项：所述3d或4d数据集(2)的经更新或数据压缩的版本；对所述3d或4d数据集(2)的绘制；多平面重建，即mpr；根据所述3d或4d数据集(2)生成的纹理；图形基元(26)；对象的3d或4d模型；网格；注释的文本和/或指示测量结果的数字。8.根据前述权利要求中的任一项所述的系统(1)，其中，所述处理模块(6)适于在建立所述处理模块(6)与所述基于扩展现实的用户接口附加组件(100)之间的连接期间，将以下各项中的至少一项以及时间和空间参考系(20)传递到所述基于扩展现实的用户接口附加组件(100)：所述3d或4d数据集(2)、经更新的3d或4d数据集(2)、用户接口元素(24)和/或配置设置(22)。9.根据前述权利要求中的任一项所述的系统(1)，其中，所述基于扩展现实的用户接口附加组件(100)适于在所述处理模块(6)与所述基于扩展现实的用户接口附加组件(100)之间的连接期间，通过所述数据交换信道(10)将以下各项中的至少一项传递到所述处理模块(6)：3d鼠标位置；多平面重建，即mpr，平面的位置和取向；屏幕截图(28)和/或用户接口元素(24)的修改值。10.根据前述权利要求中的任一项所述的系统(1)，其中，所述基于扩展现实的用户接口附加组件(100)被配置为经由xr操作系统(42)与xr硬件(40)一起使用，其中，所述xr硬件(40)具体地包括xr头戴套件(44)和xr控制器(46)。11.一种基于扩展现实的用户接口附加组件(100)，其被配置为经由数据交换信道(10)操作地耦合到医学查看应用(4)，所述医学查看应用具有2d用户接口(16)和处理模块(6)，所述处理模块被配置为处理3d或4d数据集(2)以生成3d内容(8)，其中，所述基于扩展现实的用户接口附加组件(100)被配置为解释经由所述数据交换信道(10)从所述处理模块(6)接收的所述3d内容(8)，并且将所述3d内容转换成能够由xr硬件(40)的xr操作系统(42)读取的数据格式的xr内容，其中，所述xr硬件(40)具体地包括xr头戴套件(44)，使得所述xr硬件(40)能够显示由所述处理模块(6)生成的所述xr内容；并且-其中，所述基于扩展现实的用户接口附加组件(100)被配置为：处理从所述xr操作系统(42)接收的任何用户输入(18)事件，具体地使用xr控制器(46)生成的用户输入(18)事件；并且将所述用户输入(18)事件转换成能够由所述医学查看应用(4)读取的用户输入命令；并且经由所述数据交换信道(10)将所述用户输入(18)命令传递到所述医学查看应用(4)。12.一种用于使用医学查看应用(4)分析3d或4d数据集(2)的方法，所述数据集具体地是人类或动物器官的数据集，所述医学查看应用包括处理模块(6)和2d用户接口(16)，数据交换信道(10)操作地耦合到所述处理模块(6)，其中，所述数据交换信道(10)被配置为将所述处理模块(6)与基于扩展现实的用户接口附加组件(100)接口连接，所述方法包括以下步骤：-在所述处理模块(6)上处理所述3d数据集(2)以生成3d内容(8)；-可选地，所述2d用户接口(16)显示所述3d内容(8)；-所述数据交换信道(10)将所述3d内容(8)引导到所述基于扩展现实的用户接口附加
组件(100)，并且所述基于扩展现实的用户接口附加组件(100)解释和处理所述3d内容(8)并且将所述3d内容转换为能够由xr硬件(40)显示给用户的xr内容；-在所述用户接口中的一个用户接口上接收用户输入(18)；-将所述用户输入(18)命令直接从所述2d用户接口(16)或经由所述数据交换信道(10)从所述基于扩展现实的用户接口附加组件(100)引导到所述处理模块(6)；-所述处理模块(6)基于所述用户输入(18)命令来处理所述3d内容(8)以生成经修改的3d内容(8a)，-将所述经修改的3d内容(8a)引导到所述数据交换信道(10)并且可选地引导到所述2d用户接口(16)；-可选地，所述2d用户接口(16)显示所述经修改的3d内容(8a)；并且-所述数据交换信道(10)还将所述经修改的3d内容(8a)引导到所述基于扩展现实的用户接口附加组件(100)，并且所述基于扩展现实的用户接口附加组件解释并处理所述经修改的3d内容(8a)并且将所述经修改的3d内容转换成能够由xr硬件(40)显示给用户(30)的经修改的xr内容。13.根据权利要求12所述的方法，所述方法包括以下步骤：-处理所述3d数据集(2)以生成对3d数据集(2)的绘制和由所述3d数据集(2)描绘的解剖结构的3d模型(9)；-经由所述基于扩展现实的用户接口附加组件(100)显示所述3d模型(9)和所述绘制；-允许用户(30)在所述基于扩展现实的用户接口附加组件(100)上检查所述3d模型(9)并且提供用户输入(18)以调节所述3d模型(9)；-所述数据交换信道(10)将所述用户输入命令(18)从所述基于扩展现实的用户接口附加组件(100)引导到所述处理模块(6)；-所述处理模块(6)处理所述用户输入命令(18)以生成经修改的3d模型；-将所述经修改的3d模型引导到所述2d用户接口(16)，并且所述2d用户接口(16)显示所述经修改的3d模型；-可选地允许用户(30)在所述2d用户接口(16)中对所述经修改的3d模型执行额外的分析和/或测量。14.根据权利要求12或13中的任一项所述的方法，其中，所述处理模块(6)被配置为通过以下各项中的至少一项来处理所述3d或4d数据集(2)并且生成3d内容(8)和/或xr内容：对所述3d或4d数据集(2)进行数据压缩；绘制所述3d数据集(2)；对所述3d数据集(2)进行体积绘制；计算通过所述3d数据集(2)的多平面重建，即mpr，平面的mpr纹理；分割所述3d或4d数据集(2)；生成对象的3d或4d模型，所述对象具体地是医学设备或解剖结构；生成图形基元(26)；和/或响应于用户输入(18)而进行测量。15.一种包括程序代码指令的计算机程序，所述程序代码指令当由处理单元执行时使得所述处理单元能够执行根据权利要求12至14中的任一项所述的方法，或使得所述处理单元能够实施根据权利要求1至10中的任一项所述的系统(1)、或根据权利要求11所述的基于扩展现实的用户接口附加组件(100)。

技术总结
本发明涉及一种用于查看3D或4D医学图像数据(2)的系统(1)，所述系统(1)包括：(a)医学查看应用(MRA)(4)，其包括处理模块(6)和2D用户接口(16)，所述处理模块被配置为处理3D或4D数据集(2)以生成3D内容(8)；其中，所述2D用户接口(16)被配置为显示所述3D内容(8)并且允许用户(30)生成用户输入(18)命令；(b)基于扩展现实(XR)的用户接口附加组件(XRA)(100)；以及(c)数据交换信道(10)，其被配置为将所述处理模块(6)与XRA(100)接口连接；其中，所述XRA(100)被配置为解释和处理所述3D内容(8)并将它转换为可在XR环境(48)中显示给所述用户(30)的XR内容；其中，所述XR环境(48)被配置为允许用户生成用户输入(18)事件，并且所述XRA(100)被配置为处理所述用户输入(18)事件并将它们转换为可由所述MRA(4)读取的用户输入(18)命令。本发明还涉及基于扩展现实的用户接口附加组件(100)、用于分析3D或4D数据集(2)的相关方法、以及相关的计算机程序。以及相关的计算机程序。以及相关的计算机程序。


技术研发人员：M
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.06.16
技术公布日：2023/2/24