相机辅助的对象支撑体配置的制作方法

1.本发明涉及医学成像和放射治疗，并且具体而言涉及对象支撑体的配置。


背景技术：

2.在医学成像和放射治疗两者中，被测量对象的物理配置以及各种器具和支撑体是配置成像或放射治疗协议的重要部分。例如，在各种医学成像模态中，例如磁共振成像、计算机断层摄影或正电子发射断层摄影，被测量对象的物理构造以及各种器具和支撑体根据要执行的检查类型而被不同地配置。例如，在取决于要成像的对象的部分的磁共振成像中，可以在对象周围配置不同类型的接收线圈以及专门的垫子和支撑体以定位对象。对于磁共振成像系统或其他医学成像系统的操作者来说，正确且一致地对其进行配置可能具有挑战性。
3.美国专利申请公开us2009/0182221公开了一种磁共振成像装置，其通过使用接收线圈接收从对象发射的磁共振信号，并且根据接收到的磁共振信号、对象和接收线圈的第一和第二相机的图像位置来重建测试对象的图像，并且在设置接收线圈时，音频记录仪记录相同的内容以存储在pacs服务器中。此外，在随后的时间设置接收线圈时，从pacs服务器读取测试对象的位置和接收线圈的信息，并通过使用监视器和扬声器进行确认。
4.美国专利申请us2018/0116613中提到了确定要被成像的对象与成像系统(即，x射线源和x射线探测器)的相对位置。


技术实现要素：

5.本发明在独立权利要求中提供了一种医学仪器、一种计算机程序产品和一种方法。在从属权利要求中给出了实施例。
6.本发明的实施例可以降低正确配置医学仪器的负担。这是通过利用相机系统对对象支撑体的支撑表面进行成像来实现的。当目标或对象被放置在支撑表面上时，它们被相机系统成像。这些目标添加到医学仪器的配置。来自相机系统的相机数据被输入到神经网络中，所述神经网络已被训练或配置为输出放置的目标的列表和放置的目标的坐标。然后可以将选定目标的列表(每个目标具有选定坐标)与放置的目标的列表进行比较。选定目标的列表可以用于制作应被放置在对象支撑体上的目标的列表，而放置的目标的列表可以用于更新哪些对象已经被放置在对象支撑体上以及哪些对象位于正确的位置。放置的目标的列表以及它们的坐标与选定目标的规定定位的比较产生对正确定位的反馈。该反馈可包括如何将错误放置的目标从其当前位置移位以到达其正确位置的指示。该校正可以由操作者在医学仪器的引导下手动完成，或者在以下方面该校正可以是自动的，即基于反馈的位置信息，由医学仪器将错误定位的目标驱动到其正确位置。
7.本发明提供了一种医学仪器，所述医学仪器包括对象支撑体，所述对象支撑体包括被配置用于接收对象的支撑表面。所述医学仪器还包括被配置用于采集描述所述支撑表面的图像数据的相机系统。所述相机系统可以例如是二维相机、三维相机、红外线相机、热
相机等，或者是这些的所有组合。因为相机系统被配置用于采集描述支撑表面的图像数据，目标(例如被放置在支撑表面上的对象或其他目标)可以被成像并且存在于图像数据中。所述医学仪器还包括信号系统。所述信号系统可以是向操作者提供信号或信息的任何装置。例如，所述信号系统可以是显示器。显示器的示例可以例如是投影仪、监视器、电视、平板电脑、触摸屏或适合显示图像的其他装备。所述信号系统还可以提供其他视觉或听觉信号，例如警告音或者甚至录制或合成的语音。
8.所述医学仪器还包括用于存储机器可执行指令和神经网络的存储器。所述神经网络被训练或配置为响应于输入所述相机数据而生成放置的目标的列表。所述相机数据可以是使用一个或多个相机采集的图像或图像数据。放置的目标的列表识别放置在支撑表面上的目标和放置在支撑表面上的目标的坐标。在不同示例中，可以以不同方式来构造或提供所放置的目标的坐标。例如，神经网络可以使用边界框来识别放置的目标。神经网络还可以识别支撑表面的全部或部分的位置。这也可以用边界框来识别。可能存在已被训练到神经网络中的关系，或者可能存在用于导出与各种边界框有关的坐标的外部程序或算法。对于许多放射治疗应用，对象支撑体上的坐标以索引或离散方式给出。通常，对象支撑体的表面将被分成多个离散区域。通常由神经网络输出的边界框能够被容易地用于导出或计算这些离散坐标。
9.所述医学仪器还包括用于控制所述医学仪器的处理器。所述机器可执行指令的运行使所述处理器接收选定目标的列表。选定目标的列表是从预定目标中选择的。也就是说，选定目标的列表是从已用于训练神经网络的预定目标中选择的。选定目标的列表包括针对目标的列表中的每个目标的选定坐标。选定目标的列表则换言之包括如下的目标，即，其能够被神经网络识别并且具有针对它们中的每个目标提供的坐标，这些坐标指示它们应该被放置在对象支撑体上的何处。机器可执行指令的运行还使处理器使用信号系统信号指示选定目标的列表和针对选定目标的列表中的每个目标的选定坐标。这对于正在设置对象支撑体以执行成像或放射治疗协议的医学专业人员可能是有用的。信号系统向健康护理专业人员提供需要适当准备的对象以及这些对象应该放置在对象支撑体上的位置。因此，通过将合适的目标放置在何处以将它们正确地定位在对象支撑体上的指示来引导健康护理专业人员。
10.信号系统可以使用可听音调或语音来提供信息。信号系统也可以是向对象输出或显示信息的常规显示器。在一些情况下，信号系统可以通过使用投影仪或激光将数据或位置投影到支撑表面来提供信息。
11.所述机器可执行指令的执行还使所述处理器使用所述相机系统来重复地采集所述相机数据。在此步骤中，重复地采集支撑表面的图像。机器可执行指令的下一运行还使处理器将相机数据重复地输入到神经网络中以生成放置的目标的列表。放置的目标的列表指示在相机数据中找到了哪些对象及其坐标。
12.所述机器可执行指令的运行还使所述处理器通过将选定目标的列表与放置的目标的列表进行比较来重复确定缺失的目标的列表。没有被放置在对象支撑体上的对象然后可以在缺失的目标的列表上指示。所述机器可执行指令的运行还使所述处理器使用所述信号系统来重复地指示缺失的目标的列表。这可以例如以不同方式执行。前面提到过，选定目标的列表及其坐标是使用信号系统发出的。例如，缺失的目标的列表可以是目标的单独的
列表，或者可以通过标记状态或以某种方式突出显示选定目标的列表来指示。缺失的目标的列表和/或错误放置的目标的列表也可以使用可听见的语音或音调来信号指示。在其他示例中，通过使用投影仪或激光将图形图像或位置投影到对象表面上来信号指示缺失的目标的列表和/或错误放置的目标的列表。这将指导操作者在适当的位置添加缺失的目标。
13.机器可执行指令的运行还使处理器通过将目标的列表中的每个目标的选定坐标与支撑表面上放置的目标的坐标进行比较来确定错误放置的目标的列表。机器可执行指令的运行还使处理器使用信号系统指示错误放置的目标的列表。同样，可以以不同方式执行错误放置的目标的列表的指示。例如，可能有位于错误位置的目标的独立列表，或者可能修改选定目标的列表的显示，以使得特定目标所在位置的坐标不是在选定目标的列表中指定的以及针对这些中的每个的选定坐标是明显的。
14.该实施例可能是有益的，因为它可以提供自动方式来提供应该将什么目标放置在对象支撑体上以及放置在什么位置的列表。不仅是处于选定坐标中的选定目标的列表被信号指示，而且神经网络还用于检查以确保将正确的物体或目标放置在支撑表面以及正确的位置。这增加了引导用户将合适的物体放置在其正确位置的自动化。
15.可以使用放置在对象支撑体上的不同对象的图像来执行神经网络的训练。深度训练可用于训练特定对象的坐标和身份两者。这增加了在设置目标的配置时向用户提供三维引导。
16.本发明的一个目的是提供有关正确地技术地配置医学仪器以执行特定成像协议的引导。为此，提供了神经网络，其从相机数据(配置的图像)生成放置的目标的列表并且识别放置在支撑表面上的目标(例如，使用边界框)。这些目标增加了医学仪器的配置，例如以支撑要经受医学仪器作用的对象。这种动作可以是诊断成像或治疗动作。因此，对象添加到支持或甚至能够实现医学仪器对对象的动作的配置。神经网络从来自相机的图像中识别放置的目标。神经网络被训练用于识别预定目标。此外，接收与要执行的成像协议相关联的选定目标的列表。然后将这些选定的目标及其坐标发送给用户，以便将它们放置在各自的适当位置。即，本发明指示需要准备哪些目标以及它们将被放置在对象支撑体上的什么位置。这可以以顺序的方式完成，以允许监测可能放置在彼此之上的对象，或者可能在构建配置时从相机的视图中被部分被遮挡的对象。以这种方式，健康护理专业人员被引导正确配置用于相关医学(例如成像或治疗)协议的医学仪器。还可以对实际使用的目标进行如何配置它们以执行协议的记录。本发明可以自动记录缺失或放错误放置的目标。可以向医学系统的用户接口提供缺失和/或错误放置的目标的列表。值得注意的是，本发明增加了配置的更好再现性，例如用于治疗计划的成像和用于治疗的实际递送，特别是在放射治疗中。
17.本发明的医学仪器提供关于对象支撑体上的对象的实际配置的信息，包括对象的存在或不存在以及它们是否处于正确位置。该反馈还提供关于哪些对象要被添加或替换、在哪个位置以及还有错误放置的目标的实际位置如何与其正确正确位置相关的信息。即，本发明的医学仪器为用户提供技术引导，以建立医学仪器的适当配置以应用于对象(即，要被检查的患者或要被治疗的患者)。在医学仪器的一个实施例中，对象支撑体可以从其初始位置自动移动到其操作位置。在其初始位置，可以在相机系统的引导下建立目标的配置，并准确定位对象。在对象支撑体的操作位置，具有目标以及对象的配置就位以用于使对象根据协议进行医学仪器的操作。
18.神经网络确定存在哪些对象以及它们的正确位置。此外，神经网络可操作以生成放置的目标、缺失的目标和错误放置的目标的列表形式的反馈。神经网络的使用为用户提供了技术引导，以便为要执行的协议准确设置正确的配置。反馈在配置被建立时重复地提供关于配置的反馈，它是否以及如何偏离正确的配置以及如何进行校正。神经网络在针对相关协议以准确有效的方式设置技术配置方面提供技术引导。关于在正在构建配置时的正确放置、缺失或错误放置的目标以及关于达到正确配置生成的信息构成了关于医学仪器内部技术状态的实际信息。神经网络还提供关于哪些目标仍需被定位以及如何重新定位错误放置的目标以使其到达正确位置的信息。
19.在另一个实施例中，机器可执行指令的运行还使处理器使用信号系统以在选定目标的列表中定义的先后顺序来信号指示选定目标的列表。这可能是有益的，因为在对象支撑体上配置对象时，以特定顺序将它们放在对象支撑体上可能是有益的。例如，当一个目标需要放置在另一个目标之上或上方时，或者当一个目标可能被另一个目标部分遮挡时，这可能是有用的。该实施例可能是有益的，因为它可以帮助健康护理专业人员正确配置医学仪器。
20.在另一个实施例中，机器可执行指令的运行还使处理器使用放置的目标的列表、缺失的目标的列表和错误放置的目标的列表来确定正确定位的目标的列表。如果在错误放置的目标和/或缺失的目标中识别出正确定位的目标的成员，则机器可执行指令的运行还使处理器生成信号。在该实施例中，如果先前正确定位的目标随后被移动到不正确的位置或被移除，则提供所述信号。在不同示例中，所述信号可以采取不同的形式。例如，所述信号可以是视觉或听觉信号，其可以警告健康护理专业人员已经发生了从标准协议的未经授权的偏离。该信号还可以提示来自信号系统的通知或信号。在其他示例中，所述信号可用于记录被识别为在对象支撑体上的对象及其坐标。这在记录实际用于执行医学成像协议的对象时可能是有用的。
21.在另一个实施例中，所述医学仪器包括被配置为从成像区采集医学图像的医学成像系统。支撑表面被配置为支撑成像区内的对象的至少部分。
22.在另一个实施例中，存储器还包括成像协议数据库。成像协议数据库包括选定目标的列表，每个选定目标与成像协议相关联。机器可执行指令运行还使所述处理器接收对医学成像协议的选择。机器可执行指令的运行还使所述处理器使用对医学成像协议的所述选择来从医学成像协议数据库接收选定目标的列表。在该实施例中，对医学成像协议的选择是选择特定成像技术和/或对象的区域的指令。基于该选择，从医学成像协议中检索选定目标的正确列表。例如，这在帮助医学专业人员针对大量或不同数量的不同医学成像协议设置医学仪器时可能是有用的。也就是说，医学仪器向用户提供指导以根据选定的成像协议定位对象。
23.在另一个实施例中，在离散坐标中指定针对目标的列表中的每个目标的选定坐标。在对象支撑体上放置的目标的坐标在离散坐标中指定。此处使用的离散坐标是将对象支撑体划分为离散区域的坐标系。当将对象放置在对象支撑体上时，离散坐标的使用指定对象应放置在哪个或哪些区域内。在这些特定区域内，健康护理专业人员然后可以自由地将其放置在由离散坐标指定的体积或区域内的任何地方。这可能是有益的，因为这样的坐标系通常用于设置目标和结构以用于放射治疗。
24.在另一个实施例中，机器可执行指令的运行还使处理器将错误放置的目标的列表和缺失的目标的列表的状态附加到医学图像数据。这可能是有益的，因为它可以提供一种在执行医学成像时自动记录哪些对象缺失或未放置在标准位置的手段。例如，dicom文件可以自动记录关于设置的信息。错误放置的目标的状态列表和缺失的目标的列表可以详细说明什么缺失或没有缺失，或者可能只是描述这些列表是否为空的元数据。
25.在另一个实施例中，机器可执行指令的运行还使处理器将放置的目标的列表和放置的目标的坐标附加到医学图像数据。同样，这可以在例如dicom文件格式中完成，并且这些列表以自动的方式被附加。
26.在另一个实施例中，对象支撑体被配置为从初始位置移动到操作位置。在初始位置，相机系统被配置为执行对描述对象支撑体的相机数据的采集。在操作位置，对象支撑体被配置为在成像区域内支撑对象的至少一部分。例如，这可以描述许多不同的医学成像系统，例如磁共振成像或计算机断层扫描，其中对象和任何支撑体或支撑目标首先被定位在对象支撑体上，然后将对象注入到医学成像系统和/或放射治疗系统中。
27.机器可执行指令的运行还使处理器在使用信号系统重复地信号指示缺失的目标的列表和错误放置的目标的列表之后，使用信号系统重复地提供用户接口控件。机器可执行指令的运行还使处理器在从用户接口控件接收到信号的情况下生成接受命令。机器可执行指令的运行还使处理器在生成接受命令的情况下将对象支撑体从初始位置移动到操作位置。机器可执行指令的运行还使处理器当所述对象支撑体在操作位置时控制所述医学成像系统采集医学图像数据。该实施例可能是有益的，因为即使选定目标的列表中的目标不全部存在和/或不在选定目标的列表中指定的位置，用户接口控件也使医学仪器的操作者能够开始医学成像。
28.在另一个实施例中，机器可执行指令的运行还使处理器响应于从用户接口控件接收到的信号而将放置的目标的列表及其坐标附加到医学图像数据。这可能是有益的，因为它对于在医学成像协议期间自动记录在对象支撑体上实际使用的目标可能是有用的。
29.在另一实施例中，机器可执行指令的运行还使处理器存储所述相机数据和所述医学图像数据。例如，这可以是将相机数据附加到dicom文件或等效文件。这在对采集医学图像数据时使用的条件进行自动存档时可能是有用的。
30.在另一个实施例中，所述预定目标包括对象。神经网络还被配置为识别对象取向或位置。例如，这可能是有用的，因为它可以提供关于应该如何将对象定位在对象支撑体上的指令。这些指令可以引导用户相对于已经建立的目标的配置来定位对象。
31.在另一实施例中，所述预定目标包括以下任何一种：垫子、头镜、头枕、膝托、扶手、磁共振成像线圈、脚托、脚踝托以及它们的组合。
32.在另一个实施例中，医学仪器还包括被配置用于辐照目标区的放射治疗系统。目标区在成像区内。
33.在另一个实施例中，医学成像系统被配置为在辐照目标区期间引导放射治疗系统。该实施例可能是有益的，因为用于将目标放置在对象支撑体上的系统的使用可以实现对对象的更可重复的放射治疗。这样，由医学仪器引导建立目标的配置，可以更准确地再现成像/规划与治疗的实际递送之间的定位更准确的再现。
34.在另一个实施例中，所述医学成像系统是磁共振成像系统。
35.在另一个实施例中，所述医学成像系统是计算机断层摄影系统。
36.在另一个实施例中，所述医学成像系统是正电子发射断层摄影系统。
37.在另一个实施例中，所述医学成像系统是单光子发射断层摄影系统。
38.在另一个实施例中，所述成像系统包括视频相机。
39.在另一个实施例中，所述成像系统包括相机。
40.在另一个实施例中，所述成像系统包括彩色相机。
41.在另一个实施例中，所述成像系统包括黑白相机。
42.在另一个实施例中，所述成像系统包括红外相机。
43.在另一个实施例中，所述成像系统包括热相机。
44.在另一个实施例中，所述成像系统包括多个相机。
45.在另一个实施例中，所述成像系统包括三维相机。
46.在另一方面中，本发明提供了一种包括用于由控制医学仪器的处理器执行的机器可执行指令的计算机程序产品。所述医学仪器还包括对象支撑体，所述对象支撑体包括被配置用于接收对象的支撑表面。所述医学仪器还包括被配置用于采集描述所述支撑表面的相机数据的相机系统。所述医学仪器还包括信号系统。
47.所述机器可执行指令的运行还使所述处理器接收选定目标的列表。选定目标的所述列表是从预定目标中选择的。选定目标的所述列表包括针对列出的目标中的每个目标的选定坐标。机器可执行指令的运行还使处理器使用信号系统信号指示选定目标的列表和针对选定目标的列表中的每个目标的选定坐标。
48.所述机器可执行指令的执行还使所述处理器使用所述相机系统来重复地采集所述图像数据。机器可执行指令的运行还使处理器将相机数据重复地输入到神经网络中以生成放置的目标的列表。所述神经网络被训练或配置为响应于输入所述相机数据而生成放置的目标的列表。放置的目标的列表识别放置在支撑表面上的预定目标和在所述支撑表面上的所放置的目标的坐标。
49.所述机器可执行指令的运行还使所述处理器通过将选定目标的列表与放置的目标的列表进行比较来重复确定缺失的目标的列表。所述机器可执行指令的运行还使所述处理器还使处理器使用所述信号系统来指示缺失的目标的列表。机器可执行指令的运行还使处理器通过将目标的列表中的每个目标的选定坐标与支撑表面上放置的目标的坐标进行比较来确定错误放置的目标的列表。机器可执行指令的运行还使处理器使用信号系统重复地指示错误放置的目标的列表。
50.在另一方面中，本发明提供了一种操作医学仪器的方法。所述医学仪器还包括对象支撑体，所述对象支撑体包括被配置用于接收对象的支撑表面。所述医学仪器还包括被配置用于采集描述所述支撑表面的图像数据的相机系统。所述医学仪器还包括信号系统。
51.所述方法包括接收选定目标的列表。所述方法还包括使用信号系统针对选定目标的列表来信号指示针对选定目标的列表中的每个目标的选定坐标。所述方法包括使用相机系统来重复地采集相机数据。所述方法包括将相机数据重复输入到神经网络中以生成放置的目标的列表。所述神经网络被训练为响应于输入所述图像数据而生成放置的目标的列表。放置的目标的列表识别放置在支撑表面上的预定目标和在所述支撑表面上的所放置的目标的坐标。选定目标的列表是从预定目标中选择的。
52.选定目标的列表包括针对列出的目标中的每个目标的选定坐标。所述方法还包括通过比较选定目标的列表和放置的目标的列表来确定缺失的目标的列表。所述方法还包括使用信号系统来指示缺失的目标的列表。所述方法还包括通过将目标的列表中的每个目标的选定坐标与支撑表面上放置的目标的坐标进行比较来确定错误放置的目标的列表。所述方法还包括使用信号系统来重复地指示错误放置的目标的列表。
53.应该理解，可发组合本发明的一个或多个前述实施例，只要组合后的实施例不相互排斥即可。
54.如本领域技术人员将认识到的，本发明的若干方面可以实现为装置、方法或计算机程序产品。因此，本发明的各方面可采取完全硬件实施例，完全软件实施例(包括固件，驻留软件，微代码等)，或者组合了软件和硬件方面的实施例的形式，其可以在本文统称为“电路”、“模块”或“系统”。此外，本发明的各个方面可以采取实现在一个或多个计算机可读介质中的计算机程序产品的形式，所述一个或多个计算机可读介质具有实现在其上的计算机可执行代码。
55.可以使用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。如在本文中使用的“计算机可读存储介质”包括任何有形存储介质，其可以存储能够由计算设备的处理器执行的指令。可以将所述计算机可读存储介质称为“计算机可读非瞬态存储介质”。所述计算机可读存储介质也可以被称为有形计算机可读介质。在一些实施例中，计算机可读存储介质还可以能够存储数据，所述数据能够被所述计算设备的处理器访问。计算机可读存储介质的范例包括但不限于：软盘、磁硬盘驱动器、固态硬盘、闪存、usb拇指驱动器、随机存取存储器(ram)、只读存储器(rom)、光盘、磁光盘和处理器的寄存器文件。光盘的范例包括压缩光盘(cd)和数字多用光盘(dvd)，例如cd
‑
rom、cd
‑
rw、cd
‑
r、dvd
‑
rom、dvd
‑
rw或dvd
‑
r盘。术语计算机可读存储介质还指代能够由所述计算机设备经由网络或通信链路访问的各种类型的记录介质。例如，可以经由调制解调器、经由互联网或经由局域网络来取回数据。体现在计算机可读介质上的计算机可执行代码可使用任何合适的介质来传输，包括但不限于无线、有线、光缆、rf等，或上述各项的任何适当的组合。
56.计算机可读信号介质可以包括具有实现在其中的例如在基带内或者作为载波的一部分的计算机可执行代码的传播的数据信号。这样的传播信号可以采取多种形式中的任一种，包括但不限于，电磁的、光学的、或者它们的任意合适的组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质并且其能够传送、传播或传输程序用于由指令运行系统、装置或设备使用或者与其结合使用。
[0057]“计算机存储器”或“存储器”是计算机可读存储介质的范例。计算机存储器是处理器能够直接访问的任何存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另一范例。计算机存储设备是任何非易失性计算机可读存储介质。在一些实施例中，计算机存储设备也可以是计算机存储器，或反之亦然。
[0058]
用在本文中的“处理器”涵盖能够执行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“处理器”的计算设备的引用应当被解读为能够包括超过一个处理器或处理内核。所述处理器例如可以是多核处理器。处理器还可以是指单个计算机系统之内的或者被分布在多个计算机系统之间的处理器的集合。术语计算设备也应被解释为可能指
计算设备的集合或网络，每个计算设备均包括一处理器或多个处理器。所述计算机可执行代码可以由多个处理器运行，所述处理器可以处在相同的计算设备内或者其甚至可以跨多个计算设备分布。
[0059]
计算机可执行代码可以包括令处理器执行本发明的各方面的机器可执行指令或程序。用于执行针对本发明的各方面的操作的计算机可执行代码可以以一种或多种编程语言(包括诸如java、smalltalk、c 等的面向对象的编程语言以及诸如"c"编程语言或类似编程语言的常规过程编程语言)的任何组合来编写并且被编译为机器可执行指令。在一些情况下，所述计算机可执行代码可以以高级语言的形式或者以预编译形式并且结合在飞行中生成机器可执行指令的解释器来使用。
[0060]
所述计算机可执行代码可以作为单机软件包全部地在所述用户的计算机上、部分地在用户的计算机上、部分地在用户的计算机上并且部分地在远程计算机上、或者全部地在所述远程计算机或服务器上运行。在后者的场景中，所述远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))或者可以对外部计算机做出的连接(例如，使用因特网服务提供商通过因特网)而被连接到用户的计算机。
[0061]
本发明的各方面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图得以描述。应该理解，流程图、图示和/或框图的每个框或框的一部分能够在适用时通过以计算机可执行代码的形式的计算机程序指令来实施。还应当理解的是，当不是相互排斥的时，在不同的流程图，图示和/或框图中块的组合可以被组合。这些计算机程序指令可以被提供到通用计算机、专用计算机的处理器或者其他可编程数据处理装置以生产机器，使得经由计算机的处理器或其他可编程数据处理装置运行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的单元。
[0062]
这些计算机程序指令还可以被存储在计算机可读介质中，其能够引导计算机、其他可编程数据处理装置或其他设备以特定的方式工作，使得被存储在所述计算机可读介质中的所述指令产生包括实施在流程图和/或一个或多个框图框中所指定的功能/动作的指令的制品。
[0063]
所述计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上以令一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实施的过程，使得在计算机或其他可编程装置上运行的指令提供用于实施在流程图和/或一个或多个框图框中所指定的功能/动作的过程。
[0064]
如在本文中所使用的“用户接口”是允许用户或操作者与计算机或计算机系统进行交互的接口。“用户接口”还可以被称为“人机接口设备”。用户接口可以向操作者提供信息或数据和/或接收来自操作者的信息或数据。用户接口可使来自操作者的输入能够被计算机接收，并且可以将输出从计算机提供给用户。换言之，用户接口可以允许操作者控制或操纵计算机，并且该接口可以允许计算机指示操作者的控制或操纵的效果。数据或信息在显示器或图形用户接口上的显示是向操作者提供信息的范例。通过键盘、鼠标、跟踪球、触摸板、指点杆、图形输入板、操纵杆、游戏板、网络相机、头盔、踏板、有线手套、遥控器以及加速度计接收数据都是实现从操作者接收信息或数据的用户接口部件的范例。
[0065]
如在本文中所使用的“硬件接口”涵盖使得计算机系统的处理器能够与外部计算设备和/或装置进行交互或者对其进行控制的接口。硬件接口可允许处理器将控制信号或
指令发送给外部计算设备和/或装置。硬件接口也可以使处理器与外部计算设备和/或装置交换数据。硬件接口的范例包括但不限于：通用串行总线、ieee1394端口、并行端口、ieee1284端口、串行端口、rs
‑
232端口、ieee
‑
488端口、蓝牙连接、无线局域网连接、tcp/ip连接、以太网连接、控制电压接口、midi接口、模拟输入接口和数字输入接口。
[0066]
本文中使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和触觉数据。显示器的范例包括但不限于：电脑监视器、电视屏幕、触摸屏、触觉电子显示屏、盲文屏幕、阴极射线管(crt)、存储管、双稳态显示器、电子纸、向量显示器、平板显示器、真空荧光显示器(vf)、发光二极管(led)显示器、电致发光显示器(eld)、等离子显示面板(pdp)、液晶显示器(lcd)、有机发光二极管显示器(oled)、投影机和头戴式显示器。
[0067]
医学图像数据在文本中被定义为已经使用医学成像扫描器采集的二维或三维数据。医学成像系统在本文中被定义为适于采集与对象的物理结构有关的信息并且构建二维或三维医学图像数据的集合的装置。医学图像数据能够用于构造对医师诊断有用的可视化。这种可视化可使用计算机来执行。
[0068]
磁共振成像数据或磁共振数据在本文中被定义为使用在磁共振成像扫描期间通过磁共振装置的天线对由原子自旋发射的射频信号的所记录的测量结果。磁共振数据是医学图像数据的范例。磁共振成像(mri)图像或mr图像在本文中被定义为包含在磁共振成像数据内的解剖数据的经重建的二维或三维可视化。这种可视化可使用计算机来执行。
附图说明
[0069]
在下文中，将仅通过举例的方式并且参考附图来描述本发明的优选实施例，在附图中：
[0070]
图1图示了医学仪器的范例；
[0071]
图2示出了图1的医学仪器的另一视图；
[0072]
图3图示了医学仪器的另一范例；
[0073]
图4是图示操作图1或图3的医学仪器的方法的流程图；
[0074]
图5图形地示出了dicom文件的内容；
[0075]
图6图示了示例系统的功能；
[0076]
图7进一步图示了图6的示例系统的功能；并且
[0077]
图8图示和例示了图形用户接口的示例。
[0078]
附图标记列表
[0079]
100 医学仪器
[0080]
102 医学成像系统
[0081]
102 磁共振成像系统
[0082]
104 成像区
[0083]
106 射频治疗系统
[0084]
108 目标区
[0085]
110 对象支撑体
[0086]
111 初始位置
[0087]
112 支撑表面
[0088]
114 致动器
[0089]
116 成像系统的膛
[0090]
118 相机系统
[0091]
120 头枕
[0092]
140 计算机
[0093]
142 处理器
[0094]
144 硬件接口
[0095]
146 用户接口
[0096]
148 显示器(信号系统)
[0097]
150 存储器
[0098]
152 机器可执行指令
[0099]
154 神经网络
[0100]
156 成像协议数据库
[0101]
158 对医学成像协议的选择
[0102]
160 选定目标的列表
[0103]
162 选定坐标
[0104]
164 相机数据
[0105]
166 放置的目标的列表
[0106]
168 缺失的目标的列表
[0107]
170 错误放置的目标的列表
[0108]
172 指示器
[0109]
174 存档图像
[0110]
176 用户接口控件
[0111]
200 操作位置
[0112]
202 对象
[0113]
204 医学图像数据
[0114]
300 医学图像
[0115]
300 医学仪器
[0116]
304 磁体
[0117]
309 感兴趣区域
[0118]
310 磁场梯度线圈
[0119]
312 磁场梯度线圈电源
[0120]
314 射频线圈
[0121]
316 收发器
[0122]
320 脉冲序列命令
[0123]
322 磁共振成像数据
[0124]
324 磁共振图像
[0125]
400 接收选定目标的列表
[0126]
402 使用信号系统来信号指示选定目标的列表和针对选定目标的列表中的每个目标的选定坐标
[0127]
404 使用相机系统来采集相机数据
[0128]
406 将相机数据输入到神经网络中以生成放置的目标的列表
[0129]
408 通过比较选定目标的列表与放置的目标的列表来确定缺失的目标的列表
[0130]
410 使用信号系统来指示缺失的目标的列表
[0131]
412 通过将对象的列表中的每个目标的选定坐标与支撑表面上放置的目标的坐标进行比较来确定错误放置的目标的列表
[0132]
414 使用信号系统来指示错误放置的缺象的列表
[0133]
500 医学成像文件
[0134]
600 图像
[0135]
700 图像
[0136]
800 对象信息
[0137]
802 头镜
[0138]
804 正确放置
[0139]
806 未正确放置
具体实施方式
[0140]
在这些附图中，类似地编号的元件是等价元件或执行相同功能。如果功能是等价的，则将不一定在后来的附图中讨论先前已经讨论过的元件。
[0141]
图1图示了医学仪器100的示例。医学仪器100被示为任选地包括医学成像系统102，所述医学成像系统102被配置用于从成像区104采集医学图像数据。医学仪器100还被示为还包含任选的放射治疗系统106。在该示例中，任选的放射治疗系统106被配置用于辐照在成像区104内的目标区108。如果存在的话，医学成像系统102因此可以用于引导放射治疗系统106。在一些示例中，医学仪器100不包括医学成像系统102或不包括放射治疗系统106。
[0142]
存在被配置用于接收对象的对象支撑体110。对象支撑体110被示为处于初始位置111。在初始位置111，支撑表面112能够被相机系统118成像。相机系统118可以例如被配置用于拍摄示出在支撑表面112的目标120的静止和/或视频馈送。在这个示例中，存在置于支撑表面112上的头枕120。医学仪器100还被示出为包括致动器114，所述致动器114被配置用于将对象支撑体110从初始位置112移动到图2中所示的操作位置。医学成像系统102是圆柱形的并且具有膛116，对象支撑体110可以插入或注入到膛116中。表面112上的任何目标，例如对象或其他目标120，也将被移动到膛116中。
[0143]
医学仪器100还被示为包括计算机140。计算机140包括处理器142，处理器106被连接到硬件接口144。硬件接口144使得处理器142能够控制其他部件的操作。相机系统118、医学成像系统102和放射治疗系统106都被示为连接到硬件接口144。处理器142还被连接到用户接口146和存储器150。用户接口146还包括信号系统148。在这个示例中，信号系统是显示器148。
[0144]
然而，显示器148可以用不同类型的信号系统替换。可以使用计算机语音系统以可
听的方式指示显示器中的信息。显示器148中显示的信息也可以使用激光或投影仪以图形方式投影到支撑表面112上。
[0145]
存储器150可以是处理器142可访问的存储器的任何组合。这可以包括诸如主存储器、高速缓存的存储器以及诸如闪存ram、硬盘驱动器或其他存储设备的非易失性存储器。在一些示例中，存储器150可以被认为是非瞬态计算机可读介质。
[0146]
存储器150被示为包含机器可执行指令152。机器可执行指令152的运行使处理器142能够执行任务莫问归期如控制其他部件以及还有进行基本图像和数学过程。存储器150还被示为包含神经网络154。神经网络154从相机118接收相机数据164并输出放置的目标的列表166。存储器150被示为包含任选的成像协议数据库156，所述成像协议数据库包含能够由医学仪器100执行的各种成像协议的细节。处理器142可以例如接收对医学成像协议158的选择。这可以用于从任选的成像协议数据库156中检索选定目标的列表160。选定目标的列表160还包含选定坐标162，其指示应放置在表面112上的目标120的位置。用户接口148被示为显示选定的目标160的列表及其坐标162。
[0147]
存储器150被示为存储选定目标的列表160和选定坐标162两者的副本。存储器150还被示为包含相机数据164。然后将相机数据164输入到神经网络154中并用于生成放置的目标166的列表。然后将放置的目标的列表166与选定目标的列表160和选定坐标162进行比较以生成缺失的目标的列表168和错误放置的目标的列表170，它们都被示为存储在存储器150中。在显示器148上可以有指示器172，其指示是否存在任何放错误放置的170或缺失168的目标。
[0148]
用户接口148还被示为包含对相机数据164的呈现。这可能例如对正在配置医学仪器100的医学专业人员有用。任选地，可以有存档图像174，其显示部分或完全配置的表面112。例如，这可以是帮助健康护理专业人员的额外指南。用户接口148还被示为具有任选的用户接口控件176，其能够用于触发对象支撑体110插入膛116中。例如，在一些情况下，操作者可能不一定想要准确地遵循选定目标的列表160和选定坐标162。任选的用户接口控件176的使用给予操作者无论如何执行成像协议的选项。
[0149]
图2示出了医学仪器100的另一视图。在该视图中，致动器114用于将对象支撑体110移动到膛116中。对象支撑体110现在处于操作位置200。对象202被示为在对象支撑体110上重定姿态。对象202的部分可以在成像区104中成像并且放射治疗系统106可以用于辐照目标区108内的位置。存储器150被示为包含通过控制医学成像系统102采集的医学图像数据204。存储器150还被示为包括根据医学成像数据204重建的医学图像206。医学图像206可以例如用于引导放射治疗系统106对对象202的辐照。
[0150]
图3示出了医学仪器300的另一示例。在该示例中，医学成像系统是磁共振成像系统102。该磁共振成像系统102包括磁体304。磁体304是具有通过其的膛116的超导圆柱型磁体。使用不同类型的磁体也是可能的；例如也可以使用分裂圆柱形磁体和所谓的开放式磁体。分裂圆柱磁体类似于标准的圆柱磁体，除了低温恒温器已经分裂成两部分，以允许访问所述磁体的等平面，从而使磁体可以例如与带电粒子束治疗相结合地使用。开放磁体有两个磁体部分，一个在另一个之上，中间的空间足够大以容纳对象：两个部分区的布置类似于亥姆霍兹线圈的布置。开放式磁体是流行的，因为对象较少地受限。在圆柱磁体的低温恒温器内部有超导线圈的集合。在圆柱磁体304的膛116内，存在成像区108，在成像区308中，磁
场足够强和均匀以执行磁共振成像。示出了成像区104内的感兴趣区域309。所采集的磁共振数据通常针对感兴趣区域采集。对象202被示出为由对象支撑体110支撑，使得对象118的至少一部分在成像区104和感兴趣区域309内。对象支撑体处于操作位置200。
[0151]
磁体的膛116内还有磁场梯度线圈310的集合，其用于采集初级磁共振数据，以在磁体304的成像区104内对磁自旋进行空间编码。磁场梯度线圈310连接到磁场梯度线圈电源312。磁场梯度线圈310旨在是代表性的。通常，磁场梯度线圈310包含用于在三个正交空间方向上空间地编码的三个分立的线圈的集合。磁场梯度电源将电流供应到所述磁场梯度线圈。供应给磁场梯度线圈310的电流根据时间来进行控制并且可以是斜变的或脉冲的。
[0152]
与成像区104相邻的是射频线圈314，其用于操纵成像区104内的磁自旋的取向，并且用于接收来自也在成像区104内的自旋的射频发射。射频天线可包含多个线圈元件。射频天线还可以被称为通道或天线。射频线圈314连接到射频收发器316。射频线圈314和射频收发器316可以由独立的发送线圈和接收线圈以及独立的发射器和接收器替代。要理解的是，射频线圈314和射频收发器316是代表性的。射频线圈314旨在还表示专用的发射天线和专用的接收天线。类似地，收发器316也可以表示单独的发射器和接收器。射频线圈314也可以具有多个接收/发射元件，并且射频收发器316可以具有多个接收/发射通道。例如，如果执行诸如sense的并行成像技术，则射频线圈314可以具有多个线圈元件。
[0153]
收发器316、梯度控制器312以及相机系统被示为连接到计算机系统140的硬件接口144。存储器134被示为包含机器可执行指令140。机器可执行指令140使得处理器130能够控制磁共振成像系统100的操作和功能。机器可执行指令140还使得处理器130能够执行和各种数据分析和计算功能。
[0154]
存储器150被示出为包含脉冲序列命令320。脉冲序列命令是如下的命令或数据，其可以被转换成用于控制磁共振成像系统102'以采集磁共振成像数据322的命令。存储器150被示出为包含通过利用脉冲序列命令320控制磁共振成像系统而采集的磁共振成像数据322。磁共振成像数据332是医学图像数据的范例。存储器150还被示为包括根据成像磁共振成像数据322重建的磁共振图像324。
[0155]
图4示出了流程图，其图示了操作图1和2中所示的医学仪器或图3中所示的医学仪器300的方法。首先，在步骤400中，接收选定目标的列表160。选定目标的列表是从用于训练神经网络的预定目标中选择的。选定目标的列表包括针对列出的目标162中的每个目标的选定坐标。接下来在步骤402中，选定目标的列表160和针对每个选定目标的选定坐标162被显示在显示器148上。该方法然后进行到步骤404
‑
414。方法步骤404
‑
414在循环中执行。操作者可以自愿停止这个循环，或者它可以例如在它被选择或决定启动对对象的成像时停止。在步骤404中，使用相机系统118来采集相机数据164。然后在步骤406中，相机数据164被输入到神经网络154中以生成放置的目标的列表166。然后在步骤408中，通过将选定目标的列表160与放置的目标的列表166进行比较来确定缺失的目标的列表168。在步骤410中，缺失的目标的列表168在显示器148上被指示172。在步骤410之后，所述方法进行到步骤412，其中通过将针对列出的目标中的每个目标的选定坐标与支撑表面112上放置的目标的坐标进行比较来确定错误放置的目标的列表170。然后在步骤414中，错误放置的目标的列表168在显示器148上被指示172。步骤408和412可以互换。该方法然后循环地从步骤414返回到步骤404。
[0156]
图5图示了医学成像文件500的示例。医学成像文件500可以例如是用于存档或存储使用图1和2中所示的医学仪器100或图3所示的医学仪器300采集的医学图像的容器或文件。医学图像文件500例如可以是dicom文件。医学成像文件500可以例如包括医学图像206或磁共振图像324。医学图像文件500还可能包含用相机系统118采集的相机数据164。这可以用作用于配置医学设备100或300的档案记录。医学成像文件500还可以包含放置的目标的列表166。这可以作为自动生成的被使用列表以及用于将其放置在对象支持体110上的坐标而是有用的。医学成像文件500还可以任选地包含缺失的目标的列表168和/或放错误放置的目标的列表170。医学成像文件500可以例如在医学图像206或磁共振图像324被重建时自动生成。
[0157]
如上所述，为检查准备对象202是一项耗时的任务并且需要操作者的受过训练的技能。操作者可以放置定位设备(例如膝部支撑、头枕)以确保对象在整个检查过程中保持稳定的休息位置，或者必须充分地放置线圈314(mri)和附件120、802(即传感器)以获得可重复的图像质量。在重复或后续扫描中，以及在用于处置规划、监测和相应治疗阶段的扫描中，以相同质量再现先前对象设置和相应图像以使它们具有可比性可能是有益的。例如，在放射治疗中，通常在多达40次放射治疗期间尽可能接近地再现准确的对象设置。为了准确但仍然快速地重新定位所有设备，治疗计划中的对象支持经常配备机械装置以仅允许有限的一组位置。下面的图6给出了一个示例，其中膝部支撑只能被定位在离散位置h4到f7。质量保证要求在每个会话期间准确报告所有相关的设置信息，以便能够比较和重现设置。这是一项耗时且容易出错的任务。
[0158]
图6和7图示了示例的概念证明。在图6中，图像600示出了在脚方向或f4上的台索引位置4处的自动检测的膝部定位装置。这是使用经训练的分类神经网络或神经网络来执行的。在图7中，在具有部分阻挡、台面移动和误导性手势的更复杂场景中，位置f3处的小索引条的正确分类仍然成功。
[0159]
对于放射治疗规划，存在基于rfid的系统来检查是否存在正确类型的定位设备和相应的位置。该系统可以使用集成到一组定位设备和索引/保持设备中的多个rfid传感器。该系统可以与配备有这样一个系统的一组注册设备一起使用。虽然rfid有助于自动化、再现和保护设置报告和再现工作流程，但该系统在报告典型对象设置的全部复杂性方面存在局限性。通常使用系统不知道的定制或第3方设备，这些设备无法轻松配备rfid。某些设备不适合沿固定的预定义光栅索引安装(例如，支撑楔、衬垫或垫子，或定制的对象特定的设备)。所有这些设备都不会包含在设置报告中，并且将限制再现的能力。此外，rfid可能个体地出现故障，因此错误的可能性会随着设备数量的增加而增加。使用此类系统无法再现更复杂的对象设置，因为缺少实现正确结果的一步一步的引导。rfid还代表了rf安全问题，这会导致集成工作量和成本增加。同样，rfid是一种短距离通信技术，并且在距离太远的情况下将失败。rfid技术也可能受到射频干扰的严重干扰，尤其是在与其他大型电子设备(如医学成像设备)一起使用时。
[0160]
示例可以使用基于相机118的对象202设置分类和再现系统来检测使用的定位设备的类型和位置。可以训练神经网络将图像分类为以下几个类别之一：每个类别对应于给定位置(例如，索引位置f4)的给定目标设备(例如，膝部定位设备)。理想情况下，一个类别对应于不存在的目标设备。该系统可以更复杂地处理由多个设备组成的类别或处理类别的
组合。在对象设置期间，经训练的神经网络确定已安装设备及其位置类别的列表，以及针对确定的设备和位置的置信度水平(参见图6和图7)。以低置信度确定的位置分类指示安装不当且灵敏度高。这可以用于触发提醒工作人员正确定位的警报(或信号)。提出了自动存储用于对场景进行分类以进行质量控制的原始相机图像，如图5中所示。摄像系统在远处工作，并且不干扰工作流程。它可以对设置部件的类型和定位类别(例如索引)进行分类，同时对所有空间方向敏感，从而覆盖比使用rfid系统可能实现的更大的设置多样性。所提出的方法还有几个优点：不需要标记物或对设备的修改。因此避免了这样的设备的无菌和安全问题。由于它以光学方式工作，因此只要提供标准方法来屏蔽相机电子设备免受虚假rf干扰，它就不会受到rf干扰。术语相机或相机系统118可以包括产生图像(相机数据)的相机：例如，rgb、单色、红外、热成像和3d(立体、飞行时间、结构光、ladar、radar)相机。
[0161]
相机系统118的使用允许以更低的成本使用来自任意供应商的更多种类的设备。可以使用神经网络从相机系统提供的图像中检测设备类型和位置。该系统是可扩展的，即可以扩展到更多设备类型或更多设备位置或姿态类别。这样的系统将允许在更高的抽象水平上对设置进行分类。相机系统还将提供更清晰的故障路径，例如，如果相机可能损坏，则可以轻松检测到。或者，如果分类错误，记录的相机图像将指示单个错误，并且仍然可以高精度地再现设置。该系统可应用于一般断层扫描成像，并允许在后续检查中具有极高的可重复性，从而消除复杂更改扫描协议的必要性，同时提供持续的图像质量水平。
[0162]
图8图示了可以显示的用户接口148的示例。相机数据164与对象信息800、选定目标的列表160和选定坐标162一起显示。放置的目标的列表、缺失的目标的列表和错误放置的目标的列表可用于修改或突出显示选定目标的列表160和选定坐标162。在该示例中，头镜802已经被正确放置并且可以在显示器148上使用高亮或不同颜色进行标记。由于数字是黑白的，这通过用标签804标记头镜来表示。其他项目尚未放置并被标记为806显示148。
[0163]
用户接口ui或显示器148适用于初始和后续检查设置。用户会被呈现以列表，以便为检查配置特定的设置。相机评估配置项目，勾选已完成的项目并突出显示要完成任务的剩余部分。该算法特别注意相关设置部件的正确和锁定位置。ui通过膛侧屏幕呈现给用户，或通过投影仪直接呈现在台面上。显示该引导的两种方式以及其他方式及其组合均适用。
[0164]
尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示范性的，而非限制性的。本发明不限于公开的实施例。
[0165]
本领域技术人员通过研究附图、公开内容以及权利要求书，在实践请求保护的本发明时能够理解并且实现对所公开的实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或者其它单元可以实现权利要求书中记载的若干项的功能。尽管特定措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的组合。可以将计算机程序存储/分布在与其它硬件一起提供或者作为其它硬件的部分提供的诸如光存储介质或者固态介质的合适介质上，但是还可以以诸如经因特网或者其它有线或无线电信系统的其它形式分布。权利要求书中的任何附图标记不应被解释为对范围的限制。