在乳房摄影中用于用户和/或患者体验改善的方法和系统与流程

1.本文所公开的主题的实施方案涉及乳房摄影和活检规程，并且更具体地，涉及在乳房摄影和乳房活检规程期间用于工作流程和用户/患者体验改善的乳房定位辅助。


背景技术：

2.乳房摄影是用于检测一种或多种乳腺癌的医学成像规程。对乳房摄影图像(也被称为乳房照片)和检测乳腺癌的准确解释依赖于高质量乳房照片的生成。影响乳房照片质量的关键因素是乳房定位。未能正确定位乳房可导致乳房摄影伪影和组织排斥，并且因此导致癌症漏诊。技术人员的培训和经验水平可显著影响图像质量。例如，具有较少/中等培训和/或经验的技术人员可能无法正确定位乳房，并且因此，召回率和癌症漏诊率可能较高。
3.此外，用于位置评估的先前方法涉及技术人员查看所采集的x射线图像。因此，即使没有很好地定位患者，辐射剂量也被递送给了患者。即使在x射线图像查看期间，一些技术人员也可能无法正确评估x射线图像，这也增加了召回率并降低了诊断的置信度。


技术实现要素：

4.在一个实施方案中，一种用于x射线乳房摄影系统的方法包括：使用联接到该x射线乳房摄影系统的一个或多个相机经由视觉感测来评估患者的患者位置、患者的局部视图和患者的乳房解剖结构中的一者或多者；基于该评估来检测患者定位错误和乳房定位错误中的一者或多者；以及基于该检测经由该乳房摄影系统的用户界面向用户提供实时反馈。以这种方式，该视觉感测系统可用于实时评估乳房位置并且实时提供反馈以引导技术人员定位乳房以实现高质量图像。通过基于视觉感测引导技术人员，可提供用于正确定位的实时引导，这导致改善的定位和高质量图像，并且因此提高了癌症检测的灵敏度。
5.应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
6.通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本公开，其中以下：
7.图1a是根据本公开的实施方案的包括视觉感测系统的乳房摄影系统的示意图；
8.图1b是根据本公开的实施方案的乳房摄影系统的一部分的前视图的示意图，该乳房摄影系统包括用于检测乳房位置和乳房形态中的一者或多者的视觉传感器。
9.图1c是根据本公开的实施方案的图1b的包括视觉传感器的乳房摄影系统的透视图的示意图。
10.图1d是根据本公开的实施方案的图1b的乳房摄影系统的机架的一部分的放大透视图的示意图，示出了用于检测乳房位置和乳房形态中的一者或多者的视觉传感器的示例性定位。
11.图2是根据本公开的实施方案的包括视觉监测系统的乳房摄影系统的框图，示出了由视觉系统感测的多个对象和基于所感测的对象进行控制的多个致动器；
12.图3是示出根据本公开的实施方案的用于基于操作模式来评估乳房位置、患者位置、用户位置和用户形态中的一者或多者的方法的高级流程图；
13.图4a是示出根据本公开的实施方案的用于评估在乳房摄影期间的乳房位置和患者位置并且提供用于调节乳房位置和患者位置以改善乳房摄影图像质量的实时反馈的方法的高级流程图；
14.图4b是图4a的续图；
15.图5是示出根据本公开的实施方案的用于评估在数字乳房断层融合(dbt)期间的乳房位置和乳房形态并且提供用于调节乳房位置和患者位置以改善dbt图像质量的实时反馈的方法的高级流程图；
16.图6是示出根据本公开的实施方案的用于评估在dbt成像期间在x射线系统的角度范围内的选定角度下的乳房位置和患者位置并且提供用于调节乳房位置和患者位置以改善dbt图像质量的实时反馈的方法的高级流程图；并且
17.图7是示出根据本公开的实施方案的用于减少来自利用联接到乳房摄影系统的一个或多个视觉传感器获得的一个或多个相机图像的眩光的方法的高级流程图。
18.图8a是示出根据本公开的实施方案的x射线乳房摄影系统的x射线源和用于头尾(cc)视图评估的视觉传感器的示例性定位的图示。
19.图8b是示出根据本公开的实施方案的x射线乳房摄影系统的x射线源和用于内外侧斜位(mlo)视图评估的视觉传感器的示例性定位的图示。
具体实施方式
20.以下描述涉及用于乳房摄影和活检规程的x射线系统的各种实施方案。图1a示出了x射线系统的示例性实施方案，其包括视觉系统，该视觉系统包括一个或多个相机，以检测与每个规程相关联的附件、规程中涉及的身体部分、系统周围环境中的一个或多个对象、患者和用户中的一者或多者。基于该检测，包括视觉系统的x射线系统可评估乳房形态、乳房位置、患者形态、患者位置、用户形态和用户位置中的一者或多者。图1b示出了用于评估乳房位置的视觉系统的示例性实施方案。具体地，视觉系统可包括联接到x射线系统的机架的相机，使得该相机的视场与x射线视场对准。相机的示例性位置在图1c和图1d中进一步示出。图2示出了由视觉系统检测到的一个或多个对象和动作的框图，该视觉系统包括相机，以及基于所检测到的该一个或多个对象和动作调节的x射线系统的一个或多个致动器。x射线乳房摄影系统的控制器可被配置为基于x射线系统的操作模式来评估乳房位置和乳房形态、患者位置和患者形态以及用户位置和用户形态中的一者或多者，如图3中的高级流程图所示。具体地，视觉系统可包括分别用于评估患者位置和乳房位置的至少第一视觉传感器和第二传感器。图8a和图8b中示出了第二视觉传感器相对于cc视图和mlo视图的x射线源的示例性位置。此外，控制器可包括用于评估相对于x射线系统的乳房位置和患者位置的指
令，并且在乳房摄影规程期间向用户提供实时反馈，如图4a和图4b所示。此外，图5和图6描述了用于在dbt期间进行乳房位置和患者位置评估的示例性方法以及用于乳房位置调节的实时反馈。此外，控制器可包括用于减少利用视觉系统获得的一个或多个相机图像的感兴趣区域内的眩光的指令，如图7所示。
21.在成像规程(诸如，乳房摄影或dbt成像规程)期间，以及在图像引导的介入规程(诸如，dbt引导的活检、cesm活检、立体定向活检等)期间，定位乳房在获得展示乳房的各个区域的高质量图像中起重要作用。此外，根据视图，用于定位的界标中的一些可不同。通常，在获得乳房照片之前，不能确定乳腺是否被定位以提供高质量乳房照片。本文的发明人已经识别到了上述问题，并且提供了用于在发起采集之前改善乳房定位的方法和系统。具体地，提供了用于在成像之前评估乳房位置和患者身体位置，并且提供用于改善乳房和患者位置的实时反馈的方法和系统。在一个实施方案中，用于评估患者身体位置的第一视觉传感器捕获患者和x射线系统的图像，并且用于评估乳房位置的第二视觉传感器捕获受压迫乳房的图像。然后将从第一视觉传感器和第二视觉传感器获得的相机图像输入到基于人工智能(ai)的图像处理模型中，该基于ai的图像处理模型针对期望的乳房定位框架(即，基于视图针对乳房解剖界标的包括)评估输入相机图像，并且进一步评估患者位置，并且通过用户界面向技术人员/用户提供实时反馈以用于患者位置和乳房位置校正中的一者或多者。下文进一步描述了评估患者位置和乳房位置中的一者或多者以改善乳房位置以便用乳房摄影系统成像的细节。
22.参见图1a，示出了根据一个示例性实施方案的用于执行乳房摄影规程的乳房摄影系统100，其包括x射线系统10。x射线系统10可以是断层融合系统，诸如数字乳房断层融合(“dbt”)系统。x射线系统10可用于执行一个或多个规程，包括数字断层融合成像和dbt引导的乳房活检。此外，x射线系统10可用于执行乳房摄影成像规程，其中获得了包括乳房的头尾(cc视图)和内外侧斜位(mlo视图)的一个或多个视图。x射线系统还可用于执行其他x射线筛查和诊断成像规程，包括cesm和对比增强dbt(ce
‑
dbt)诊断成像，以及介入规程，包括cesm引导的活检和立体定向规程。
23.x射线系统10包括支撑结构42，辐射源16、辐射检测器18和准直器20附接到该支撑结构。辐射源16被容纳在台架15内，该台架可移动地联接到支撑结构42。具体地讲，台架15可以安装到支撑结构42，使得包括辐射源16的台架15可以相对于辐射检测器18绕轴线58旋转。容纳辐射源16的机架15的旋转角度范围指示围绕垂直于检测器18的水平检测表面的竖直轴线在任一方向上旋转最多至期望角度。例如，辐射源16的旋转角度范围可为
‑
θ至 θ，其中θ可使得角度范围为小于360度的有限角度范围。示例性x射线系统可具有
±
11度的角度范围，这可允许机架围绕机架的旋转轴线从
‑
11度旋转到 11度(即辐射源的旋转)。该角范围可以根据制造规格而变化。例如，dbt系统的角范围可以为大约
±
11度至
±
60度，这取决于制造规格。
24.辐射源16朝向待成像的体积或对象，并且被配置为在期望的时间发射辐射射线并且获取一个或多个图像。辐射检测器18被配置为经由表面24接收辐射射线。检测器18可以是多种不同检测器中的任何一种，诸如x射线检测器、数字放射摄影检测器或平板检测器。准直器20邻近辐射源16设置，并且被配置为调节成像对象的照射区。
25.在一些示例性实施方案中，系统10还可以包括经由面罩导轨38安装到辐射源16的
患者护罩36，使得患者的身体部分(例如，头部)不直接处于辐射之下。系统10还可包括压迫桨40，该压迫桨可以能够沿竖直轴线60相对于支撑结构42向上和向下移动。因此，可以通过将压迫桨40朝向检测器18向下移动来将压迫桨40调节成更靠近辐射检测器18定位，并且可以通过将压迫桨沿竖直轴线60背离检测器向上移动来增加检测器18和压迫桨40之间的距离。压迫桨40的移动可以通过用户经由被包括在x射线系统10中的压迫桨致动器(未示出)来调节。压迫桨40可以将身体部分(诸如乳房)保持在抵靠辐射检测器18的表面24的适当位置。压迫桨40可以压迫身体部分，并且将身体部分保持静止在适当位置，同时任选地提供孔以允许插入活检针，诸如芯针或真空辅助芯针。这样，压迫桨状件40可用于压迫身体部位，以使x射线穿过的厚度最小化，并且有助于减少由于患者移动而引起的身体部位的移动。x射线系统10还可以包括对象支撑件(未示出)，身体部分可以定位在该对象支撑件上。
26.乳房摄影系统100还可以包括工作站43，该工作站包括控制器44，该控制器包括存储器和至少一个处理器。控制器44可以通信地联接到x射线系统10的一个或多个部件，包括辐射源16、辐射检测器18、压迫桨40和活检装置中的一者或多者。在一个示例性实施方案中，控制器和x射线系统10之间的通信可以经由无线通信系统进行。在其他示例性实施方案中，控制器44可以经由电缆47与x射线系统的一个或多个部件进行电通信。另外，在一个示例性实施方案中，如图1a所示，控制器44被集成到工作站43中。在其他示例性实施方案中，控制器44可以被集成到上文所公开的系统10的各种部件中的一者或多者中。另外，控制器44可以包括执行所存储的程序逻辑的处理电路，并且可以是可用于x射线系统10中所使用的各种类型的装备和装置并且与之兼容的不同的计算机、处理器、控制器或它们的组合中的任一者。
27.工作站43可以包括辐射屏蔽48，其保护系统10的操作者免受辐射源16发射的辐射射线的影响。工作站43还可以包括显示器56、键盘52、鼠标54和/或其他适当的用户输入装置，其有利于经由用户界面50控制系统10。
28.此外，x射线系统10可包括第二控制站(未示出)，该第二控制站包括具有第二显示部分的第二用户界面，该第二显示部分具有适当的输入特征，以有利于控制系统10并查看由视觉系统和x射线系统10中的一者或多者捕获的一个或多个图像。第二控制站可以定位在x射线系统附近，并且可(有线或无线地)联接到x射线系统10。具体地，第二控制站可被定位成使得用户在调节乳房和/或患者位置时可查看第二显示器部分和/或第二用户界面。因此，第二控制站的定位可允许用户同时查看实时相机反馈并调节患者和/或乳房位置。图1b和图1c示出了示例性第二控制站。
29.通过其处理器和控制器，控制器44可以调节x射线系统10的操作和功能。例如，控制器44可以提供关于x射线源16何时发射x射线的定时控制，并且还可以调节在x射线击中检测器18之后检测器18如何读取和传送信息或信号，以及x射线源16和检测器18如何相对于彼此和相对于身体部分移动。控制器44还可以控制信息(包括在操作期间采集的图像42和数据)被处理、显示、存储和操纵的方式。由控制器44执行的不同处理步骤包括接收来自一个或多个传感器的一个或多个信号、接收用户输入、评估所接收的信号/输入、图像处理、确定重建误差、输出包括误差指示的操作参数、调节x射线系统的一个或多个致动器以控制x射线系统的操作，这些处理步骤可由存储在处理器的非暂态存储器中的一组指令提供。信息也可以存储在控制器44的一个或多个非暂态存储器中以供稍后检索和使用。
30.另外，如上所述，辐射检测器18接收由辐射源16发射的辐射射线。具体地讲，在使用x射线系统成像期间，可以在检测器18处获得成像身体部分的投影图像。在一些示例性实施方案中，由辐射检测器18接收的数据(诸如投影图像数据)可以从辐射检测器18以电方式和/或以无线方式传送到控制器44。然后，控制器44可以例如通过实施重建算法，基于投影图像数据来重建一个或多个扫描图像。重建图像可经由显示屏56在用户界面50上显示给用户。
31.辐射源16连同辐射检测器18一起形成x射线系统10的一部分，该x射线系统提供x射线图像，目的是筛查异常、诊断、动态成像和图像引导的活检中的一者或多者。例如，x射线系统10可以以乳腺摄影模式操作以筛查异常。在乳房摄影期间，患者的乳房被定位和压迫在检测器18和压迫桨40之间。因此，x射线系统10的在压迫桨40和检测器18之间的体积为成像体积。然后辐射源16将辐射射线发射到受压迫乳房上，并且乳房的投影图像在检测器18上形成。然后，投影图像可由控制器44重建，并且经由显示部分50显示在界面56上。
32.在乳房摄影期间，可以不同角度调节机架15以获得不同取向的图像，诸如头尾(cc)图像和内外侧斜位(mlo)视图。此外，在获得乳房摄影视图(cc和mlo视图)期间，机架15、压迫桨40和检测器18可作为单个单元围绕轴线58旋转。在其他示例中，台架15可以围绕轴线58旋转，同时压迫桨40和检测器18保持静止。
33.另外，x射线系统10可以以断层融合模式操作以用于执行数字乳房断层融合(dbt)。在断层融合期间，可以操作x射线系统10以在x射线系统10的角范围内以各种角度将低剂量辐射导向成像体积(在压迫桨40和检测器18之间)。在断层融合期间，类似于乳房摄影，乳房被压迫在压迫桨40和检测器18之间。然后辐射源16从
‑
θ旋转到 θ，并且在角度范围内以规则的角度间隔获得所压迫乳房的多个投影图像。例如，如果x射线系统的角度范围是
±
11度，则在台架进行角度扫掠期间，大约每扫掠一度，检测器可以捕获22个投影图像。然后由控制器44处理多个投影图像以生成多个dbt图像切片。该处理可包括应用一种或多种重建算法来重建乳房的三维dbt图像。
34.此外，x射线系统10可被配置为执行dbt引导的活检规程。因此，在一些示例性实施方案中，系统10还可包括活检装置(未示出)，该活检装置包括用于提取组织样本以供进一步分析的活检针。
35.在一个示例性实施方案中，活检装置可包括定位在x射线系统10的检测器18上方的活检台(未示出)。例如，活检台可被配置为在检测器18上方滑动。在设置活检装置期间，用户可移除x射线系统10的压迫桨40，并且在检测器18上方滑动活检台。在将活检装置定位在x射线系统10上时，可根据活检的类型选择用于活检的合适的压迫桨(未示出)诸如水平入路活检桨(无孔)或竖直入路活检桨(具有孔)，并且将该合适的压迫桨联接到x射线系统10。
36.活检装置还可包括具有活检工具显示的活检工具界面。活检工具界面可经由通信端口联接到活检台。在一个实施方案中，活检工具界面可与x射线系统控制器44通信地联接，因此，用户可以能够经由活检工具界面调节x射线系统的位置，诸如将机架调节至停放位置。在其他实施方案中，活检工具界面可联接到活检装置控制器，该活检装置控制器向x射线系统控制器44发送信息以及从该x射线系统控制器接收信息。在一些其他实施方案中，除此之外或另选地，活检装置的调节和控制可以由x射线系统控制器44的活检装置控制模
块执行。
37.活检装置可包括活检工具，该活检工具可直接联接到活检台。活检工具可包括用于安装活检枪的活检枪保持器。此外，活检枪保持器可包括用于调节活检针的位置的机械止动件。活检针可包括外套管、定位在该外套管中的内套管以及用于从活检病灶或目标接收组织的一部分的开口。这些套管形成切割装置，其中外套管被配置为在内套管上方滑动或旋转，并且/或者内套管被配置为在外套管内滑动或旋转。
38.具体地，在插入针之前，将乳房定位在压迫桨(未示出)和台的顶表面之间。在一些示例中，乳房垫片可以定位在表面上，乳房定位在压迫桨和垫片之间并且通过将压迫桨朝向表面移动来压迫。在定位乳房时，通过用x射线系统10在其角范围内以各种角度扫描受压迫乳房来获得第一组目标图像，以识别用于活检的目标。第一组目标图像可以是由x射线系统采集重建的三维图像(dbt图像)或二维全场数字乳房摄影图像。用户可以定位所关注区域并且通过从第一组图像中选择目标位置来识别用于活检的目标位置。目标位置可以通过压迫桨和活检台表面或垫片(如果使用的话)之间的dbt体积内的x坐标、y坐标和z坐标来识别。基于用户选定的目标位置坐标，活检装置控制器可调节活检枪保持器的机械止动件位置，使得当针经由活检枪插入受压迫乳房中时，当针尖端到达相对于目标位置的期望位置(被称为预击发位置)时，针停止移动。虽然本示例示出了经由活检装置控制器调节活检装置，但应当理解，在一些实施方案中，x射线系统控制器44可以命令控制活检装置。
39.一旦活检工具和活检枪处于目标位置，用户/放射科医生就可以驱动针穿过活检枪，直到其到达机械止动件。一旦完全插入，针就处于目标位置(即，针的凹口在病灶前面以进行刺穿的位置)。随后，获得在活检针处于预击发位置的情况下的第二组图像。然后用户可经由活检枪发起活检针的击发。一旦击发活检针，就可通过使用抽吸和/或由内套管和外套管形成的切割机构从身体部分(诸如，患者乳房)移除至少一个活检样本。通过抽吸使样本沿抽吸管移动，该抽吸管联接到具有单独的预先标记的室的收集室，以描绘来自活检规程的每个样本的顺序或位置。也可采用标记每个样本以允许进行位置识别和/或顺序识别的替代方式。此外，在针击发之后，可获得在针处于击发后位置的情况下的第三组图像。
40.乳房摄影系统100还可包括用于感测乳房摄影系统100的一个或多个部件和附件的一个或多个视觉传感器。该一个或多个视觉传感器可包括第一视觉传感器101和工作站视觉传感器102，如图1a所示。第一视觉传感器101可被配置为感测与x射线系统10相关联的一个或多个部件和附件。此外，第一视觉传感器101中的任一个视觉传感器可被配置为感测一个或多个用户和患者的形态和动作，而工作站视觉传感器102可用于监测工作站处的用户位置和/或动作。虽然本示例示出了用于实现针对乳房摄影系统100的视觉感测的两个相机，但应当理解，视觉系统可包括另外的相机或更少的相机，如下文进一步所述。此外，一个或多个视觉传感器可包括联接到x射线系统10的第二视觉传感器(图1a中未示出)。第二视觉传感器可用于捕获成像体积中的受压迫乳房的相机图像。因此，利用第二视觉传感器获得的相机图像可用于在采集x射线投影图像之前评估乳房位置。下文在图1b、图1c和图1d中描述了用于乳房位置评估的第二视觉传感器的位置和调节的细节。
41.图1b示出了视觉系统的示例性实施方案，该视觉系统包括用于监测相对于x射线系统150的视场的乳房位置和乳房形态的相机。具体地，示出了包括第二视觉传感器154的视觉传感器系统153。x射线系统150类似于图1a所述的x射线系统10，因此为了简洁起见，此
处将不再重复对类似部件和元件的描述。简而言之，x射线系统150包括机架158，该机架包括辐射源160、辐射检测器168和联接到支撑结构170的准直器(未示出)。x射线系统150还包括压迫桨164，该压迫桨用于将身体部位诸如乳房保持在抵靠辐射检测器168的顶表面的适当位置。压迫桨164可联接到机架158的支撑导轨172，并且可沿该支撑导轨在远离和朝向辐射检测器168的方向上向上和向下移动。机架158和压迫桨164的移动可经由相应的致动器基于来自通信地联接到x射线系统150的控制器(未示出)(诸如，图1a中的控制器44)的信号来控制。机架158可围绕支撑结构的竖直轴线顺时针和逆时针旋转到期望的程度。机架158的旋转移动由双端箭头186指示。此外，可通过竖直向上和向下移动机架158来调节机架高度，如双端箭头185所指示的。
42.第二视觉传感器154可联接到机架158，使得第二视觉传感器154的视场相对于x射线系统150的视场对准，具体地相对于位于机架158内的辐射源对准。第二视觉传感器154可用于在由x射线系统150执行的规程(诸如，乳房摄影成像、dbt成像或图像引导的活检)期间监测患者的乳房位置和乳房解剖界标。在一个示例中，第二视觉传感器154可被配置为将深度信息与rgb颜色信息组合的rgb
‑
d相机。此外，第二视觉传感器154可通信地联接到x射线系统150的控制器，并且由第二视觉传感器154捕获的一个或多个相机图像和相机图像序列可存储在该控制器的非暂态存储器中。此外，第二视觉传感器154可被配置为捕获移动和/或动作。例如，可获得持续时间内的相机图像序列，该相机图像序列可用于动作识别。
43.在一些实施方案中，第二视觉传感器154可被定位成以便除了监测和评估受压迫乳房位置之外，还监测和评估患者的局部部分。即，第二视觉传感器还可用于捕获患者的局部部分(例如，患者肩部)，并且因此除了提供受压迫乳房的视图之外，还提供患者的局部视图。
44.应当理解，在一些实施方案中，第二视觉传感器可被定位成使得包括压迫桨、检测器和受压迫乳房的成像体积经由第二视觉传感器154可视化。
45.合在一起，第二视觉传感器154可被调节(例如，通过调节视觉传感器154的位置而被调节)以查看和/或捕获成像体积(包括压迫桨、检测器和受压迫乳房)、成像体积和边缘体积，以及成像体积和患者的局部部分中的一者或多者。
46.此外，x射线系统150可包括第二控制站194，该第二控制站包括具有第二显示部分196的第二用户界面195，该第二显示部分具有适当的输入特征，以有利于控制系统150并查看由视觉系统153和x射线系统150中的一者或多者捕获的一个或多个图像。第二控制站194可以定位在x射线系统150附近，并且被示出为联接到x射线系统10。如本文所述，用于调节患者位置、乳房位置和x射线系统位置(例如，机架位置)中的一者或多者的实时反馈可经由第二控制站194提供给用户。即，经由第二用户界面195的第二显示196提供给用户。这样，在调节乳房和/或患者位置时，用户可容易地经由第二用户界面195的第二显示部分195来查看反馈。因此，第二控制站194靠近x射线系统150定位可允许用户同时查看实时相机反馈并调节患者和/或乳房位置。
47.虽然本示例示出了定位在x射线系统150的一侧上的第二控制站194，但类似于第二控制站194的第三控制站可定位在x射线系统的相对侧上。此外，第二控制站194可能够移除地联接到x射线系统150。因此，当需要时，可移除第二控制站并将其定位在相对侧上。
48.此外，在一个示例中，由第二视觉传感器154捕获的相机图像可被预处理以减少眩
光并提取相关图像数据，并且经处理的图像数据可用作到基于人工智能的深度学习模型(其存储在控制器中、连接到该控制器的边缘装置中、与该控制器通信的云中或它们的任何适当组合中)的输入，该基于人工智能的深度学习模型包括神经网络诸如卷积神经网络，该神经网络用于基于在定位乳房以利用x射线系统150进行各种成像和图像引导的规程期间检测到的乳房解剖界标来评估乳房位置。虽然乳房解剖界标(也被称为乳房结构)中的一些可根据视图(例如，cc或mlo视图)和规程(例如，乳房摄影或dbt)而变化，但可能存在被评估用于每个视图处的乳房定位的一些常见乳房解剖界标或乳房结构。下文在图2至图6中进一步讨论了基于利用第二视觉传感器154识别或检测的解剖界标来评估乳房位置的细节。
49.此外，第二视觉传感器154可定位在机架158上，使得第二视觉传感器154的视场包括压迫桨164以及压迫桨164和检测器168之间的成像体积。来自相机的一个或多个图像可用于检测压迫桨的边沿，并且检测压迫桨的在压迫桨的边沿之间的部分上的轮廓、开口、凹陷部、弯曲部和纹理中的一者或多者。基于所检测到的压迫桨属性，视觉系统可确定与乳房摄影系统一起使用的压迫桨的类型。
50.相对于图1c进一步示出了第二视觉传感器154的示例性定位。具体地，图1c示出了x射线系统150的透视图。第二视觉传感器154经由一对导轨定位在辐射源160的外壳上，使得相机能够沿轴线155在如箭头155所指示的向前和向后方向上移动。图1d示出了包括视觉传感器154的x射线系统的放大部分190。第二视觉传感器154安装在一对导轨157上，并且能够沿轴线155移动，并且能够围绕垂直于轴线155的轴线156旋转。在一个示例中，可经由沿156的旋转和/或沿155的移动来调节相机位置，使得第一相机154的视场与辐射源160的视场对准。在一个示例中，第二视觉传感器154可与x射线系统150集成。在其他示例中，视觉系统153可以是在需要时可能够移除地联接到x射线系统的临时系统。
51.返回到图1a，该一个或多个视觉传感器可通信地联接到控制器44。下文相对于图2进一步详细阐述了可由第一视觉传感器101和工作站视觉传感器102感测和监测的乳房摄影系统100的各种部件的细节，以及可响应于由相机进行的感测和监测而进行调节的乳房摄影系统100的各种致动器。
52.转到图2，示出了乳房摄影系统200的框图。乳房摄影系统200可以是图1的乳房摄影系统100的非限制性示例。简而言之，乳房摄影系统200可用于执行乳房摄影(诸如，常规乳房照片)、数字乳房断层融合和活检规程(诸如，立体定向活检或dbt引导的活检)中的一者或多者。乳房摄影系统200可包括医学视觉系统250，该医学视觉系统具有至少视觉传感器系统252和处理系统256，以执行对与乳房摄影系统200相关联的一个或多个附件和部件的感测、监测和分析中的一者或多者。此外，可经由处理系统256基于来自视觉传感器系统252的输入和由处理系统256对该输入进行的分析自动调节、控制和设置乳房摄影系统200，以在利用乳房摄影系统200执行的乳房摄影和活检规程中的一者或多者期间改善工作流程、乳房定位和患者定位。处理系统256可以是图1中的控制器44的非限制性示例，并且可被配置为从乳房摄影系统200的一个或多个传感器系统(包括视觉传感器系统252)接收信号，如下文进一步所述。除了经由乳房摄影系统200的用户界面286向用户和患者中的一者或多者提供包括一个或多个警示和指示的实时反馈之外，处理器还可被进一步配置为分析从传感器系统接收的数据，并且经由一个或多个x射线系统致动器276调节乳房摄影系统200的操作，如下文进一步所述。
53.乳房摄影系统200可包括x射线系统210和医学视觉系统250。x射线系统210可以是图1a所述的x射线系统10或图1b处的x射线系统150的示例。在一个示例性实施方案中，x射线系统210可被配置为用于执行乳房摄影规程的医学成像模态，以对患者的身体部分(诸如乳房)进行成像和分析。在另一个示例性实施方案中，x射线系统210可被配置为用于执行活检规程，诸如x射线引导的活检，以从患者的身体部分获得组织样本。此外，x射线系统210可从用于获得医学扫描图像的乳房摄影系统转换成活检系统，以执行用于提取组织以进行评估的活检规程。当x射线系统210用于执行活检规程时，活检装置212可联接到x射线系统210。活检装置212可以是图1a所述的活检装置的示例，并且可包括活检台、活检工具、活检工具界面、活检枪保持器和活检枪。此外，活检装置212可包括联接到x射线系统210和活检装置212中的一者或多者的一个或多个活检装置附件214。该一个或多个活检装置附件214可包括：针216，该针用于进入身体部分并提取组织部分以供临床医生进一步分析；适配器218；活检垫片220，该活检垫片用作身体部分的支撑件并用于在活检期间获得身体部分相对于针216的期望定位；压迫桨222，该压迫桨用于支撑身体部分并保持身体部分以便减少活检期间的移动；以及一个或多个模体224，该一个或多个模体用于在乳房摄影或活检之前执行质量检查。压迫桨222是相对于图1a描述的压迫桨40或图1b中的压迫桨164的示例。乳房摄影系统可被配置为经由医学视觉系统250监测部件(诸如，活检装置212)、活检装置212的不同部件和附件(诸如，活检装置附件214)中的一者或多者。
54.在一个示例性实施方案中，视觉系统250可用于检测压迫桨222的存在。此外，在检测到压迫桨时，视觉系统250可生成压迫桨222的一个或多个图像。然后可将压迫桨222的该一个或多个图像用于基于压迫桨222的一个或多个属性来识别压迫桨的类型/对压迫桨进行分类。
55.压迫桨222的该一个或多个属性可包括：桨的左边沿和右边沿之间的距离、在桨的左边沿和右边沿之间的顶部表面上存在或不存在一个或多个开口/凹陷部、桨的中部存在或不存在纹理差异、桨的左边沿和右边沿之间的表面上存在或不存在一个或多个弯曲部，以及桨的形状。基于检测到的属性，视觉系统250可识别附接到系统的压迫桨的类型。例如，可识别压迫桨的侧边沿，并且可计算边沿之间的距离。此外，基于压迫桨的该一个或多个图像，视觉系统可确定是否可检测到边沿之间的压迫桨表面的一个或多个其他属性，诸如轮廓、开口、凹陷部、弯曲部和/或纹理。边沿距离和压迫桨叶的其他属性可用于识别当前与乳房摄影系统一起使用的压迫桨的类型。在一些示例中，基于所识别的压迫桨的类型，视觉系统250可确定操作模式。例如，如果检测到特定于活检的压迫桨(例如，活检桨)，则视觉系统可确定用户旨在操作在活检模式下的乳房摄影系统。
56.此外，除此之外或另选地，可利用视觉系统250监测压迫桨222的位置变化。例如，在乳房摄影检查或活检检查期间，为了调节乳房位置，用户可移动压迫桨。视觉系统250可检测压迫桨222的移动，并且在压迫之后，基于已改变的压迫桨位置，控制器可命令调节准直器，使得乳房在x射线系统的视场内。
57.此外，在一些实施方案中，除了用户经由用户界面确认压迫桨位置之外或作为另外一种选择，还可用视觉系统来确定压迫桨的最终(锁定)位置。最终压迫桨位置可指示乳房处于用于成像的位置。在一个示例中，在确认压迫桨的最终位置时，可评估受压迫乳房的乳房位置，并且因此，可启动乳房位置评估界面并且可利用视觉系统250执行乳房位置评
估。在利用视觉系统250确认压迫乳房处于用于成像的期望位置时，乳房摄影系统可自动开始受压迫乳房的x射线图像采集。在另一个示例中，在确认压迫桨的最终位置时，可利用视觉系统250评估乳房位置和患者位置中的一者或多者。在确认乳房位置、患者位置和用户位置中的一者或多者处于用于成像的相应期望位置时，乳房摄影系统可自动开始x射线图像采集。
58.此外，在一些实施方案中，除了评估乳房位置、患者位置和用户位置中的一者或多者之外，在x射线图像采集之后，可进一步评估所采集的图像以确定在x射线图像中捕获了乳房的多个解剖界标。因此，除了在发起图像采集之前利用视觉传感器评估乳房位置之外，还可对所采集的x射线图像执行乳房位置评估。这样，可利用图像采集之后对乳房位置的第二评估来确定是否对期望的组织部分进行了成像，并且因此可减少患者召回的次数。
59.乳房摄影系统200还可被配置为使用医学视觉系统250监测x射线系统210周围的环境226。环境226可包括工作站228、用于成像的标本230(诸如，身体部分)、根据患者需要的轮椅232、根据所执行的活检的类型和患者生理状况的活检床234、患者236和用户237中的一者或多者。此外，乳房摄影系统200可被配置为经由医学视觉系统250监测相对于x射线系统210和环境226的过程、移动和动作中的一者或多者。移动和/或动作可包括患者移动、用户移动以及x射线系统的一个或多个附件的移动。
60.如上所述，医学视觉系统250包括视觉传感器系统252，该视觉传感器系统包括一个或多个相机254和图像处理系统256，该图像处理系统包括处理器258和非暂态存储器260。视觉传感器系统252可通信地联接到图像处理系统256。具体地，处理系统256可从视觉系统的一个或多个相机254接收一个或多个信号。视觉系统252的该一个或多个相机可类似于相对于图1a所述的相机101和102，并且因此，一个或多个相机254可感测乳房摄影系统200及其部件、附件和环境。来自一个或多个相机254的数据可被发送到处理系统256以用于进一步分析和存储。
61.在一个示例性实施方案中，包括一个或多个相机254的视觉传感器系统252可包括两个视觉传感器(两个相机101和102)，如图1a所示。在另一个示例性实施方案中，视觉传感器系统252可包括联接到相对于图1b所述的x射线系统150的另一个视觉传感器，诸如第二视觉传感器154。
62.处理系统256包括处理器258，该处理器被配置为执行存储在非暂态存储器260中的机器可读指令。处理器258可以是单核或多核的，并且在其上执行的程序可以被配置为用于进行并行或分布式处理。在一些实施方案中，处理器258可以任选地包括分布在两个或更多个装置中的单独部件，这些单独部件可以被远程定位以及/或者被配置用于协调处理。在一些实施方案中，处理器258的一个或多个方面可被虚拟化并且由以云计算配置进行配置的可远程访问的联网计算装置执行。根据其他实施方案，处理器258可以包括能够执行处理功能的其他电子部件，诸如数字信号处理器、现场可编程门阵列(fpga)或图形板。根据其他实施方案，处理器258可包括能够执行处理功能的多个电子部件。例如，处理器258可以包括从电子部件的列表中选择的两个或更多个电子部件，这些电子部件包括：中央处理器、数字信号处理器、现场可编程门阵列和图形板。在另外的实施方案中，处理器258可被配置为包括并行计算架构和并行处理能力的图形处理单元(gpu)。非暂态存储器260可存储神经网络模块262、相机图像数据264、附件监测模块266、用户输入监测模块268、环境监测模块270、
工作流程监测模块272和患者监测模块274。神经网络模块262可包括深度学习模块，该深度学习模块包括多个参数(包括权重、偏差、激活函数)以及用于实现该一个或多个深度神经网络以进行以下操作的指令：从视觉传感器系统252接收图像数据，识别对应于x射线系统部件和附件中的一者或多者的一个或多个对象，进一步识别一个或多个环境参数，并且还进一步识别与乳房摄影和活检中的一者或多者相关的一个或多个过程和动作。例如，神经网络模块262可存储用于实现深度学习模块的指令，该深度学习模块包括一个或多个神经网络，诸如卷积神经网络(cnn)。神经网络模块262可包括经训练和/或未经训练的神经网络，并且还可包括与存储在其中的该一个或多个神经网络有关的各种数据或元数据。非暂态存储器260还可存储训练模块(未示出)，该训练模块包括用于训练存储在神经网络模块262中的深度神经网络中的一个或多个深度神经网络的指令。可利用训练数据集执行训练，该训练数据集包括受压迫乳房的相机图像、模体的相机图像和从受压迫乳房的x射线图像重建的相机图像。
63.此外，使用来自视觉传感器系统252的输入，深度学习模块可识别乳房位置、乳房解剖界标、患者位置、患者形态、用户位置和用户形态。此外，使用来自视觉传感器系统252的输入，深度学习模块可评估乳房位置以及患者位置，并且基于该评估来确定一个或多个错误。该一个或多个错误可包括乳房定位错误、患者定位错误和用户错误，并且基于错误控制乳房摄影系统(例如，响应于检测到一个或多个错误而阻止图像采集)并且基于所检测到的错误提供实时反馈(例如，当乳房被定位时，视觉传感器可获得一个或多个图像，该一个或多个图像可以用于分析乳房位置和形态，并且基于该分析提供实时反馈)。
64.在一个示例中，第一深度学习模型可包括期望患者位置的参数，包括整个身体患者位置和相对于x射线系统的患者位置，其中期望的患者位置基于x射线系统的成像模式和待由成像系统采集的期望视图。此外，第二深度学习模型可包括期望乳房位置的参数，这些参数包括在x射线系统的成像体积中包括的一个或多个受压迫乳房特征，其中该期望乳房位置基于x射线系统的成像模式和待由成像系统采集的期望视图。在发起x射线图像采集之前，视觉传感器系统252可用于评估当前患者位置(相对于第一模型)和当前乳房位置(相对于第二模型)，并且可经由用户界面基于该评估向用户提供实时反馈。在当前患者位置与第一模型一致并且当前乳房位置与第二模型一致时，可发起x射线图像采集。下文将相对于图2至图8b所述的方法进一步详细阐述在图像采集之前评估乳房位置和患者位置的细节。
65.非暂态存储器260还可存储相机图像数据264。相机图像数据264可包括由视觉传感器系统252捕获的图像。例如，由视觉传感器捕获的图像可包括：包括x射线系统210(包括其部件和附件)的一个或多个乳房摄影系统、环境226以及与x射线系统210和环境226相关联的过程和/或动作的图像。相机图像数据264还可包括患者监测图像、用户监测图像和受压迫乳房图像。
66.非暂态存储器260还可存储附件监测模块266，该附件监测模块包括用于监测和分析一个或多个附件214和活检装置212的存在和当前位置的指令。
67.非暂态存储器260还可存储用户输入监测模块268，该用户输入监测模块包括用于监测和分析经由用户界面进行的用户输入的指令。
68.非暂态存储器260还可存储环境监测模块270，并且可存储工作流程监测模块272，该环境监测模块包括用于监测和分析环境226的指令，该工作流程监测模块包括用于监测
和分析一个或多个过程和动作238的指令。此外，非暂态存储器260可存储患者监测模块274，该患者监测模块用于监测和分析患者存在、患者位置以及患者进出检查室的移动中的一者或多者。除此之外，非暂态存储器260可存储用户监测模块，该用户监测模块用于监测和分析用户存在、用户位置和用户进出检查室的移动中的一者或多者。
69.非暂态存储器260还可存储医学图像数据275。医学图像数据275可包括由x射线系统210捕获的身体部分的扫描图像。
70.在感测和分析x射线系统210、环境226以及过程和动作238中的一者或多者时，图像处理系统256可基于该感测和分析向一个或多个x射线系统致动器276输出指令。x射线系统致动器276可包括图像采集致动器278、机架运动致动器280和床位置致动器，该图像采集致动器用于控制从辐射源(诸如，图1中的辐射源16)输出的辐射源，该机架运动致动器用于控制x射线系统210的机架位置，该床位置致动器用于例如基于环境226中是否存在物体诸如轮椅232来调节活检床位置。机架运动致动器280可包括用于调节机架升降、机架旋转和机架成角中的一者或多者的一个或多个致动器，其中机架升降运动包括机架沿x射线系统210的竖直轴线在向上或向下方向上的移动，机架旋转是检测器和x射线生成管围绕旋转轴线的旋转，并且机架成角是x射线管的旋转，而检测器仍保持在旋转的角度范围内。
71.x射线系统致动器276还可包括活检装置致动器，该活检装置致动器用于例如基于感测用户输入和实际x射线系统配置之间的一个或多个不一致来调节活检装置的操作，诸如击发活检针，如下文进一步详述。x射线系统制动器276还可包括用于调节压迫桨222的移动的压迫桨制动器285。
72.此外，在感测和分析x射线系统210、乳房位置、患者位置、环境226以及过程和动作238中的一者或多者时，图像处理系统256可经由用户界面286输出一个或多个警示，包括实时反馈。用户界面286可以是图1a中的用户界面56的示例。由处理系统256经由用户界面286输出的该一个或多个警示可包括视觉警示288和听觉警示290中的一者或多者。其他类型的警示诸如触觉警示也在本公开的范围内。此外，处理系统256可被配置为更新用户界面286上的图像采集输入292，并相应地调节x射线系统设置、配置和操作中的一者或多者。此外，处理系统可被配置为更新用户界面286上的附件信息输入294，并相应地调节x射线系统设置、配置和操作。
73.应当理解，图2所示的图像处理系统256是用于说明而非限制。另一种合适的图像处理系统可以包括更多、更少或不同的部件。
74.转到图3，示出了高级流程图，该高级流程图示出了用于评估乳房位置、乳房解剖结构、患者位置、患者形态、用户位置和用户形态中的一者或多者的方法300。具体地，可在发起图像采集之前、成像系统(诸如，图1a的x射线系统)的操作期间实现方法300，以便评估待成像身体部位相对于x射线成像系统的位置以及患者相对于x射线系统的位置。方法300可以由图像处理系统(诸如，图1a中的控制器44)、连接到图像处理系统的边缘装置、与图像处理系统通信的云或它们的任何适当的组合来实现。参照图1a至图1d的系统和部件描述了方法300，但应当理解，方法300可在不脱离本公开的范围的情况下用其他系统和部件来实现。此外，虽然相对于乳房的定位以及相对于图1a至图1d所述的x射线乳房摄影系统描述了方法300和本文的其他方法，但应当理解，本文所述的用于(身体部分和患者的)定位评估的方法和系统可利用其他成像模态(诸如，基于x射线的成像模态，包括ct、dxa、spect等)和其
他模态(诸如，mri等)来实现。
75.方法300在302处开始。在302处，方法300包括确定x射线成像系统的操作模式。操作模式可以是用户(即，技术人员)旨在与x射线系统一起执行的当前操作模式。在一个示例中，可基于用户输入来确定操作模式。在另一个示例中，视觉感测系统可用于基于由视觉系统检测到的一个或多个附件来确定操作模式。
76.接下来，在304处，方法300包括确认当前操作模式是否为质量检查(qc)模式和清洁模式中的任一者。如果304处的答案为是，则方法300前进至305。在305处，方法300包括评估用户位置和用户形态中的一者或多者。用户位置包括用户相对于x射线系统的位置。用户位置还可包括用户在时间帧内从一个位置到另一个位置的移动、用户的姿势(例如，坐、站等)。用户位置可相对于x射线系统的参考轴线(例如，图1a中的竖直轴线60)来确定，并且可基于来自第一视觉传感器(诸如，图1a中的视觉传感器101)的输入来监测。第一视觉传感器可以是例如三维深度感测相机。在一个实施方案中，视觉传感器可不直接联接到x射线系统，并且可被定位(例如，在容纳x射线系统的房间内)成使得当用户在x射线系统的阈值周边内时，用户和x射线系统在视觉传感器的视场中。阈值周边可基于x射线系统所位于的检查室的大小。在另一个实施方案中，第一视觉传感器可联接到x射线系统以估计和监测用户位置和形态。虽然本示例描绘了用于用户位置和用户形态评估的一个视觉传感器，但应当理解，可使用两个或更多个视觉传感器。例如，视觉传感器101和工作站视觉传感器102可用于监测用户形态和位置。
77.来自第一视觉传感器的输入可由视觉传感器数据处理器使用，以执行对视觉传感器的视场中的一个或多个用户的跟踪，并且基于该跟踪来评估用户位置。在一个示例中，输入(例如，深度信息)可用于执行骨骼跟踪，其中识别和分析用户的多个关节以确定用户的移动、姿势、位置等。例如，骨骼跟踪期间关节的位置可用于确定上述用户参数。
78.除了用户相对于x射线系统的位置之外，第一视觉传感器还可用于估计用户形态参数，包括用户的身高。在一个示例中，类似于对用户位置的确定，可基于骨骼跟踪数据来估计用户身高。在另一个示例中，用户的多个点云(表示用户的数据集)的最高点和最低点可用于估计用户身高。点云可从利用视觉传感器获得的二维图像和三维图像中的一者或多者获得。
79.接下来，方法300前进至306。在306处，方法300包括基于用户位置和形态调节x射线系统以进行qc或清洁。在一个示例中，控制器可调节x射线系统的一个或多个特征以进行清洁。该一个或多个特征可包括机架导轨上的压迫桨保持器位置、检测器位置、机架位置和控制站(在本文中也称为工作站)位置。可基于用户身高将上述特征调节至相应的清洁位置以进行更快且有效的清洁。即，x射线系统可适于基于用户位置和用户形态来适合用户以进行qc和/或清洁。如上所述，基于来自视觉系统的用户的相机图像，控制器可评估用户身高，并且基于用户身高自动调节压迫桨和/或检测器的位置以进行qc和/或清洁。因此，提高了规程的效率。此外，用户位置可用于确定调节顺序。例如，当检测到用户更靠近x射线系统时，可调节机架位置和压迫桨位置以进行清洁，而可在用户移动更靠近控制站时调节控制站位置。
80.如果要执行qc规程，则x射线系统可基于用户身高和位置来调节包括压迫桨位置、机架位置和工作站位置的该一个或多个特征。在基于用户位置和形态调节x射线系统的一
个或多个特征后，方法300结束。
81.返回到304，如果qc或清洁模式未被确认，则方法前进至307。在307处，方法300包括确认x射线系统是用于执行乳房摄影、dbt还是图像引导的活检规程。即，方法300包括确定x射线系统的期望操作模式是乳房摄影模式、dbt模式还是图像引导的活检模式。
82.在一个示例中，可基于用户在x射线系统的用户界面上做出的指示来确定x射线系统的操作模式。在一个示例，控制器可基于用户启动对应于操作模式的应用界面来确定操作模式。例如，基于用户指示确定操作模式可包括：响应于用户启动图像引导的活检界面而确定图像引导的活检模式，响应于用户启动dbt成像界面而确定dbt模式，以及响应于用户启动乳房摄影界面而确定乳房摄影模式。应当理解，其他用户指示模式(诸如，用户在用户界面上选择对应图标、在用户界面上输入期望模式等)可用于确认操作模式，并且在本公开的范围内。除了用户指示之外或作为另一种选择，可基于视觉感测系统检测到与对应规程相关联的一个或多个附件的存在来确定操作模式。例如，响应于检测到定位在x射线系统的检测器表面上的活检装置，控制器可确定期望的操作模式是图像引导的活检模式。在这种情况下，用于图像引导的活检的应用界面可在检测到活检装置的存在时自动启动。
83.如果期望的操作模式是乳房摄影模式，则方法300前进至308。在308处，方法300包括评估患者形态，并且基于患者形态调节x射线系统。患者形态可包括患者体型，该患者体型包括患者身高、患者体重和患者身体质量指数中的一者或多者。在一个示例中，患者体型可基于经由用户界面的用户指示来确定。在另一个示例中，可通过利用第二视觉传感器来估计患者体型。基于患者形态调节x射线系统可包括基于患者形态调节机架位置(例如，可基于患者身高调节机架的升降)和x射线准直(例如，可控制准直板以匹配乳房的区域)中的一者或多者。
84.在调节x射线系统后，方法300前进至314。在314处，方法300包括利用第二视觉传感器基于一个或多个乳房解剖结构评估乳房位置，以及利用第一视觉传感器针对一个或多个乳房摄影视图评估患者位置。将在图4a和图4b中讨论针对乳房摄影视图评估乳房位置和患者位置的细节。
85.如果期望的操作模式是dbt模式，则方法300前进至310以评估患者形态并基于该评估调节x射线系统。步骤310类似于步骤308，并且将不重复。
86.接下来，方法300前进至316。在316处，方法300包括利用第二视觉传感器基于一个或多个乳房解剖结构来评估多个乳房位置，并且利用第一视觉传感器评估在断层融合的角度范围内的多个角度下的多个患者位置。图5和图6讨论了评估该多个乳房位置和该多个患者位置的细节。简而言之，在开始x射线图像采集之前，通过在dbt采集期间将机架移动到对应于x射线源位置的几个成角并且利用rgb
‑
d相机确保乳房根据需要定位，来评估乳房和患者位置。例如，虽然患者的腹部或肩部或对侧乳房在第一初始dbt位置可能不可见，但在不同的dbt成角下，这些额外的结构可能是可见的。因此，在dbt期间，评估在多于一个x射线管成角下的乳房位置和/或患者位置。
87.如果期望的操作模式是图像引导的活检模式，则该方法前进到312。在312处，方法300包括评估患者形态，以及基于该患者形态调节床位置和x射线系统中的一者或多者。患者形态可包括患者体型，该患者体型包括患者身高、患者体重和患者身体质量指数中的一者或多者，上述内容可如上文在308处所述的那样确定和/或估计。此外，可(例如，经由活检
床致动器)调节活检床位置，以基于患者形态调节活检床高度和倾斜度中的一者或多者。此外，基于患者形态调节x射线系统可包括基于患者形态调节机架位置和x射线准直中的一者或多者。以这种方式，在评估患者位置和乳房位置中的一者或多者之前，可评估患者形态，并且可调节x射线系统以为患者自动设置x射线系统。
88.318.在318处，方法300包括利用第二视觉传感器基于乳房的一个或多个解剖结构，利用第二视觉传感器评估活检装置位置，以及利用第一视觉传感器评估用于活检的患者位置。对活检乳房位置的评估可基于用于引导活检的成像类型。例如，如果执行了dbt引导的活检，则对活检乳房位置和患者身体位置的评估可类似于dbt的定位评估和反馈，如下文在图5和图6中所述。除了乳房位置和患者身体定位之外，还可评估活检装置位置，并且可提供实时反馈以减少由于与活检装置相关联的金属对象引起的成像伪影。
89.转到图4a，示出了高级流程图，该高级流程图示出了用于评估乳房位置和患者位置中的一者或多者并且向用户提供实时反馈以获得用于乳房摄影的期望乳房位置的方法400。具体地，方法400可在发起x射线图像采集之前执行，以便确保实现期望的乳房位置。乳房位置评估可基于来自第二视觉传感器(诸如，图1b中的第二视觉传感器154)的输入来执行，并且患者位置评估可基于来自第二视觉传感器和第一视觉传感器(诸如，图1a中的相机)中的一者或多者的输入来执行。在一些示例中，第二视觉传感器还可用于捕获患者的局部部分(例如，患者肩部)，并且因此除了提供受压迫乳房的视图之外，还提供患者的局部视图。方法400可由图像处理系统(诸如，图1a中的控制器44)、连接到图像处理系统的边缘装置、与图像处理系统通信的云或它们的任何适当的组合来实现。参照图1a至图1d的系统和部件描述了方法400，但应当理解，方法400可在不脱离本公开的范围的情况下用其他系统和部件来实现。此外，实时反馈可经由用户界面的显示部分提供，该用户界面联接到x射线乳房摄影系统并且定位在x射线乳房摄影系统附近，使得用户可查看在用户界面上显示的实时反馈和图像，同时进行必要的乳房、患者和x射线系统调节，以获得用于采集的期望乳房定位。靠近x射线系统定位的示例性用户界面在图1b和图1c中在用户界面195处示出，并且实时反馈和图像可显示在用户界面195的显示部分196上。除此之外，实时反馈和图像也可经由显示部分50显示在工作站用户界面50处。
90.此外，应当理解，本文所述的系统和方法可允许用户在需要时采取必要的动作。例如，在一些示例中，如果用户想要继续利用当前位置进行图像采集，即使实时反馈可能指示附加调节，也可例如经由用户界面提供选项，以便用户利用当前位置发起图像采集。
91.方法400在402处开始。在402处，方法400包括确认待成像的乳房是否被压迫在压迫桨(诸如，图1b中的压迫桨164)和检测器(诸如，图1b中的检测器168)之间。在一个示例中，可基于来自联接到压迫桨的力传感器和压力传感器中的一者或多者的压迫反馈来确定乳房压迫。在另一个示例中，可基于经由用户界面对压迫进行的用户确认来确定乳房压迫。在又一个示例中，除了用户确认之外或作为另一种选择，可基于压迫桨的最终(锁定)位置来确定乳房压迫。例如，压迫桨位置可基于来自第一视觉传感器和第二视觉传感器中的一者或多者的输入来确定。最终压迫桨位置可指示乳房被压迫以用于后续定位评估，并且稍后用于x射线乳房摄影成像。如果乳房压迫被确认，则402处的答案为是，并且方法400前进至406。
92.如果乳房压迫未被确认，则402处的答案为否，并且方法400前进至404。在404处，
方法400包括基于来自第一视觉传感器和第二视觉传感器中的一者或多者的输入来评估乳房形态和患者形态。可执行对乳房形态和患者形态的评估，以在发起压迫之前基于乳房形态和患者形态以及要执行的成像规程的类型来识别一个或多个优选的压迫桨类型。因此，评估乳房形态可包括估计患者的乳房尺寸，该乳房尺寸可包括乳房厚度，并且评估患者形态可包括估计患者身高。在一个示例中，可从第一视觉传感器和第二视觉传感器获得患者的不同视图，诸如患者的前视图和侧视图，并且成像处理器可利用不同视图的相机图像来估计乳房尺寸和患者身高。成像处理器可利用乳房尺寸、患者身高和成像模式经由用户界面(诸如，图1b和图1c的用户界面195)向用户指示用于期望成像模式和患者的一个或多个优选压迫桨。
93.此外，在一些实施方案中，在发起压迫之前，基于患者形态和期望视图(例如，乳房摄影的cc视图或mlo视图)，可向用户提供关于患者相对于x射线系统的初始定位(诸如，坐、站、下弯等)的实时指导。实时引导可以是语音反馈和/或用户界面上的指示。
94.继续到405，方法400可监测乳房压迫。然后方法400返回。
95.返回到406，在确认乳房压迫时，方法400包括基于乳房摄影的期望视图来调节第一视觉传感器位置和第二视觉传感器位置，其中第一视觉传感器用于患者位置评估，第二视觉传感器用于乳房位置评估和患者位置评估中的一者或多者。
96.在一个示例中，可调节第一视觉传感器位置，使得第一视觉传感器的视场包括患者的整个身体、受压迫乳房和x射线成像系统。在另一个示例中，可调节第一视觉传感器位置，使得患者的上部身体部分(例如，从头部的顶部直到腰部)、受压迫乳房和x射线系统的一部分(包括成像体积(该成像体积包括压迫桨、乳房和检测器)、机架和支撑柱的一部分)在第一视觉传感器的视场中。此外，在其他示例中，附加地，可调节第一视觉传感器位置以获得用于沿水平成像平面(例如，平行于检测器表面)测量支撑柱和患者肩部之间的距离的视图。例如，该视图可以是患者身体和x射线成像系统的侧视图。此外，应当理解，第一视觉传感器位置可基于患者的位置(坐、站或下弯)。
97.第二视觉传感器可被定位成获得从x射线源生成的x射线光束的视场。第二视觉传感器定位在机架上，并且因此，在一个示例中，可基于乳房摄影期望视图来调节机架，使得第二视觉传感器捕获与期望视图一致的图像。例如，如果期望视图是头尾(cc)视图，则可调节第二相机和机架，使得x射线源相对于检测器处于内侧位置(其中x射线源的竖直轴线诸如竖直轴线60垂直于检测表面)，并且第二视觉传感器的竖直轴线垂直于检测表面，使得第二视觉传感器捕获受压迫乳房的cc视图。此外，可调节第二视觉传感器位置，使得x射线视场在相机视场内。在一个示例中，第二视觉传感器的视角可大于x射线源的锥角。图8a示出了用于cc视图评估的x射线源和第二视觉传感器的示例性定位。
98.转到图8a，示出了x射线系统(诸如，图1a中的x射线系统10)的一部分800。图8a的许多元件对应于上文已针对图1a至图1d描述的类似标号的元件；为了简洁起见，将不再描述此类元件。部分800示出了在cc视图的内侧位置处的x射线系统的x射线源802(其中竖直轴线60垂直于检测器168)、第二视觉传感器154(其竖直轴(未示出)也垂直于检测器168)，以及定位在检测器168和压迫桨164之间的受压迫乳房811。乳房位置可在发起x射线乳房摄影扫描之前进行评估。因此，可调节视觉传感器154，使得视觉传感器的视角α2包括受压迫乳房811并且大于x射线源802的锥形光束812的锥角α1。此外，视觉传感器154的相机视场
816(包括水平视场和竖直视场)可大于检测器的投影视场814。
99.返回到图4a的步骤406，如果期望视图是内外侧斜位(mlo)视图，则可调节机架，使得x射线源相对于内侧位置成角度(例如，45度)，并且第二视觉传感器的竖直轴线也相对于内侧位置成相同角度，使得第二视觉传感器在发起x射线乳房摄影扫描之前捕获受压迫乳房的mlo视图。此外，对于mlo视图，相机位置可为针对cc视图所述的相机位置，其中x射线视场在相机视场内。在一个示例中，第二视觉传感器的视角可大于x射线源的锥角。图8b示出了用于mlo视图评估的x射线源和第二视觉传感器的示例性定位。
100.转到图8b，示出了x射线系统(诸如，图1a中的x射线系统10)的一部分850。图8b的许多元件对应于上文已针对图1a至图1c描述的类似标号的元件；为了简洁起见，将不再描述此类元件。部分850示出了x射线系统的x射线源802、第二视觉传感器154和压迫乳房811，该x射线源被定位成相对于竖直轴线60成45度角以用于mlo视图，该第二视觉传感器的竖直轴线860也相对于竖直轴线60成45度，该压迫乳房被定位在检测器168和压迫桨164之间。乳房位置可在发起x射线乳房摄影扫描之前进行评估。因此，可调节视觉传感器154，使得视觉传感器的视角α2包括受压迫乳房811并且大于x射线源802的锥形光束812的锥角α1。此外，视觉传感器154的相机视场822(包括水平视场和竖直视场)可大于检测器的投影视场820。
101.返回到图4a的步骤406，在基于期望视图(cc视图或mlo视图)调节第一相机位置和第二相机位置后，方法400前进至408。在408处，方法400包括针对眩光评估初始相机图像。例如，检查室灯和相机透镜可在相机图像上生成眩光，这可降低对乳房位置的后续评估。因此，在针对期望视图定位相机之后，可获得一个或多个初始相机图像，并针对眩光对该一个或多个初始相机图像进行评估。根据眩光的量和眩光的位置，可调节包括相机位置、灯光和偏振的一个或多个相机图像捕获参数以及相机图像处理参数以减少眩光。图7描述了用于评估眩光以及执行眩光减少调节的示例性方法。
102.继续到410，方法400包括确定期望视图是cc视图还是mlo视图。例如，可基于用户指示来确定期望视图。
103.如果期望视图是cc视图，则方法400前进至412。在412处，方法400包括从第一视觉传感器获得第一相机图像，并且从第二视觉传感器获得第二相机图像。在一个示例中，第一相机图像和第二相机图像可用作基于人工智能的深度学习模型的输入，用于评估cc视图中的受压迫乳房位置和患者位置。在另一个示例中，除此之外或另选地，可使用不基于人工智能的一种或多种图像处理算法和分割算法，诸如数学形态学、活动轮廓算法等。
104.接下来，在414处，方法400包括确定在第二相机图像中是否识别出受压迫乳房的胸肌。具体地，方法400可确定胸肌是否包括在检测器和压迫桨之间的受压迫乳房内。在一个示例中，第二相机图像可包括rgb图像和深度图像。可基于rgb图像和深度图像中的一者或多者的分割来识别胸肌。例如，可使用掩膜区域
‑
卷积神经网络(掩膜r
‑
cnn)深度学习算法来检测胸肌区域。
105.如果未识别出胸肌，则414处的答案为否，并且方法400前进至416。在416处，该方法包括基于来自第一相机的输入来评估患者位置。评估患者位置包括评估距x射线系统的患者肩部距离、患者头部位置、患者脚部位置、患者姿势、身体旋转和患者脊柱位置。在评估患者肩部距离时，对应于成像的乳房的同侧的患者肩部距支撑柱(诸如，图1b和图1c的支撑柱170)的竖直边缘的距离。也就是说，如果对右乳房进行成像，则可确定距支撑柱的对应竖
直侧边缘的右肩部距离，并且如果对左乳房进行成像，则可确定距支撑柱的对应竖直侧边缘的左肩部距离。如果患者肩部距离大于阈值肩部距离，则可确定患者不足够靠近x射线系统。如果患者肩部距离小于阈值肩部距离，则可确定患者足够靠近x射线系统以充分包括乳房组织，并且因此不需要调节关于肩部距离的患者位置。
106.此外，基于患者的第一相机图像和x射线系统，可评估肩部下垂的水平。为了包括更大量的乳房组织，并且减少胸肌的收紧，肩部可能下垂，并且因此，控制器可评估患者的肩部到耳部的距离以确保肩部未升高。因此，控制器可确定患者肩部和同侧耳部之间的肩部到耳部距离是否大于阈值，该阈值基于患者形态。因此，可确定患者的肩部和同侧耳部之间的距离以评估下垂水平，其中耳部和肩部之间距离越大，下垂水平越大。
107.在评估患者位置后，方法400前进至418。在418处，方法400包括经由用户界面向用户指示胸肌未被牵拉入(基于416处的评估的)患者位置。具体地，如果患者肩部距离大于阈值，则控制器可指示患者比期望的更远离x射线系统。因此，可向用户提供实时反馈以调节患者位置和乳房位置，从而移动患者使其更靠近x射线系统并且包括更多乳房组织以用于压迫，使得胸肌被包括。
108.如果患者位置指示患者肩部距离在阈值距离内，则在下一步骤(即，在418处)处，方法400包括经由用户界面向用户指示胸肌不可见但患者在距支撑结构的阈值距离内。此外，实时反馈可包括在不移动患者使其更远离竖直柱的情况下牵拉另外的乳房组织以用于压迫的指示。
109.除此之外，如果肩部到耳部的距离大于阈值，则方法400包括指示(在418处)患者处于期望的下垂位置，并且不需要进一步的肩部调节。因此，实时反馈可包括在减少患者身体移动的情况下牵拉另外的乳房组织的指示。然而，如果肩部到耳部的距离小于阈值，则方法400包括指示患者的肩部升高，并且可包括提供反馈以调节患者位置使得肩部下垂到期望水平，并且牵拉另外的乳房组织以用于压迫。
110.以这种方式，基于从来自第二相机的受压迫乳房图像识别的受压迫乳房的解剖界标和相对于x射线系统的患者位置以及来自第一相机图像的患者姿势来向用户提供实时反馈。
111.在一个示例性实施方案中，如果肩部距离和肩部到耳部的距离满足其相应的标准，则可评估一个或多个另外的患者位置参数，包括患者脚部位置、患者身体旋转(向内侧略微转动)和患者脊柱位置(从腰部朝向x射线系统倾斜)中的一者或多者，并且可相应地提供反馈以调节患者位置。例如，可确定患者的脚部是否指向x射线系统。如果不是，则可提供实时反馈以将患者脚部调节为指向x射线系统。
112.在一个示例中，实时反馈可包括与用户界面上的一个或多个指示组合的语音反馈。这些指示可包括针对叠加在相机图像上的期望位置和取向的图形指示，以便帮助用户实现正确的患者位置。
113.在向用户提供实时反馈时，方法400可继续采集第一相机图像和第二相机图像，并且可返回到414以评估在调节之后是否包括胸肌。应当理解，在每个反馈以及用户进行的对应乳房和/或患者位置调节之后，第一视觉传感器和第二视觉传感器可采集新相机图像，然后这些相机图像被输入ai模型中以用于进一步的后续乳房和患者位置评估。因此，在步骤418、424、428和442处的实时反馈之后，在评估接下来的乳房位置和患者位置之前，可采集
来自第一视觉传感器和第二视觉传感器的新相机图像以用于后续分析。
114.返回到414，如果识别出胸肌，则414处的答案为是，并且方法400前进至420。在420处，方法400包括评估外侧组织和内侧组织是否包括在受压迫乳房组织中。具体地，评估内侧组织的包括包括确定内侧边界是否被明确限定，这可基于例如切割的可视化。对外侧组织的包括的评估还包括确定包括外侧边界的外侧方面是否被明确限定。
115.如果不包括外侧组织和内侧组织，则420处的答案为否，并且方法400前进至422。在422处，方法400包括基于来自第一相机的输入来评估患者位置。具体地，可针对可增加内侧组织和外侧组织的包括的患者位置参数来评估患者位置。关于内侧组织和外侧组织包括的患者位置参数包括患者的头部位置和患者的肩部位置中的一者或多者。为了包括足够的内侧组织，患者的头部可朝向对侧转动。然而，如果头部倾斜，则可能不包括足够的内侧组织。因此，可确定头部朝向对侧的倾斜水平，并且此外，可基于头部位置和肩部位置来确定头部是否朝向对侧转动。
116.此外，在一些示例中，为了增加内侧组织的包括，可评估患者的对侧乳房位置。
117.除此之外，在一些示例中，可(例如，利用第一相机)评估机架位置，并且可提供实时反馈。例如，可调节机架以在fov中包括正确的组织。机架可位于患者的乳房下皱褶处以得到所需组织的某个位置处。
118.在评估患者位置以包括内侧组织和外侧组织后，方法400前进至424。在424处，方法400包括指示不包括所有外侧组织和内侧组织。此外，可指示对患者位置的评估，并且可基于该患者位置评估来提供反馈。在一个示例中，如果倾斜水平小于倾斜阈值，并且如果头部朝向对侧转动，则控制器可指示头部位置处于包括内侧组织和外侧组织的期望位置，并且可提供实时反馈以牵拉更多的乳房组织以包括内侧组织和外侧组织。如果患者位置指示倾斜水平大于倾斜阈值，则控制器可指示头部倾斜，并且可向用户指示重新定位头部以将患者头部转动到对侧(即，与正被压迫的乳房的一侧相对的一侧)。
119.如上所述，实时反馈可包括与用户界面上的一个或多个指示组合的语音反馈。这些指示可包括针对叠加在相机图像上的期望位置和取向的图形指示，以便帮助用户实现正确的患者位置。
120.此外，方法400可包括确定是否包括腋窝组织。腋窝组织的包括可基于受压迫乳房轮廓和腋窝末尾轮廓的轮廓。腋窝末尾应位于检测器上方。可通过深度学习方法如掩膜r
‑
cnn方法或通过图像处理(例如，图案匹配)来检测腋窝末尾。
121.以这种方式，可在确认胸肌的期望包括之后针对内侧组织和外侧组织以及腋窝组织的包括评估乳房位置和患者位置，并且可向用户提供基于由第一传感器和第二传感器采集的相机图像的实时反馈，以改善用于期望的乳房摄影视图的乳房定位。
122.在提供针对外侧组织和内侧组织包括的反馈后，方法400返回到420以继续评估内侧组织和外侧组织包括。
123.在420处，如果确认包括内侧组织和外侧组织，则420处的答案为是，并且该方法前进至426。在426处，方法400包括针对cc视图确定乳头是否具有轮廓。具体地，乳头轮廓必须是可见的，并且此外，乳头可居中定位并且不应指向内侧或外侧。可基于来自第二视觉传感器的一个或多个相机图像使用形状和颜色描述符来评估乳头位置。
124.如果乳头不具有轮廓或者不指向中心，则426处的答案为否，并且方法400前进至
428。在428处，方法400包括基于乳头位置评估向用户指示乳头不具有轮廓或不指向中心。此外，可提供一个或多个反馈以调节乳头位置。该反馈包括利用对准线注释来自第二视觉传感器的相机图像，该对准线指示乳头应该沿其定位的中心线。此外，可利用例如箭头指示当前未对准。
125.此外，在426处，方法400可包括确定受压迫乳房是否居中定位在检测器上，以及乳房的左部分和乳房的右部分是否是对称的(在本文中也被称为左右对称)。这可包括确定相机图像上对着检测器边缘线位置的乳头，并且确定对着检测器线的乳头左侧的左部分和对着检测器线的乳头右侧的右部分相对于形状、面积和体积中的一者或多者在阈值限制内显示对称。此外，可提供实时反馈以将乳房居中定位并获得左右对称。这包括可在相机图像上示出对当实现中心位置时受压迫乳房存在于其中的中心区域(或矩形框)的注释，并且可在相机图像上指示牵拉/调节乳房以获得可接受的左右对称的方向。
126.如果乳头具有轮廓并处于中心位置，则426处的答案为是，并且方法400前进至432。在432处，方法400包括确认乳房间沟是否可见。可基于rgb图像和深度图像中的一者或多者的分割来确定乳房间沟的可见性。在另一个示例中，可使用cnn算法(诸如，掩膜r
‑
cnn深度学习算法)基于相机图像检测乳房间沟的可见性。如果乳房下皱褶不可见，则方法400前进至434。在434处，方法400包括经由用户界面指示乳房间沟不可见，并且提供反馈以调节乳房组织从而将乳房间沟包括在受压迫乳房体积中。该指示可以是图形指示，诸如指向乳房间沟预期可见的位置的箭头。此外，该指示可包括在相机图像上突出显示乳房的待调节以便包括乳房间沟的特定区域。此外，可指示乳房移动的方向以进行调节。例如，图形指示诸如箭头可用于向用户指示牵拉乳房的方向。在一些实施方案中，除此之外，也可利用指示向用户呈现不期望移动(诸如，乳房的旋转)，以不执行不期望移动。此外，可提供关于保持当前患者位置的一个或多个指示。在一些实施方案中，指示可以动画方式显示。除了上述图形指示之外，还可提供语音反馈以引导用户定位乳房。然后，方法400返回到监测乳房间沟的包括。
127.如果乳房间沟可见，则432处的答案为是，并且方法400前进至436。在436处，方法400包括确认是否检测到一个或多个皱褶。该一个或多个皱褶可包括处于压迫下的乳房上的皮肤皱纹和皮肤皱褶中的一者或多者。具体地，方法400可确定是否在受压迫乳房的末尾区域、外侧区域和内侧区域中的一者或多者中检测到一个或多个皮肤皱褶。在x射线成像期间，皮肤皱纹和/或皱褶可导致成像伪影或使附近的解剖结构模糊。因此，如果检测到一个或多个皱褶，则436处的答案为是，并且方法400前进至442。在442处，方法400包括向用户指示一个或多个皱褶可见，并且还包括例如经由图形指示注释相机图像以示出一个或多个皱褶。此外，可提供关于期望调节的反馈以减少该一个或多个皱褶。例如，提供语音反馈和/或用户界面上的指示，以通过朝向乳头牵拉皮肤来平滑该一个或多个皱褶。此外，附加地，可利用指示向用户指示不期望移动的方向(向上后方牵拉皮肤)，以避免不期望移动。方法400然后返回到436以监测该一个或多个皱褶。
128.在436处，如果未检测到一个或多个皮肤皱褶/皱纹，则方法400前进至438。在438处，方法400包括经由用户界面向用户指示针对x射线采集确认了乳房位置和患者位置。继续到440，方法400包括采集受压迫乳房的cc视图的一个或多个x射线投影图像。然后方法400结束。
129.这样，一个视觉传感器可用于评估乳房位置并提供实时反馈以获得针对cc视图的期望乳房定位；并且另一个视觉传感器可用于评估患者位置并提供实时反馈以调节患者位置，使得可实现针对cc视图的期望乳房位置。因此，可基于来自两个视觉传感器的输入来调节乳房位置和患者位置，以获得一致且高质量的乳房照片。
130.虽然上述方法描述了评估乳房位置和患者位置，但在一些实施方案中，可利用第二相机独立于患者位置来评估乳房位置，并且这在本公开的范围内。例如，基于来自第二相机针对cc视图的相机图像评估乳房位置可包括胸评估、外侧组织和内侧组织评估、乳头位置评估以及一个或多个皮肤皱褶和皱纹评估。此外，可基于乳房位置评估来提供实时反馈。该实时反馈可包括一个或多个乳房位置调节和患者位置调节。
131.在其他实施方案中，可独立于乳房位置来评估监测/评估患者位置。在一个示例中，可评估乳房位置，并且在确认了期望乳房位置时，可利用第一相机和第二相机中的一者或多者来评估患者位置，并且可提供实时反馈以在发起图像采集之前获得期望的患者位置。在另一个示例中，可单独评估患者位置，并且可提供实时反馈以在发起图像采集之前获得期望的患者位置。
132.此外，在一些示例中，用于乳房位置监测的第二相机可用于评估患者位置。例如，可分析来自第二相机的图像以检查不相关结构诸如对侧乳房、患者腹部等是否在第二相机的视场中不可见，并且因此在x射线源的视场中不可见。因此，可减少可能遮挡受压迫乳房组织的可视化的不相关结构。
133.此外，应当理解，评估顺序(其中首先评估胸肌，然后评估内侧组织和外侧组织、乳头轮廓和imf，最后评估皱褶)允许有效且更快的评估和反馈。
134.此外，可执行乳房位置和患者位置评估中的一者或多者，并且可针对其他视图提供实时反馈，这些其他视图包括但不限于：内外侧视图(ml视图)、外内侧视图(lm视图)、外内侧斜位视图(lmo视图)、内外侧后视图、台阶式斜视图、点压迫视图、双点压迫视图、腋窝视图、切割视图、切向视图、反向cc视图、滚动cc视图、靶心cc视图、升高的头尾投影、尾头投影、斜投影和下内侧上外侧斜位投影。
135.返回到410，如果期望视图是mlo视图，则方法400前进至图4b中的446。在446处，方法400包括基于利用第二视觉传感器采集的受压迫乳房的相机图像来确定胸肌边缘是否被明确限定。在一个示例中，评估mlo视图中的胸肌可包括评估腋窝位置、乳房边界角度和曲率中的者或多者。为了检测乳房形状，可利用经典的相机图像分割方法。在另一个示例中，可基于x射线图像和对应的相机(rgb
‑
d)图像来训练卷积神经网络(cnn)。例如，在x射线图像上，如果根据需要定位了一个或多个乳房位置评估参数(例如，胸肌边缘)，则可确定对应的相机图像以示出针对该一个或多个乳房位置评估参数的期望受压迫乳房位置。因此，可基于示出期望乳房位置参数的对应x射线图像来识别示出期望受压迫位置的多个相机图像，并且可基于所识别的多个相机图像来训练对cnn。然后可在乳房位置评估期间利用经训练的网络执行对胸放置的推断。如果未识别出胸肌边缘，并且/或者边缘形状与期望的边缘形状(例如，凸形形状或直线)不一致，则446处的答案为否，并且方法400前进至448。
136.在一些实施方案中，可在x射线图像采集之后评估胸肌放置(即，胸肌边缘)。在一个示例中，如果对rgb图像上的胸肌边缘清晰度的检测的置信水平小于阈值置信度，则可在x射线图像采集之后基于x射线图像来评估胸肌边缘清晰度。
137.在448处，方法400包括评估患者位置。可基于来自第一视觉传感器的输入来评估患者位置。具体地，可评估相对于x射线系统的患者位置。这包括相对于检测器的患者同侧臂位置、相对于x射线系统的患者臀部和肩部位置，以及相对于患者的压迫桨位置。例如，控制器可评估检测器的接触患者上部臂的角落是否定位在同侧腋窝后面，患者的臀部是否在距图像接收器的下部角落的期望距离内并且是否向前定位，患者的臀部和肩部是否面向x射线单元，并且压迫桨的上边缘是否与锁骨成期望角度。继续到450，方法400包括向用户提供反馈以调节乳房位置和患者位置中的一者或多者。例如，如果上述患者位置参数中的一个或多个参数未被确认，则可经由用户界面向用户指示不一致，并且可以提供实时反馈以调节不一致的患者位置。此外，实时反馈可包括在乳房搁置在检测器表面上之前向上和向外牵拉乳房以确保包括胸肌壁的指令。然后方法400返回到446。
138.应当理解，在每个反馈以及用户进行的对应乳房和/或患者位置调节之后，第一视觉传感器和第二视觉传感器可采集新相机图像，然后这些相机图像被输入ai模型中以用于进一步的后续乳房和患者位置评估。因此，在步骤448、454、464、470、476、480和484处的实时反馈之后，在评估接下来的乳房位置和患者位置之前，可采集来自第一视觉传感器和第二视觉传感器的新相机图像以用于后续分析。
139.在446处，如果识别出胸肌边缘，并且边缘形状与期望的边缘形状一致，则446处的答案为是，并且方法400前进至452。
140.在452处，方法400包括确认乳头是否具有轮廓。乳头轮廓确认可基于在相机图像中乳头的位置和乳头轮廓的可见性。此外，在452处，方法400可包括确定受压迫乳房是否居中定位在检测器上，以及乳房的左部分和乳房的右部分是否是对称的。对中心位置和左右对称的确定可如426处所述的那样执行。如果乳头不具有轮廓，受压迫乳房不居中定位，并且/或者左右对称不在(例如，关于形状、面积和/或体积的)阈值限制内，则452处的答案为否，并且方法400前进至454。在454处，方法400包括向用户指示乳头不具有轮廓，受压迫乳房不居中定位，并且/或者左右对称不在阈值限制内，并且还包括提供反馈以调节乳房位置，使乳头具有轮廓，使乳头居中定位，并且获得可接受的左右对称。该反馈包括，在456处，针对mlo视图利用对准线注释来自第二视觉传感器的相机图像，该对准线指示乳头应该沿其定位的中心线。此外，可利用例如箭头指示当前未对准。此外，可在相机图像上示出对中心区域(或矩形框)的注释，当实现中心位置时受压迫乳房存在于该中心区域中。此外，可在相机图像上指示牵拉/调节乳房以获得可接受的左右对称的方向。
141.此外，在mlo视图中，方法400可评估受压迫乳房的松垂量。即，基于相机图像，该方法可确定受压迫乳房正在向下凸出，并且如果是，则方法400可提供附加反馈以减少松垂。该方法然后返回到452。
142.如果乳头具有轮廓，则452处的答案为是，并且方法400前进至458。在458处，方法400包括识别胸
‑
乳头线(pnl)。可基于乳头的位置和胸边缘来识别pnl。
143.接下来，在460处，方法400包括推断胸的下边缘是否在pnl处或下方。如果460处的答案为否，则方法400前进至462。在462处，该方法包括评估患者位置。对患者位置的评估可类似于448处的位置评估，并且为了简洁起见将不再重复。继续到448，方法400包括通过用户界面向用户指示胸肌的下边缘不在pnl处或下方，并且可提供实时反馈以调节乳房位置和患者位置中的一者或多者以将下边缘移动到pnl处或下方。然后方法400返回到460。
144.如果下边缘在pnl处或下方，则460处的答案为是，并且方法400前进至466。在466处，方法400包括推断上部胸边缘和上外部乳房边缘之间是否存在宽余裕。因此，在一个示例中，可确定上部胸边缘和上外部乳房边缘之间的区域的面积是否大于阈值面积。如果宽余裕未被确认，则466处的答案为否，并且方法400前进至468以评估患者位置，如上文在448处所述。在评估患者位置后，方法400前进至470以指示未实现在上部胸边缘和上外部乳房边缘之间的期望宽余裕。此外，可提供实时反馈以调节乳房位置和患者位置中的一者或多者，从而获得期望的宽余裕。然后方法400返回到466。
145.步骤460和466基于从相机图像识别胸边缘。对胸边缘的检测可如上文在446处所述那样确定。然而，也如上所指示的，如果对rgb图像上的胸肌边缘清晰度的检测的置信水平小于阈值置信度，则可在x射线图像采集之后评估胸肌边缘清晰度。因此，在460处对胸肌的下边缘的评估(即，胸肌的下边缘在pnl处或下方)和在466处对上部胸边缘和外部乳房边缘之间的余裕的评估可在x射线图像采集之后基于x射线图像来执行。
146.此外，应当理解，在一些实施方案中，在步骤446、460和466处执行的评估可在x射线图像采集之后基于x射线图像执行一次，而不是在x射线图像采集之前执行一次。
147.如果存在期望宽余裕，则466处的答案为是，并且方法400前进至472。在472处，方法400包括推断是否包括所有的后部组织和腋窝组织以及腋窝末尾。在一个示例中，可基于患者位置、机架位置和乳房尺寸中的一者或多者来确认后部组织的包括。例如，方法400可基于来自利用第二视觉传感器获得的图像序列的动作识别来确定用户是否已牵拉乳房组织。此外，从利用第二视觉传感器获得的一个或多个图像，可确定乳头距检测器边缘的距离。可将该距离与阈值距离进行比较，该阈值距离基于乳房尺寸来确定，其中较大乳房具有较大阈值距离。例如，对于第一较小乳房尺寸，第一乳房的乳头和检测器边缘之间的第一阈值距离可以是第一较短距离，以便包括后部组织；并且对于第二较大乳房尺寸，第二乳房的乳头和检测器边缘之间的第二阈值距离可以是第二较大距离，以包括对应的后部乳房组织；等等。在另一个示例中，可基于x射线图像和对应的相机(rgb
‑
d)图像来训练卷积神经网络(cnn)以包括后部组织。
148.此外，腋窝组织的包括可基于受压迫乳房轮廓和腋窝末尾轮廓的轮廓。腋窝末尾应位于检测器上方。可通过深度学习方法如掩模rcnn方法或通过图像处理(例如，图案匹配)来检测腋窝末尾。如果不包括后部组织和腋窝组织中的一者或多者，则472处的答案为否，并且方法400前进至474以评估患者位置，如上文在448处所述。继续到476，方法400包括向用户指示不包括后部组织和腋窝组织中的一者或多者。此外，在476处，可提供实时反馈以调节患者位置和乳房位置中的一者或多者以包括后部组织和腋窝组织。然后方法400返回到472。
149.如果包括所有后部组织和腋窝组织，则472处的答案为是，并且方法400前进至478。在478处，方法400包括推断是否包括乳房下皱褶(imf)。imf的包括可类似于对乳房间沟的可见性的检测，并且因此可如432处所述的那样确定，并且为了简洁起见，此处将不再重复。
150.继续，用于提供实时反馈以在未检测到imf时针对imf的可见性调节乳房组织的步骤480，用于推断(在480处确认imf之后)是否检测到一个或多个皮肤皱褶的步骤482，用于提供实时反馈以在检测到imf时减少皮肤皱褶的步骤488和490，用于指示当满足mlo视图的
所有乳房位置和患者位置参数时针对mlo视图确认乳房和患者位置的步骤484，以及用于采集mlo视图的一个或多个x射线图像的步骤486分别类似于步骤434、436、442、444、438和440，并且为了简洁起见将不重复。
151.在确认满足乳房位置和患者位置参数并且采集mlo视图的一个或多个受压迫乳房图像后，方法400结束。
152.虽然本文所述的方法示出了在发起x射线图像采集之前用利用第一视觉传感器和第二视觉传感器中的一者或多者获得的一个或多个相机图像来评估乳房位置和/或患者位置，但应当理解，除此之外，可基于所采集的视图执行乳房位置监测，以评估是否已经满足针对相应视图的一个或多个期望标准。也就是说，在图像采集之后，(在乳房位置评估之后)获得的x射线图像也可被评估以确认成像质量，并且评估是否满足针对期望视图的期望标准。此外，注释和图形叠加中的一者或多者可显示在所采集的图像上，从而指示是否已经满足该一个或多个期望标准，以及当前乳房位置的期望改变。
153.因此，在一些实施方案中，在发起图像采集之前并且在乳房的初始定位(被压迫在压迫桨和检测器之间)之后，可评估多个乳房定位标准以确定乳房是否被定位用于乳房摄影。该多个乳房定位标准可基于视图类型(mlo或cc视图)。该多个乳房定位标准可包括一个或多个概述标准和/或一个或多个乳房特征。针对cc视图的该一个或多个概述标准可包括中心乳房位置、左右对称、腋窝末尾的存在和乳房间沟的存在。针对cc视图的该一个或多个乳房特征可包括胸肌、外侧组织和内侧组织、腋窝组织、乳头特征和皮肤皱褶。因此，针对cc视图的该一个或多个乳房特征的评估标准可包括：胸肌的存在、外侧组织和内侧组织以及腋窝组织(例如，腋窝末尾)的包括、乳头的中心位置和乳头轮廓，以及在受压迫乳房的尾部区域、外侧区域和内侧区域中的一者或多者中皮肤皱褶的不存在。对于mlo视图，该一个或多个概述标准可包括中心乳房位置、左右对称和乳房下垂量。针对mlo视图的该一个或多个乳房特征可包括基于胸肌的特征、后部组织、腋窝组织、乳房下皱褶(imf)、乳头特征和皮肤皱褶。因此，针对mlo视图的该一个或多个乳房特征的评估标准可包括：胸肌的量、胸肌边缘相对于乳头线的位置、后部的包括、腋窝组织(例如，腋窝末尾)、乳头的中心位置和乳头轮廓，以及在受压乳房的imf区域、胸区域和腋窝区域中的一者或多者中皮肤皱褶的不存在。
154.在一个示例中，可以期望顺序评估该多个乳房定位标准。基于对该多个乳房定位标准的评估，可提供基于对每个标准的评估的实时反馈以帮助用户定位乳房。以这种方式，可实现针对每个视图正确定位乳房以进行乳房摄影。
155.在另一个示例中，除了评估该多个乳房定位标准之外，在每个步骤中，还可评估患者位置。基于对乳房特征的评估和患者评估，可提供基于对每个特征的评估的实时反馈以帮助用户定位乳房。
156.以这种方式，可实现针对每个视图正确定位乳房以进行乳房摄影。此外，通过在x射线图像采集之前执行对乳房结构和患者位置的逐步评估，图像处理速度增加并且改善了反馈速度，这继而使得乳房定位效率得到总体改善。
157.此外，在基于对患者位置和乳房位置中的一者或多者的评估来调节患者位置和乳房位置中的一者或多者之后，x射线系统可继续采集一个或多个x射线图像。除此之外，可针对该多个乳房定位标准中的一个或多个乳房定位标准来评估该一个或多个所采集的x射线图像。因此，可利用由第一视觉传感器和第二视觉传感器中的一者或多者采集的相机图像
(例如，rgb深度图像)来执行第一评估，并且可用利用x射线系统采集的一个或多个x射线图像来执行第二评估。在利用x射线图像进行的第二评估期间，可同时评估该多个乳房位置标准中的一个或多个乳房位置标准。例如，在第二评估期间，可同时针对一个或多个概述标准和/或一个或多个乳房特征(对应于视图)来评估所采集的x射线图像。此外，可经由所采集的x射线图像上的注释和叠加中的一者或多者来向用户提供反馈。
158.在一些其他实施方案中，在利用相机图像进行的第一评估期间，针对cc视图的该一个或多个概述标准可包括中心乳房位置、左右对称和乳房间沟的存在。针对cc视图的该一个或多个乳房特征可包括乳头特征和皮肤皱褶。因此，在第一评估期间针对cc视图的该一个或多个乳房特征的评估标准可包括：乳头的中心位置和乳头轮廓，以及在受压迫乳房的尾部区域、外侧区域和内侧区域中的一者或多者中皮肤皱褶(第一组特征)的不存在。在利用x射线图像进行的第二评估期间，可评估在第一评估期间未评估的特征，诸如腋窝末尾的存在、胸肌的存在、外侧组织和内侧组织以及腋窝组织(第二组特征)的包括。类似地，可利用在第一评估期间评估的第一组特征和在第二评估期间评估的不同于第一组特征的第二组特征来评估mlo视图。在一些示例中，可在第二评估期间评估第一组特征和第二组特征。
159.以这种方式，可实现针对每个视图正确定位乳房以进行乳房摄影。此外，通过在x射线图像采集之前执行对乳房结构和患者位置的逐步评估，图像处理速度增加并且改善了反馈速度，这继而使得乳房定位效率得到总体改善。
160.在一些实施方案中，可基于对患者和用户(即，执行乳房摄影的技术人员)中的一者或多者的移动识别来检测乳房定位错误和患者定位错误中的一者或多者。例如，必须以特定方式牵拉乳房来定位该乳房。因此，可分析技术人员的姿势以检查用户是否已牵拉乳房。
161.转到图5，示出了高级流程图，该高级流程图示出了用于在数字乳房断层融合(dbt)期间评估乳房位置和乳房形态的方法500。方法500可在发起x射线图像采集之前执行，以便确定是否实现用于dbt的期望乳房位置。乳房位置评估可基于来自第二视觉传感器(诸如，图1b中的相机154)的输入来执行，并且患者位置评估可基于来自第二视觉传感器和第一视觉传感器(诸如，图1a中的相机)中的一者或多者的输入来执行。方法500可由图像处理系统(诸如，图1a中的控制器44)、连接到图像处理系统的边缘装置、与图像处理系统通信的云或它们的任何适当的组合来实现。参照图1a、图1b和图1c的系统和部件描述了方法500，但应当理解，方法500可在不脱离本公开的范围的情况下用其他系统和部件来实现。
162.方法500在502处开始。步骤502、503、504、506和508类似于图4a中的步骤402、404、405、406和408，因此为了简洁起见将不再重复。简而言之，方法500的上述步骤包括监测用于乳房压迫的x射线系统，并且在压迫之后，以初始成角调节第一视觉传感器和第二视觉传感器以用于dbt采集。在一个示例中，初始成角位置可以是针对cc视图的第一视觉传感器位置和第二视觉传感器位置。在另一个示例中，初始成角位置可以是针对mlo视图的第一视觉传感器位置和第二视觉传感器位置。应当理解，用于dbt的初始成角可以是x射线源的任何选定角度，并且可相应地调节第一视觉传感器和第二视觉传感器。在调节第一视觉传感器和第二视觉传感器时，可获得来自第一视觉传感器和第二视觉传感器的一个或多个初始相机图像并针对眩光评估该一个或多个初始相机图像，并且可基于所检测到的眩光来调节一
个或多个图像捕获参数和相机图像处理参数。
163.继续到510，方法500包括从第一视觉传感器获得第一相机图像并且从第二视觉传感器获得第二相机图像，其中在调节眩光之后x射线源处于用于dbt的初始成角处。
164.接下来，在512处，方法500包括评估初始成角下的乳房位置和患者位置，并且基于根据评估的实时反馈来调节乳房位置和患者位置，如图4a和图4b所述。简而言之，方法500可基于从来自利用第二视觉传感器获得的第二相机图像识别的乳房结构来评估乳房位置并且根据利用第一视觉传感器获得的第一相机图像来评估患者位置。所评估的乳房结构和患者位置基于x射线管的初始成角。例如，如果初始成角为x射线源的零度成角，则乳房位置和患者位置评估可包括对胸肌包括、外侧组织和内侧组织包括、乳头轮廓确认、imf包括以及一个或多个皮肤和脂肪皱褶的不存在的逐步评估。在每个评估步骤中，可提供实时反馈以调节乳房位置和患者位置中的一者或多者，以确保乳房和患者处于期望位置。类似地，如果初始成角是mlo视图成角(例如，45度x射线源成角)，则乳房位置和患者位置评估可包括对胸肌边缘形状和位置、乳头轮廓确认、上部胸肌边缘和上外部乳房边缘之间的裕度、后部和腋窝组织包括、imf包括以及一个或多个皮肤和脂肪皱褶的不存在的逐步评估。如上所述，在每个步骤中，可向用户提供实时反馈以调节乳房位置和患者位置中的一者或多者。
165.在调节初始x射线管成角下的乳房位置和患者位置后，方法500前进至514。在514处，方法500包括评估在来自用于dbt采集的角度范围内的多个角度的选定角度下的乳房位置和患者位置，并且基于该乳房位置和患者位置评估向用户提供实时反馈。图6讨论了针对dbt评估乳房位置和患者位置的细节。
166.转到图6，示出了高级流程图，该高级流程图示出了用于评估在dbt成像期间在x射线系统的角度范围内的两个或更多个选定角度下的乳房位置和患者位置并且提供用于针对dbt采集调节乳房位置的实时反馈的方法600。此外，方法600包括评估患者位置以检测当机架以多个角度移动以用于dbt采集时的遮挡(例如，未成像的患者身体部分)。方法600可在发起x射线图像采集之前执行，以便确定是否实现用于dbt的期望乳房位置和患者身体位置。乳房位置评估可基于来自第二视觉传感器(诸如，图1b中的相机154)的输入来执行，并且患者位置评估可基于来自第二视觉传感器和第一视觉传感器(诸如，图1a中的相机)中的一者或多者的输入来执行。方法600可由图像处理系统(诸如，图1a中的控制器44)、连接到图像处理系统的边缘装置、与图像处理系统通信的云或它们的任何适当的组合来实现。参照图1a、图1b和图1c的系统和部件描述了方法600，但应当理解，方法600可在不脱离本公开的范围的情况下用其他系统和部件来实现。方法600将针对dbt采集进行描述，其中x射线源围绕受压迫乳房在围绕内侧位置的角度旋转范围( θ至
‑
θ)内旋转，在该内侧位置处，x射线系统的竖直轴线诸如图1a中的竖直轴线60垂直于检测器。其中x射线源围绕相对于竖直轴线成角度(例如，与内侧位置成30度、45度、60度等)的轴线旋转的其他dbt采集也在本公开的范围内。
167.方法600在602处开始。在602处，方法600包括从第一视觉传感器和第二视觉传感器中的每一者获得在两个或更多个选定角度中的每个角度下的一个或多个相机图像。这些选定角度包括x射线源的各种成角(在这些各种成角下获得dbt的投影图像)，并且因此评估在选定角度下的乳房位置和患者位置。因此，在一个示例中，可选择用于执行dbt采集的多个角度中的每个角度以用于评估乳房位置和患者位置。在另一个示例中，可针对两个或更
多个成角但少于用于获得dbt的投影图像的角度的总数量的成角来执行乳房位置和患者位置评估。例如，可一起选择在任一方向( θ或
‑
θ)上的端部成角与内侧位置。在一些示例中，除了端部成角和内侧位置之外，可选择其间的一个或多个成角以用于评估乳房位置和患者位置以用于后续dbt采集。
168.接下来，在604处，方法600包括从利用第二传感器获得的一个或多个相机图像中识别在选定成角中的每个成角下胸肌的可见边缘、外侧组织和内侧组织以及乳头位置。例如，可将利用第二视觉传感器获得的该一个或多个相机图像输入到基于人工智能的神经网络模型中，以用于识别受压迫乳房的解剖界标，包括胸肌的可见边缘、外侧组织和内侧组织以及乳头位置。在一个示例中，基于ai的神经网络模型的输出可包括具有针对受压迫乳房的上述解剖界标的注释的一个或多个分割相机图像。
169.继续到606，方法600包括确认在每个选定成角下的胸边缘的可见性、外侧组织和内侧组织包括、对乳头轮廓的确认和乳头的中心定位(即，不指向内侧或外侧)，以及imf的可见性。如果确认了在两个或更多个选定角度中的每个角度下所有上述解剖结构的可见性和定位，则606处的答案为是，并且该方法前进至610。如果未确认乳房的任何上述解剖界标，则606处的答案为否，并且方法600前进至608。在608处，方法600包括提供实时反馈以调节乳房位置使得：胸边缘是可见的，包括外侧组织和内侧组织，乳头轮廓是可见的，并且乳头居中定位，并且imf是可见的。除此之外，在一些示例中，可评估利用第一视觉传感器获得的在两个或更多个选定成角中的每个成角下的一个或多个相机图像中的患者身体位置。具体地，评估患者身体位置包括确定距x射线系统的患者肩部距离是否在阈值距离内，患者头部位置的倾斜水平是否小于阈值倾斜，并且头部转动的方向是否朝向对侧，患者脚部位置是否指向x射线系统，身体旋转是否朝向内侧位置，并且患者脊柱位置是否与臀部成角度。如果不满足上述患者身体参数中的任一个患者身体参数，则除了基于乳房解剖结构来调节乳房位置之外，实时反馈还可包括基于患者身体位置评估来调节患者位置。
170.在一个示例中，可逐步一起评估包括胸肌、外侧组织和内侧组织、乳头和imf的乳房解剖结构中的每个乳房解剖结构与患者身体位置。例如，首先一起评估胸肌与患者身体位置，并且在提供反馈以针对胸肌的可见性调节乳房位置和患者身体位置中的一者或多者并且随后确认胸肌的包括时，该方法继续一起评估外侧组织和内侧组织以及患者身体位置。在提供反馈以调节乳房位置和患者身体位置中的一者或多者以包括外侧组织和内侧组织并且确认外侧组织和内侧组织的包括时，该方法继续评估乳头轮廓和位置。在提供反馈以调节乳头轮廓和位置并且确认乳头的期望定位和对乳头轮廓的确认时，该方法继续评估imf是否可见。在提供反馈以调节乳房位置和患者位置中的一者或多者以包括imf并且确认对imf的包括后，该方法可前进至下一个步骤610。
171.继续到610，方法600包括确定在选定的x射线管成角中的每个x射线管成角下一个或多个皱褶(诸如，皮肤皱褶、脂肪皱褶等)是否可见。如果是，则在622处，方法600包括提供实时反馈以调节乳房位置从而减少皱褶的发生。然后，方法600返回以监测皱褶。如果一个或多个皱褶不可见，则方法600前进至612。
172.在612处，方法600包括评估在每个选定成角下的第二患者位置。对第二患者位置的评估可基于在调节乳房位置和患者身体位置以包括解剖界标和减少皱褶之后从第二视觉传感器获得的一个或多个相机图像。评估第二患者位置包括评估患者同侧肩部位置和对
侧肩部位置、患者头部位置和对侧乳房位置。具体地，可确定在两个或更多个选定成角中的每个成角下患者同侧肩部、对侧肩部、患者头部和对侧乳房中的任一者是否在x射线源的视场中，使得视场的一部分被患者的身体部位遮挡。第二视觉传感器捕获x射线源的视场，并且因此可使用利用第二视觉传感器获得的一个或多个相机图像来执行第二患者位置评估。在第二患者位置评估期间，可将利用第二视觉传感器获得的在选定角度中的每个角度下的该一个或多个相机图像输入到基于人工智能的算法中，该基于人工智能的算法被训练以在该一个或多个相机图像中识别患者身体的遮挡部分。例如，如果在一个或多个选定角度下对侧乳房的一部分是可见的，则算法可识别遮挡部分和在其下识别出遮挡的成角，并且在该一个或多个相机图像上指示所识别的遮挡。
173.继续到614，方法600包括基于对第二患者位置的评估(如612处所述)来确认是否检测到遮挡。如果614处的答案为是，则方法600前进到616以提供实时反馈以调节患者位置，从而移动遮挡身体部分使其远离视场，而不改变受压迫乳房的位置。然后，方法600返回到614，以验证在调节患者位置之后遮挡是否被清除。
174.如果未检测到遮挡，则614处的答案为否，并且方法前进至618以经由用户界面指示被确认以用于dbt采集的乳房位置和患者位置。
175.继续到620，方法600包括通过采集在多个角度中的每个角度下的多个x射线投影图像来执行dbt。
176.以这种方式，在dbt采集之前，可基于在用于dbt的x射线源旋转的角度范围内的两个或更多个选定成角下的来自第一视觉传感器的相机图像(用于患者身体位置评估)和第二视觉传感器的相机图像(用于乳房位置评估和遮挡识别)来评估乳房位置和患者位置。通过评估在x射线源的多于一个成角下的乳房位置和患者位置，可识别在仅一个成角中可能不容易检测到的乳房定位和患者定位错误，并且可提供实时反馈以调节乳房位置和患者位置中的一者或多者。因此，可改善dbt的质量和一致性。此外，通过在采集之前识别和校正定位错误，减少了对召回的需要，这继而减少了对患者的辐射暴露，并且提高了患者舒适度和诊断的置信度。
177.虽然上述方法600描述了在没有x射线成像的情况下执行dbt扫描，并且在发起利用x射线进行的dbt采集之前评估在两个或更多个x射线源成角下的乳房位置和患者位置中的一者或多者，但是在一些实施方案中，可评估在不移动x射线管的情况下在多个dbt成角下的乳房位置和患者位置中的一者或多者，并且可基于该评估来提供实时反馈(在利用x射线进行dbt采集之前)。在一个示例中，可在不移动机架的情况下调节第二视觉传感器的位置，以评估多个dbt成角下的乳房位置和患者位置中的一者或多者。在另一个示例中，可在单个相机位置和单个机架位置处执行针对用于dbt的多个成角对乳房位置和患者位置中的一者或多者的评估。
178.在一个实施方案中，可评估一组乳房特征以确定乳房是否被定位用于乳房摄影。该组乳房特征可基于视图类型(mlo或cc视图)。此外，该组乳房特征可包括组织特征、乳头特征、乳房皱褶和皮肤皱褶。在一个示例中，可以期望顺序评估该组乳房特征，并且在每个步骤处，可评估患者位置。基于对乳房特征的评估和患者评估，可提供基于对每个特征的评估的实时反馈以帮助用户定位乳房。例如，可首先识别并确认胸肌存在于相机的视场中。在确认胸肌的存在时，控制器可确定是否包括所有外侧组织和内侧组织。接下来，可评估乳头
位置，然后识别乳房下皱褶。最后，在确保乳房相对于组织、乳头位置和imf正确定位时，控制器可评估一个或多个皮肤皱褶是可见的。在每个步骤处，如果未检测到或未正确定位对应的特征，则控制器可提供实时反馈以调节乳房和患者中的一者或多者。以这种方式，可实现针对每个视图正确定位乳房以进行乳房摄影。此外，通过执行对乳房结构和患者位置的逐步评估，图像处理速度增加并且改善了反馈速度，这继而使得乳房定位效率得到总体改善。
179.接下来，图7示出了高级流程图，该高级流程图示出了用于减少利用联接到乳房摄影系统(诸如，图1a中的乳房摄影系统100)的视觉传感器获得的相机图像中的眩光的方法700。视觉传感器可以是图1a中的第一视觉传感器101、图1b中的第二视觉传感器154或联接到乳房摄影系统的任何相机。第一视觉传感器和第二视觉传感器用于获得患者图像和受压迫乳房图像，然后这些图像用于基于患者形态和乳房解剖结构界标来评估患者位置和乳房位置中的一者或多者。因此，在从相机图像评估乳房位置和患者位置之前，可针对眩光对相机图像进行分析并对这些相机图像进行处理以减少眩光(如果检测到的话)，以便改善对相机图像的下游分析。方法700可由图像处理系统(诸如，图1a中的控制器44)、连接到图像处理系统的边缘装置、与图像处理系统通信的云或它们的任何适当的组合来实现。方法700参照图1a至图1d的系统和部件进行了描述，但应当理解，该方法可在不脱离本公开的范围的情况下用其他系统和部件来实现。方法700将相对于相机图像来进行描述，并且应当理解，用于检测和减少眩光的方法700可应用于利用任何视觉传感器获得的任何相机图像。
180.方法700在702处开始。在702处，方法700包括获得相机图像，并且识别相机图像的感兴趣区域。感兴趣区域可包括相机图像上经受进一步处理以用于位置评估的区域。例如，如果获得来自第一视觉传感器相机图像(用于患者位置评估)，则感兴趣区域可包括相机图像的包括患者和x射线系统的一部分。如果获得来自第二视觉传感器的相机图像(用于识别乳房解剖界标，并且因此用于乳房位置评估)，则感兴趣区域可包括相机图像的包括受压迫乳房的一部分。
181.接下来，在704处，方法700包括确定是否在感兴趣区域内检测到眩光。可基于包括一个或多个光强度、颜色饱和度和亮度对比度的光度特征来检测眩光。例如，相机图像的具有大于阈值强度的光强度、小于阈值饱和度水平的颜色饱和度以及小于阈值对比度水平的亮度对比度的区域可指示眩光区域。如果在感兴趣区域内未检测到眩光或在感兴趣区域之外检测到眩光，则方法700前进至708以指示不需要进行眩光调节，并且方法700结束。如果在感兴趣的区域内检测到眩光，则方法700前进至706。
182.在706处，方法700包括指示感兴趣区内的包括眩光的区域。接下来，在708处，方法700包括向用户提供反馈以减少眩光。该反馈可包括：在712处，用于调节相机位置的指令；在714处，用于调节房间灯光以重新定位眩光源(其通常为光源)使得眩光区域不在感兴趣区域内的指令；在716处，用于包括或调节相机透镜上的偏振滤光器的指令。此外，在一些示例中，可通过调节一个或多个相机图像捕获参数(例如，通过命令相机控制器调节一个或多个相机图像捕获参数)和相机图像处理参数来减少眩光，该一个或多个相机图像捕获参数包括相机位置、室内灯光和偏振滤光器，该相机图像处理参数基于该一个或多个眩光区域中的每个区域的量和位置以减少眩光。
183.在提供反馈后，方法700前进至718。在718处，方法700包括确认是否移除了感兴趣
区域内的眩光。如果718处的答案为是，则方法700前进至708以指示眩光调节完成，并且方法700结束。然而，如果眩光未移动远离感兴趣区域或减少到阈值量以下，则方法718前进至720。
184.在720处，方法700包括确定图像的数量和针对图像的数量的相机设置(例如，减少曝光)以生成在感兴趣区域中具有减少的眩光的复合图像。
185.继续到722，方法700包括将复合图像用于后续乳房位置评估和/或患者位置评估。
186.本公开的技术效果包括在图像采集之前改善的且实时的乳房定位评估、指导和反馈，从而产生更高质量的x射线乳房摄影图像，而不重复和/或增加对患者的暴露。另一个技术效果是由改善的乳房定位导致的改善的诊断能力，并且因此减少了对召回的需要。而另一个技术效果是针对无经验用户的自动化指导，以便获得更高质量的乳房摄影图像。
187.在一个实施方案中，一种用于x射线乳房摄影系统的方法包括：使用联接到该x射线乳房摄影系统的一个或多个相机经由视觉感测来评估患者的患者位置、患者的局部视图和患者的乳房解剖结构中的一者或多者；基于该评估来检测患者定位错误和乳房定位错误中的一者或多者；以及基于该检测经由该乳房摄影系统的用户界面向用户提供实时反馈。在该方法的第一实施例中，该方法可除此之外或另选地包括其中利用相机来评估乳房解剖结构，该相机具有包括在x射线乳房摄影系统的压迫桨和检测器之间的成像体积的视场。该方法的第二实施例任选地包括第一实施例，并且还包括其中基于来自第一相机的输入来评估患者位置，该第一相机具有x射线乳房摄影系统和患者的第一视场，并且基于来自第二相机的输入来评估乳房解剖结构，该第二相机具有包括在x射线乳房摄影系统的压迫桨和检测器之间的成像体积的第二视场。该方法的第三实施例任选地包括第一实施例和第二实施例中的一项或多项，并且还包括其中评估患者位置包括评估距x射线系统的患者肩部距离、患者头部位置、患者脚部位置、患者姿势、患者身体旋转和患者脊柱位置。该方法的第四实施例任选地包括第一实施例至第三实施例中的一项或多项，并且还包括其中由x射线乳房摄影系统在图像采集之前检测患者定位错误和乳房定位错误中的一者或多者。该方法的第五实施例任选地包括第一实施例至第四实施例中的一项或多项，并且还包括其中患者定位错误基于患者骨骼模型和患者相对于x射线乳房摄影系统的相对位置中的一者或多者。该方法的第六实施例任选地包括第一实施例至第五实施例中的一项或多项，并且还包括其中乳房定位错误基于期望的采集视图，以及成像体积中乳房的一个或多个乳房解剖特征。该方法的第七实施例任选地包括第一实施例至第六实施例中的一项或多项，并且还包括其中基于对患者和用户中的一者或多者的移动识别来检测乳房定位错误和患者定位错误中的一者或多者。该方法的第八实施例任选地包括第一实施例至第七实施例中的一项或多项，并且还包括：当期望的采集视图是头尾视图时，评估乳房解剖结构包括检测以下中的一者或多者：胸肌包括、乳房居中、乳头位置、乳房间沟包括，以及一个或多个皮肤和脂肪皱褶的不存在；以及基于每个检测提供实时反馈；并且当该期望的采集视图是内外侧斜位视图时，评估乳房解剖结构包括检测以下中的一者或多者：胸肌位置、乳头位置、腋窝组织包括、乳房下皱褶包括，以及一个或多个皮肤和脂肪皱褶的不存在；以及基于每个检测提供实时反馈。该方法的第九实施例任选地包括第一实施例至第八实施例中的一项或多项，并且还包括：在x射线乳房摄影系统的质量检查模式和清洁操作模式中的一种或多种期间，使用该一个或多个相机经由视觉感测来评估用户形态和用户位置；以及基于该用户形态和该用户位
置来调节x射线乳房摄影系统的一个或多个部件；并且其中该一个或多个部件包括x射线乳房摄影系统的机架轨道上的压迫桨保持器的位置、x射线系统高度和工作站的控制站高度。该方法的第十实施例任选地包括第一实施例至第九实施例中的一项或多项，并且还包括：在压迫患者乳房之前，使用该一个或多个相机经由视觉感测来评估患者的患者形态和乳房形态；以及基于该患者形态和该乳房形态识别优选的压迫桨；以及在用户界面上指示该优选的压迫桨。该方法的第十一实施例任选地包括第一实施例至第十实施例中的一项或多项，并且还包括：在压迫患者乳房之前，使用该一个或多个相机经由视觉感测来评估患者的患者形态和乳房形态；以及基于该患者形态和该乳房形态来调节x射线乳房摄影系统上的支撑台位置。
188.在另一个实施方案中，一种用于x射线乳房摄影系统的方法包括：确定当前操作模式，经由包括一个或多个视觉传感器的视觉系统，基于当前模式来评估x射线乳房摄影系统的成像体积中乳房的乳房位置和患者位置；基于该评估来检测患者定位错误和乳房定位错误中的一者或多者；以及基于该检测经由乳房摄影系统的用户界面提供包括针对期望乳房位置和期望患者位置中的一者或多者的指示的实时反馈；其中基于患者解剖结构和相对于x射线乳房摄影系统的患者位置来检测患者定位错误；并且其中基于乳房的一个或多个解剖结构来检测所述乳房定位错误。在该方法的第一示例中，该方法可除此之外或另选地包括：当当前模式是数字乳房断层融合模式时，在发起断层融合采集之前，评估在x射线乳房摄影系统的角度范围内的一个或多个x射线源成角下的乳房定位错误和患者定位错误中的一者或多者。该方法的第二实施例任选地包括第一实施例，并且还包括针对当前模式发起x射线图像采集；在x射线图像采集期间检测患者的移动；以及响应于该检测而指示由于患者位置变化而导致的错误；其中当前模式是数字乳房断层融合模式和图像引导的活检模式中的一种。该方法的第三实施例任选地包括第一实施例和第二实施例中的一项或多项，并且还包括其中基于来自视觉系统的第一视觉传感器的第一相机图像来评估患者位置，该第一视觉传感器具有x射线乳房摄影系统和患者的第一视场，并且基于来自视觉系统的第二视觉传感器的第二相机图像来评估乳房位置，该第二视觉传感器具有包括在x射线乳房摄影系统的压迫桨和检测器之间的成像体积的第二视场。该方法的第四实施例任选地包括第一实施例至第三实施例中的一项或多项，并且还包括其中第一视觉传感器和第二视觉传感器各自为rgb深度型视觉传感器，并且其中针对期望乳房位置和期望患者位置中的一者或多者的指示分别提供在第一相机图像和第二相机图像上；并且还包括，在评估患者位置和乳房位置之前，针对一个或多个眩光区域评估第一传感器的第一视场和第二视觉传感器的第二视场。该方法的第五实施例任选地包括第一实施例至第四实施例中的一项或多项，并且还包括：采集乳房的x射线图像；基于所采集的x射线图像来检测一个或多个第二乳房定位错误；以及提供第二反馈，该第二反馈包括关于所采集的x射线图像的第二指示，该第二指示包括第二乳房定位错误和待成像的一个或多个期望的乳房结构；其中该第二反馈经由乳房摄影系统的用户界面提供。
189.上述系统和方法还用于一种医学成像系统，该医学成像系统包括：机架，该机架包括用于发射辐射射线的辐射源、用于接收辐射射线的检测器，以及用于调节视场的准直器；视觉传感器系统，该视觉传感器系统包括至少第一视觉传感器和第二视觉传感器；和工作站，该工作站包括第一用户界面，该第一用户界面包括第一显示部分，该工作站通信地联接
到机架，该机架联接到包括第二显示部分的第二用户界面；并且其中工作站包括处理器，该处理器被配置有非暂态存储器中的指令，这些指令在执行时使得处理器：利用第一视觉传感器采集患者和医学成像系统的第一相机图像；利用第二视觉传感器采集医学成像系统的成像体积中乳房的第二相机图像；利用第一相机图像和第二相机图像，确定相对于医学成像系统的患者位置并且基于患者乳房解剖结构确定相对于患者的整个身体位置和医学成像系统的乳房位置；响应于与第一模型一致的患者位置和与第二模型一致的乳房位置而发起图像采集；否则，经由医学成像系统的第一用户界面和第二用户界面提供实时反馈，并且阻止利用辐射源进行的图像采集，直到患者位置与第一模型一致并且乳房位置与所述第二模型一致；以及经由第一用户界面和第二界面中的一者或多者提供选项，以供用户在以下情况中的一种或多种情况存在时发起图像采集：在患者位置与第一模型不一致时，以及在乳房位置与第二模型不一致时；其中第一模型和第二模型基于使用第一相机图像和第二相机图像作为输入的人工智能算法。在系统的第一示例中，系统可除此之外或另选地包括：其中第一视觉传感器具有医学成像系统和患者的第一视场，并且第二视觉传感器具有医学成像系统的成像体积的第二视场；并且其中第一模型基于患者骨骼模型和患者相对于医学成像系统的相对位置中的一者或多者；并且其中第二模型基于期望的采集视图，以及成像体积中乳房的一个或多个乳房解剖特征。
190.如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在
…
中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。
191.该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元件，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元件，则此类其他示例旨在落入权利要求书的范围内。