用于提供X射线图像上的身体部位的标签的方法与流程

用于提供x射线图像上的身体部位的标签的方法
技术领域
1.本发明涉及用于提供x射线图像上的身体部位的标签的方法，其中，可以减少标签过程中的错误。


背景技术：

2.通常，数字x射线系统通常提供身体部位或检查区域的x射线图像。身体部位或检查区域位于x射线源与x射线检测器之间。获取x射线图像。
3.在成对的身体部位(特别是四肢)的x射线检查期间，用户需要在x射线图像上使用r/l标签来指示是右身体部位还是左身体部位被示出在x射线图像中。在数字x射线系统中，存在如下软件功能：用户可以使用该功能在x射线图像上针对右(r)身体部位或左(l)身体部位设置r/l标签。数字x射线系统具有如下软件功能：特别地，该软件功能允许通过在x射线图像上放置虚拟标记或虚拟标签而将侧面标记或标签放置在x射线图像上。这是需要确定右侧或左侧的用户的知识和决定的手动步骤。通常，这是使用数字标记来完成，而不再使用在模拟x射线系统中特别常见的铅标记来完成。在模拟系统中，铅标记靠近身体部位放置，并且然后被示出在x射线图像上。
4.文献cn110946597a公开了x射线拍摄装置和拍摄方法。x射线拍摄装置包括：在x射线成像范围内投射x射线的x射线管；生成x射线图像的x射线图像生成单元；图像获取单元，该图像获取单元在预定条件发生时获取光学摄影图像，该光学摄影图像上具有主体的图像；识别单元，该识别单元识别要在光学摄影图像上检查的对象的关键点；以及定位单元，该定位单元用于根据关键点的一部分与x射线拍摄范围之间的关系来确定需要在x射线图像上进行标记的左侧方向和右侧方向。本发明可以减少对左侧和右侧进行标记所需的注意力，从而提高效率并减少手动标记的错误。


技术实现要素：

5.在x射线成像中，由于在x射线图像中难以识别器官或身体部位的左侧向性和右侧向性，因此针对诸如手和膝盖的成对的器官需要左标签和右标签。然而，上述x射线系统无法提供对身体部位的可靠标记，尤其是在身体部位被例如布覆盖的情况下。其他复杂因素的来源可能是一些特殊情况，例如，事故发生后，视图位置可能与最初计划的视图位置不同(例如，p.a.而不是a.p.)。在手术期间的x射线检查中，身体部位可能没有被正确地放置或非常病态。发明人已经确认，被覆盖的身体部位和/或手动进行标记是对身体部位进行标记时错误的来源。通常，通过达到高患者吞吐量和低成本来驱动x射线成像，这也可能导致x射线图像上的一些错误标签。
6.本发明的目的是提供用于提供x射线图像上的身体部位的标签的方法，该方法对于对身体部位进行可靠标记是有用的。
7.为了解决上述问题并且实现该目的，提供了根据权利要求1所述的用于提供x射线图像上的身体部位的标签的方法，根据权利要求12所述的用于提供用于x射线系统的训练
函数(trained function)的方法，根据权利要求13所述的x射线系统，根据权利要求14所述的计算机程序产品，以及根据权利要求15所述的计算机可读介质。
8.在下文中，关于要求保护的x射线系统和训练系统以及关于要求保护的方法描述了根据本发明的方案。本文中的特征、优点或替选实施方式可以被分配给其他要求保护的对象，并且反之亦然。换句话说，可以使用方法的上下文中描述或要求保护的特征来改进针对x射线系统和训练系统的权利要求。在这种情况下，方法的功能性特征由x射线系统或训练系统的目标单元体现。
9.此外，在下文中，关于用于提供身体部位的标签的方法和系统以及关于用于提供训练函数的方法和系统描述了根据本发明的方案。本文中的特征、优点或替选实施方式可以被分配给其他要求保护的对象，并且反之亦然。换句话说，可以使用用于提供身体部位的标签的方法和系统的上下文中描述或要求保护的特征来改进针对用于提供训练函数的方法和系统的权利要求，并且反之亦然。
10.特别地，用于提供身体部位的标签的方法和系统的训练函数可以通过用于提供训练函数的方法和系统来调整。此外，输入数据可以包括训练输入数据的有利特征和实施方式，并且反之亦然。此外，输出数据可以包括输出训练数据的有利特征和实施方式，并且反之亦然。
11.本发明涉及用于提供x射线图像上的身体部位的标签的计算机实现的方法，该方法包括以下步骤：在第一步骤中，接收输入数据，特别地，使用第一接口接收输入数据，其中，输入数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像。在另一步骤中，将至少一个训练函数应用于输入数据，特别地，使用计算单元将至少一个训练函数应用于输入数据，其中，生成输出数据，并且其中，输出数据是指示右身体部位或左身体部位的身体部位的标签。在另一步骤中，提供输出数据，特别地，使用第二接口提供输出数据。
12.用于获取x射线图像的x射线系统包括x射线源和x射线检测器。身体部位或检查区域位于在x射线源与x射线检测器之间的空间(interspace)中。此外，x射线系统可以包括光学测量系统，例如2d摄像装置或者优选地3d摄像装置。光学测量系统可以获取身体部位的光学图像。光学测量系统可以位于与x射线系统分开的检查室内。作为替选方案，光学测量系统可以被包括在x射线系统中。优选地，光学测量系统可以靠近x射线源布置，例如可以被附接至准直器的侧面。光学图像可以包括也可以意指灰度图像的rgb图像。可以使用2d摄像装置或3d摄像装置获取rgb图像。除此之外，光学图像可以包括深度图像，特别是使用3d摄像装置或针对深度图像的任何其他成像装置获取的深度图像。
13.输入数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像。输入数据可以包括身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像。输入数据可以包括基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像的信息、特征或参数。输入数据可以包括例如基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像确定的界标(landmark)的距离。
14.在另一步骤中，使用计算单元将至少一个训练函数应用于输入数据，其中，生成输出数据。计算单元可以是x射线系统或例如读取站的任何被连接的系统的一部分。输出数据是指示右身体部位或左身体部位的身体部位的标签。通常，训练函数模仿人类与其他人类
思维相关联的认知功能。特别地，通过基于训练数据进行训练，训练函数可以适应新的环境并且检测和推断模式。
15.通常，可以借助于训练来调整训练函数的参数。特别地，可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外，可以使用表示学习(替选的术语是“特征学习”)。特别地，可以通过若干训练步骤迭代地调整训练函数的参数。
16.特别地，训练函数可以包括神经网络、支持向量机、决策树和/或贝叶斯网络(bayesian network)，以及/或者训练函数可以基于k-均值聚类、q-学习、遗传算法和/或关联规则。特别地，神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外，神经网络可以是对抗网络、深度对抗网络和/或生成式对抗网络。
17.发明人提出了用以设置r/l标签的自动过程。通过使用r/l标签的自动设置，可以避免手动步骤。这以有利的方式避免了将左和右进行交换。标签的自动设置或提供基于将训练函数应用于输入数据。例如，可以基于x射线图像中描绘的身体部位的解剖结构(anatomy)来确定标签。身体部位的解剖结构或侧向性可以通过训练函数来识别。
18.在另一步骤中，例如，使用第二接口提供输出数据。身体部位的标签包括左身体部位或右身体部位的信息。标签可以与x射线图像一起被存储在例如dicom数据集中。标签可以以在x射线图像上叠加的方式示出。标签可以被示出在图形用户接口的区域中。标签可以被可视化为例如r或l的字符。标签可以以例如描绘人、特别是站立的人、身体或身体形状的符号的符号的形式被可视化，其中例如通过不同的颜色在符号内对左身体部位或右身体部位进行标记。身体的形状可以是灰色的，以及左身体部位或右身体部位可以被着色为红色、绿色、蓝色、橙色、白色、黑色或除了身体形状的灰色阴影之外的任何其他颜色。
19.使用该方案，用户不需要手动设置r/l标签。益处可以是更快地进行标签的设置。另一益处可以是在x射线过程中减少了一个手动步骤。可以实现例如左身体部位和右身体部位的混淆的错误的减少。在摄像装置的支持下，可以处理异常情况并且可以减少错误。可以自动地设置标签，而不是手动设置。可以基于对x射线图像的分析而不是对患者(特别是身体部位)的放置的回忆来设置标签。
20.根据本发明的一方面，输入数据包括以下项中的至少一项：
[0021]-根据rgb图像得出的上下文信息或形状信息，
[0022]-根据深度图像得出的形状信息，
[0023]-根据x射线图像得出的骨骼结构信息。
[0024]
输入数据的另外的来源可以基于诸如用以定位患者的红外检测器或温度检测器的其他感测技术的使用。此外，例如基于蓝牙低功耗接近感测的传感器的患者身上的有源模块(active module)可以用于发送位置信息。例如台位置或x射线管位置的x射线系统参数的分析可以根据日志文件确定。在自由曝光的情况下，可以使用便携式检测器的位置和定位的分析。另外的信息可以用于进一步改进该方法。
[0025]
可以根据rgb图像得出上下文信息。上下文信息可以包括例如关于患者的邻近身体部位、解剖结构或取向的信息。可以根据rgb图像得出形状信息。形状信息可以包括身体部位或检查区域的外形或轮廓。基于rgb图像的形状信息可以是二维信息。
[0026]
可以根据深度图像得出形状信息。基于深度图像的形状信息可以与基于rgb图像的形状信息或上下文信息相结合。根据深度图像得出的形状信息可以包括三维信息。根据
深度图像得出的形状信息可以包括关于身体部位的三维轮廓的信息。
[0027]
可以根据x射线图像得出骨骼结构信息。关于解剖结构的信息可以包括骨骼结构信息。可以基于吸收值从x射线图像中得出骨骼结构信息。已知的方法或算法可以用于确定根据rgb图像得出的上下文信息或形状信息、根据深度图像得出的形状信息或根据x射线图像得出的骨骼结构信息。
[0028]
根据本发明的一方面，训练函数被应用于来源于来自rgb图像、深度图像和x射线图像的组中的至少两个数据源的输入数据。对于特别改进的结果，可以使用多于一个的数据源。可以提高输出数据的可靠性。例如，可以使用以下组合：
[0029]-rgb图像和深度图像，
[0030]-rgb图像和x射线图像，
[0031]-深度图像和x射线图像。
[0032]
基于x射线图像的信息可以提供关于患者的例如基于面部或身体部位本身的姿势和取向的详细信息。基于深度图像的信息可以提供关于身体部位和邻近身体区域的三维取向和/或三维轮廓的详细信息。基于x射线图像的信息可以提供关于解剖结构和/或骨骼信息的详细信息。特别地，在例如通过布覆盖的隐藏的身体部位的情况下，x射线图像可以提供可以优选地与基于rgb图像和/或深度图像的信息相结合的可靠的信息。
[0033]
根据本发明的一方面，将训练函数应用于仅来源于rgb图像、深度图像或x射线图像的输入数据。在实施方式中，仅一个数据源被用作训练函数的输入。
[0034]
在优选实施方式中，仅将x射线图像用作输入数据。在该实施方式中，例如，在简单的x射线系统中或者在rgb图像或深度图像错误的情况下不需要摄像装置。
[0035]
在简单的实施方式中，可以针对x射线获取或在x射线图像中识别身体部位的解剖结构。基于解剖结构，可以基于x射线图像确定左身体部位或右身体部位。基于x射线图像确定的信息可以是输出数据。训练函数可以适用于检测骨骼或其他解剖结构的位置。
[0036]
针对膝盖的检查(a.p.)，患者仰卧并且使腿伸直。可以基于腓骨和胫骨的位置得出用以区分左和右的标志。可以检测腓骨和胫骨的交叠。如果腓骨位于胫骨的左侧，则可以在x射线图像中示出右膝盖。如果腓骨位于胫骨的右侧，则可以在x射线图像中示出左膝盖。
[0037]
针对前臂的检查(a.p.)，患者可以坐在台上，并将手背放在台上。可以基于桡骨和尺骨的位置得出用以区分左和右的标志。可以检测桡骨和尺骨，并且可以确定桡骨或尺骨是否在顶部。如果尺骨在顶部，则可以在x射线图像中示出左臂。如果桡骨在顶部，则可以在x射线图像中示出右臂。
[0038]
针对肩部的检查(a.p.)，患者可以背对x射线系统的壁架站立。可以基于肱骨的位置得出用以区分左和右的标志。如果肱骨被示出为在左侧，则可以示出右肩。如果肱骨被示出为在右侧，则可以示出左肩。
[0039]
根据本发明的一方面，将多个训练函数应用于输入数据，并且其中，针对rgb图像、深度图像和/或x射线图像生成单独的输出数据。
[0040]
可以提供第一训练函数以应用于rgb图像。可以将第一训练函数应用于rgb图像，其中，可以生成第一输出数据。优选地，第一训练函数可以是基于ai的训练函数或基于机器学习的训练函数。
[0041]
可以提供第二训练函数以应用于深度图像。可以将第二训练函数应用于深度图
像，其中，可以生成第二输出数据。优选地，第二训练函数可以是基于ai的训练函数或基于机器学习的训练函数。
[0042]
可以提供第三训练函数以应用于x射线图像。可以将第三训练函数应用于x射线图像，其中，生成第三输出数据。优选地，第三训练函数可以基于基于规则的模型。
[0043]
第一输出数据、第二输出数据和第三输出数据可以是单独的输出数据。第一输出数据、第二输出数据和/或第三输出数据可以是指示右身体部位或左身体部位的身体部位的标签。
[0044]
根据本发明的一方面，共识协议基于单独的输出数据提供总输出数据。第一输出数据、第二输出数据和第三输出数据中的至少两者可以用于确定总输出数据。总输出数据可以被定义为输出数据。
[0045]
发明人提出了将多个独立算法或多个训练函数的结果进行组合。共识协议可以用于获得准确的标签或输出数据。共识协议可以针对不同的情况或临床应用来提供输出。
[0046]
也被称为最终l/r标签的输出数据可以基于第一输出数据、第二输出数据和第三输出数据，例如使用共识协议的三个模型或多个训练函数的结果。特别地，(仅)在第一输出数据、第二输出数据和第三输出数据匹配的情况下，应用自动标记。否则，通过算法或提出的方法通知用户手动地设置标签或确认建议。
[0047]
可以将第一训练函数应用于rgb图像，其中，生成第一输出数据。可以根据rgb图像得出上下文信息和/或形状信息。可以将第一训练函数应用于rgb图像和/或上下文信息和/或形状信息。第一输出数据可以是右身体部位或左身体部位的标签。
[0048]
可以将第二训练函数应用于深度图像，其中，生成第二输出数据。可以根据深度图像得出形状信息。可以将第二训练函数应用于深度图像和/或形状信息。第二输出数据可以是右身体部位或左身体部位的标签。
[0049]
可以将第三训练函数应用于x射线图像，其中，生成第三输出数据。可以根据x射线图像得出骨骼结构信息。可以将第三训练函数应用于x射线图像和/或骨骼结构信息。第三输出数据可以是右身体部位或左身体部位的标签。
[0050]
第一输出数据、第二输出数据和第三输出数据可以被收集在结果池中。可以将共识协议应用于结果池，或者更具体地，第一输出数据、第二输出数据和第三输出数据。如果达成一致，则可以自动地确定输出数据或标签。如果没有达成一致，则可以以较低的准确性确定输出数据或标签或者根本无法给出输出。可以向用户提供建议。可以要求用户进行手动输入或确认。
[0051]
另外的信息可以被附加地使用并且被收集在结果池中以进一步改进该方法。可以将共识协议应用于包括另外的信息的结果池。输入数据的另外的来源可以基于如用以定位患者的红外检测器或温度检测器的其他感测技术的使用。此外，例如基于蓝牙低功耗接近感测的传感器的患者身上的有源模块可以用于发送位置信息。可以根据日志文件来确定例如台位置或x射线管位置的x射线系统参数的分析。在自由曝光的情况下可以使用便携式检测器的位置和定位的分析。
[0052]
3d摄像装置可以被安装在检查室中或x射线系统处。3d摄像装置可以用于捕获rgb图像和深度图像。ai模型或第一训练函数可以基于rgb图像中的上下文和形状信息来提供第一输出数据。ai模型或第二训练函数可以基于深度图像中的形状信息来提供第二输出数
据。
[0053]
x射线图像可以与rgb图像和/或深度图像一起同时被捕获或者在不同的时间被捕获，例如，rgb图像和/或深度图像可以在x射线图像被获取之前或之后不久被捕获。可以将基于规则的模型应用于x射线图像，并且可以生成第三输出数据。
[0054]
根据本发明的一方面，建议进行手动确认或手动校正。特别是在总输出数据和/或多个数据源的情况下，可以要求用户进行手动确认或手动校正。例如，可以通过光学、声学或触觉手段的方式来通知用户。在优选实施方式中，在屏幕或触摸屏上显示消息。例如，在屏幕或触摸屏上提供了用于输入和/或确认建议的标签、输出数据的选项。输出数据的准确性可以被确定，并优选地显示给用户。例如，用户可以借助于输入接口来输入值，例如字符(r或l)。例如，用户可以借助于输入接口来选择选项。
[0055]
根据本发明的一方面，训练函数基于机器学习算法。训练函数可以体现为机器学习算法、深度学习算法或类似方法。优选地，可以通过监督学习，特别是使用带注释的输入训练数据和输出训练数据来训练训练函数。可以有利地促进标签的较高的准确性水平。
[0056]
根据本发明的一方面，训练函数基于基于规则的模型。基于规则的模型可以基于特征组。例如，基于规则的模型可以用于x射线图像。特征可以基于解剖结构或骨骼结构以及它们的取向。可以有利地允许标签的较高的准确性水平。
[0057]
根据本发明的一方面，结合x射线图像显示标签，特别地，标签以在x射线图像上叠加的方式显示。x射线图像和标签可以被显示在屏幕或相似的显示单元上。带有叠加的标签的x射线图像可以提供如根据铅标记已知的印象(impression)相似的印象。此外，标签的准确性可以被显示。此外，提供关于用户的确认的信息的检查标志、其他符号或文本字符串可以被显示。例如，可以借助于符号或文本字符串来显示关于标签的手动输入的信息。作为优势，图像的读取者或用户可以容易地掌握关于标签的可靠性或准确性的信息。
[0058]
根据本发明的一方面，身体部位是成对的身体部位，特别地是四肢。例如，身体部位可以是手、肘部、手臂、肩部、臀部、腿、膝盖或脚。成对的身体部位可能会伴随着在x射线图像中混淆右身体部位和左身体部位的风险。本发明的方法可以减少进行标记期间的错误。
[0059]
本发明还涉及一种计算机实现的方法，其用于提供针对x射线系统的训练函数，该方法包括以下步骤：
[0060]-接收输入训练数据，特别地，使用第一训练接口接收输入训练数据，其中，输入训练数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像，
[0061]-接收输出训练数据，特别地，使用第二接口接收输出训练数据，其中，输出训练数据与输入训练数据相关，其中，输出训练数据是指示右身体部位或左身体部位的身体部位的标签，
[0062]-基于输入训练数据和输出训练数据来训练训练函数，特别地，使用训练计算单元进行训练，以及
[0063]-提供训练函数，特别地，使用第三训练接口提供训练函数。
[0064]
特别地，可以从例如通过用户检查rgb图像、深度图像和x射线图像而监督的具有高质量注释的检验(exam)中收集输入训练数据和输出训练数据。如上所述，另外确认的输入数据和输出数据可以作为另外的输入训练数据和输出训练数据被添加，以随时间进一步
改进训练函数。训练函数是预训练的或未经训练的。可以基于输入训练数据和输出训练数据来训练训练函数。训练可以基于常见的机器学习方法或深度学习方法。可以提供对x射线图像的可靠标记。
[0065]
本发明还涉及x射线系统，该x射线系统包括：
[0066]-第一接口，其被配置成用于接收输入数据，其中，输入数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像，
[0067]-计算单元，其被配置成用于使用计算单元将至少一个训练函数应用于输入数据，其中，生成输出数据，并且其中，输出数据是指示右身体部位或左身体部位的身体部位的标签，以及
[0068]-第二接口，其被配置成用于提供输出数据。
[0069]
x射线系统可以被实施为射线摄影系统、荧光透视系统、血管造影系统、乳房x线摄影系统或ct扫描仪。优选地，x射线系统被实施为射线摄影系统或荧光透视系统。在优选实施方式中，该系统包括光学测量系统，例如2d摄像装置或3d摄像装置。优选地，x射线系统包括3d摄像装置或用于获取三维图像或深度图像的类似装置。
[0070]
x射线系统可以包括用于对训练函数进行训练的训练系统。作为替选方案，训练系统可以与x射线系统分开实施，例如，可以在x射线装置上市(shipping)之前在工厂中执行训练。训练函数可以被传送至x射线装置的计算单元。第一接口和第二接口可以是单个物理接口，例如网络接口或用户接口。第一接口和第二接口可以是接口的子单元。
[0071]
本发明还涉及计算机程序产品，该计算机程序产品包括指令，所述指令在程序由计算机执行时使计算机执行根据本发明的用于提供x射线图像上的身体部位的标签的方法。优选地，x射线系统包括计算机。程序代码能够被加载至x射线系统的存储器单元。该程序代码可以在计算机中被执行以执行根据本发明的用于提供x射线图像上的身体部位的标签的方法的步骤。本发明还涉及计算机可读介质，该计算机可读介质包括指令，所述指令在由计算机执行时使计算机执行根据本发明的用于提供x射线图像上的身体部位的标签的方法。
[0072]
本发明还涉及根据本发明的用于提供x射线图像上的身体部位的标签的方法，其中，通过根据本发明的用于提供针对x射线系统的训练函数的方法来提供训练函数。
[0073]
本发明还涉及用于提供x射线图像上的身体部位的标签的方法，该方法包括以下步骤：
[0074]-接收输入数据，特别地，使用第一接口接收输入数据，其中，输入数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像，
[0075]-将至少一个训练函数应用于输入数据，特别地，使用计算单元将至少一个训练函数应用于输入数据，其中，生成输出数据，并且其中，输出数据是指示右身体部位或左身体部位的身体部位的标签，
[0076]-提供输出数据，特别地，使用第二接口提供输出数据，
[0077]
其中，通过用于提供针对x射线系统的训练函数的方法来提供训练函数，该方法包括以下步骤：
[0078]-接收输入训练数据，特别地，使用第一训练接口接收输入训练数据，其中，输入训练数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像，
[0079]-接收输出训练数据，特别地，使用第二接口接收输出训练数据，其中，输出训练数据与输入训练数据相关，其中，输出训练数据是指示右身体部位或左身体部位的身体部位的标签，
[0080]-基于输入训练数据和输出训练数据来训练训练函数，特别地，使用训练计算单元进行训练，以及
[0081]-提供训练函数，特别地，使用第三训练接口提供训练函数。
[0082]
本发明还涉及训练系统，该训练系统包括：
[0083]-第一训练接口，其被配置成用于接收输入训练数据，其中，输入训练数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像，
[0084]-第二训练接口，其被配置成用于接收输出训练数据，其中，输入训练数据与输出训练数据相关，其中，输出训练数据是指示右身体部位或左身体部位的身体部位的标签，
[0085]-训练计算单元，其被配置成用于基于输入训练数据和输出训练数据来训练训练函数，以及
[0086]-第三训练接口，其被配置成用于提供训练函数。
[0087]
训练系统可以是x射线系统的一部分。作为替选方案，训练系统可以是单独的训练系统。在预训练的(经训练的)函数的情况下，可以针对另外的输入数据提供至x射线系统的连接。第一训练接口、第二训练接口和/或第三训练接口可以是单个接口的子单元。特别地，第一接口、第二接口和第三接口可以是单个物理接口，例如网络接口或用户接口。
[0088]
本发明还涉及计算机程序产品，该计算机程序产品包括指令，所述指令在程序由计算机执行时使计算机执行根据本发明的用于提供训练函数的方法。计算机可以是训练系统的一部分。本发明还涉及计算机可读介质，该计算机可读介质包括指令，所述指令在由计算机执行时使训练系统执行根据本发明的用于提供训练函数的方法。
附图说明
[0089]
根据附图中所示的本发明的优选实施方式的以下描述，本发明的另外的目的和优点将变得明显，在附图中：
[0090]
图1是根据本发明的第一实施方式的用于提供x射线图像上的身体部位的标签的方法的示例性图示；
[0091]
图2是根据本发明的第二实施方式的用于提供x射线图像上的身体部位的标签的方法的示例性图示；
[0092]
图3是根据本发明的用于提供针对x射线系统的训练函数的方法的示例性图示；
[0093]
图4是根据本发明的x射线系统的示例性图示；以及
[0094]
图5是根据本发明的训练系统的示例性图示；以及
[0095]
图6是根据本发明的神经网络的示例性图示。
具体实施方式
[0096]
将结合附图和具体实施方式对本发明进行进一步详细描述。应当理解的是，本文所描述的具体实施方式仅用于说明本发明，而不是限制本发明。
[0097]
图1示出根据本发明的第一实施方式的用于提供x射线图像上的身体部位的标签
的方法1的示例性实施方式。该方法包括以下步骤：在接收步骤2中，使用第一接口接收输入数据。输入数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像。输入数据包括以下项中的至少一项：根据rgb图像得出的上下文信息或形状信息；根据深度图像得出的形状信息；以及根据x射线图像得出的骨骼结构信息。在应用步骤3中，使用计算单元将至少一个训练函数应用于输入数据，其中，生成输出数据。将训练函数应用于来源于来自rgb图像、深度图像和x射线图像的组的至少两个数据源的输入数据。输出数据是指示右身体部位或左身体部位的身体部位的标签。身体部位是成对的身体部位，特别地是四肢。在提供步骤4中，例如使用第二接口提供输出数据。在显示步骤5中，将输出数据显示在例如屏幕或触摸屏上。第一接口和第二接口可以是单个接口，例如网络接口或用户接口。
[0098]
图2示出根据本发明的第二实施方式的用于提供x射线图像上的身体部位的标签的方法1的示例性实施方式。接收步骤2包括接收rgb图像的步骤201、接收深度图像的步骤202和接收x射线图像的步骤203。应用步骤3包括：应用第一训练函数的步骤301；应用第二训练函数的步骤302；以及应用第三训练函数的步骤303。提供步骤4包括：提供第一输出数据的步骤401；提供第二输出数据的步骤402；以及提供第三输出数据的步骤403。
[0099]
将多个训练函数应用于输入数据，并且其中，针对rgb图像、深度图像和x射线图像生成单独的输出数据。可以将每个训练函数应用于仅来源于rgb图像、深度图像或x射线图像的输入数据。
[0100]
可以提供第一训练函数以应用于rgb图像。可以根据rgb图像得到上下文信息和/或形状信息。在步骤301中，可以将第一训练函数应用于rgb图像和/或上下文信息和/或形状信息，其中，可以生成第一输出数据。优选地，第一训练函数可以是基于ai的训练函数或基于机器学习的训练函数。在步骤401中，提供第一输出数据。
[0101]
可以提供第二训练函数以应用于深度图像。可以根据深度图像得到形状信息。在步骤302中，可以将第二训练函数应用于深度图像和/或形状信息，其中，可以生成第二输出数据。优选地，第二训练函数可以是基于ai的训练函数或基于机器学习的训练函数。在步骤402中，提供第二输出数据。
[0102]
可以提供第三训练函数以应用于x射线图像。可以根据x射线图像得出骨骼结构信息。在步骤303中，可以将第三训练函数应用于x射线图像和/或骨骼结构信息，其中，生成第三输出数据。优选地，第三训练函数可以基于基于规则的模型。在步骤403中，提供第三输出数据。
[0103]
第一输出数据、第二输出数据和第三输出数据可以是单独的输出数据。第一输出数据、第二输出数据和/或第三输出数据可以是指示右身体部位或左身体部位的身体部位的标签。
[0104]
可以在数据池中合并第一输出数据、第二输出数据和第三输出数据。在步骤6中，共识协议基于单独的输出数据提供总输出数据。第一输出数据、第二输出数据和第三输出数据中的至少两者可以用于确定总输出数据。总输出数据可以被定义为输出数据。多个独立的算法或多个训练函数的结果被组合。
[0105]
优选地，第一输出数据、第二输出数据和第三输出数据用于确定总输出数据。也被称为最终l/r标签的输出数据可以基于第一输出数据、第二输出数据和第三输出数据，例如使用共识协议的三个模型或多个训练函数的结果。特别地，在第一输出数据、第二输出数据
和第三输出数据匹配的情况下，应用自动标记。否则，通过算法或提出的方法通知用户手动地设置标签或确认建议。
[0106]
第一输出数据、第二输出数据和第三输出数据可以被收集在结果池中。可以将共识协议6应用于结果池，或者更具体地，应用于第一输出数据、第二输出数据和第三输出数据。如果达成一致，则可以自动地确定输出数据或标签。如果没有达成一致，则可以以较低的准确性来确定输出数据或标签，或者根本无法给出输出。可以向用户提供建议。可以要求或建议用户进行手动输入或确认。在步骤5中，结合x射线图像显示标签，特别地，标签以在x射线图像上叠加的方式显示。
[0107]
图3示出根据本发明的用于提供针对x射线系统的训练函数的方法10的示例性实施方式。方法10包括以下步骤：在第一步骤11中，接收输入训练数据，特别地，使用第一训练接口接收输入训练数据，其中，输入训练数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像。在另一步骤12中，接收输出训练数据，特别地，使用第二接口接收输出训练数据，其中，输出训练数据与输入训练数据相关，其中，输出训练数据是指示右身体部位或左身体部位的身体部位的标签。在另一步骤13中，基于输入训练数据和输出训练数据来训练训练函数，优选地，使用训练计算单元进行训练。在另一步骤中，提供训练函数，优选地，使用第三训练接口提供训练函数。第一接口、第二接口和第三接口可以是单个物理接口，例如网络接口或用户接口。
[0108]
图4示出根据本发明的x射线系统20的示例性实施方式。x射线系统20包括第一接口21，该第一接口21被配置成用于接收输入数据，其中，输入数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像。x射线系统20还包括计算单元22，该计算单元22被配置用于使用计算单元将至少一个训练函数应用于输入数据，其中，生成输出数据，并且其中，输出数据是指示右身体部位或左身体部位的身体部位的标签。x射线系统20还包括第二接口23，其被配置成用于提供输出数据。
[0109]
x射线系统20是射线摄影系统或荧光透视系统。x射线系统20包括x射线源24和x射线检测器27。患者26或身体部位被布置在x射线源24与x射线检测器27之间的空间中。x射线系统20包括3d摄像装置25或用于获取三维图像或深度图像的类似的装置。x射线源24、摄像装置25和x射线检测器27连接至第一接口21。显示单元28和输入接口29连接至第二接口。
[0110]
x射线系统可以包括用于训练训练函数的训练系统。作为替选方案，训练系统可以与x射线系统分开实施，例如，可以在x射线装置上市之前在工厂中执行训练。可以将训练函数传送至x射线装置的计算单元。
[0111]
图5示出根据本发明的训练系统30的示例性实施方式。训练系统30包括第一训练接口31，该第一训练接口31被配置成用于接收输入训练数据，其中，输入训练数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像。训练系统30还包括第二训练接口32，该第二训练接口32被配置成用于接收输出训练数据，其中，输入训练数据与输出训练数据相关，其中，输出训练数据是指示右身体部位或左身体部位的身体部位的标签。训练系统30还包括训练计算单元33，该训练计算单元33被配置成用于基于输入训练数据和输出训练数据来训练训练函数。训练系统30还包括第三训练接口34，该第三训练接口34被配置成用于提供训练函数。
[0112]
图6显示人工神经网络100的实施方式。“人工神经网络”的替选术语是“神经网
络”、“人工神经网”或“神经网”。
[0113]
人工神经网络100包括节点120、
……
、129和边140、141，其中，每个边140、141是从第一节点120、
……
、129至第二节点120、
……
、129的定向连接。通常，第一节点120、
……
、129和第二节点120、
……
、129是不同的节点120、
……
、129，也有可能的是第一节点120、
……
、129和第二节点120、
……
、129是相同的。例如，边140是从节点120至节点123的定向连接，以及边141是从节点121至节点123的定向连接。从第一节点120、
……
、129至第二节点120、
……
、129的边140、141也被表示为第二节点120、
……
、129的“进入边”以及被表示为第一节点120、
……
、129的“离开边”。
[0114]
在本实施方式中，人工神经网络100的节点120、
……
、129可以被布置在层110、
……
、112中，其中，这些层可以包括由节点120、
……
、129之间的边140、141引入的固有顺序。特别地，边140、141可以仅存在于节点的相邻层之间。在显示的实施方式中，存在仅包括节点120、
……
、122而没有进入边的输入层110、仅包括节点128、129而没有离开边的输出层112、以及在输入层110与输出层112之间的隐藏层111。通常，可以任意地选择隐藏层111的数目。输入层110内的节点120、
……
、122的数目通常与神经网络的输入值的数目有关，以及输出层112内的节点128、129的数目通常与神经网络的输出值的数目有关。输入数据基于身体部位的rgb图像、身体部位的深度图像和身体部位的x射线图像，并且由节点120、121和122接收。例如，节点120接收基于身体部位的rgb图像的输入数据，节点121接收基于身体部位的深度图像的输入数据，以及节点122接收基于身体部位的x射线图像的输入数据。在节点128和129处提供输出数据。例如，节点128提供指代指示右身体部位的身体部位的标签的输出，以及节点129提供指代指示左身体部位的身体部位的标签的输出。
[0115]
特别地，可以将(实)数作为值分配给神经网络100的每个节点120、
……
、129。此处，x
(n)i
表示第n层110，
……
，112的第i节点120、
……
、129的值。输入层110的节点120，
……
，122的值等同于神经网络100的输入值，输出层112的节点128、129的值等同于神经网络100的输出值。此外，每个边140、141可以包括作为实数的权重，特别地，权重是区间[-1,1]内或区间[0,1]内的实数。此处，w
(m,n)i,j
表示第m层110、
……
、112的第i节点120、
……
、129与第n层110，
……
，112的第j节点120、
……
、129之间的边的权重。此外，为权重w
(n,n 1)i,j
定义缩写w
(n)i,j
。
[0116]
特别地，为了计算神经网络100的输出值，通过神经网络传播输入值。特别地，可以通过下式基于第n层110、
……
、112的节点120、
……
、129的值来计算第(n 1)层110、
……
、112的节点120、
……
、129的值：
[0117][0118]
此处，函数f是传递函数(另一术语是“激活函数”)。已知的传递函数是阶跃函数、sigmoid函数(例如，逻辑函数、广义逻辑函数、双曲正切、反正切函数、误差函数、平滑阶跃函数)或整流函数。传递函数主要用于标准化目的。
[0119]
特别地，这些值通过神经网络逐层传播，其中，输入层110的值由神经网络100的输入给出，其中，隐藏层111的值可以基于神经网络的输入层110的值来计算，其中，输出层112的值可以基于隐藏层111的值来计算。
[0120]
为了设置边的值w
(m,n)i,j
，需要使用训练数据来训练神经网络100。特别地，训练数
据包括训练输入数据和训练输出数据(被表示为ti)。针对训练步骤，将神经网络100应用于训练输入数据以生成计算的输出数据。特别地，训练数据和计算的输出数据包括一定数目的值，所述数目等于输出层的节点的数目。
[0121]
特别地，计算的输出数据与训练数据之间的比较用于递归地调整神经网络100内的权重(反向传播算法)。特别地，根据下式来改变权重：
[0122][0123]
其中，γ是学习速率，以及如果第(n 1)层不是输出层，则可以基于δ
(n 1)j
将数量δ
(n)j
递归地计算为：
[0124][0125]
以及如果第(n 1)层是输出层112，则将数量δ
(n)j
递归地计算为：
[0126][0127]
其中，f
‘
是激活函数的一阶导数，以及y
(n 1)j
是输出层112的第j节点的比较训练值。
[0128]
本发明不限于上文描述的示例实施方式。而是，在不背离本发明的主题的情况下，本领域的技术人员也可以由此得出本发明的其他变型。特别地，此外，在不背离本发明的主题的情况下，还可以将关于示例实施方式描述的所有各个特征以不同的方式彼此组合。