用于识别肿瘤区域的方法与流程

用于识别肿瘤区域的方法
1.本发明涉及一种用于标记肿瘤区域的方法。特别地，本发明涉及一种用于在组织场的图像中标记肿瘤区域的计算机实施的方法，并且涉及一种用于产生具有肿瘤的组织场的经处理图像的方法，在该经处理图像中突出显示该肿瘤区域。此外，本发明涉及一种用于在所提供的组织场的图像中标记肿瘤区域的计算机程序，并且涉及一种具有用于执行该计算机程序的指令的非易失性计算机可读存储介质。此外，本发明涉及一种允许在所提供的组织场的图像中标记肿瘤区域的数据处理系统。本发明还涉及一种用于产生组织场的经处理图像的医疗设备，在该经处理图像中以突出显示的方式描绘肿瘤区域。
2.举例来说，在旨在移除脑肿瘤的外科手术的情况下，治疗外科医生面临着在移除尽可能多的病理组织与保留尽可能多的功能组织之间取得平衡的困难任务。为了简化关于要移除的组织量的决定，有多种不同的术中对比法可供选择，在这些术中对比法的范围内，荧光染料在肿瘤组织中的积累简化了肿瘤组织与健康组织的划界。例如，在us 9,044,142 b2中描述了一种使沉积在肿瘤细胞中的吲哚菁绿的荧光可见且因此强调肿瘤细胞的光学手术系统。此外，在us 2017/0027446 a1中且在us 2010/0143258 a1中描述了用于借助荧光染料强调肿瘤的方法。在尤其是在比如胶质母细胞瘤等严重肿瘤(快速生长的恶性肿瘤)的情况下使用的特别重要的方法中，天然的荧光代谢物原卟啉ix(ppix)的积累用于将肿瘤组织与健康的脑区划界。在这种情况下，ppix在肿瘤中积累，并且如果在观察光束路径中使用合适的激发光和合适的滤光片，则该ppix可识别为在蓝色背景上的红色荧光区域。
3.然而，尽管使用了染料和荧光，但确定肿瘤区域的边界也是困难的，因为例如在肿瘤的边缘区域中，肿瘤细胞渗入周围的健康组织，因此在边缘区域中，组织中的肿瘤细胞的部分减少。因此，使用ppix染料的示例，在标记肿瘤组织的红色区域与标记健康组织的蓝色区域之间存在颜色从红色过渡到蓝色的紫色或粉色区域。在实践中，肿瘤的边界通常位于颜色从红色过渡到蓝色的这个混合区域中。然而，在这里不能排除某个肿瘤类型的肿瘤细胞的荧光在不同患者之间和不同肿瘤之间发生变化，因此对肿瘤边界的这个类型的定义受到某种程度的不确定性的困扰。
4.因此，us 2010/0143258 a1提出了使用荧光强度的阈值且将荧光强度高于该阈值的组织区域视为肿瘤组织且将荧光低于该阈值的组织区域视为健康组织，并且标记从肿瘤组织到健康组织的过渡。us 2010/0143258 a1未描述如何定义阈值。
5.关于us 2010/0143258 a1的传授内容，本发明的目标是提供一种用于基于由组织区域发射或反射的光的至少一个构成部分的强度或时间强度曲线的特征值来标记肿瘤区域的方法，其中该特征值能够以有利的方式来确定。
6.根据权利要求1，前述目标是通过用于在组织场的图像(在下文被称为组织场图像)中标记肿瘤区域的计算机实施的方法来实现的，并且根据权利要求12，前述目标是通过用于产生经处理组织场图像的方法来实现的。此外，根据权利要求19，该目标还通过用于在所提供的组织场图像中标记肿瘤区域的计算机程序来实现，根据权利要求20，该目标还通过非易失性计算机可读存储介质来实现，根据权利要求21，该目标还通过数据处理系统来实现，并且根据权利要求22，该目标还通过医疗设备来实现。从属权利要求包含本发明的有
利配置。
7.根据本发明，提供了一种用于在示出具有肿瘤的组织区域且已借助由该组织区域反射或发射的光获得的组织场图像中标记肿瘤区域的计算机实施的方法。在其上执行该计算机实施的方法的设备可以例如从存储器读取组织场图像，经由网络接收所述组织场图像，或以任何其他方式输入所述组织场图像。在这种情况下，可以直接从图像拍摄设备接收组织场图像。在本发明的范围内，组织场图像应被视为大面积图像，该大面积图像表示1cm2或更多(例如，2cm2、5cm2或更多)的对象场。该组织场图像可以可选地是放大的表示，其中，然而放大率并未高到能够分辨细胞结构。通常，放大率在从大约5x到大约40x的范围内。特别地，组织场图像可以是概览图像。
8.在根据本发明的计算机实施的方法中，基于由组织区域反射或发射的光的至少一个构成部分的强度或时间强度曲线的特征值来标记肿瘤区域，时间强度曲线例如能够由表征时间强度曲线的时间常数来表示。在这种情况下，借助电子图像处理来实施标记。由组织区域反射或发射的光可以在可见光谱范围内、在红外光谱范围内或在紫外光谱范围内。特别地，至少一个构成部分可以是在通过存在于组织区域中的染料借助某种激发光进行激发之后发射的荧光辐射的至少一个光谱线。
9.根据本发明，基于组织场图像的与组织区域的从中获得至少一条组织学信息的组织段相对应的图像部分中至少一个构成部分的强度或时间强度曲线来确定特征值。在这种情况下，有助于组织变化的辨识和/或细胞的分类的任何信息、特别是细胞层面上的任何信息都应被视为组织学信息。在这种情况下，组织场图像的图像部分通常比组织场图像本身小得多，并且通常情况下，与组织场图像的图像面积的小于1％、优选地组织场图像的图像面积的小于0.5％和特别是组织场图像的图像面积的小于0.1％相对应。举例来说，组织学信息可以是肿瘤细胞比例、肿瘤细胞的氧含量、从肿瘤细胞的形态得到的变量等。
10.因此，在根据本发明的计算机实施的方法中基于组织场图像的图像部分来确定特征值，该图像部分示出其中与相应患者有关的至少一个特定组织学信息可用的组织段。如果基于组织段获得的组织学信息是肿瘤区域的某个部分、例如肿瘤区域的边缘的特征值，则基于与这个组织段相对应的图像部分来确定的特征值也是肿瘤区域的这个部分的特征值。因此，可以基于由此确定的特征值来针对每个患者非常单独地确定肿瘤区域的一部分，例如该区域的边缘。因此，例如，肿瘤区域可以通过该区域的边缘来标记。在这种情况下，肿瘤区域可以例如表示肿瘤细胞比例超过指定值(例如，旨在标记肿瘤的边缘的值)的肿瘤部分。替代性地，肿瘤区域可以例如表示肿瘤特定性质(例如ph值、氧含量、h2o2或其他含氧衍生物的浓度等)高于或低于某个限度的肿瘤部分。在这种情况下，例如，可以借助于组织学信息推断出相应区域的边缘的走向。
11.举例来说，可以借助快速切片组织学来获得组织学信息。然而，替代性地，该组织学信息还可以特别地包含在组织场图像的图像部分上拍摄的组织学图像中。举例来说，可以借助于共焦内窥镜、借助于光学相干断层扫描(oct)或借助于具有生物传感器类型的测量功能的探头来拍摄组织学图像。举例来说，在这种情况下可以基于组织学信息来选择合适的组织段，其中，由此发射或反射的光的强度或强度曲线对于相应患者的肿瘤区域的一部分是有代表性的，或者其中，由此反射或发射的光的强度或强度曲线(其对于相应患者的肿瘤区域的部分是有代表性的)形成用于计算所反射光或所发射光的强度的合适起点。
12.在根据本发明的计算机实施的方法的第一变型中，通过以下方式来确定特征值：显示至少一个组织学图像且提供用于从这些所显示的组织学图像中选择选定组织学图像的选择功能，在该选择功能启动之后针对示出在其上拍摄该选定组织学图像的组织段的图像部分确定实际强度值或实际时间强度曲线。所确定的实际强度值或所确定的实际时间强度曲线然后被定义为至少一个构成部分的强度或时间强度曲线的特征值。如果例如拍摄了肿瘤区域的边缘处的选定组织学图像，则所确定的实际强度值或所确定的实际时间强度曲线是肿瘤的边缘的特征值，并且因此可以基于所确定的实际强度值或所确定的实际时间强度曲线来标记肿瘤区域的边缘。
13.代替基于组织学图像来做出选择，存在处理至少一个组织学图像的包含在组织学图像中的至少一条组织学信息且显示每个组织学图像的经处理组织学信息的选项。然后提供用于从所显示的经处理组织学信息中选择选定的经处理组织学信息的选择功能，在该选择功能启动之后针对示出组织段的图像部分确定实际强度值或实际时间强度曲线，在该图像部分上拍摄形成选定的经处理组织学信息的基础的组织学图像，并且所述实际强度值或所述实际时间强度曲线被定义为至少一个构成部分的强度或时间强度曲线的特征值。可以基于经处理组织学信息来做出比基于组织学图像本身更客观的选择。自然地，可以既基于组织学图像又基于经处理组织学信息来做出选择。举例来说，经处理组织学信息可以是肿瘤细胞比例的值、ph值、氧含量的值、h2o2或其他含氧衍生物的浓度等。
14.在这个变型中，治疗医师或治疗医师团队可以例如拍摄组织学图像，直到找到了示出组织段的应被视为肿瘤的边缘或肿瘤的某个区域的边缘的特征值的一个组织学图像，并且然后选择对应的组织学图像。在选择之后，例如，确定示出这个组织段的组织场图像的图像部分的实际强度值且将该实际强度值定义为至少一个构成部分的强度的特征值。组织场图像的其中强度与特征值相对应的图像区域然后可以被视为肿瘤的边缘或某个肿瘤区域的边缘。
15.在根据本发明的计算机实施的方法的第一变型的发展中，关于组织场图像的与组织学图像中所描绘的组织段相对应的图像部分的每个所拍摄的组织学图像来确定实际强度值或实际时间强度曲线，并且在组织场图像中标记其中所反射光或所发射光的强度的值或实际时间强度曲线与分别确定的实际强度值或实际时间强度曲线相对应的图像区域。如果相应实际强度值或相应实际时间强度曲线被用作特征值，则这可以向医师或医师团队指示应认为肿瘤区域有多大，并且这可能有助于在移除尽可能多的肿瘤组织与同时保留尽可能多的健康组织方面取得平衡。然后，可以基于这些考虑来选择组织学图像之一。然后可以通过启动选择功能来将组织场图像的与选定组织学图像中的组织段相对应的图像部分的实际强度值或实际时间强度曲线定义为至少一个构成部分的强度或时间强度曲线的特征值。
16.在根据本发明的方法的第二变型中，至少一条组织学信息是可量化组织学信息，例如肿瘤细胞比例，并且基于组织学信息来确定的可量化组织学信息的实际值以及应标记肿瘤区域(例如肿瘤的边缘)的可量化组织学信息的指定值用于确定特征值。举例来说，肿瘤细胞比例可以用作可量化组织学信息，其中，肿瘤细胞比例能够在某个选定组织段中被视为肿瘤细胞占这个组织段中的所有细胞的总数的比例。然而，例如，可量化组织学信息还可以是ph值、氧含量、h2o2或其他含氧衍生物的浓度等。
17.特别地，还可以在根据本发明的计算机实施的方法本身的范围内例如基于接收到的组织学图像来执行确定可量化组织学信息的实际值。倘若可量化组织学信息的值是肿瘤细胞比例，则至少一个实际肿瘤细胞比例的确定可以包括如下步骤：
[0018]-识别接收到的组织学图像中的肿瘤细胞，以及
[0019]-基于识别出的肿瘤细胞的数量来确定至少一个接收到的组织学图像的实际肿瘤细胞比例。
[0020]
在这种情况下，组织学图像必须有助于确定肿瘤细胞比例。举例来说，这个组织学图像可以是借助共焦内窥镜获得的图像、借助光学相干断层扫描(oct)获得的图像、借助具有生物传感器类型的测量功能的探头获得的图像、借助磁共振成像(mri)获得的图像等。然而，该组织学图像还可以是组织学切片图像(也就是说，组织学切片的图像)等。举例来说，组织学图像可以具有允许识别图像中的各个细胞的分辨率。优选地，例如，分辨率甚至高到可以识别各个细胞的结构，比如细胞核。分辨率优选地是10μm或更佳，例如5μm、3μm、1μm或0.7μm。举例来说，然后可以可选地借助于用于提高对比度的染色手段基于形态标准(例如细胞结构、细胞核的大小等)来在组织学图像中识别肿瘤细胞。在这种情况下，组织学图像通常示出1mm2或更少(例如0.5mm2、0.2mm2、0.1mm2或甚至更少)的对象切片，然而组织场图像示出1cm2或更多的对象切片。如果由组织反射或发射的光的至少一个构成部分的强度的值或时间强度曲线的依赖关系是已知的，则由组织反射或发射的光的强度可以用于确定肿瘤细胞比例。这允许借助还用于拍摄组织学图像的相同设备来确定强度的值或时间强度曲线。
[0021]
替代性地，还可以从外部确定实际肿瘤细胞比例并且所确定的实际肿瘤细胞比例形成对方法的输入。
[0022]
在这种情况下，标准组织学方法可以用于确定肿瘤细胞比例。举例来说，在y.jiang et al.:"calibration of fluorescence imaging for tumor surgical margin delineation:multistep registration of fluorescence and histological images",journal of medical imaging 6(2),025005(april to june 2019)[y.jiang等人:用于肿瘤手术边缘划定的荧光成像的校准:荧光和组织学图像的多步配准,医学成像杂质6(2),025005(2019年四月至六月)]中描述了合适的方法。
[0023]
在第二变型的第一实施例中，可以通过如下操作来确定特征值：
[0024]-针对组织场图像的与其中获得可量化组织学信息的实际值的组织段相对应的图像部分确定至少一个构成部分的强度的实际强度值或实际时间强度曲线，
[0025]-基于至少一个构成部分的强度的值或时间强度曲线对可量化组织学信息的值的依赖关系来计算在可量化组织学信息的指定值处至少一个构成部分的强度的值或时间强度曲线，该可量化组织学信息的值出自于针对组织区域的组织段确定的可量化组织学信息的实际值以及针对组织场图像的与这个组织段相对应的图像部分确定的实际强度值或针对组织场图像的图像部分确定的实际时间强度曲线，以及
[0026]-将在可量化组织学信息的指定值处至少一个构成部分的强度的计算出的值或时间强度曲线定义为至少一个构成部分的强度或时间强度曲线的特征值。
[0027]
在第二变型的第二实施例中，可以通过以下操作来确定特征值：
[0028]-接收组织学图像且确定接收到的组织学图像中所描绘的组织段的可量化组织学
信息的实际值直到已经找到其中可量化组织学信息的实际值与可量化组织学信息的指定值相对应的组织段，组织段位于组织场图像中所描绘的组织区域中；
[0029]-选择表示其中可量化组织学信息的实际值与可量化组织学信息的指定值相对应的组织段的图像部分；
[0030]-针对选定图像部分确定至少一个构成部分的强度的实际强度值或实际时间强度曲线；以及
[0031]-将选定图像部分的实际强度值或实际时间强度曲线定义为至少一个构成部分的强度或时间强度曲线的特征值。
[0032]
由于在第二变型中可以以自动化方式不仅实施可量化组织学信息的实际值的确定而且实施其余步骤，因此可以在这个变型中以自动化方式实施基于所拍摄的组织学图像或多个所拍摄的组织学图像来确定特征值。
[0033]
因此，在根据本发明的计算机实施的方法的第二变型中，特别是可以以组织学图像的形式可用的组织学信息用于确定例如在组织场图像中所描绘的组织区域的某个组织段的肿瘤细胞比例。此外，针对组织场图像的表示其中已确定肿瘤细胞比例的组织段的图像段测量至少一个构成部分的强度或时间强度曲线。然后可以依据至少一个构成部分的强度或时间强度曲线对肿瘤细胞比例的依赖关系来计算在指定肿瘤细胞比例的情况下可以预期的构成部分的强度或时间强度曲线。倘若这样的计算是不期望的或不可能的，例如因为强度或时间强度曲线对肿瘤细胞比例的这种依赖关系是未知的，则替代性地存在确定组织区域的组织段的实际肿瘤细胞比例直到已经找到其实际肿瘤细胞比例与指定肿瘤细胞比例相对应的组织段的选项。对于组织场图像中描绘这个组织段的图像部分，然后确定至少一个构成部分的实际强度值或实际时间强度曲线。然而，计算指定肿瘤细胞比例所预期的构成部分的强度或时间强度曲线在这种情况下提供仅必须获得组织学信息一次且仅需要确定单个实际肿瘤细胞比例的优点。这不仅适用于肿瘤细胞比例，而且适用于其他可量化组织学信息，比如(例如)ph值、氧含量、h2o2或其他含氧衍生物的浓度等。
[0034]
特别地，在根据本发明的计算机实施的方法中，组织场图像可以是荧光图像。在这种情况下，至少一个构成部分的强度或时间强度曲线是由组织区域发射的荧光辐射的至少一个光谱线的强度或时间强度曲线。使用荧光染料来识别肿瘤的方法是广泛的，并且有助于肿瘤细胞与健康细胞之间的特别良好的区别。因此，例如，荧光辐射的强度或时间强度曲线是组织段中的肿瘤细胞的比例的良好度量。
[0035]
为了能够在确定至少一个构成部分的强度或时间强度曲线时减少由周围环境造成的虚假，可以以这样的方式体现根据本发明的计算机实施的方法，即基于包含在以下群组中的数据项中的至少一个来校正至少一个构成部分的实际强度的值或时间强度曲线：
[0036]-表示组织区域的反射性质的数据项，例如，可以借助于该数据项来校正组织区域的镜面反射。
[0037]-表示组织区域的形貌的数据项，借助于该数据项可以考虑由形貌导致的不同反射或发射方向。
[0038]-表示用于拍摄组织场图像的拍摄设备的至少一个装备参数的数据项，借助该数据项可以考虑例如设置照射强度、照射光谱、由于插入的滤光片导致的强度损失等。
[0039]
此外，本发明提供了一种用于产生具有肿瘤的组织区域的经处理组织场图像的方
法，在该经处理组织场图像中标记该肿瘤区域。该方法包括以下步骤：
[0040]-获得组织区域的至少一个组织段的至少一条组织学信息。至少一条组织学信息可以特别地包含在组织场图像的图像部分上拍摄的组织学图像中。举例来说，可以借助内窥镜、例如借助共焦内窥镜或适合用于执行光学相干断层扫描的内窥镜来拍摄组织学图像。
[0041]-拍摄组织区域的组织场图像。在这种情况下，组织场图像通常是表示具有1cm2或更多(例如2cm2、5cm2或甚至更多)的面积的对象场的大面积图像。特别地，这个组织场图像可以是通过手术显微镜获得的图像，也就是说，该组织场图像也可以是用放大率来拍摄的。然而，在这种情况下，放大率不会高到使得可以识别细胞结构。通常，放大率在从大约5x到大约40x的范围内。
[0042]-基于至少一个所获得的组织学信息和所拍摄的组织场图像来执行根据本发明的计算机实施的方法，具有经标记的肿瘤的区域的组织场图像形成经处理组织场图像。
[0043]
根据本发明的方法例如可以用于处理由手术显微镜拍摄的图像，以便在肿瘤的区域代表整个肿瘤的情况下向治疗外科医生显示肿瘤的边界，或者向治疗外科医生显示肿瘤的某个区域的边界，例如肿瘤的某些区域的边界，在所述区域中肿瘤特定性质(例如ph值、氧含量、h2o2或其他含氧衍生物的浓度等)高于或低于某个限度。
[0044]
在这种情况下，可以存储从中获得至少一条组织学信息的组织段的坐标，并且可以借助导航系统来定向用于拍摄组织场图像的拍摄设备，使得从中获得至少一条组织学信息的组织段被成像在组织场图像的图像部分中。以这种方式，可以确保示出组织段的图像部分在从中获得至少一条组织学信息的组织段的组织场图像中可用。
[0045]
此外，该方法可以包括：指定可量化组织学信息的值，例如旨在标记肿瘤区域的边缘的肿瘤细胞比例的值；以及针对组织场图像的图像部分中所描绘的组织区域的至少一个组织段确定或接收可量化组织学信息的实际值，例如，实际肿瘤细胞比例。为了确定可量化组织学信息的实际值，可以针对组织场图像的图像部分中所描绘的至少一个组织段拍摄包含可量化组织学信息的组织学图像，基于该组织学图像来确定可量化组织学信息的实际值。如果接收到可量化组织学信息的实际值，则基于组织学信息来从外部确定该可量化组织学信息的实际值。
[0046]
特别地，可以将荧光图像拍摄为组织场图像，其中，至少一个构成部分的强度或时间强度曲线然后是由组织区域发射的荧光辐射的至少一个光谱线的强度或时间强度曲线。
[0047]
手术显微镜可以包括高光谱传感器或多光谱传感器以用于拍摄组织场图像的目的。另外地或作为其替代方案，内窥镜可以包括高光谱传感器或多光谱传感器以用于拍摄组织学图像的目的。虽然常规图像传感器可以仅将三个原色区分开，但多光谱传感器提供了将多于三个原色区分开的可能性并且高光谱传感器提供了将多个颜色区分开的可能性。因此，使特别精确地检测至少一个构成部分的强度或时间强度曲线成为可能。
[0048]
此外，根据本发明，提供了一种用于在示出具有肿瘤的组织区域且已借助由该组织区域反射或发射的光获得的组织场图像中标记肿瘤区域的计算机程序。计算机程序包括指令，这些指令当在计算机上执行时基于由组织区域反射或发射的光的至少一个构成部分的强度或时间强度曲线的特征值来促使计算机标记肿瘤区域。根据本发明，该计算机程序包括指令，这些指令促使计算机基于组织场图像的与组织区域的从中获得至少一条组织学
信息的组织段相对应的图像部分中至少一个构成部分的强度或时间强度曲线来确定特征值。
[0049]
根据本发明的计算机程序有助于在计算机或任何其他数据处理系统上执行根据本发明的计算机实施的方法。在这种情况下，可以以这样的方式发展该计算机程序，即该计算机程序有助于在计算机或任何其他数据处理系统上执行计算机实施的方法的发展。
[0050]
此外，本发明提供了一种非易失性计算机可读存储介质，该非易失性计算机可读存储介质在其上存储用于在示出具有肿瘤的组织区域且已借助由该组织区域反射或发射的光获得的组织场图像中标记肿瘤区域的指令。存储在存储介质上的指令包括当在计算机上执行时促使计算机基于由组织区域反射或发射的光的至少一个构成部分的强度或时间强度曲线的特征值来标记肿瘤区域的指令。此外，所存储的指令包括促使计算机基于组织场图像的与组织区域的从中获得至少一条组织学信息的组织段相对应的图像部分中至少一个构成部分的强度或时间强度曲线来确定特征值的指令。
[0051]
根据本发明的非易失性计算机可读存储介质允许根据本发明的计算机程序加载到计算机或任何其他数据处理系统上并且因此允许计算机或数据处理系统被配置用于执行根据本发明的计算机实施的方法。在这种情况下，存储在非易失性计算机可读存储介质上的指令还可以包括有助于执行根据本发明的计算机实施的方法的发展的指令。
[0052]
根据本发明的又一方面，提供了一种具有处理器和至少一个存储器的数据处理系统，其中该处理器被设计成基于存储在存储器中的计算机程序的指令来在示出具有肿瘤的组织区域且已借助由组织区域反射或发射的光获得的组织场图像中标记肿瘤区域，并且基于由组织区域反射或发射的光的至少一个构成部分的强度或时间强度曲线的特征值来标记肿瘤区域。在根据本发明的数据处理系统中，存储在存储器中的计算机程序包括指令，这些指令促使处理器基于组织场图像的与组织区域的从中获得至少一条组织学信息的组织段相对应的图像部分中至少一个构成部分的强度或时间强度曲线来确定特征值。
[0053]
可以呈计算机或任何其他数据处理装置的形式的根据本发明的数据处理系统有助于执行根据本发明的计算机实施的方法。在这种情况下，可以以这样的方式发展数据处理系统，即存储在存储器中的指令有助于执行根据本发明的计算机实施的方法的发展。
[0054]
此外，根据本发明，提供了一种用于产生具有肿瘤的组织区域的经处理组织场图像的医疗设备，在该经处理组织场图像中标记肿瘤区域。根据本发明的医疗设备包括用于拍摄具有肿瘤的组织区域的组织场图像的图像拍摄设备。图像拍摄设备可以是被集成到不同装备中的相机或图像传感器。举例来说，图像拍摄设备可以是被集成到手术显微镜中的图像传感器。此外，医疗设备包括用于接收至少一条组织学信息和/或用于接收组织学图像的接口，已针对组织场图像的图像部分中所描绘的组织区域的组织段获得该至少一条组织学信息，可以基于该组织学图像来获得该至少一条组织学信息。替代性地，医疗设备还可以包括用于拍摄这样的组织学图像的组织学图像拍摄设备，例如内窥镜。此外，医疗设备包括根据本发明的数据处理系统。因此，根据本发明的医疗设备可以执行根据本发明的计算机实施的方法以及可选地该计算机实施的方法的发展。举例来说，组织学信息在这种情况下可以是肿瘤细胞比例、肿瘤细胞的氧含量、从肿瘤细胞的形态得到的变量等。
[0055]
作为图像传感器，医疗设备的图像拍摄设备可以包括高光谱传感器或多光谱传感器。另外地或作为其替代方案，组织学图像拍摄设备可以包括高光谱传感器或多光谱传感
器。这使得可以特别精确地确定某些波长的强度或时间强度曲线。
[0056]
此外，医疗设备可以包括输入装置，该输入装置用于指定旨在表征肿瘤区域的边缘的可量化组织学信息的值。举例来说，这个输入装置可以是键盘或触摸屏。然而，该输入装置还可以是语音辨识系统，例如，可以借助该语言辨识系统通过语言输入可量化组织学信息的值，或者可以是数据接口，例如，可以借助该数据接口将可量化组织学信息的指定值传输到医疗设备。
[0057]
具有能够在组织区域中诱发荧光的光谱特性的光源可以用作光源。特别地，光谱特性在这种情况下可以通过其光谱最大值位于红外光谱范围内或紫外光谱范围内的发射器来实现。然而，该光谱特性还可以通过宽带发射器连同光谱滤光片来实现。
[0058]
本发明的进一步的特征、性质和优点参考附图依据对示例性实施例的以下描述将变得显而易见。
[0059]
图1示出了用于产生具有肿瘤的组织区域的经处理组织场图像的医疗设备的示意性表示，在该经处理组织场图像中强调肿瘤的边缘。
[0060]
图2示出了手术显微镜的结构的示意图。
[0061]
图3示出了手术显微镜的替代性实施例。
[0062]
图4示出了用于在组织场图像中标记肿瘤的边缘的方法的第一示例性实施例的流程图。
[0063]
图5高度示意性地示出了展现肿瘤的组织场图像，已在该组织场图像中强调肿瘤的边缘。
[0064]
图6高度示意性地示出了可以用于确定实际肿瘤细胞比例的组织学图像。
[0065]
图7示出了用于在组织场图像中标记肿瘤的边缘的方法的第二示例性实施例的流程图。
[0066]
图8示出了用于在组织场图像中标记肿瘤的边缘的方法的第三示例性实施例的流程图。
[0067]
为了解释的目的，将在下文基于示例性实施例详细地描述本发明。图1示出了包括作为图像拍摄设备的手术显微镜1、作为组织学图像拍摄设备的内窥镜3和作为数据处理系统的计算机5的系统来作为用于产生具有肿瘤的组织区域的经处理组织场图像的医疗设备的示例性实施例，在该经处理组织场图像中突出显示肿瘤的边缘。在这种情况下，计算机5的键盘7可以用作用于指定可量化组织学信息的值、例如用于指定肿瘤细胞比例的输入装置。
[0068]
图1中示出的内窥镜3包括具有第一端11和第二端13的光纤9。使第一端11面对观察对象15，该观察对象在本示例性实施例中是具有肿瘤23的组织区域25(参见图5)，并且该第一端位于扫描装置17中，可以借助于该扫描装置使第一端11相对于观察对象15沿着两个横向方向(在下文被称为x方向和y方向)移动。特别地，可以借助微机电系统(mems)实现扫描装置。举例来说，在us 2016/0051131 a1中描述了使用微机电系统的扫描装置。关于合适扫描装置的结构参考本文档。
[0069]
光纤9的第二端13面对传感器19，借助该传感器可以捕获入射在传感器19上的发光能量。传感器19位于壳体21中，该壳体在本示例性实施例中体现为单独模块但还可以体现为手柄，并且此外，在该壳体中装纳有用于生成用于照射观察对象15的照射光的光源(图
中未展示)以及用于将照射光耦合到光纤9的第二端13中的输入耦合设备。特别地，光源可以是激光光源。然而，光源还可以被布置在壳体21外部并且通过光导连接到该壳体。然后，光导的输出端位于壳体21中。在这种情况下，输入耦合设备对从光导的输出端射出的光纤9的照射光进行输入耦合。照射光可以是白光(即，具有宽带光谱)或具有由一个或多个窄带光谱范围组成的光谱的光，特别是例如一个或多个窄带光谱范围的光谱线或者适合用于激发位于观察对象15中的荧光染料的荧光的光谱线。举例来说，荧光代谢物原卟啉ix(ppix)是合适的荧光染料。
[0070]
耦合到光纤9的第二端13中的照射光通过光纤9被导引到第一端11，照射光在观察对象15的方向上从该第一端射出。由观察对象15反射的照射光或者由该照射光激发且由观察对象15发射的光(例如荧光)继而进入光纤9的第一端11并且从该第一端被导引到第二端13，该照射光或荧光在传感器19的方向上从该第二端射出。此外，聚焦光学单元可以位于光纤9的端11、13处或前面，并且这些聚焦光学单元可以用于将光聚焦到观察对象15的表面上或聚焦到传感器19上。特别地，内窥镜3可以体现为共焦内窥镜。另外地或作为其替代方案，该内窥镜还可以体现为用于执行光学相干断层扫描(oct)的内窥镜。例如，共焦显微术和光学相干断层扫描是众所周知的方法并且在us 2010/0157308 a1和us 9,921,406 b2中进行描述。因此，在本描述的范围内省略了对关于共焦显微术和关于光学相干断层扫描的细节的描述。替代地，参考us 2010/0157308 a1和us 9,921,406 b2。
[0071]
在本示例性实施例中，借助于内窥镜1拍摄图像是借助于计算机5来控制的。然而，还可以借助专用控制装置来实施该控制。在本示例性实施例中用于控制的计算机5连接到扫描装置17和传感器19两者。在本示例性实施例中，扫描装置17以这样的方式受计算机5控制，即沿着具有网格点的网格对观察对象15进行扫描。在每个被扫描的网格点处，用照射光照射观察对象15并且拍摄所反射的照射光或由于借助照射光进行的激发而由观察对象15发射的光。然后，计算机依据在网格点处拍摄的所反射照射光或依据在网格点处拍摄的由观察对象发射的光生成图像，所述图像的像素网格与在扫描期间使用的网格相对应。由此产生的图像的分辨率通常是10μm或更佳，例如5μm、3μm、1μm、0.7μm或甚至更佳。在这种情况下，图像通常示出1mm2或更少(例如0.5mm2、0.2mm2、0.1mm2或甚至更少)的对象切片。在本示例性实施例中，光纤9、扫描装置17、传感器19和计算机5共同形成组织学图像拍摄设备，也就是说，用于拍摄有助于确定组织学信息、特别是可量化组织学信息(比如，图像中所描绘的组织的肿瘤细胞比例或者图像中所描绘的组织的氧含量、ph值、h2o2或其他含氧衍生物的浓度等)的图像的拍摄设备。举例来说，然后可以可选地借助于用于提高对比度的染色手段基于形态标准(例如细胞结构、细胞核的大小等)来在组织学图像中识别肿瘤细胞。
[0072]
图2示出了如可在图1的布置中使用的手术显微镜1的可能结构的示意性展示。图3示出了可能的替代性结构。
[0073]
图2中示出的手术显微镜1包括要面对观察对象15(也就是说，在本示例性实施例中具有肿瘤的组织区域)的物镜105作为基本部件，该物镜可以特别地体现为消色差物镜或复消色差物镜。在本示例性实施例中，物镜105由两个部分透镜组成，该两个部分透镜彼此黏结且形成消色差物镜。观察对象15被布置在物镜105的焦平面中，使得通过物镜105使该观察对象在无穷远处成像。换句话说，从观察对象15发出的发散光束107a、107b在其通过物镜105期间被转换成平行光束109a、109b。
[0074]
放大率变换器111布置在物镜105的观察者侧上，该放大率变换器可以体现为变焦系统以用于以连续可变的方式改变放大因数，如在所展示的实施例中，或体现为所谓的伽利略变换器以用于以步进方式改变放大因数。在举例来说由具有三个透镜的透镜组合构建的变焦系统中，可以使两个对象侧透镜位移以便改变放大因数。然而，实际上，变焦系统还可以具有多于三个透镜，例如四个或多于四个透镜，在这种情况下然后还可以以固定的方式来布置外透镜。在伽利略变换器中，通过对比，存在表示不同放大因数且可以被交替地引入到光束路径中的多个固定的透镜组合。变焦系统和伽利略变换器两者将对象侧平行光束转换成具有不同光束直径的观察者侧平行光束。在本示例性实施例中，放大率变换器111已经是手术显微镜1的双目光束路径的一部分，即，该放大率变换器具有专用于手术显微镜1的每个立体部分光束路径109a、109b的透镜组合。在本示例性实施例中，借助放大率变换器111通过电机驱动的致动器来调整放大因数，该电机驱动的致动器与放大率变换器111一起是用于调整放大因数的放大率变更单元的一部分。
[0075]
放大率变换器111在观察者侧上邻接接口布置113a、113b，外部装置可以借助该接口布置连接到手术显微镜1并且该接口布置在本示例性实施例中包括分束器棱镜115a、115b。然而，原则上，还可以利用其他类型的分束器，例如部分透射镜。在本示例性实施例中，接口113a、113b用于对来自手术显微镜1的光束路径(分束器棱镜115b)的光束进行输出耦合并且将光束输入耦合到手术显微镜1的光束路径(分束器棱镜115a)中。
[0076]
在本示例性实施例中，在部分光束路径109a中的分束器棱镜115a用于借助分束器棱镜115a借助于显示器137(例如数字镜装置(dmd)或lcd显示器)和相关联光学单元139为观察者将信息或数据镜像反映到手术显微镜1的部分光束路径109a中。举例来说，标记被观察的组织区域中的肿瘤的边缘的走向的标记线可以叠加在通过手术显微镜1获得的图像上。相机适配器119被布置在另一部分光束路径109b中的接口113b处，其中，相机103紧固到该相机适配器，所述相机配备有电子图像传感器123，例如配备有ccd传感器或cmos传感器。可以借助相机103拍摄电子图像，并且特别是拍摄观察对象15的数字图像。特别地，所使用的图像传感器还可以是多光谱传感器或高光谱传感器，该多光谱传感器或高光谱传感器不是仅包括三个光谱通道(例如，红色、绿色和蓝色)而是包括多个光谱通道。
[0077]
接口113在观察者侧上后面接着是双目镜管127。该双目镜管具有两个管物镜129a、129b，该两个管物镜将相应的平行光束109a、109b聚焦到中间图像平面131上，即，使观察对象15成像到相应中间图像平面131a、131b上。最终依次由接目镜透镜135a、135b使位于中间图像平面131a、131b中的中间图像在无穷远处成像，使得观察者可以用放松的眼睛观察中间图像。此外，借助镜系统或借助棱镜133a、133b在双目镜管中增加两个部分光束109a、109b之间的距离以便使所述距离适应于观察者的眼间距离。另外地，由镜系统或棱镜133a、133b执行图像竖立。
[0078]
此外，手术显微镜1配备有照射设备，可以借助该照射设备用照射光照射观察对象15。为此，在本示例性实施例中，照射设备具有白色光源141，例如卤素灯或气体放电灯。在观察对象15的方向上经由偏转镜143或偏转棱镜引导从白色光源141发出的光以便照射所述场。此外，照射光学单元145存在于照射设备中，所述照射光学单元确保整个被观察的观察对象15的均匀照射。
[0079]
在图2中展示的手术显微镜1中，照射可能受到影响。举例来说，可以将滤光片引入
到照射光束路径中，所述滤光片仅透射来自白色光源141的宽光谱的窄光谱范围，例如，使得能够激发位于观察对象15中的荧光染料的荧光的光谱范围。为了观察荧光，可以将滤光片137a、137b引入到观察部分光束路径中，所述滤光片滤除用于激发荧光的光谱范围使得可以观察到所述荧光。为了仅使用激发荧光所需要的照射光的光谱范围来照射观察对象15，存在使用窄带光源(例如激光光源，该窄带光源基本上仅在激发荧光所需要的光谱范围中发射)而不是使用白色光源连同滤光片的选项。特别地，照射设备还可以包括有助于白色光源与窄带光源之间的互换的装置。
[0080]
应指出，图2中展示的照射光束路径是高度示意性的且不一定再现照射光束路径的实际走向。原则上，照射光束路径可以被设计为所谓的倾斜照射，这与图2中的示意性展示最接近。在这样的倾斜照射中，光束路径相对于物镜5的光学轴线以相对较大的角度(6
°
或更多)延伸，并且如图2中所展示的，可以完全在物镜外部延伸。然而，替代性地，还存在允许倾斜照射的照射光束路径延伸穿过物镜105的边际区域的可能性。照射光束路径的布置又一可能性是所谓的0
°
照射，其中，照射光束路径延伸穿过物镜105并且在观察对象15的方向上沿着物镜105的光学轴线在两个部分光束路径109a、109b之间输入耦合到物镜105中。最终，还可以将照射光束路径设计为所谓的同轴照射，其中，存在第一照射部分光束路径和第二照射部分光束路径。这些部分光束路径经由与观察部分光束路径109a、109b的光学轴线平行的一个或多个分束器耦合到手术显微镜1中，使得照射相对于两个观察部分光束路径同轴延伸。
[0081]
在图2中示出的手术显微镜1的实施例变型中，物镜105仅由一个消色差透镜组成。然而，还可以利用由多个透镜制成的物镜系统，特别是所谓的变形物镜，可以借助该物镜系统改变手术显微镜1的工作距离，即，对象侧焦平面与物镜105的第一对象侧透镜表面的顶点之间的距离，还被称为前焦距。也由变形透镜使被布置在焦平面中的观察对象15在无穷远处成像，并且因此平行光束存在于观察者侧上。
[0082]
图3示出了示意性表示中的数字手术显微镜148的一个示例。在这个手术显微镜中，主要物镜105、放大率变换器111和照射系统141、143、145与具有图2中展示的光学观看单元的手术显微镜1没有差异。差异在于图3中示出的手术显微镜148不包括光学双目镜管的事实。代替来自图2的管物镜129a、129b，来自图3的手术显微镜148包括聚焦透镜149a、149b，借助这些聚焦透镜使双目观察光束路径109a、109b在数字图像传感器161a、161b上成像。在这里，例如，数字图像传感器161a、161b可以是ccd传感器或cmos传感器。由图像传感器161a、161b拍摄的图像被传输到数字显示器163a、163b，这些数字显示器可以体现为led显示器、lcd显示器或基于有机发光二极管(oled)的显示器。如在本示例中，接目镜透镜165a、165b可以被指派给显示器163a、163b，借助这些透镜使呈现在显示器163a、163b上的图像在无穷远处成像，使得观看者可以用放松的眼睛观看所述图像。显示器163a、163b和接目镜透镜165a、165b可以是数字双目镜管的一部分；然而，这些显示器还可以是头戴式显示器(hmd)的一部分，比如一对智能眼镜。自然地，由图像传感器161a、161b拍摄的图像还可以被传送到监视器。合适的快门眼镜可以用于在监视器上描绘的图像的三维观察。
[0083]
在下文参考图4至图6描述了用于产生经处理组织场图像27的方法的第一示例性实施例，该经处理组织场图像示出具有肿瘤23的组织场25。在这种情况下，图4示出了表示在计算机5上实施的方法步骤的流程图。图5示出了经处理组织场图像27的示意性表示并且
图6示出了组织学图像29的示意性表示，如在产生经处理组织场图像27的范围内所使用的。
[0084]
在本示例性实施例的经处理组织场图像27中，肿瘤23的边缘由标记线21标记，该标记线包围组织区域25的在组织场图像27中所描绘且其中肿瘤细胞比例具有或超过指定值的区域。因此，标记线21可以被视为表示肿瘤的边缘的线。替代性地，方法还可以以这样的方式来设计，即边缘将肿瘤的某个区域(例如其中肿瘤细胞的氧含量不超过某个值的区域)划界。
[0085]
借助手术显微镜1(也就是说，借助包含在手术显微镜1中的至少一个图像传感器)来实施借助于下文描述的方法处理的组织场图像27的拍摄。借助于内窥镜3拍摄至少一个组织学图像29。然后，基于尚未处理的组织场图像27和至少一个组织学图像来处理组织场图像27以用于标记肿瘤23的边缘的目的。组织场图像27是观察对象的大面积图像，该大面积图像示出至少1cm2、优选地至少2cm2且通常5cm2或更多。在本示例性实施例中，使用在肿瘤细胞中积累但不在健康组织细胞中积累的荧光染料来拍摄这个组织场图像。为了使荧光可见，使用具有适合用于激发荧光的紧密光谱的光来照射观察对象。然后，将阻挡激发辐射的滤光片引入到手术显微镜1的观察光束路径中，使得仅荧光辐射可以通过观察光束路径，而所反射激发光不通过观察光束路径。在被称为卡尔蔡司医疗设备公司(carl zeiss meditec ag)的blue 400
tm
的方法的范围内，原卟啉ix(缩写为ppix)被用作染料并且导致肿瘤23在组织场图像27中由在蓝色背景33上的红色荧光区域31表示。由于肿瘤细胞的浸润特性，例如在胶质母细胞瘤的情况下，存在其中存在肿瘤细胞和健康组织细胞两者的过渡区域35，并且这导致这个区域具有表示介于红色与蓝色之间的混合颜色的色调，该色调随着组织段的细胞中的肿瘤细胞的比例增加而变红。
[0086]
当移除肿瘤时，治疗外科医生的困难在于：一方面希望移除尽可能多的肿瘤组织以增加患者的治愈前景，但另一方面希望保留健康组织，尤其是在脑肿瘤的情况下的健康脑组织。因此，通常的做法是将肿瘤的边缘定位在过渡区域35中，例如定位在荧光具有某个强度值的位置处。然而，由于不能排除在不同患者之间和不同肿瘤之间某个肿瘤类型的肿瘤细胞的荧光的变化，因此对肿瘤的边缘的这个类型的定义受模糊性的困扰。同样的困难还出现在除在blue 400
tm
方法中使用的荧光染料以外的荧光染料中。使用本示例性实施例中描述的方法，可以确定患者的单独强度值，从而标记他们的肿瘤的边缘。
[0087]
方法基于由手术显微镜1(也就是说，由该手术显微镜的图像传感器中的至少一个)拍摄的大面积组织场图像27，该大面积组织场图像通常示出几平方厘米的组织区域。组织场图像27还可以具有范围通常在5x与40x之间的中等放大率。此外，在方法的范围内，至少一个组织学图像29是借助内窥镜3拍摄的，在本示例性实施例中，肿瘤细胞比例(也就是说，肿瘤细胞30占组织学图像中所描绘的组织段36中的细胞总数的比例)是基于所述组织学图像来确定的。在本示例性实施例中，计算机5基于这些图像来执行方法，组织场图像27是借助于所述方法以这样的方式来处理的，即在所述组织场图像中突出显示肿瘤的边缘。在图5中，借助于突出显示其中荧光辐射的强度具有特定的特征值的图像区域来实施突出显示。这些区域通常形成封围被视为肿瘤组织的组织区域的标记线21。
[0088]
在本示例性实施例中，借助于在计算机5上运行的计算机程序来实现特征值的确定且处理通过手术显微镜1获得的组织场图像27。然而，不是在计算机5上运行，而是还可以在任何其他数据处理系统上、例如在集成在手术显微镜1中的数据处理系统上运行计算机
程序。通过由计算机程序实施的方法来执行的步骤在图4中被描绘为流程图。
[0089]
在方法的第一步骤s1中，计算机5从手术显微镜1或其图像传感器接收尚未处理的组织场图像27。此外，在本示例性实施例中，在步骤s2中，计算机5接收肿瘤细胞比例的指定值，也就是说，肿瘤细胞30占组织区域的细胞总数的指定比例，达到或超过所述比例的组织旨在被视为肿瘤组织。在下文，这个值被称为指定肿瘤细胞比例。然而，可以代替肿瘤细胞比例而指定不同可量化组织学信息的值。举例来说，倘若标记肿瘤的低氧区域，也就是说，其中肿瘤细胞的氧含量不超过某个值的区域，则可以指定肿瘤细胞的氧含量的值，该值旨在表示低氧区域的限度。计算机5可以通过经由键盘7的输入、通过语音输入、通过从网络接收、通过读取计算机可读存储介质等来接收肿瘤细胞比例或可选地不同可量化组织学信息的值。然而，还存在将指定肿瘤细胞比例的值存储在计算机程序本身中的选项。然而，如果可以通过输入、读取或接收替代性指定肿瘤细胞比例来更改所存储的指定肿瘤细胞比例，则在这种情况下是有利的。指定肿瘤细胞比例可以位于5％与30％之间的范围内。例如，该指定肿瘤细胞比例通常位于从5％到15％的范围内且可以是10％。
[0090]
然后，在步骤s3中针对组织场图像27的图像部分中所描绘的组织区域25的组织段36提供实际肿瘤细胞比例或可选地不同可量化组织学信息的实际值。在本示例性实施例中，这个组织段36是已借助内窥镜3拍摄其组织学图像29的组织区域25的一部分。在本示例性实施例中，组织学图像29用于确定组织学图像29中所描绘的组织段的实际肿瘤细胞比例，也就是说，实际上存在于这个组织段中的肿瘤细胞比例。举例来说，可以基于细胞形态来确定实际肿瘤细胞比例。举例来说，细胞结构或细胞核的大小可以用作标准，可以基于该标准将肿瘤细胞30与健康组织细胞32区分开。替代性地，存在借助于荧光方法确定肿瘤细胞比例的选项。举例来说，可以在组织学图像29中确定荧光细胞的数量。此外，存在执行活检且借助常规快速切片组织学确定肿瘤细胞比例的选项，其中，还能够对取出的材料进行染色。原则上，还可以在外科手术之前例如借助磁共振成像确定组织段36的肿瘤细胞比例。然而，其肿瘤细胞比例已被确定的位置在这种情况下必须被放置成使得该位置位于组织场图像27的区域中，且必须被标记成使得该位置可以在操作期间借助于导航系统来找到。可选地，还可以借助于所描述的方法来确定其他可量化组织学信息的值。
[0091]
可以在步骤s3中提供实际肿瘤细胞比例之前例如借助于程序模块直接确定实际肿瘤细胞比例，该程序模块集成在计算机程序中且被设计成例如基于形态标准或基于从肿瘤细胞发出的荧光信号来将组织学图像29中的肿瘤细胞30与健康组织细胞32区分开，并且此外，该程序模块被设计成确定识别出的肿瘤细胞30在组织学图像29中要识别的细胞的总数中的比例且将这个比例提供为实际肿瘤细胞比例。替代性地，还可以在步骤s3中提供实际肿瘤细胞比例之前的相对较长的时间确定实际肿瘤细胞比例，例如倘若如上文提到的那样在术前实施该确定。
[0092]
然后，在步骤s4中针对组织场图像27的形成组织学图像29中所描绘的组织段36的图像部分确定荧光辐射的强度的实际强度值。如果选择荧光染料的方式使得组织场图像27中的点处的荧光强度与这个点处的肿瘤细胞比例相关，并且此外如果组织学图像29中的荧光有助于确定肿瘤细胞比例，则可以借助于相同荧光染料直接连续地实施确定实际肿瘤细胞比例和确定实际强度值。原则上，在blue 400
tm
的情况下满足这些需求，因为ppix的荧光强度与肿瘤细胞比例有关并且因为ppix在肿瘤细胞中积累，使得该ppix可以用于识别组织
学图像29中的肿瘤细胞。
[0093]
一旦已在步骤s3中提供实际肿瘤细胞比例并且已在步骤s4中确定荧光的实际强度值，便在步骤s5中使用这两个变量来确定在指定肿瘤细胞比例下荧光强度的值。在本示例性实施例中，基于计算来确定在指定肿瘤细胞比例下荧光强度的值。
[0094]
在本示例性实施例中所使用的荧光染料ppix中，一方面荧光强度的改变与另一方面肿瘤细胞比例的改变之间的相关性是已知的。也就是说，当肿瘤细胞比例改变某个量时荧光信号改变的程度是已知的。如果荧光强度的值现在对于某个肿瘤细胞比例是已知的，则还可以基于这个相关性来计算对于其他肿瘤细胞比例的荧光强度的值。已在本示例性实施例中确定实际肿瘤细胞比例的实际强度值。因此，可以基于指定肿瘤细胞比例的相关性来计算荧光强度的对应值。最终在步骤s6中将荧光强度的这个计算出的值定义为应标记肿瘤的边缘的荧光强度的特征值。以这种方式，如果已确定与任何实际肿瘤细胞比例相关联的实际强度值，则例如可以计算对于10％的指定肿瘤细胞比例的荧光强度值。
[0095]
最终，在步骤s7中，基于特征值例如借助突出显示荧光强度具有该特征值的图像区域来在组织场图像中标记肿瘤23的边缘。对应图像区域然后形成图5中示出的标记线21。位于标记线21内的图像区域与高于指定肿瘤细胞比例的肿瘤细胞比例相对应，而在边界外部的图像区域与较低肿瘤细胞比例相对应。由于选择指定肿瘤细胞比例的方式使得该指定肿瘤细胞比例旨在标记肿瘤23的边缘，因此在标记线21内的这些区域表示肿瘤23且在标记线21外部的区域表示当移除肿瘤时要保留的组织。
[0096]
由于基于当前患者体内的当前肿瘤23来确定实际肿瘤细胞比例和实际强度，因此所描述的方法有助于患者的肿瘤23的边缘的单独确定。
[0097]
根据第一示例性实施例的程序需要一方面荧光强度的改变与另一方面肿瘤细胞比例的改变之间的已知相关性。然而，即使这样的相关性是未知的或太复杂的，也可以基于荧光强度且基于组织学图像29来确定肿瘤的边缘。在下文基于本发明的第二示例性实施例来解释对应程序，其中，参考图7中所描绘的流程图。
[0098]
在第二示例性实施例中，在步骤s11中，从手术显微镜1接收组织场图像，如关于图4的步骤s1所描述的。
[0099]
在步骤s12中定义旨在标记肿瘤23的边缘的指定肿瘤细胞比例。步骤s12中的程序还与来自第一示例性实施例的程序(也就是说，来自步骤s2的程序)相对应。
[0100]
然后，在步骤s13中针对组织场图像27中所描绘的组织区域25的组织段36确定实际肿瘤细胞比例。在这种情况下，原则上可以使用与在第一示例性实施例中关于步骤s3所描述的方法相同的方法来确定肿瘤细胞比例。
[0101]
然后，在第二示例性实施例的步骤s14中基于在步骤s13中确定的肿瘤细胞比例与指定肿瘤细胞比例之间的比较来执行关于在步骤s13中确定的肿瘤细胞比例是否与指定肿瘤细胞比例相对应的检查。根据本示例性实施例，如果所确定的实际肿瘤细胞比例的值位于指定肿瘤细胞比例周围的指定容差范围内，例如位于指定肿瘤细胞比例周围的
±
10％的容差范围内或位于指定肿瘤细胞比例周围的
±
5％的容差范围内，则所确定的实际肿瘤细胞比例与指定肿瘤细胞比例相对应，其中，然而容差范围的限度不一定需要关于指定肿瘤细胞比例是对称的。举例来说，如果指定10％的肿瘤细胞比例，则取决于容差范围的精确度，实际肿瘤细胞比例可以在实际肿瘤细胞比例位于例如从9％到11％的范围内、从9.5％
到10.5％的范围内、从9％到10.5％的范围内等的情况下被视为与指定肿瘤细胞比例相对应。可以取决于肿瘤类型和患者而使用不同的容差范围。
[0102]
倘若在步骤s14中实际肿瘤细胞比例被确定为不与指定肿瘤细胞比例相对应，也就是说，倘若实际肿瘤细胞比例的值不位于指定肿瘤细胞比例周围的容差范围内，则方法前进到步骤s15，其中，选择被成像在组织场图像27中的组织区域25的不同组织段36'。然后，方法返回到步骤s13，其中，针对新的组织段36'确定实际肿瘤细胞比例。执行步骤s13、s14和s15直到已经找到组织段36'为止，该组织段的实际肿瘤细胞比例在步骤s14中被确定为与指定肿瘤细胞比例相对应，也就是说，实际肿瘤细胞比例位于指定肿瘤细胞比例周围的容差限度内。方法然后前进到步骤s16。
[0103]
在步骤s16中，选择组织场图像27的图像部分，其中，针对该组织场图像中所描绘的组织段36'确定的实际肿瘤细胞比例与指定肿瘤细胞比例相对应，并且针对这个选定图像部分确定荧光强度的实际强度值。由于这个图像部分的实际肿瘤细胞比例与指定肿瘤细胞比例相对应，因此所确定的实际强度已经表示在给定肿瘤细胞比例的情况下的荧光强度。因此，第二示例性实施例不需要计算对于指定肿瘤细胞比例的荧光强度。
[0104]
在步骤s17中，将在步骤s16中确定的实际强度值定义为标记肿瘤23的边缘的荧光强度的特征值。最终，在步骤s18中，借助于这个特征值来突出显示肿瘤23的边缘，如已关于第一示例性实施例的步骤s17所描述的。
[0105]
与第一示例性实施例中的方法相比较，第二示例性实施例中的方法需要更多时间，因为通常情况下，在这个第二示例性实施例中拍摄比在第一示例性实施例中数量更大的组织学图像，需要确定组织学图像中的每一个的实际肿瘤细胞比例。然而，反过来说，不需要关于荧光强度与肿瘤细胞比例之间的相关性的知识。
[0106]
与在第一示例性实施例中一样，也可以在第二示例性实施例中代替肿瘤细胞比例而指定另一可量化组织学信息的值。然后，在步骤s13中代替实际肿瘤细胞比例而确定这个另一可量化组织学信息的实际值。
[0107]
在下文参考具有图8中所描绘的步骤s21至s29的流程图来描述第三示例性实施例。在第三示例性实施例中，步骤s21、s22和s23与第二示例性实施例的步骤s11、s12和s13相对应。此外，步骤s26与第二实施例的步骤s15相同，步骤s27与第二实施例的步骤s16相同，步骤s28与第二实施例的步骤s17相同，并且步骤s29与第二实施例的步骤s18相同。因此，第三示例性实施例与第二示例性实施例之间的主要差异在于如下事实：不存在关于所确定的实际肿瘤细胞比例是否与指定肿瘤细胞比例相对应的自动化检查。替代地，在步骤s24中，在计算机5的监视器或者任何其他监视器或显示器上显示实际肿瘤细胞比例。可选地，在该过程中还可以在监视器或显示器上显示组织学图像29，已基于该组织学图像来确定所显示的实际肿瘤细胞比例。在这种情况下，当使用者认为存在合适的实际肿瘤细胞比例时，使用者具有例如通过按键或通过语音输入生成触发信号的选项。
[0108]
在步骤s25中，软件检查在已过去预定时间间隔之后是否存在触发信号。倘若不是这种情况，则方法前进到步骤s26，其中，选择组织场图像27中所描绘的组织区域25的不同组织段36'。然后，方法返回到步骤s23，其中，针对新的组织段36'确定实际肿瘤细胞比例。执行步骤s23、s24、s25和s26直到存在触发信号为止。一旦触发信号可用，方法就以步骤s27、s28和s29继续。
[0109]
在第三示例性实施例的第一修改中，代替组织学图像29或除了组织学图像29，还显示具有将由在步骤s13中确定的实际肿瘤细胞比例产生的标记线21的组织场图像27。为此，在第三示例性实施例的修改中在步骤s23之后且在步骤s24之前执行步骤s27至s29，使得可以在步骤s24中显示具有标记线21的组织场图像27。
[0110]
在第三示例性实施例的第二修改中，省略了确定实际肿瘤细胞比例的步骤s23。然后，在步骤s24中仅显示组织学图像29。基于所显示的组织学图像29，病理学家可以关于所描绘的组织段36的包含在组织学图像29中的组织学信息做出评估。如果组织学家基于组织学信息而认为组织学图像29中所表示的组织段36表示肿瘤的边缘，则他们可以生成触发信号，因而该方法以步骤s27至s29继续。否则，方法前进到步骤s26，其中，选择被成像在组织场图像27中的组织区域25的另一组织段36'，并且然后返回到步骤s24以便显示这个组织段36'的组织学图像29。
[0111]
在第三示例性实施例和其修改中，还存在最初拍摄多个不同组织段36、36'的组织学图像29和/或确定相关联的实际肿瘤细胞比例并且然后在步骤s24中显示组织学图像29和/或所确定的实际肿瘤细胞比例的选项。在这种情况下，计算机程序提供选择选项，可以借助于该选择选项来选择组织学图像29之一或实际肿瘤细胞比例之一。该选择然后导致触发信号的生成，该触发信号使步骤s27至s29基于选定组织学图像29或基于形成选定实际肿瘤细胞比例的基础的组织学图像29来执行。为了选择目的，计算机程序可以例如在监视器上显示指针，该指针被放置在组织学图像或实际肿瘤细胞比例上。然后可以借助按键或借助语音输入来实施选择。替代性地，存在提供带着数字或其他标识符的所显示的实际肿瘤细胞比例或所显示的组织学图像的选项。然后可以通过输入指派给选定实际肿瘤细胞比例或指派给选定组织学图像的标识符来实施选择和触发。
[0112]
与在第一示例性实施例和第二示例性实施例中一样，也可以在第三示例性实施例中代替肿瘤细胞比例而指定另一可量化组织学信息的值。然后，在步骤s23中代替实际肿瘤细胞比例而确定这个另一可量化组织学信息的实际值。
[0113]
可以在示例性实施例中基于某个标准来校正荧光强度。举例来说，存在例如通过使用白光照射拍摄图像来确定某些组织性质以便例如确定镜面反射并且因此校正组织场图像27中的荧光强度的选项。此外，存在确定组织区域25的形貌且考虑其对荧光图像的表示的影响的选项。同样地存在考虑手术显微镜1的装备参数(例如激发荧光的照射光的强度、照射角、放大率更换器的设置、焦点设置、由插入的滤光片引起的强度衰减等)并且因此校正所拍摄的组织场图像27中的荧光强度的选项。所有这些校正用于确定受前述过程影响的真正的荧光强度以便因此有助于更精确地确定特征值。举例来说，焦点的改变可能导致工作距离的改变，这进而对由手术显微镜1的图像传感器捕获的荧光强度有影响。照射强度的影响立刻显现出来，就像被引入到光束路径中的滤光片的影响一样。在放大率发生改变的情况下对传感器的各个像素处的荧光强度的影响也发生改变，因为对象切片的荧光强度在不同放大率设置的情况下分布在不同数量个像素当中。
[0114]
为了解释的目的，已基于示例性实施例来详细描述本发明。然而，本领域的技术人员认识到，他们可以偏离示例性实施例而不背离本发明的范围。在荧光方法的情况下，可以使用与ppix不同的荧光染料。举例来说，肽配基(氯毒素)也是合适的，该肽配基特异性地结合到肿瘤细胞，特别是胶质母细胞瘤细胞，并且可以具备在近红外线中发荧光的染料。在
y.jiang et al.:"calibration of fluorescence imaging for tumor surgical margin delineation:multistep registration of fluorescence and histological images",journal of medical imaging 6(2),025005(april to june 2019)[y.jiang等人:用于肿瘤手术边缘划定的荧光成像校准:荧光和组织学图像的多步配准,医学成像杂质6(2),025005(2019年四月至六月)]中描述了对应的方法。此外，不是使用荧光染料，而是还可以以不同的方式来识别肿瘤组织。举例来说，可以使用多光谱传感器或高光谱传感器来代替常规的图像传感器。这样的传感器允许识别肿瘤组织的典型光谱特征。在该情况下不再需要由染料引起的荧光。针对指定肿瘤细胞比例确定某些光谱特征的强度来代替荧光强度。与基于光发射的荧光不同，光谱特征基于光反射。此外，在所描述的示例性实施例中存在基于强度的时间衰变行为、特别是基于荧光辐射的时间衰变行为而不是基于强度来确定特征值的选项。因此，本发明不旨在受示例性实施例限制，而是仅受所附权利要求限制。
[0115]
附图标记清单
[0116]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
手术显微镜
[0117]3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
内窥镜
[0118]5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算机
[0119]7ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
键盘
[0120]9ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
光纤
[0121]
11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
输入端
[0122]
13
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
输出端
[0123]
15
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
观察对象
[0124]
17
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
扫描装置
[0125]
19
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
传感器
[0126]
21
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
标记线
[0127]
23
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
肿瘤
[0128]
25
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
组织区域
[0129]
27
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
组织场图像
[0130]
29
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
组织学图像
[0131]
30
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
肿瘤细胞
[0132]
31
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
红色荧光区域
[0133]
32
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
组织细胞
[0134]
33
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
蓝色背景
[0135]
35
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
过渡区
[0136]
36，36'
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
组织段