使用人工神经网络确定肌肉结构的特性

使用人工神经网络确定肌肉结构的特性
1.本技术要求2021年6月1日提交的欧洲专利申请第21 177 272.8号的优先权，其公开内容通过引用被整体地并入本文中。
技术领域
2.本发明的各种示例涉及确定患者的肌肉结构的特性，所述肌肉结构包括至少一块肌肉和至少一根肌腱。本公开的各种示例具体涉及基于描绘患者的肌肉结构的一个或多个医学图像，通过一个或多个人工神经网络来确定肌肉结构的至少一个特性的量化。


背景技术：

3.肌肉撕裂，尤其是肌腱撕裂，是痛苦的病理。例如，肩袖撕裂是肩部疼痛的最常见原因之一，例如，占（accounting for）2013年里美国医生就诊的接近200万次。一项荟萃研究（meta-study）估计，无症状个体中肩袖撕裂的总患病率为20%-30%，并且有症状个体中高达64%。此外，肩袖撕裂的手术治疗的发生率持续增加。
4.磁共振成像（mri）被视为肌肉和/或肌腱撕裂（例如肩袖撕裂）的护理、评估和治疗计划的标准。上肢，即肩部和手臂占所有mr手术的11%。撕裂必须在不同的成像平面上以二维测量。此外，已经表明，在肩袖损伤（诸如肌腱撕裂）后，肩袖肌肉结构易于发生脂肪浸润和萎缩，并且严重的脂肪浸润和萎缩与肩袖修复的不良功能结果相关。
5.对撕裂（尤其是肩袖撕裂）进行一致且准确的测量，并对肩袖肌肉结构的退化（例如，脂肪浸润和萎缩）进行评估，对于选择最佳治疗和手术方法以及影响术后预后和撕裂复发而言，是必要且关键的。在常规临床实践中，放射科医师滚动大量的mr图像以检测撕裂，并且然后在图片存档和通信系统（pacs）中手动测量撕裂或仅估计大小，和/或基于goutallier分类系统对脂肪浸润进行分类并描述肌肉萎缩的程度（体积损失）。
6.然而，这样的技术面临某些限制和缺点。例如，对疑似肩袖撕裂的mr成像解释是复杂和耗时的，需要分析在不同成像平面中获取的几个图像系列。此外，研究报告了显著的阅读者间以及还有阅读者内的可变性，导致撕裂评估中的中等可再现性，诸如撕裂大小和肩袖肌肉结构的脂肪变性的量的量化。


技术实现要素：

7.因此，存在对减轻或克服上述缺点或限制的先进技术的需要。存在对评估肌肉和/或肌腱撕裂（诸如肩袖撕裂）的先进技术的需要。
8.该需要由本文中所描述的实施例的特征满足。
9.在下文中，公开了确定肌肉结构的至少一个特性的技术。
10.作为一般规则，肌肉结构可以包括至少一块肌肉。肌肉结构也可以包括至少一根肌腱。至少一块肌肉可以收缩和扩张。所述至少一根肌腱可以将所述至少一块肌肉连接到骨骼。因此，肌肉结构可以围绕骨骼或者邻近骨骼布置。
11.可以确定各种特性，诸如以下解剖特性中的至少一个：肌肉和/或肌腱撕裂的存在
或不存在、肌肉结构的肌肉的撕裂大小和退化等级，并且尤其是自动和精确地测量肌肉和/或肌腱撕裂的大小和评估肌肉的退化等级。
12.作为一般规则，将可能的是，至少一个特性是将肌肉结构的属性分类为多个预定义类。可以使用分类算法。
13.替代地或附加地，至少一个特性可以包括肌肉结构的属性的量化。这里，不需要依赖于预定义类。可以使用回归算法。
14.可以通过使用至少一个人工神经网络并基于描绘患者的肌肉结构的一个或多个医学图像来确定肌肉结构的至少一个特性。
15.提供了一种计算机实现的方法。该方法包括获得一个或多个医学图像。一个或多个医学图像描绘了患者的肌肉结构。肌肉结构包括至少一块肌肉和可选的至少一根肌腱。该方法进一步包括使用至少一个人工神经网络来确定肌肉结构的至少一个特性。
16.例如，可以确定至少一个特性的量化。
17.例如，肌肉结构可以是肩袖肌肉结构。肩袖肌肉结构包括多块肌肉，即：冈上肌、冈下肌、小圆肌和肩胛下肌。
18.提供了包括程序代码的计算机程序或计算机程序产品或计算机可读存储介质。程序代码可以由至少一个处理器加载和执行。在加载和执行程序代码时，至少一个处理器执行方法。该方法包括获得一个或多个医学图像。一个或多个医学图像描绘了患者的肌肉结构。肌肉结构包括至少一块肌肉和可选的至少一根肌腱。该方法进一步包括使用至少一个人工神经网络来确定肌肉的至少一个特性。
19.例如，可以确定至少一个特性的量化。
20.提供了一种包括至少一个处理器和至少一个存储器的系统。该至少一个处理器被配置成从该至少一个存储器加载程序代码。在执行程序代码时，至少一个处理器执行方法。该方法包括获得一个或多个医学图像。一个或多个医学图像描绘了患者的肌肉结构。肌肉结构包括至少一块肌肉和可选的至少一根肌腱。该方法进一步包括使用至少一个人工神经网络来确定肌肉结构的至少一个特性。
21.例如，可以确定至少一个特性的量化。
22.提供了一种包括系统的医学成像扫描仪。该系统包括至少一个处理器和至少一个存储器。该至少一个处理器被配置成从该至少一个存储器加载程序代码。在执行程序代码时，至少一个处理器执行方法。该方法包括获得一个或多个医学图像。一个或多个医学图像描绘了患者的肌肉结构。肌肉包括至少一块肌肉和可选的至少一根肌腱。该方法进一步包括使用至少一个人工神经网络来确定肌肉结构的至少一个特性。
23.例如，可以确定至少一个特性的量化。
24.要理解，在不脱离本发明的范围的情况下，上述特性和下面尚待解释的那些特性不仅可用于所指示的相应组合中，而且还可用于其他组合中或单独使用。
附图说明
25.图1示意性地图示了在轴向平面中获取的示例性mri图像。
26.图2示意性地图示了关于根据各种示例的系统的细节。
27.图3从临床角度示意性地图示了工作流程。
28.图4从临床角度示意性地图示了另一工作流程。
29.图5是根据各种示例的方法的流程图。
30.图6是根据各种示例的系统的框图。
具体实施方式
31.本公开的一些示例通常提供多个电路或其他电气设备。对电路和其他电气设备以及由每个设备所提供的功能的所有引用并不旨在限于仅包含在本文中图示和描述的内容。虽然特定的标签可以被分配给所公开的各种电路或其他电气设备，但是这样的标签并不旨在限制电路和其他电气设备的操作的范围。这样的电路和其他电气设备可以基于期望的特定类型的电气实现以任何方式彼此组合和/或分离。要认识到，本文中公开的任何电路或其他电气设备可以包括任何数量的微控制器、图形处理器单元（gpu）、集成电路、存储器设备（例如，flash、随机存取存储器（ram）、只读存储器（rom）、电可编程只读存储器（eprom）、电可擦除可编程只读存储器（eeprom）或其其他合适的变体），以及彼此协作以执行本文中公开的（一个或多个）操作的软件。此外，电气设备中的任何一个或多个可以被配置成执行程序代码，该程序代码在非暂时性计算机可读介质中实现，该非暂时性计算机可读介质被编程为执行如所公开的任何数量的功能。
32.在下文中，将参考附图详细描述本发明的实施例。要理解，以下对实施例的描述不应以限制性意义来理解。本发明的范围不旨在由下文中描述的实施例或由附图来限制，所述实施例或附图仅被理解为是说明性的。
33.附图要被视为是示意性表示，并且附图中所图示的元件不一定按比例显示。而是，各种元件被表示为使得它们的功能和一般目的对于本领域技术人员来说变得显而易见。在附图中示出或在本文中描述的功能块、设备、组件或其他物理或功能单元之间的任何连接或耦合也可以通过间接连接或耦合来实现。组件之间的耦合也可以通过无线连接来建立。功能块可以用硬件、固件、软件或其组合来实现。
34.本文这公开的各种技术一般涉及确定患者的肌肉结构的一个或多个特性。肌肉结构包括至少一块肌肉，并且通常包括至少一根肌腱。肌肉结构的示例将是肩袖。例如，可以确定肌肉结构的一个或多个特性，尤其是表征肌肉结构的撕裂（例如肩袖撕裂）的那些特性。将可能的是，自动地、准确地并且基于相同的标准确定不同患者的肌肉结构的特性，以促进患者间的比较。
35.例如，将可能的是，确定至少一个特性的量化。量化可以涉及在连续结果空间中定义的数值。
36.在其他示例中，将可能的是，确定至少一个特性的分类。这里，一组离散的预定义类是可用的，并且结果是指向这些预定义类之一的指针。
37.作为一般规则，肌肉结构可以包括一组肌肉。肌肉结构可以接近人体的下列关节中的任何一个关节：球窝关节、铰链关节、髁状关节、枢轴关节、滑动关节、鞍状关节等。
38.例如，至少一个特性可以影响肌肉结构的多块肌肉。
39.作为进一步的一般规则，撕裂可以包括肌腱撕裂、肌纤维撕裂或肌腱和/或肌纤维的拉伤（strain）。
40.根据各种示例，基于经由非侵入式诊断方法收集的数据，确定肌肉结构的至少个
种特性，所述非侵入式诊断方法诸如以下各项中的至少一个：投影射线照相术、计算断层摄影术（ct）、超声成像、mri或任何其他种类的医学成像模态，即，在本公开中处理或分析的医学成像数据或图像可以包括以下各项中的至少一个：mri图像数据、x射线图像数据、计算断层摄影术图像数据、超声图像数据或任何其他种类的医学图像数据。特别地，通过这些成像模态获取的成像数据可以被馈送到至少一个训练的人工神经网络，并且因此由训练的人工神经网络精确地和自动地确定至少一个特性。
41.作为一般规则，本公开中使用的投影射线照相术成像数据和超声成像数据可以分别包括空间域中的图像。ct成像数据和mr成像数据可以分别包括频域中的重建图像、空域中的重建图像等等。医学成像数据可以是直接从相应的扫描仪获得的1-d数据、2-d重建图像或包括多个体素的3-d重建切片。
42.根据本公开，mr成像，尤其是具有3.0特斯拉的主磁场的mri扫描仪，在肩部的评估中是优选的，因为更高的主磁场强度由于更快的获取时间和更薄的切片选择而提供了更大的信噪比（snr）和对比度噪声比（cnr）。肩部的标准常规mr成像在三个正交平面中获取：轴向、冠状斜向和矢状斜向。可以利用各种mr扫描方案（protocol）来执行肩部的扫描。
43.如上面解释的那样，本公开中所描述的肌肉结构可以包括任何一块或多块肌肉和一根或多根肌腱。肌肉可以是人类肌肉，并且也可以是其他动物的肌肉。在下文中，将基于作为示例性肌肉结构的肩袖来详细描述本公开的各种技术。即，通过用其他肌肉结构的具体名称简单地替换术语“肩袖”，本公开中公开的技术可以容易地应用于其他肌肉。
44.图1示意性地图示了在轴向平面中获取并描绘肩部的示例性mri图像1000。mri图像1000可以包括感兴趣的区域（roi）1010，即虚线矩形内的区域。感兴趣的区域1010与肩袖相关联。mri图像1000可以被裁剪以获得感兴趣的区域1010，并且然后可以仅将感兴趣的区域1010馈送到至少一个训练的人工神经网络以确定肩袖的至少一个特性。类似地，可以在经由投影射线照相术、ct、超声成像或mri获得的其他图像上定义roi。替代地，roi也可以在体积上（即3-d）上定义。
45.根据各种示例，可以例如由临床医生手动确定roi 1010。
46.根据各种示例，可以基于一个或多个医学图像/切片中的至少一个界标确定roi 1010，诸如肩袖撕裂、肩袖的肌腱。可以通过使用界标检测算法来检测这样的界标，该界标检测算法被配置成检测一个或多个医学图像1000中的roi 1010。这样的界标检测算法可以是机器学习算法。
47.根据本公开，roi可以包括至少一根肌腱，该肌腱包括肩袖肌肉，诸如冈上肌的肌腱、冈下肌的肌腱、小圆肌的肌腱或肩胛下肌的肌腱。以下示例可以在单根肌腱和/或单块肌肉的背景下，即，下文中公开的技术可以基于精确的roi检测分别应用于每块单独的肌腱和/或肌肉。因此，可以在一个医学图像或切片中检测多个roi。
48.作为进一步的一般规则，在将图像或成像数据馈送至至少一个训练的人工神经网络之前，可以将图像预处理技术应用于图像或成像数据，例如，裁剪图像或切片以获得roi，下采样以降低图像或切片的分辨率，滤除噪声。此外，当描绘患者的肩袖的一个或多个医学图像（或成像数据）包括由一个或多个成像模态获取的多个图像或切片时，可以将配准应用于一个或多个医学图像（或成像数据）。
49.根据本公开，肩袖的至少一个特性可以包括肩袖的肌腱中撕裂的存在或不存在
和/或位置和/或类型。所述至少一个特性可以进一步包括肩袖的肌肉萎缩的分类和可选的量化。附加地或替代地，所述至少一个特性可以包括肩袖的脂肪浸润的分类和可选的量化。所述至少一个特性还可以包括肩袖撕裂长度、宽度、厚度和肌肉腱连接位置。
50.根据本公开，goutallier分类（例如，参见：slabaugh、mark a.等人的“interobserver and intraobserver reliability of the goutallier classification using magnetic resonance imaging: proposal of a simplified classification system to increase reliability”，the american journal of sports medicine 40.8 (2012): 1728-1734）可以被用于特别是在肩袖肌腱撕裂的背景下量化肩袖肌肉的脂肪变性的量。虽然最初在肩部ct中进行描述，但它在mri中是适用的和最常用的。它主要基于受累肌肉的萎缩和脂肪变性的百分比。严重程度中的分级增加和更高的等级与肩袖撕裂手术修复后较差的功能结果相关。goutallier分类系统可以包括五个等级，如表1中所示。
51.图2示意性地图示了关于根据各种示例的系统2000的细节。系统2000可以包括至少一个人工神经网络，其接收描绘患者的肩袖的一个或多个医学图像1000作为输入，并针对至少一个特性中的每个输出指示相应特性的值。指示相应特性的值可以被写入文件2010中。系统2000可以只包括包含多个子网络的一个人工神经网络。等级指数分类标准0正常肌肉1一些脂肪条纹2少于50%的脂肪肌肉萎缩350%的脂肪肌肉萎缩4大于50%的脂肪肌肉萎缩
52.表1：goutallier分类的各种等级根据各种示例，系统2000可以包括卷积神经网络2020，该卷积神经网络2020可以被配置成对一个或多个医学图像1000执行预分割（或粗略分割），以确定像素概率图2030，或直接确定像素掩模2040。通过对像素概率图2030的概率值应用阈值比较并选择最大的邻接（contiguous）区域来获得像素掩模2040。
53.作为一般规则，卷积神经网络可以包括执行卷积的一个或多个层。这里，预定义的内核（其权重在训练阶段期间设置）与由前一层输出的输入值进行卷积。
54.根据本公开，系统2000可以进一步包括至少一个人工神经网络的第一个2050和第二个2070。至少一个人工神经网络的第一个2050可以被配置成基于预分割，例如基于像素概率图2030或像素掩模2040，确定一个或多个医学图像1000中与肩袖相关联的感兴趣的区域1010的分割2060。由至少一个人工神经网络的第一个2050确定的感兴趣的区域1010的分割2060可以进一步基于一个或多个医学图像1000或roi 1010。附加地或替代地，分割2060可以包括边界框，该边界框可以基于像素掩模2040来确定。至少一个人工神经网络的第二个2070可以被配置成基于感兴趣的区域1010的分割2060和一个或多个医学图像1000来确定指示至少一个特性的值。
55.根据各种示例，当所述至少一个特性包括多个特性时，系统2000可以包括多个解码器分支，所述多个解码器分支被配置成基于共享潜在特征集来分别确定多个特性，所述共享潜在特征集是基于一个或多个医学图像1000来确定的。例如，至少一个人工神经网络
的第二个2070可以包括多个解码器分支2070a-2070d。多个解码器分支2070a-2070d中的每一个可以分别确定至少一个不同的特性。例如，多个解码器分支2070a-2070d可以分别确定撕裂的大小（例如，包括长度、宽度和厚度）、肌肉萎缩的百分比、肌肉脂肪浸润的等级和肌肉腱连接位置的坐标。
56.作为一般规则，像素概率图2030、像素掩模2040、分割2060和边界框可以是2-d或3-d。
57.作为一般规则，各种种类和类型的人工神经网络可以用作至少一个人工神经网络的第一个2050和第二个2070，并受益于本文中所述的技术，诸如卷积神经网络、强化神经网络、残差神经网络、递归神经网络、循环神经网络、长短期记忆（lstm）神经网络等。例如，将可能的是，使用深度神经网络，例如具有在输入数据和内核之间执行卷积的一个或多个卷积层的卷积神经网络，来实现至少一个人工神经网络的第一个2050和第二个2070两者。仅举几个示例，使用支持向量机也将是可能的。优选地，至少一个人工神经网络的第一个2050可以包括编码器和解码器，参见例如ronneberger、olaf、philipp fischer和thomas brox.“u-net: convolutional networks for biomedical image segmentation”，international conference on medical image computing and computer-assisted intervention，springer，cham，2015，或yang dong等人，“automatic liver segmentation using an adversarial image-to-image network”，international conference on medical image computing and computer-assisted intervention，springer，cham，2017。优选地，至少一个人工神经网络的第二个2070可以使用深度强化学习方法，参见例如xu zhoubing等人的“supervised action classifier: approaching landmark detection as image partitioning”，international conference on medical image computing and computer-assisted intervention，springer，cham，2017。附加地或替代地，roi 1010中的肌肉萎缩和/或肌肉脂肪浸润分级可以通过残差学习框架来执行，参见例如he kaiming等人“deep residual learning for image recognition”，proceedings of the ieee conference on computer vision and pattern recognition，2016。
58.根据各种示例，可以通过深度强化学习方法实现至少一个人工神经网络，以确定撕裂的量化，诸如撕裂位置（即，分别为起点和终点的坐标）、长度、宽度或厚度。替代地或可选地，可以利用一个或多个不同的人工神经网络来实现用于确定肌肉萎缩或脂肪浸润的分类和可选的量化的至少一个人工神经网络。
59.根据本公开，卷积神经网络2020可以与至少一个人工神经网络的第一个2050的网络架构共享相同的网络架构。然而，卷积神经网络2020的输入可以具有比至少一个人工神经网络的第一个2050的分辨率更低的分辨率。较低的分辨率可能意味着输入向量的大小较小；因此，由输入向量采样较少的空间点。
60.根据各种示例，馈送到至少一个人工神经网络的第一个2050和/或第二个2060的医学图像1000或roi 1010也具有比原始医学图像（例如，由医学成像扫描仪获取的医学图像）的分辨率更低的分辨率，以减少计算负担。
61.根据本公开，可以应用人工神经网络的各种训练方法来训练至少一个人工神经网络，诸如监督学习、无监督学习、半监督学习、强化学习等等。
62.例如，至少一个人工神经网络的卷积神经网络2020、第一个2050和第二个2070可
以基于监督学习技术，使用不同的训练数据集分别进行训练。每个训练过程可以包括基于至少一个人工神经网络的相应一个2050、2070的预测和基础事实（ground truth）之间的比较来确定损失值。损失函数可以通过执行比较来提供损失值。基于损失值，然后可能的是调整人工神经网络的权重。这里，可以采用优化算法，例如梯度下降。反向传播可以是替代方案。
63.每组训练数据通常包括一个或多个训练医学图像和一组基础事实，其中指示了与感兴趣的区域1010相关的信息。例如，用于卷积神经网络2020的训练数据集可以包括注释像素概率图或注释像素掩模，用于至少一个人工神经网络的第一个2050的训练数据集可以包括感兴趣的区域1010的注释分割，并且用于至少一个人工神经网络的第二个2070的训练数据集可以包括量化肩袖的相应特性的临床或真实值。这些标签可以由领域专家、例如临床医生来分配。替代地，用于卷积神经网络2020、至少一个人工神经网络的第一个2050和第二个2070的一个或多个训练医学图像可以是相同的。
64.另一方面，至少一个人工神经网络的卷积神经网络2020、第一个2050和第二个2070可以被联合训练，即，三个神经网络可以被视为整体，并且三个（子）神经网络的参数值通过使用例如基于共同损失值的联合优化过程中的反向传播来一起更新。这对应于端到端训练。
65.采用使用适当的训练数据集训练的神经网络，提供了处理医学图像数据的稳健方法。神经网络可以处理复杂的医学图像数据，并且提供比用于图像处理的其他现有技术计算技术更准确的结果。
66.根据各种示例，为了消除用于获得注释的训练数据（例如，领域专家的手动注释）的处理步骤，可以使用无监督学习来训练卷积神经网络2020、至少一个人工神经网络的第一个2050和第二个2070，诸如使用如celebi、m. emre和kemal aydin，eds. unsupervised learning algorithms，berlin: springer international publishing，2016中公开的约束。强化学习可以是替代方案。
67.根据各种示例，卷积神经网络2020中的每个、至少一个人工神经网络的第一个2050和第二个2070可以分别使用不同的训练技术来训练。例如，卷积神经网络2020、至少一个人工神经网络的第一个2050和第二个2070可以分别通过使用监督学习、无监督学习和半监督学习来训练。
68.接下来，将结合图3和图4解释确定肩袖的至少一个特性的处理工作流程的方面。具体地，处理工作流程可以实现以上结合图2讨论的处理。系统2000可以实现结合处理流水线（pipeline）5000和6000讨论的处理工作流程。
69.图3是用于基于诸如mr成像数据的医学成像数据自动确定肩袖肌腱撕裂的至少一个特性的量化的示例性临床处理流水线5000。至少一个特性的量化可以包括肩袖肌腱撕裂的大小（例如，长度、宽度、厚度）和/或肌肉腱连接位置。
70.作为一般规则，虽然将结合确定至少一个特性的量化来描述技术，但作为一般规则，将可能的是，确定至少一个特性的分类。可以容易地应用与下面描述的那些技术类似的技术。
71.加载程序代码时可以由图2的系统2000执行处理流水线5000。下面描述处理流水线5000的细节。
72.在框5010处，用于测量的图像系列（例如，mri系列）由临床方案定义，例如在冠状倾斜流体敏感系列上测量例如冈上肌腱撕裂的中外侧尺寸。为了选择适当的图像系列，系统2000可以使用dicom（医学数字成像和通信）信息。图像系列可以从数据库中加载。可以控制成像设备来获取和提供图像系列。因此，获得一个或多个医学图像。
73.在框5020处，使用另外的ai代理，诸如专利申请us 2020/0167911 a1中公开的那些ai代理，确定肩袖的肌腱中的撕裂的存在或不存在和/或类型。当执行医学成像扫描（例如mr扫描）时，在扫描期间获取的成像数据（诸如图像切片）可以包括描绘健康和患病组织（例如肌腱撕裂）两者的成像数据。从临床角度来看，描绘患病组织的成像数据是特别重要的。通过使用另外的ai代理，在扫描期间获取的成像数据可以基于肌腱中撕裂的存在或不存在而被自动和精确地分配给分别对应于健康和患病组织两者的至少第一组和第二组。成像数据的后续处理可以集中在第二组（即对应于病变组织的成像数据）上，并且从而减少计算资源的消耗。即，可以执行预过滤。此外，另外的ai代理可以基于获取的成像数据的第二组来确定肌腱中撕裂的类型。替代地，肌腱中撕裂的存在或不存在和/或类型可以通过使用分类算法来确定。分类算法被配置成从列表中选择类，该列表指示：没有肌腱撕裂；肌腱撕裂的存在；部分撕裂；低度部分撕裂；高度部分撕裂；或者完全撕裂。
74.因此，框5020对应于预处理。
75.在框5030处，基于对撕裂的存在和/或撕裂的类型的检测，选择描绘肩袖的一个或多个医学图像1000。可以基于界标检测算法来处理一个或多个医学图像1000，该界标检测算法被配置成检测一个或多个医学图像1000中的感兴趣的区域1010。在通过界标检测算法检测roi 1010之前和/或之后，可以应用其他图像处理技术，诸如下采样和/或归一化。
76.作为一般规则，框5020和5030的预处理也可以组合在单个预处理块中。
77.在框5040处，由卷积神经网络、诸如图2的2020执行粗略的撕裂分割。
78.卷积神经网络2020可以提供像素概率图2030作为输出。为了获得二元分割掩模，例如像素掩模2040，在像素概率图2030上应用阈值，例如0.5。选择最大的连通分量作为最终的粗略分割掩模2040。分割掩模2040被转移到原始全分辨率图像。可以生成在所有维度上具有额外填充的边界框，并定义roi。
79.在框5050处，由至少一个人工神经网络的第一个2050执行roi 1010中的精细撕裂分割，并且从而确定一个或多个医学图像1000中与肩袖相关联的roi 1010的分割2060。
80.在框5060处，通过在分割掩模中找到最远的体素，并将它们投影到分割掩模的重心处的切片中，可以从分割掩模、例如分割2060中提取撕裂的坐标，诸如撕裂的起点和终点的相应坐标。
81.在框5070处，将撕裂的坐标转移至目标系统，诸如pacs工作站、pacs存储装置和/或ris（放射信息系统）。
82.示例性临床处理流水线5000促进基于医学成像数据确定肩袖肌腱撕裂的至少一个特性的量化，所述特性诸如肩袖肌腱撕裂的大小（例如，长度、宽度、厚度）和/或肌肉腱连接位置，并且因此显著改善患者的肩袖撕裂的治疗和/或手术计划。示例性临床处理流水线5000利用基于ai的技术，并且与手动方法相比，可以显著减少确定这样的特性的时间，并且提供一致且可再现的结果，这可以解决当前临床实践中阅读者间和阅读者内的可变性两者。
83.图4是用于基于诸如mr成像数据的医学成像数据对肩袖的肌肉质量进行自动分类和量化的示例性临床处理流水线6000。肩袖的肌肉质量可以包括肌肉萎缩或脂肪浸润中的至少一个。
84.在加载程序代码时，处理流水线6000也可以由图2的系统2000执行。下面详细描述处理流水线6000。
85.在框6010处，例如从肩袖mri研究的数据库中获得用于对肩袖的肌肉质量进行分类和量化的图像系列（即，mri系列）。将可能的是，从成像设备加载图像系列。
86.框6010通常对应于框5010。
87.在框6020处，从肩胛骨确定肩袖的肩胛-y结构，并基于界标和使用ai代理对每个肩袖肌腱中的撕裂的类型进行分类。ai代理可以是专利us 9 792 531 b2或专利申请us 2020/0167911 a1中公开的那些。
88.根据各种示例，可以确定肌肉结构的多块肌肉具有肌肉质量退化。对于每块单独的肌肉，可以应用以下技术。
89.在框6030处，基于对撕裂的存在和/或撕裂的类型的检测，选择描绘肩袖的一个或多个医学图像1000，以执行肌肉质量分级。可以基于界标检测算法来处理一个或多个医学图像1000，该界标检测算法被配置成检测一个或多个医学图像1000中的感兴趣的区域1010。在通过界标检测算法检测roi 1010之前和/或之后，可以应用其他图像处理技术，诸如下采样和/或归一化和/或裁剪。
90.可选地，通过卷积神经网络，诸如图2的2020，执行粗略的撕裂分割。卷积神经网络2020可以提供像素概率图2030作为输出。为了获得二元分割掩模，例如像素掩模2040，在像素概率图2030上应用阈值，例如0.5。选择最大的连通分量作为最终的粗略分割掩模2040。分割掩模2040被转移到原始全分辨率图像。可以生成在所有维度上具有额外填充的边界框，并定义roi。
91.在框6040处，通过例如至少一个人工神经网络的第一个2050，并可选地基于分割掩模2040，分割roi中的肌肉结构，并且因此确定一个或多个医学图像1000中与肩袖相关联的roi 1010的分割2060。
92.在框6050处，基于roi 1010的分割2060和roi 1010两者，分别对肌肉萎缩和脂肪浸润两者进行分类。替代地，肌肉萎缩和脂肪浸润的分类可以进一步基于撕裂的分类。
93.在框6060处，基于roi 1010的分割2060和roi 1010两者，量化肌肉萎缩和脂肪浸润两者。
94.在框6070处，呈现肌肉萎缩和脂肪浸润的分类和量化两者，并可选地预填充检查报告。
95.在框6080处，将肌肉萎缩和脂肪浸润的分类和量化两者转移至目标系统，诸如pacs工作站、pacs存储器和/或ris（放射信息系统）。
96.示例性临床处理流水线6000促进肌肉质量的自动化分类和量化，并且因此改善对肩袖撕裂的手术的术后评估。
97.图3和图4的处理流水线5000和6000是模块化的。这意味着不需要实现所有的框。此外，可以实现另外的框。例如，分别在框5070和6080处将结果上传到ris和/或pacs可以是可选的。分别在框5020、5030和6020、6030处的预处理可以是可选的。
98.图5是根据各种示例的方法3000的流程图。方法3000涉及通过使用至少一个人工神经网络（诸如系统2000的至少一个人工神经网络），基于描绘包括患者的肌腱的肌肉结构的一个或多个医学图像1000，确定包括肌腱（诸如肩袖）的肌肉结构的至少一个特性的量化。
99.可选框用虚线标记。
100.在加载程序代码时，方法3000可以由包括至少一个处理单元的计算机执行，或由图2的系统2000执行。下面描述方法3000的细节。
101.在框3010处，例如通过图2的系统2000获得一个或多个医学图像1000。一个或多个医学图像1000描绘了包括患者的肌腱的肌肉结构。
102.可以从图片存档系统（pacs）加载医学图像1000。框3010可以包括控制mri单元来获取图像。可以从存储器加载医学图像1000。替代地，在扫描期间，可以直接从医学成像扫描仪接收医学图像1000，以执行对肩袖的至少一个特性的量化的实时确定。
103.在框3020处，使用至少一个人工神经网络确定肌肉结构的至少一个特性的量化。该至少一个人工神经网络可以根据图2的系统2000来实现。
104.可选地，在框3010处，一个或多个医学图像1000的所述获得可以包括基于界标检测算法预处理一个或多个医学图像1000，所述界标检测算法被配置成检测一个或多个医学图像1000中的感兴趣的区域1010。这样的界标检测算法可以是机器学习算法，参见例如us 9 792 531 b2。感兴趣的区域1010与肌肉结构相关联。附加地或替代地，上述图像预处理技术可以在通过界标检测算法检测roi 1010之前和/或之后应用。
105.可选地，在框3030处，例如通过图2的卷积神经网络2020确定与肌肉结构相关联的感兴趣的区域的预分割。卷积神经网络2020可以提供像素概率图2030作为输出。通过对像素概率图2030的概率值应用阈值比较并通过选择最大的邻接区域，可以获得预分割作为像素掩模2040。
106.由卷积神经网络2020确定的roi 1010的预分割可以基于一个或多个医学图像1000的roi 1010的低分辨率版本，例如通过对一个或多个医学图像1000应用下采样获得，这可以加速预分割的确定。
107.可选地，在框3040处，使用至少一个人工神经网络的第一个2050，确定一个或多个医学图像1000中与肌肉结构相关联的感兴趣的区域1010的分割2060。分割2060可以基于预分割、即像素掩模2040来确定，或者基于像素概率图2030来确定。由至少一个人工神经网络的第一个2050确定的感兴趣的区域1010的分割2060可以进一步基于一个或多个医学图像1000或roi 1010。
108.附加地或替代地，分割2060可以包括可以基于像素掩模2040确定的边界框。作为一般规则，边界框可以是包围所有相关特征的最小体积的矩形（二维中）或长方体（三维中）。边界框的确定可以包括针对每个2-d医学图像或3-d医学切片确定边界框的位置坐标（例如，x、y和z坐标）、边界框的大小参数（例如，高度、宽度和深度）以及边界框的取向参数（例如，角度θx、θy和θz，其是相对于医学图像1000定义的关于x、y和z轴的角度）。可以确定所描述的坐标和参数，使得边界框指示roi 1010。
109.根据各种示例，可以基于预分割、即像素掩模2040来选择roi 1010的全分辨率或原始分辨率。然后，roi 1010的全分辨率或原始分辨率可以被馈送到至少一个人工神经网
络的第一个2050，以确定分割2060。
110.可选地或替代地，方法3000可以在框3020处进一步包括使用至少一个人工神经网络中的至少第二个2070，基于感兴趣的区域1010的分割2060和一个或多个医学图像1000确定指示至少一个特性的量化的值。
111.根据各种示例，当所述至少一个特性包括多个特性时，所述至少一个人工神经网络，例如系统2000，可以针对每个单独的特性分别进行训练。即，每个单独特性的量化可以通过使用具有不同参数值的至少一个人工神经网络来确定，例如具有相同网络架构但不同参数值的几个系统2000。
112.可选地或替代地，当所述至少一个特性包括多个特性时，可以基于所述至少一个人工神经网络中的同一人工神经网络，例如同一系统2000，联合确定所述至少一个特性的量化。例如，至少一个人工神经网络可以包括多个解码器分支2070a-2070d，其被配置成基于相同的输入，诸如分割2060和医学图像1000的组合来确定多个特性的量化，或者特别地基于共享的潜在特征集来确定多个特性的量化，所述共享的潜在特征集是基于一个或多个医学图像1000确定的。多个解码器分支2070a-2070d可以是至少一个人工神经网络的第二个2070的部分。
113.根据各种示例，当一个或多个医学图像1000是多切片图像或包括多切片图像时，方法3000可以进一步包括，在框3050处，基于分割2060来确定感兴趣的区域1010的参考点，例如，可以将检测到的界标的位置用作roi 1010的参考点；并且在框3060处，基于参考点从一个或多个医学图像1000的多个切片中选择给定切片。然后，可以基于给定切片中肌肉结构的外观来确定至少一个特性的量化。
114.根据本公开，例如，可以通过在分割掩模中找到最远的体素，并将其投影到分割掩模的重心处的切片中，从分割掩模（例如，分割2060）中提取撕裂的坐标，诸如撕裂的起点和终点的相应坐标。替代地，可以通过首先确定分割掩模的重心，然后选择重心处的图像切片，并仅在选择的图像切片中测量分割掩模的两个最远的体素，来确定撕裂的坐标。替代地或可选地，可以基于分割掩模的每个切片的两个最远的体素之间的距离来确定撕裂的坐标，例如，选择具有最大长度的一个来确定坐标，或者使用进一步的机器学习算法来确定要提取坐标的最佳切片。
115.可选地或替代地，所述至少一个人工神经网络可以包括第一人工神经网络，该第一人工神经网络被配置成确定肌肉结构的撕裂的存在或不存在和/或类型。所述至少一个人工神经网络可以进一步包括第二人工神经网络，该第二人工神经网络被配置成确定肌肉萎缩或脂肪浸润的分类和可选的量化。第二人工神经网络可以获得第一人工神经网络的输出作为输入。
116.根据各种示例，在确定肌肉结构的至少一个特性的量化后，方法3000可以进一步包括以下各项中的至少一个：呈现包括至少一个特性的值的肌肉结构的可视化、预填充包括至少一个特性的值的检查报告或向pacs发送至少一个特性的值。
117.根据本公开，方法3000通过使用至少一个人工神经网络，促进自动和精确地确定肌肉结构的至少一个特性的量化。与手动方法相比，方法3000可以显著减少确定这样的特性的量化的时间，并且提供一致且可再现的结果，这可以解决当前临床实践中阅读者间和阅读者内的可变性两者。因此，治疗和手术计划大大改善。
118.图6是根据各种示例的系统4000的框图。系统4000提供基于方法3000确定肌肉结构的至少一个特性的量化的功能。
119.系统4000可以包括至少一个处理器4020、至少一个存储器4030和至少一个输入/输出接口4010。至少一个处理器4020被配置成从至少一个存储器4030加载程序代码并执行程序代码。在执行程序代码时，至少一个处理器4020执行方法3000。
120.根据本公开，医学成像扫描仪，诸如ct扫描仪、mri扫描仪、超声扫描仪或x射线扫描仪，可以包括图6的系统4000。医学成像扫描仪可以在对患者的肩部执行扫描的同时确定肌肉结构的至少一个特性的量化。
121.替代地，系统4000可以被嵌入医学成像扫描仪中或与其连接，并且因此医学成像扫描仪也可以被配置成执行方法3000。
122.总之，已经描述了促进确定肌肉结构的至少一个特性的量化和/或分类的技术，所述肌肉结构包括至少一块肌肉和至少一根肌腱，诸如肩袖，并且因此显著改善治疗和/或肌肉结构的撕裂的手术计划。通过使用人工智能（ai）技术，诸如至少一个人工神经网络，可以自动和精确地确定肌肉结构的至少一个特性。与手动方法相比，这样的基于ai的技术可以显著减少确定这样的特性的时间，并且提供一致且可再现的结果，这可以解决当前临床实践中阅读者间和阅读者内的可变性两者。
123.尽管已经关于某些优选实施例示出和描述了本公开，但对于本领域中的其他技术人员在阅读和理解本说明书时，将想到等同物和修改。本公开包括所有这样的等同物和修改，并且仅受所附权利要求的范围限制。