骨龄估计方法及装置与流程

1.以下实施例涉及一种骨龄估计技术。


背景技术：

2.在正畸学领域，基于深度学习的诊断辅助程序目前已在相关领域发布，该程序标记仅限于上颌、下颌和颅骨的解剖测量标志点，并由此自动执行正畸分析。然而，现有技术具有的特征仅限于在当前状态下对患者的正畸问题进行诊断。由于这一特点，现有技术有一个局限性，即其无法适用于预测患者生长阶段的技术。因此，需要进行研究以补充现有技术的局限性。


技术实现要素：

3.解决问题的技术方法
4.根据一实施例的骨龄估计方法，可以包括以下步骤：使用第一深度学习模型，从对象者的颈椎成像获得的侧位头影测量放射图像中提取包括颈椎区域在内的感兴趣区域；使用第二深度学习模型，从所述提取的感兴趣区域中提取测量标志点；基于所述提取的测量标志点，计算测量数值；以及基于所述计算出的测量数值，提供所述颈椎的成熟阶段的成熟度信息。
5.计算所述测量数值的步骤，可以包括以下步骤：基于所述测量标志点的坐标值来计算所述测量数值，其中所述测量数值包括颈椎下缘的长度与颈椎高度之比值、与颈椎上缘垂直的颈椎下缘的长度与颈椎高度之比值及颈椎下缘的凹度比值中的至少一个。
6.提取所述测量标志点的步骤，可以包括以下步骤：当接收到用于改变所述提取的测量标志点的用户输入时，基于所述用户输入来改变所述提取的测量标志点的坐标值。
7.根据一实施例的骨龄估计方法还可以包括以下步骤：当所述用户输入改变所述提取的测量标志点的坐标值时，基于所述改变的坐标值来学习所述第二深度学习模型。
8.提供所述成熟度信息的步骤，可以包括以下步骤：基于所述对象者的实足年龄(chronological age)、所述对象者的性别、与所述对象者的性别对应的第四颈椎下缘凹度的年龄标准化信息以及所述对象者的第四颈椎下缘的凹度比值中的至少一个，视觉上提供所述颈椎的成熟度信息。
9.提供所述成熟度信息的步骤，可以包括以下步骤：叠加提供对应于所述标准化信息的图形、对应于所述对象者的第四颈椎下缘的凹度比值的图形及对应于所述对象者的实足年龄的图形中的至少一个。
10.根据一实施例的骨龄估计方法还包括以下步骤：提取所述感兴趣区域后，调整所述感兴趣区域的亮度并反转所述感兴趣区域的左右。
11.提取所述测量标志点的步骤，可以包括以下步骤：基于预定的周期，提供以百分比计算所述测量标志点的提取程度的数值。
12.所述感兴趣区域可以包括所述对象者的第二颈椎、第三颈椎及第四颈椎中的至少
一个。
13.基于每个测量标志点的位置，可以为每个所述提取的测量标志点分配提取编号，并在所述感兴趣区域中显示所述测量标志点及与所述测量标志点对应的提取编号。
14.可以基于用于选择待显示的测量标志点的用户输入来确定是否显示每个所述提取的测量标志点。
15.所述测量标志点可以是通过解剖测量所述对象者的第二颈椎、第三颈椎及第四颈椎中的至少一个来标记的点。
16.根据一实施例的用于执行骨龄估计方法的骨龄估计装置包括存储器及处理器，其中，所述存储器存储所述处理器可执行的指令(instructions)，并且，当所述处理器执行所述指令时，所述处理器可以控制所述骨龄估计装置，使得所述骨龄估计装置：使用第一深度学习模型，从对象者的颈椎成像获得的侧位头影测量放射图像中提取包括颈椎区域在内的感兴趣区域；使用第二深度学习模型，从所述提取的感兴趣区域中提取测量标志点；基于所述提取的测量标志点，计算测量数值；基于所述计算出的测量数值，提供所述颈椎的成熟阶段的成熟度信息。
17.所述处理器可以控制所述骨龄估计装置，使得所述骨龄估计装置基于所述测量标志点的坐标值来计算所述测量数值，其中所述测量数值包括颈椎下缘的长度与颈椎高度之比值、与颈椎上缘垂直的颈椎下缘的长度与颈椎高度之比值及颈椎下缘的凹度比值中的至少一个。
18.所述处理器可以控制所述骨龄估计装置，使得所述骨龄估计装置当接收到用于改变所述提取的测量标志点的用户输入时，基于所述用户输入来改变所述提取的测量标志点的坐标值。
19.所述处理器可以控制所述骨龄估计装置，使得所述骨龄估计装置当所述用户输入改变所述提取的测量标志点的坐标值时，基于所述改变的坐标值来学习所述第二深度学习模型。
20.所述处理器可以控制所述骨龄估计装置，使得所述骨龄估计装置基于所述对象者的实足年龄(chronological age)、所述对象者的性别、与所述对象者的性别对应的第四颈椎下缘凹度的年龄标准化信息以及所述对象者的第四颈椎下缘的凹度比值中的至少一个，视觉上提供所述颈椎的成熟度信息。
21.所述处理器可以控制所述骨龄估计装置，使得所述骨龄估计装置叠加提供对应于所述标准化信息的图形、对应于所述对象者的第四颈椎下缘的凹度比值的图形及对应于所述对象者的实足年龄的图形中的至少一个。
22.所述测量标志点可以是通过解剖测量所述对象者的第二颈椎、第三颈椎及第四颈椎中的至少一个来标记的点。
23.发明的效果
24.根据一实施例，可以通过侧位头影测量放射图像来提供用于预测骨骼的生长的基于深度学习的程序。
25.根据一实施例，可以从侧位头影测量放射图像中自动裁剪颈椎区域，并自动标记颈椎的解剖测量标志点。
26.根据一实施例，可以基于自动标记的颈椎解剖测量标志点来分析颈椎的骨龄。
27.根据一实施例，通过在图表上提供韩国处于生长期患者的平均颈椎评估指数，可以直观地表示特定患者的分布程度。
28.根据一实施例，可以解决现有的相关问题，如为了预测儿童和青少年的生长而导致手骨骼放射照相拍摄的不便、产生额外费用以及增加儿童和青少年的辐射量等。
29.根据一实施例，可以通过自动标记测量标志点来缩短临床医生进行诊断所需的劳动量和时间。
30.根据一实施例，可以通过在一屏幕上提供测量数值来允许用户直观且全面地检查诊断结果。
31.根据一实施例，可以对正畸患者进行生长预测。
附图说明
32.图1为用于说明根据一实施例的骨龄估计方法的流程图。
33.图2a至图2c为显示执行根据一实施例的骨龄估计方法的界面的示例的附图。
34.图3为显示根据一实施例的骨龄估计装置的配置的附图。
具体实施方式
35.以下，将参照附图对实施例进行详细说明。然而，能够对实施例进行多种变更，本发明的权利范围并非受到实施例的限制或限定。对于实施例的全部应变、等同物或替代物均包括在权利范围内。
36.实施例中使用的术语仅用于说明特定实施例，并非用于限定实施例。在内容中没有特别说明的情况下，单数表达包括复数含义。在本说明书中，“包括”或者“具有”等术语用于表达存在说明书中所记载的特征、数字、步骤、操作、构成要素、配件或其组合，并不排除还具有一个或以上的其他特征、数字、步骤、操作、构成要素、配件或其组合，或者附加功能。
37.在没有其他定义的情况下，包括技术或者科学术语在内的在此使用的全部术语，都具有本领域普通技术人员所理解的通常的含义。通常使用的与词典定义相同的术语，应理解为与相关技术的通常的内容相一致的含义，在本技术中没有明确言及的情况下，不能过度理想化或解释为形式上的含义。
38.并且，在参照附图进行说明的过程中，与附图标记无关，相同的构成要素赋予相同的附图标记，并省略对此的重复的说明。在说明实施例的过程中，当判断对于相关公知技术的具体说明会不必要地混淆实施例时，省略对其详细说明。
39.并且，在说明实施例的构成要素时，可以使用第一、第二、a、b、(a)、(b)等术语。这些术语仅用于将一构成要素区别于其他构成要素，并不用于限制相应构成要素的本质或顺序等。例如，第一构成要素可以被称为第二构成要素，并且类似地，第二构成要素也可以被称为第一构成要素。此外，应当理解，当说明书中说明一个构成要素“连接”、“结合”或者“接触”另一个构成要素时，第三构成要素可以“连接”、“结合”或者“接触”在第一构成要素和第二构成要素之间，尽管第一构成要素能够是直接连接、结合或接触第二构成要素。
40.当一个构成要素与某一实施例的构成要素具有共同功能，在其他实施例中也使用相同名称对该构成要素进行说明。在没有言及反例的情况下，某一实施例的说明能够适用于其他实施例，对重复内容省略具体说明。
41.图1为用于说明根据一实施例的骨龄估计方法的流程图。
42.本说明书中描述的骨龄估计方法可以借助于基于人工智能的辅助射线图像诊断的程序来公开。骨龄估计方法可以提供一种方法，其在牙医进行正畸诊断时拍摄的面部骨骼的侧向头影测量放射学图像中，将头骨与面部骨骼区分开来，并自动识别及标记颈椎等解剖测量标志点。根据骨龄估计方法，可以使用识别的头骨、面部骨骼和测量标志点来预测对象者(或患者)颈椎的成熟阶段。骨龄估计方法可以由标记辅助程序来提供，该程序分析颈椎等骨骼发育方面，并提出生长对象者骨骼所需的骨龄。骨龄估计方法可以提供有助于预测正畸患者的生长的方法。本说明书中描述的骨龄估计装置可以是诸如台式机或膝上型计算机之类的计算设备，或者诸如平板电脑或个人数字助理(pda，personal digital assistant)之类的便携式终端。
43.参照图1，在步骤110中，骨龄估计装置可以使用第一深度学习模型，从对象者的颈椎成像获得的侧位头影测量放射图像中提取包括颈椎区域在内的感兴趣区域。在一实施例中，感兴趣区域可以包括对象者的第二颈椎、第三颈椎及第四颈椎中的至少一个。骨龄估计装置可以在一个屏幕上显示从对象者的颈椎成像获得的侧位头影测量放射图像和感兴趣区域。在提取感兴趣区域之后，骨龄估计装置可以调整感兴趣区域的亮度，并反转感兴趣区域的左右侧。
44.在步骤120中，骨龄估计装置可以通过使用第二深度学习模型，从提取的感兴趣区域中提取测量标志点。在此，测量标志点可以是通过解剖测量并标记对象者的第二颈椎、第三颈椎及第四颈椎中的至少一个而获得的点。骨龄估计装置可以使用第二深度学习模型，从感兴趣区域中提取与第二颈椎的下缘边缘、第三颈椎的上缘和下缘边缘、及与第四颈椎的上缘和下缘相对应的十三个测量标志点。根据实施例，骨龄估计装置可以提供确认未完全提取测量标志点以便不移动到另一图像的功能。即，骨龄估计装置可以提供在提取所有13个测量标志点之后再移动到另一图像的功能。骨龄估计装置可以调整测量标志点的大小。基于每个测量标志点的位置，可以对所提取的测量标志点分配提取编号，并且测量标志点及对应于测量标志点的提取编号可以显示在感兴趣的区域中。可以基于用户对待显示的测量标志点的选择输入来确定是否显示根据实施例而提取的每个测量标志点。即，用户(或医疗人员)可以直接选择待显示在感兴趣区域中的测量标志点。例如，用户可以在复选框进行打钩以选择待显示的测量标志点，也可以取消复选框以选择将不显示的测量标志点。
45.当骨龄估计装置接收到用于改变提取的测量标志点的用户输入时，骨龄估计装置可以基于用户输入来改变提取的测量标志点的坐标值。即，针对由骨龄估计装置提取的测量标志点，用户可以按照用户的意图修改测量标志点的位置。当用户输入改变提取的测量标志点的坐标值时，骨龄估计装置可以基于改变的坐标值来学习第二深度学习模型。
46.在提取测量标志点的同时，骨龄估计装置可以基于预定的周期，提供以百分比计算测量标志点的提取程度的数值。例如，骨龄估计装置可以以百分率在视觉上表示已完成测量标志点提取程度。
47.在步骤130中，骨龄估计装置可以基于提取的测量标志点来计算测量数值。骨龄估计装置可以基于测量标志点的坐标值来计算测量数值，其中所述测量数值包括颈椎下缘的长度与颈椎高度之比值、与颈椎上缘垂直的颈椎下缘的长度与颈椎高度之比值及颈椎下缘的凹度比值中的至少一个。对于第三颈椎和第四颈椎，骨龄估计装置可以计算颈椎下缘的
长度与颈椎高度之比值、与颈椎上缘垂直的颈椎下缘的长度与颈椎高度之比值；并对于第二颈椎、第三颈椎和第四颈椎，可以计算下缘的凹度比值。
48.在计算颈椎下缘的长度与颈椎高度之比值的过程中，下缘的长度表示连接下缘前后峰值的线的长度，高度可以是下缘与上缘之间的两个长度的平均值。
49.在计算与颈椎上缘垂直的颈椎下缘的长度与颈椎高度之比值的过程中，下缘的长度表示连接下缘前后峰值的线的长度，高度可以是下缘与上缘之间的两条直线距离的平均值。
50.下缘的凹度比值可以是通过计算从连接下缘前后峰值的线到下缘最深点的直线距离c，并且，下缘的长度可以是通过计算连接下缘前后峰的线的长度w的c对w的比率。
51.在步骤140中，骨龄估计装置可以基于计算出的测量数值来提供颈椎成熟阶段的成熟度信息。在一实施例中，骨龄估计装置可以在视觉上向用户提供成熟度信息。
52.骨龄估计装置可以基于对象者的实足年龄(chronological age)、对象者的性别、与对象者的性别对应的第四颈椎下缘凹度的年龄标准化信息以及对象者的第四颈椎下缘的凹度比值中的至少一个，视觉上提供颈椎的成熟度信息。在此，实足年龄可以通过将一年分为四个季度来计算。
53.骨龄估计装置可以叠加提供对应于标准化信息的图形、对应于对象者的第四颈椎下缘的凹度比值的图形及对应于对象者的实足年龄的图形中的至少一个。骨龄估计装置可以以图形表示第四颈椎下缘凹度比值的标准化信息、以垂直线表示对象者的实足年龄、以水平线表示第四颈椎下缘的凹度比值。用户可以通过叠加三个信息的图表来确认对象者年龄的标准生长程度。
54.图2a至图2c为显示执行根据一实施例的骨龄估计方法的界面的示例的附图。
55.骨龄估计装置可以在图2a的界面中提供头影测量图像和包括患者的颈椎区域210的裁剪感兴趣区域220。可以由边界框表示从头影测量图像裁剪的区域210。由边界框表示的区域210和显示在右侧并被裁剪的区域220可以是相同的图像。
56.从图2b的界面提取的测量标志点240可以显示在感兴趣的区域上。图2b的界面可以包括基于测量标志点的坐标信息来计算的测量数值270。此外，图2b的界面可以包括表示与患者性别相对应的第四颈椎凹度的图形230、表示患者的实足年龄的垂直图形250及表示患者的第四颈椎下缘凹度比值的水平图形260。骨龄估计装置叠加提供三个图形230、250、260，由此允许用户直观地确认患者颈椎的成熟度信息。用户或患者可以确认相对于与患者年龄对应的标准生长水平的成熟度。
57.由骨龄估计装置提供的用于执行骨龄估计方法的界面可以视觉地提供以百分比计算已完成测量标志点提取的程度的数值。此外，界面可以提供一个区域，在该区域中可以接收用户输入，以调整裁剪的感兴趣区域的图像的亮度。
58.骨龄估计装置可以通过图2c的界面，基于每个测量标志点的位置来分配提取编号并进行显示。在一实施例中，对应于提取编号1的c2 lp可以表示第二颈椎下缘的左边测量标志点；对应于提取编号2的c2 lm可以表示第二颈椎下缘的中间测量标志点；对应于提取编号3的c2 la可以表示第二颈椎下缘的右边测量标志点。对应于提取编号4的c3 up可以表示第三颈椎上缘的左边测量标志点；对应于提取编号5的c3 ua可以表示第三颈椎上缘的右边测量标志点；对应于提取编号6的c3 lp可以表示第三颈椎下缘的左边测量标志点；对应
于提取编号7的c3 lm可以表示第三颈椎下缘的中间测量标志点；对应于提取编号8的c3 la可以表示第三颈椎下缘的右边测量标志点。对应于提取编号9的c4 up可以表示第四颈椎上缘的左边测量标志点；对应于提取编号10的c4 ua可以表示第四颈椎上缘的右边测量标志点；对应于提取编号11的c4 lp可以表示第四颈椎下缘的左边测量标志点；对应于提取编号12的c4 lm可以表示第四颈椎下缘的中间测量标志点；对应于提取编号13的c4 la可以表示第四颈椎下缘的右边测量标志点。在附图标记280中，用户可以打钩或撤销每个测量标志点的复选框，以确定是否显示各个测量标志点。参照图2c，用户撤销对应于测量编号7和测量编号8的复选框，以便不显示第七测量标志点和第八测量标志点。用户可以自行决定移动所显示的测量标志点的位置。此外，用户还可以调整所显示的测量标志点的大小。根据实施例，可以基于位置来确定待显示的测量标志点的颜色。例如，与下缘左侧对应的测量标志点可以显示为红色；与下缘中部对应的测量标志点可以显示为绿色；与下缘右侧对应的测量标志点可以显示为蓝色；与上缘左侧对应的测量标志点可以显示为黄色；与上缘右侧对应的测量标志点可以显示为天蓝色。
59.图3为显示根据一实施例的骨龄估计装置的配置的附图。
60.参照图3，骨龄估计装置300可以对应于本说明书中描述的骨龄估计装置。骨龄估计装置300可以包括处理器310、存储器320及通信器330。此外，骨龄估计装置300还可以包括用户输入界面340及显示器350。
61.存储器320连接到处理器310，并存储处理器310可执行的指令、待处理器310操作的数据或已由处理器310处理的数据。存储器320可以包括非暂时性计算机可读介质，如高速随机存取存储器和/或非易失性计算机可读存储介质(例如，一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备)。
62.通信器330提供用于与外部装置通信的界面。例如，通信器330可以从外部装置接收侧位头影测量放射图像。
63.显示器350可以输出骨龄估计装置300执行基于人工智能的放射图像诊断辅助程序的屏幕的示例。
64.此外，用户输入界面340可以接收用户输入以改变用户输入的所提取的测量标志点，以及用户输入以选择待显示的测量标志点。
65.处理器310可以控制骨龄估计装置300以允许骨龄估计装置300执行与骨龄估计装置300的操作相关的一个或多个操作。
66.例如处理器310可以控制骨龄估计装置300，使得骨龄估计装置300使用第一深度学习模型，从对象者的颈椎成像获得的侧位头影测量放射图像中提取包括颈椎区域在内的感兴趣区域；并使用第二深度学习模型，从所提取的感兴趣区域中提取测量标志点。
67.处理器310可以控制骨龄估计装置300，使得骨龄估计装置300基于所提取的测量标志点，计算测量数值。处理器310可以控制骨龄估计装置300，使得骨龄估计装置300基于测量标志点的坐标值来计算测量数值，其中所述测量数值包括颈椎下缘的长度与颈椎高度之比值、与颈椎上缘垂直的颈椎下缘的长度与颈椎高度之比值及颈椎下缘的凹度比值中的至少一个。处理器310可以控制骨龄估计装置300，使得骨龄估计装置300当接收到用于改变提取的测量标志点的用户输入时，基于用户输入来改变提取的测量标志点的坐标值。处理器310可以控制骨龄估计装置300，使得骨龄估计装置300当用户输入改变提取的测量标志
点的坐标值时，基于改变的坐标值来学习第二深度学习模型。
68.可以骨龄估计装置300，使其基于计算出的测量数值，提供颈椎的成熟阶段的成熟度信息。处理器310可以控制骨龄估计装置300，使得骨龄估计装置300基于对象者的实足年龄(chronological age)、对象者的性别、与对象者的性别对应的第四颈椎下缘凹度的年龄标准化信息以及对象者的第四颈椎下缘的凹度比值中的至少一个，视觉上提供颈椎的成熟度信息。处理器310可以控制骨龄估计装置300，使得骨龄估计装置300叠加提供对应于标准化信息的图形、对应于对象者的第四颈椎下缘的凹度比值的图形及对应于对象者的实足年龄的图形中的至少一个。
69.根据实施例的方法以能够通过多种计算机手段执行的程序命令的形式体现，并记录在计算机读写介质中。所述计算机读写介质能够以单独或者组合的形式包括程序命令、数据文件、数据结构等。记录在所述介质的程序指令能够是为实现实施例而特别设计与构成的指令，或者是计算机软件领域普通技术人员能够基于公知使用的指令。计算机读写记录介质能够包括硬盘、软盘以及磁带等磁性媒介(magnetic media)；与cd-rom、dvd等类似的光学媒介(optical media)；与光磁软盘(floptical disk)类似的磁光媒介(magneto-optical media)，以及与只读存储器(rom)、随机存取存储器(ram)、闪存等类似的为存储并执行程序命令而特别构成的硬件装置。程序指令的例子不仅包括通过编译器生成的机器语言代码，还包括通过使用解释器等能够由计算机执行的高级语言代码。为执行实施例的操作，所述硬件装置能够构成为以一个以上的软件模块实现操作的方式，反之亦然。
70.软件能够包括计算机程序(computer program)、代码(code)、指令(instruction)，或其中的一个以上的组合，能够使加工装置按照所期待的方式操作，或者，单独或共同(collectively)命令加工装置。为通过加工装置进行解释或者向加工装置提供命令或数据，软件和/或数据能够永久或临时体现于(embody)任何类型的设备、构成要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置，或者传送的信号波(signal wave)。软件分布于通过网络连接的计算机系统上，能够以分布式存储或执行。软件及数据能够存储于一个以上的计算机读写存储介质中。
71.综上，通过有限的附图对实施例进行了说明，本领域的普通技术人员能够对上述记载进行多种修改与变形。例如，所说明的技术以与所说明的方法不同的顺序执行，和/或所说明的构成要素以与所说明的方法不同的形态结合或组合，或者，由其他构成要素或等同物进行替换或置换也能够获得相同的效果。
72.由此，其他体现、其他实施例及权利要求范围的均等物全部属于专利权利要求的范围。