用于确定在患者的手部存在关节炎的可能性的方法和系统与流程

1.本发明涉及一种用于确定在患者的手部存在至少一个类型的关节炎的可能性的方法，并且更具体地，但不是排他地，涉及一种用于确定患者在他/她的手部患有骨关节炎和/或炎症性关节炎的可能性的方法。


背景技术：

2.不同类型的关节炎会影响个体的手部并且导致关节疼痛、肿胀、僵硬和畸形。手部关节炎最常见的形式是骨关节炎和炎症性关节炎，其中后一群组包括类风湿性关节炎和银屑病性关节炎。类风湿性关节炎和银屑病性关节炎是自身免疫性疾病的形式，其可能引起关节损伤和残疾。早期检测和治疗已被证明为患者带来更好的结果，尽管许多患者特别是在炎症性关节炎的诊断方面经历了显著的延迟。
3.需要一种将以方便的方式确定患者在他/她的手部患有一个类型的关节炎的概率的灵活、可靠的工具。


技术实现要素：

4.根据本发明的第一方面，提供了一种用于确定在患者的手部存在至少一个类型的关节炎的可能性的方法，所述方法包括：
5.采集所述患者的手部的图像；
6.处理所述手部图像，以基于在所述手部图像中存在或不存在多个可识别手部特征而确定用于指示在所述手部存在或不存在关节炎的至少一个第一预测值，所述可识别手部特征包括可用于诊断在所述手部的关节炎的可见物理手部特征；
7.接收来自所述患者的患者信息，所述患者信息包括对与诊断在所述手部的关节炎有关的多个相应问题的多个响应；以及
8.通过使用所述至少一个第一预测值和所述患者信息来确定在所述手部存在至少一个类型的关节炎的可能性。
9.在一个实施方案中，每个第一预测值指示在所述手部的相应类型关节炎的第一概率，并且所述方法进一步包括使用所述至少一个第一预测值和所述患者信息以确定用于指示在所述手部存在至少一个类型的关节炎的所述可能性的第二预测值。
10.在一个实施方案中，采集所述手部的所述图像是通过使用相机来执行的。
11.在一个实施方案中，所述方法进一步包括处理所述手部图像以识别用于指示所述所采集图像中的所述手部是右手还是左手的多个手形特征。
12.在这个实施方案中，所述方法进一步包括使用所述多个手形特征以确定用于指示所述所采集图像中的所述手部是右手和左手之一的概率的手部预测值。
13.在一个实施方案中，所述至少一个类型的关节炎包括骨关节炎。
14.在另外的实施方案中，所述至少一个类型的关节炎包括炎症性关节炎。在这个实施方案中，所述至少一个类型的关节炎包括类风湿性关节炎和银屑病性关节炎中的至少一
个。
15.所述多个可识别手部特征可以包括至少腕部肿胀、指关节骨肿胀和/或指关节软组织肿胀，并且可以进一步包括以下各项中的至少一个：皮疹、指甲特征、手部关节畸形和类风湿结节。
16.所述患者信息可以是以问卷的形式提供的。所述多个问题可以包括与所述至少一个类型的关节炎的症状有关的一个或多个问题。
17.所述方法可以包括使用第一经训练模型以执行所述手部图像的所述处理以便识别所述多个手形特征并且确定所述手部预测值。
18.所述方法可以进一步包括使用相应第二经训练模型以执行所述手部图像的所述处理，以便确定存在或不存在所述多个可识别手部特征并且确定每个第一预测值。
19.所述方法可以包括使用第三经训练模型以基于所述至少一个第一预测值和所述患者信息而确定所述第二预测值。
20.在这个实施方案中，所述方法包括：
21.对所述患者信息进行独热编码以生成相应独热编码的患者数据；以及
22.将所述独热编码的患者数据和所述至少一个第一预测值输入到所述第三经训练模型中以确定所述第二预测值。
23.根据本发明的第二方面，提供一种用于确定在患者的手部存在至少一个类型的关节炎的可能性的系统，所述系统包括：
24.至少一个界面，其用于接收所述患者的手部的采集图像并且用于接收来自所述患者的患者信息，所述患者信息包括对与诊断在所述手部的关节炎有关的多个相应问题的多个响应；
25.手部图像处理器，其被布置成分析所述手部图像，以基于在所述手部图像中存在或不存在多个可识别手部特征而确定用于指示在所述手部存在或不存在关节炎的至少一个第一预测值，所述可识别手部特征包括可用于诊断在所述手部的关节炎的可见物理手部特征；以及
26.手部关节炎确定器，其被布置成处理所述患者信息和所述至少一个第一预测值以确定在所述手部存在至少一个类型的关节炎的可能性。
27.在一个实施方案中，所述手部的所述采集图像是所述手部的摄影图像。
28.所述手部图像处理器可以进一步被布置成分析所述手部图像以确定用于指示所述所采集图像中的所述手部是右手还是左手的多个手形特征。
29.所述系统可以进一步包括手形确定器，所述手形确定器被布置成使用所述多个手形特征以确定用于指示所述所采集手部图像中的所述手部是右手和左手之一的概率的手部预测值。
30.在一个实施方案中，所述系统进一步包括数据存储装置，所述数据存储装置被布置成存储所述接收到的采集手部图像和所述接收到的患者信息。
31.在这个实施方案中，所述手部图像处理器可以进一步被布置成从所述数据存储装置提取所述手部图像，并且所述手部关节炎确定器可以进一步被布置成从所述数据存储装置提取所述患者信息。
32.所述手部关节炎确定器可以包括：
33.第一预测模块，其被布置成确定所述至少一个第一预测值，每个第一预测值指示在所述手部的相应类型关节炎的第一概率；以及
34.第二预测确定器，其被布置成使用所述至少一个第一预测值和所述患者信息以确定用于指示在所述手部存在所述至少一个类型的关节炎的所述可能性的第二预测值。
35.在这个实施方案中，所述第二预测确定器可以包括独热编码模块，所述独热编码模块被布置成接收所述患者信息并且使用所述患者信息以生成独热编码的患者数据。所述第二预测确定器可以被布置成使用所述独热编码的患者数据和所述至少一个第一预测值来确定所述第二预测值。
附图说明
36.尽管有任何其他形式可能落入如发明内容中所陈述的本公开的范围内，但现在将仅以示例的方式参考附图来描述具体实施方案，在所述附图中：
37.图1示出了根据本发明的实施方案的用于确定在患者的手部存在至少一个类型的关节炎的可能性的方法的流程图；
38.图2示出了人体的手部和腕部的解剖构造的示意性背视图；
39.图3示出了根据本发明的实施方案提供的患者信息的示例；
40.图4示出了根据本发明的实施方案的用于确定在患者的手部存在至少一个类型的关节炎的可能性的系统的框图；以及
41.图5至图8示出了各种患者的相应手部图像，例示了可用于诊断在手部的关节炎的视觉上可识别的手部特征。
具体实施方式
42.在临床体检期间，风湿病专家能够观察和识别患者手部的与在手部的不同类型关节炎相关联的可见物理特征。例如：
[0043]-与指关节处存在的骨生长或结节对应的骨肿胀是骨关节炎的典型特征；
[0044]-与在手部关节的肌腱或韧带肿胀对应的软组织肿胀是炎症性关节炎的典型特征；
[0045]-骨关节炎的证据通常也可以在拇指根部的腕掌(cmc)关节以及拇指的远端指间(dip)关节、近端指间(pip)关节和指间关节(ip)处观察到；
[0046]-类风湿性关节炎可以在腕部关节、掌指(mcp)关节和近端指间(pip)关节处观察到；
[0047]-近端指间(pip)关节的肿胀可以在患有骨关节炎(骨肿胀)的患者以及患有炎症性关节炎(软组织肿胀)的患者中见到；
[0048]-其他可识别手部特征可以包括手指畸形、皮肤银屑病，这些特征与诸如软组织肿胀、梭状指肿胀(指炎)和/或银屑病指甲变化的其他特征结合可以与银屑病性关节炎相关联；并且
[0049]-痛风肿块(痛风石)可能与痛风相关联。
[0050]
然而取决于风湿病专家的经验和其他因素，风湿病专家的视觉观察可能因风湿病专家不同而不同。而且，软组织肿胀的一些特征可能难以在视觉上检测到。
[0051]
本发明的实施方案广义地涉及用于提供单个无创且具成本效益的工具的方法和系统，所述工具用于以可靠和方便的方式确定在患者的手部存在至少一个类型的关节炎的可能性。可以理解，本发明的实施方案特别地与具有手部疼痛且更具体地手关节疼痛的患者有关。
[0052]
参考图1，示出了用于确定在患者的手部存在至少一个类型的关节炎的可能性的方法10的流程图。在步骤11中，方法10包括采集患者的手部的图像。手部的图像优选地是摄影图像并且可以通过使用诸如相机的采集元件来采集。进一步地，为了采集手部的摄影图像，手部优选地被定位在具有白色背景的基本上平整的表面上。例如，手部可以被定位成平放在白色桌子上或者放在诸如桌子的支撑结构上的一张白纸上。手部还可以被定位成平放在白色枕头上以增加舒适度。还设想，可以提供轮廓模板以使手部定位到上面以采集手部图像。在步骤12中，方法10包括处理所述手部图像以确定用于指示所采集图像中的手部是右手还是左手的多个手形特征。例如，所述多个手形特征可以包括手指的识别、手指的位置、每个所识别手指的大小、手指在空间中相对于彼此的布置、拇指的存在以及所述拇指相对于其他手指的位置。进一步可以理解的是，所述多个手形特征不限于这样的示例并且可以包括可以被视为适于提供所采集图像中的手部是右手还是左手的指示的任何其他手形特征。
[0053]
然后在步骤13中使用所述手形特征来确定用于指示所采集图像中的手部是右手或左手的概率的手部预测值p(l/r-h)。例如，可以将手部预测值p(l/r-h)与手部阈值进行比较，其中如果p(l/r-h)高于手部阈值，则确定所采集图像中的手部是右手，并且如果p(l/r-h)低于手部阈值，则确定所采集图像中的手部是左手，或反之亦然。另外，可以处理所采集手部图像以确定用于指示存在手部的多个形状特征，并且可以使用所述多个确定的形状特征以确定用于指示所采集图像包括手部的概率的存在预测值。例如，所述多个形状特征可以包括存在五根手指、存在腕部、和/或所属领域的技术人员认为适于指示存在手部的目的的任何其他形状特征。可以将存在预测值与存在阈值进行比较，其中如果存在预测值高于给定的存在阈值，则确定手部存在于所采集图像中。
[0054]
在步骤14中，所述方法进一步包括处理手部图像以确定三个第一预测值p(oa)、p(ra)和p(psa)，每个预测值指示在患者的手部存在或不存在相应类型关节炎。具体来说，第一预测值p(oa)指示在手部的骨关节炎(oa)的概率，p(ra)指示在手部的类风湿性关节炎(ra)的概率，并且p(psa)指示在手部的银屑病性关节炎(psa)的概率。所述三个第一预测值的确定是基于在手部摄影图像中存在或不存在多个可识别手部特征的，所述可识别手部特征包括可用于诊断在手部的关节炎的可见物理手部特征。步骤12至14一般是自动化的并且通过使用相应的经训练学习模型来执行，所述经训练学习模型将在下文参考图3至图8进一步更详细地描述。
[0055]
在目前所描述的实施方案中，所述多个可识别手部特征包括至少腕部肿胀、指关节骨肿胀和/或指关节软组织肿胀的特征，风湿病专家已知这些特征对于识别在患者的手部的关节炎特别地有用。为了提供对于识别在患者的手部的关节炎特别地有用的可识别手部特征的具体示例，参考图2是方便的，其中例示了人体的手部和腕部的骨骼和关节解剖构造的示意性背视图20。在图2中指示了手指编号以供下文进一步参考。在图2中示出了构成手部的骨骼，包括远端指骨21、中间指骨22、近端指骨23和掌骨24，以及构成腕部的骨骼，即
腕骨25。重要的是，示出了通常可能受关节炎影响的关节的位置，具体来说，在手指2至5中的dip关节26、pip关节27，在拇指(手指1)中的ip关节27’，mcp关节28和cmc关节29。例如，oa通常导致骨肿胀，即oa结节，并且在拇指根部的cmc关节的骨肿胀以及dip关节的骨肿胀通常是oa的有用指标。ra可能导致腕部肿胀以及mcp关节的软组织肿胀。oa和ia两者均可能导致pip关节的肿胀、oa中的骨肿胀以及ia中的软组织肿胀。
[0056]
可以从手部摄影图像确定存在或不存在的其他可识别手部特征包括皮疹、指甲特征、手部关节畸形和类风湿结节中的至少一个。皮疹和指甲特征(诸如甲剥离和点蚀)可以指示存在psa。类风湿结节通常指示存在ra。
[0057]
可以理解，然而，可识别手部特征不限于这些特征并且可以进一步包括任何其他特征，所述任何其他特征能够用于诊断在患者的手部的关节炎，诸如可以指示存在痛风的痛风石(尿酸盐结晶沉积物)以及可以指示存在psa的指炎(手指的梭状肿胀)。还可以理解，本发明的实施方案不限于处理手部图像以确定三个第一预测值，并且可以替换地处理手部图像以确定(i)仅一个第一预测值，诸如p(oa)、p(ra)、p(psa)中的一个，或(ii)两个第一预测值，或(iii)三个以上第一预测值，其中可以确定例如p(oa)、p(ra)、p(psa)和用于指示在手部的痛风的第一概率的附加第一预测值(p(g))。
[0058]
在步骤15中，方法10包括接收来自患者的患者信息，所述患者信息包括对与诊断在手部的关节炎有关的多个相应问题的多个响应。根据本发明的具体实施方案，患者信息是以问卷的形式接收的。图3示出了问卷30的示例，所述问卷包括供患者完成的多个问题32和相应响应选择34。问题32通常与患者的个人史和家族史有关，并且包括与不同类型的手部关节炎的症状有关的问题。根据本文描述的实施方案，不同类型的手部关节炎包括oa、ra和psa。然而，可以包括与一个或多个其他类型手部关节炎的症状有关的问题，例如，与痛风的症状有关的问题。一些问题可以有更有力地区分不同类型的手部关节炎的能力，而其他问题可能不太有区分能力。例如，
‘
症状持续时间’这个问题在提供存在或不存在oa的指示方面特别地有用，回答
‘
》2年’特别地指示存在oa。问题
‘
腕部应激性’在提供存在或不存在ia的指示方面特别地有用，回答
‘
是’特别地指示存在ia。腕部应激性可以通过其中包含使腕部被动地挠曲到90度的体检技术来测试。如果患者感到疼痛，则风湿病专家可以将此视为存在ia而非oa的指示。
[0059]
在步骤16中，方法10包括使用三个第一预测值和接收到的患者信息来确定用于指示在患者的手部存在至少一个类型的关节炎的可能性的第二预测值。与步骤12至14一样，步骤16一般也是自动化的并且通过使用经训练学习模型来执行，所述经训练学习模型将在下文参考图3至图8进一步更详细地描述。
[0060]
可以理解，第一预测值和患者信息可能不指示在患者的手部存在或不存在同一类型的关节炎。例如，所确定的第一预测值可以指示存在oa，而患者信息可以指示存在ia的子类型。进一步地，在一些实例(诸如孤立的炎症性关节炎的特定示例)中，手部可能不呈现用于指示存在一种类型的手部关节炎(即，在此示例中为ia)的任何可见手部特征，在这种情境中手部可以被认为具有正常外观并且所确定的第一预测值可以指示不存在任何类型的手部关节炎。然而，患者信息可以指示存在一种类型的手部关节炎，并且在孤立的ia的特定示例中指示ia、或更具体来说ia的子类型。通过使用所确定的第一预测值与患者信息的组合，方法10则可以提供对所述患者存在oa或ia的子类型或者这些病症的组合的可能性的确
定。
[0061]
在本示例中，方法10可以因此区分三个类型的手部关节炎，即，骨关节炎(oa)与两个子类型的炎症性关节炎(ia)(即，类风湿性关节炎(ra)和银屑病性关节炎(psa)。然而如上文所述，可以理解的是，本发明的实施方案可以进一步区分少于三个或多于三个类型的手部关节炎，并且可以包括不同于oa、ra和psa的手部关节炎类型。例如，方法10可以区分oa、ra、psa和痛风中的任何一个或多个。
[0062]
图4是根据本发明的具体实施方案提供的系统40的详细示意性框图，所述系统用于实施用于确定患者存在至少一个类型的手部关节炎的可能性的方法10。
[0063]
系统40包括第一界面41，所述第一界面用于接收在图1中例示的方法10的步骤11中采集的患者手部的图像。系统40进一步包括第二界面42，所述第二界面用于在方法10的步骤16中接收来自患者的患者信息。手部的所采集图像是手部的摄影图像。患者信息包括对与诊断在手部的关节炎有关的多个相应问题的多个响应、并且如上文关于图3所描述的以问卷的形式来接收。可以理解，单个界面可以替换地用于接收手部摄影图像和患者信息两者。例如，用于确定患者的一种类型的手部关节炎的可能性的应用程序(其可以是基于网络的)可以安装在诸如配备有相机的电话或平板的移动设备上，并且可以提示使用所述应用程序的患者(可能患有手部疼痛并且更具体来说手部关节疼痛)采集他或她的一只手的图像且提供对诸如问卷30的问卷中的问题的响应。在具体实施方案中，可以提示所述患者采集他或她的右手或者替换地他或她的左手的图像。可以然后实时地或近实时地
‘
即时’处理接收到的手部图像和患者信息。系统40进一步包括手部图像处理器43，所述手部图像处理器与界面41通信并且被布置成执行方法10的步骤12以及步骤14的一部分。手部图像处理器43被布置成分析所采集手部图像以确定(i)用于指示所采集图像中的手部是右手还是左手的多个手形特征，以及(ii)与存在或不存在多个可识别手部特征相关联的信息，所述多个可识别手部特征指示存在或不存在至少一个类型的手部关节炎。在本具体实施方案中，系统40进一步包括手形确定器45，所述手形确定器被布置成使用所述多个手形特征以确定用于指示所采集手部图像中的手部是右手或左手的概率的手部预测值p(l/r-h)。进一步地，在其中所述患者当使用所述应用程序时被提示采集他或她的右手的图像的具体实施方案中，所确定的手部预测值p(l/r-h)可以在确认所采集手部图像实际上是患者的右手的图像方面是有用的。类似地，在其中所述患者当使用所述应用程序时被提示采集他或她的左手的图像的具体替代性实施方案中，所确定的手部预测值p(l/r-h)可以在确认所采集手部图像实际上是患者的左手的图像方面是有用的。在提示患者采集他或她的右手的图像的示例中，如果手部预测值p(l/r-h)指示所采集手部图像中的手部实际上是右手，则可以执行方法10的另外的步骤14至16。然而，如果手部预测值p(l/r-h)指示所采集手部图像中的手部是左手的概率，则患者可能没有将他或她的右手相对于相机正确地定位和/或可能错误地采集了左手的图像，在这种情况下，患者可以选择或被提示采集另一右手图像。可以在患者被提示采集他或她的左手的图像的示例中应用类似过程，其中如果手部预测值p(l/r-h)指示所采集手部图像中的手部实际上是左手，则可以执行方法10的另外的步骤14至16。然而，如果手部预测值p(l/r-h)指示所采集手部图像中的手部是右手的概率，则所述患者可能没有将他或她的左手相对于相机正确地定位和/或可能错误地采集了右手的图像，在这种情况下，患者可以选择或被提示采集另一左手图像。另外，如上文所提及，可以处理所采
集手部图像以确定用于指示存在一只手的多个形状特征，并且所述多个确定的形状特征可以用于确定用于指示所采集图像包括一只手的概率的存在预测值。如果基于所述存在预测值与存在阈值的比较而确定所采集图像中不存在手，则可以提示患者采集另一手部图像。
[0064]
系统40进一步包括手部关节炎确定器44，所述手部关节炎确定器与手部图像处理器和界面42通信，并且被布置成处理患者信息以及与存在或不存在可识别手部特征相关联的信息，以确定所述患者存在至少一个类型的手部关节炎的可能性。手部关节炎确定器44包括第一预测模块46，所述第一预测模块被布置成执行方法10的步骤14，以基于与存在或不存在由手部图像处理器43确定的可识别手部特征相关联的信息而确定三个第一预测值p(oa)、p(ra)和p(psa)。手部关节炎确定器44进一步包括第二预测确定器47，所述第二预测确定器与第一预测模块46通信并且被布置成实施方法10的步骤16，即，使用所述三个第一预测值和患者信息以确定用于指示在患者的手部存在至少一个类型的关节炎的可能性的第二预测值。在本示例中，在手部的至少一个类型的关节炎包括oa、ra和psa。第二预测确定器47包括独热编码模块48，所述独热编码模块与界面42通信并且被布置成接收来自界面42的患者信息。独热编码模块48然后被布置成处理患者信息以生成独热编码的患者数据，其仅包括零和一。第二预测确定器47然后被布置成使用所述三个第一预测值p(oa)、p(ra)和p(psa)以及独热编码的患者信息来确定第二预测值。子类型ra和psa相互排斥，并且第二预测确定器47可以被布置成将p(ra)与p(psa)进行比较以确定第一预测值p(ra)和p(psa)中的哪一个是最高的，即最大值max(p(ra),p(psa))。由第二预测确定器47使用所述值max(p(ra),p(psa))作为用于指示患者患有炎症性关节炎的概率的第一预测值p(ia)，由此将ia的两个子类型相组合。然后第二预测确定器47可以被布置成使用第一预测值p(oa)和max(p(ra),p(psa))，并且处理第一预测值p(oa)、max(p(ra),p(psa))和独热编码的患者信息以确定第二预测值。
[0065]
在一个实施方案中，第二预测确定器47可以另外包括阈值比较模块49，所述阈值比较模块被布置成针对每个第一预测值p(oa)和max(p(ra),p(psa))确定介于0与1之间的相应阈值，并且将第一预测值p(oa)和max(p(ra),p(psa))中的每一个与相应参考阈值进行比较以确定第一预测值p(oa)和max(p(ra),p(psa))中的每一个是指示相应类型的手部关节炎的阳性还是阴性诊断。第二预测确定器47然后被布置成使用独热编码的患者信息以及基于与相应阈值的比较而加权的第一预测值，以确定第二预测值。例如，如果p(oa)的相应参考阈值被确定为0.5，并且p(oa)具有0.79的实际值，即高于对应参考阈值，则阈值比较模块49认为第一预测值p(oa)指示患者可能患有oa，并且第二预测确定器47相应地相对于max(p(ra),p(psa))和独热编码的患者信息对p(oa)进行加权以确定第二预测值。进一步地，如果max(p(ra),p(psa))的相应参考阈值被确定为0.5，并且max(p(ra),p(psa))具有0.23的值，即低于对应参考阈值，则阈值比较模块49认为第一预测值max(p(ra),p(psa))指示患者可能未患有ia，并且第二预测确定器47相应地相对于p(oa)和独热编码的患者信息对max(p(ra),p(psa))进行加权以确定第二预测值。
[0066]
进一步地，在另一实施方案中，还可以设想，阈值比较模块49与独热编码模块48通信，并且独热编码模块48进一步被布置成基于第一预测值p(oa)和max(p(ra),p(psa))与相应确定的参考阈值的比较而生成独热编码的第一预测数据。例如，如果相应参考阈值被确定为0.5，并且p(oa)具有0.79的值，即高于对应参考阈值，则独热编码模块48认为p(oa)指
示患者可能患有oa，并且生成具有值1的独热编码的p(oa)。进一步地，如果相应参考阈值被设定在0.5，并且max(p(ra),p(psa))具有0.23的值，即低于对应参考阈值，则独热编码模块48认为max(p(ra),p(psa))指示患者可能未患有ia，并且生成具有值0的独热编码的p(ia)。第二预测确定器47可以然后被布置成使用独热编码的第一预测值p(oa)和p(ia)以及独热编码的患者信息以确定第二预测值。
[0067]
还可以理解，患者信息可以以除独热编码以外的不同形式来编码，并且可以使用除独热编码模块以外的编码模块。
[0068]
系统40通常进一步包括数据存储装置50，所述数据存储装置用于存储可由手部图像处理器43和手部关节炎确定器44执行的程序指令集52。数据存储装置50进一步包括一个或多个数据库41’、42’，所述数据库用于分别存储来自一个或多个患者的多个手部图像(包括左手图像和右手图像)以及来自一个或多个患者的多个患者响应。例如，由界面41和42接收的所采集手部图像和患者信息可以为了记录目的在进行处理之后被存储在相应数据库41’、42’中，例如，以供风湿病专家用于其他用途。替换地，还设想由界面41和42接收的所采集手部图像和患者信息可以不进行
‘
即时’处理，而是可以被存储在相应数据库41’和42’中以在稍后时间进行处理。在这个实施方案中，手部图像处理器43和手部关节炎确定器44可以被布置成在所述稍后时间分别从数据存储装置50提取相应手部图像和对应患者信息，并且根据如上文所描述的方法10的步骤处理提取到的相应手部图像和患者信息。
[0069]
还可以理解，数据存储装置50可以是系统40中的本地数据存储装置或者可以是在可经由通信网络(诸如因特网)访问的服务器上的远程数据存储装置。
[0070]
系统40进一步包括控制单元53，所述控制单元与界面41和42且与数据存储装置50通信，以用于控制手部图像处理器43、手形确定器45和手部关节炎确定器44的操作。
[0071]
根据本发明的实施方案，手部图像处理器43、手形确定器45、第一预测模块46和第二预测确定器47被布置成通过使用经训练学习模型来执行方法10的步骤12至14和步骤16。例如，手部图像处理器43、手形确定器45和第一预测模块46可以使用经训练深度学习模型来执行步骤12至14并且第二预测确定器47可以使用经训练机器学习模型。
[0072]
在与多个患者相关联的多个所采集手部图像上、并且在从所述多个患者当中的若干个对应患者接收的患者响应上对根据本发明的实施方案所使用的相应学习模型进行训练。
[0073]
现在将描述根据本发明的实施方案所使用的学习模型的训练过程。
[0074]
深度学习模型训练
[0075]
多种不同的图像识别方法(诸如定制或现成的深度学习或卷积神经网络方法)可以用于训练深度学习模型。例如，可以使用
‘
迁移学习’(transfer learning)方法，并且本发明人已发现，建立在“tensorflow inception v3”模型(下文被称为“tensorflow”模型)之上的
‘
迁移学习’方法特别地适合于根据本发明的实施方案的方法10和系统40。然而可以理解，还可以使用其他
‘
迁移学习’方法，诸如建立在“微软的自定义视觉服务(microsoft's custom vision service，cvs)”之上的
‘
迁移学习’方法。
[0076]
为了训练相应深度学习模型，通过使用诸如相机的采集设备从相应患者采集多个手部图像。每个手部摄影图像是在手部被定位成平放在白色垫子上处于基本上平整位置中或平放在位于桌子上的一张白纸上的情况下采集的。然后，对于每个患者，采集患者的右手
的摄影图像和患者的左手的摄影图像两者。然后在所有右手图像和左手图像上训练所述深度学习模型。还可以设想，左手图像可以被所述模型“看”成右手图像的镜像，其中仅在右手图像上训练所述深度学习模型。替换地，还可以设想，右手图像可以被所述模型“看”成左手图像的镜像，其中仅在左手图像上训练所述深度学习模型。
[0077]
风湿病专家进一步收集与相应右手摄影图像和左手摄影图像相关联的手部标签数据和诊断数据。所述手部标签数据与风湿病专家在相应摄影图像中观察到的多个手形特征以及可识别手部特征有关。风湿病专家基于在所采集手部图像中观察到的可识别手部特征而提供诊断数据。下面的表1提供由风湿病专家收集的与手部摄影图像的选择有关的手部标签数据和相关联诊断的示例，所述手部摄影图像包括右手图像和左手图像，都是针对所选择的相应患者在相应手部被定位在一张白色a4纸上处于基本上平整位置中的情况下被采集的。在这个示例中，手部标签数据包括手部图像编号、手部是左手还是右手、皮肤颜色、存在或不存在oa结节、腕部肿胀、mcp肿胀、pip肿胀和畸形。伴随pip、mcp、cmc和dip描述的编号用于指示手指编号，如图2中所例示。应注意，可以进一步提供与其他手部特征有关的附加数据，诸如例如与皮疹、指甲特征、ra结节、痛风石和指炎有关的数据。
[0078]
[0079][0080]
表1.与风湿病专家对各种患者的所采集手部图像的视觉观察有关的数据。
[0081]
编号为4974和4975的所采集手部图像是第一患者的相应左手图像和右手图像，编号为7760和7761的所采集手部图像是第二患者的相应左手图像和右手图像，编号为8727和8728的所采集手部图像是第三患者的相应左手图像和右手图像，并且编号为9805和9806的所采集手部图像是第四患者的相应左手图像和右手图像。在表1中列出的图像4974和4975分别在图5(a)和图5(b)中例示，并且对于这些图像，风湿病专家已基于在表1中详述的相应视觉上识别的手部特征而提供了患者患有oa的诊断。例如，oa结节54和56可以清楚地在图5(a)和图5(b)中观察到，例如在手指关节ip1、pip2、pip3、pip4、pip5和dip2、dip3处。
[0082]
编号为7760和7761的手部摄影图像分别在图6(a)和图6(b)中例示，并且对于这些摄影图像，风湿病专家已基于在表1中详述的相应视觉上识别的手部特征而提供了对ra的
诊断。例如，可以在图6(a)和图6(b)中观察到腕部肿胀62以及患者的右手的所有手指的mcp关节的软组织肿胀64(图像7760)。
[0083]
编号为8727和8728的手部摄影图像分别在图7(a)和图7(b)中例示，并且对于这些摄影图像，风湿病专家已基于在表1中详述的相应视觉上识别的手部特征而提供了患者患有oa和ra的双重诊断。例如，可以在图7(a)和图7(b)中观察到在右手和左手两者的腕部肿胀72以及在右手拇指的cmc关节处的oa结节74以及在患者的右手中的手指2至5的cmc关节(图7(a))处和在患者的左手中的手指2和4的cmc关节(图7(b))处的oa结节76。
[0084]
编号为9805和9806的手部摄影图像分别在图8(a)和图8(b)中例示，并且对于这些摄影图像，风湿病专家已基于在表1中详述的相应视觉上识别的手部特征而提供了对psa的诊断。例如，可以在图8(a)中观察到患者的右手中的手指4的pip关节的肿胀，而可以在图8(b)中观察到患者的左手中的手指2和3的pip关节的肿胀。
[0085]
基于所采集手部图像与相关联手部标签数据和诊断的组合，深度学习模型的训练然后依赖于对摄影手部图像的图像识别和图案识别。相应深度学习模型开发了一个过程，由此通过使用为了深度学习模型训练目的而输入的所采集左手图像和右手图像、相关联手部标签数据和风湿病专家的诊断，(i)可以识别新采集的手部图像中的特征，(ii)对于每个新采集的手部图像，可以确定所述手部是右手还是左手，并且(iii)可以输出用于指示一种类型的手部关节炎的预测值。
[0086]
非常大的数据集对于对所述模型的训练是优选的，并且根据本示例，采集了总共1010个手部摄影图像，并且收集了对应数量的相关联手部标签数据和诊断数据。1010个手部图像包括相应患者的右手图像和左手图像两者。这些所采集手部图像以及相关联手部标签数据和诊断数据的大约80％被用于对模型进行训练，并且所采集手部图像以及相关联手部标签数据和诊断数据的剩余大约20％被保留以用于经训练模型的进一步测试。
[0087]
皮肤颜色以及腕部饰品(诸如手表和手镯)、手部的手指上的戒指和指甲油(表1中未示出)的存在可以是能够干扰手部特征识别和图案识别的附加特征。机器学习对象检测方法可以另外应用于所采集手部图像以训练对象检测模型以用于检测此类附加特征并且在处理所采集手部图像期间考虑它们。然后可以设想，经训练对象检测模型在将深度学习模型应用于所述图像之前被应用在所采集手部图像的预处理步骤中，或者经训练对象检测模型与深度学习模型并行地被应用于所采集手部图像。这个组成部分的未来迭代可以利用对象检测和/或图像识别来识别可观察到的关节/皮肤/指甲病状和诸如饰品的附加特征两者。
[0088]
为了训练深度学习模型，使用诸如“project jupyter”的笔记本电脑技术来开发相应脚本，创建、训练和自动化对模型的测试。然而，可以理解，本发明的实施方案不限于通过使用“project jupyter”技术来训练深度学习模型，并且任何其他适当技术可以用于开发、创建、训练和自动化对模型的测试。
[0089]
针对手部预测值和相应第一预测值的每次确定开发了另外的模型。具体来说，开发了四个不同模型，包括：(i)l/r-h模型，其输出用于指示所采集手部图像中的手部是右手或左手的概率的手部预测值p(l/r-h)，(ii)oa模型，其输出用于指示所采集图像中的手部患有oa的第一概率的第一预测值p(oa)，(iii)ra模型，其输出用于指示所采集图像中的手部患有ra的第一概率的第一预测值p(ra)，和(iv)psa模型，其输出用于指示所采集图像中
的手部患有psa的第一概率的第一预测值p(psa)。每个输出手部预测值和第一预测值对应于介于0与1之间的值。
[0090]
然后，将每个输出手部预测值和第一预测值与介于0与1之间的相应参考阈值进行比较以区分阳性结果与阴性结果。在特定示例中，每个参考阈值被确定和设定为0.5的标准值，并且(i)将大于对应参考阈值的输出手部预测值设定为用于指示所采集图像中的手部是右手，(ii)将小于对应参考阈值的输出手部预测值设定为用于指示所采集图像中的手部是左手，(iii)将大于参考阈值的输出第一预测值设定为用于指示在患者的手部存在相应类型关节炎的可能性的阳性确定，并且(iv)将低于参考阈值的输出第一预测值设定为用于指示在患者的手部存在相应类型关节炎的可能性的阴性确定。
[0091]
然而可以理解，相应参考阈值可以具有不同于0.5的任何另一值并且可以被确定和设定到可以等于、大于或小于0.5的相应不同值。进一步地，可以调整相应参考阈值以调谐阳性手部预测值和第一预测值的确定，而且调谐真、假阳性和真、假阴性的确定。而且，可以理解，可以替换地选择相应参考阈值，使得将大于对应参考阈值的输出手部预测值设定为用于指示所采集图像中的手部是左手，并且(ii)将小于对应参考阈值的输出手部预测值设定为用于指示所采集图像中的手部是右手。
[0092]
然后使用未被用于训练过程的160个手部图像来测试每个模型。ra和psa是炎症性关节炎的子类型并且相互排斥。因此同时测试分开的ra和psa模型。
[0093]
为了测试目的，然后使用四个测试参数来评估每个模型的预测能力：
[0094]
1)敏感度，也称作召回率，其测量照此被正确地识别的实际真阳性的比例(例如，患有一种类型的手部关节炎并且基于手部图像而被正确地识别为患有该病症的患者的比例)：
[0095][0096]
其中t
p
是真阳性的数量，并且fn是假阳性的数量，即，错误地指示不存在特定病症或属性的测试结果的数量。
[0097]
2)特异性，也称作真阴性率，即，在所有相关阴性结果当中的真阴性的比例：
[0098][0099]
其中tn是真阴性的数量，并且f
p
是假阴性的数量，即，错误地指示存在特定病症或属性的测试结果的数量。
[0100]
精度，也称作阳性预测值，其测量在提取到的阳性结果当中的相关“真”阳性结果的比例：
[0101][0102]
3)阴性预测值(npv)，其测量在提取到的阴性结果当中的“真”阴性的测试结果的比例：
[0103][0104]
对四个模型中的每个模型的这四个测试参数的计算得到了在下面的表2中列出的结果。
[0105][0106][0107]
表2.作为对使用“tensorflow”方法创建和训练的每个模型进行测试的结果而输出的测试参数。
[0108]
如上文所提及的，可以使用其他深度学习或卷积神经网络方法。例如，除“tensorflow”方法以外的
‘
迁移学习’方法也可以用于训练深度学习模型，并且本发明人为了比较还询问了使用“微软的cvs”方法来对所述模型进行训练的适用性。还通过使用上文提及的四个测试参数来评估通过使用“微软的cvs”方法所开发和训练的每个模型的预测能力，并且计算得到了在下面的表3中列出的以下结果。
[0109][0110]
表3.作为对通过使用“微软的cvs”方法所创建和训练的每个模型进行测试的结果而输出的测试参数。
[0111]
基于在上面的表2和表3中呈现的测试结果，本发明人得出如下结论：“tensorflow”方法在提供存在或不存在特定病症或属性的指示方面更强大。进一步地，“tensorflow”模型方法允许调谐模型参数，诸如用于确定阳性和阴性的相应参考阈值，以及召回率、精度、特异性和npv参数。这提供如下优势：可以取决于最重要或相关的参数是什么(例如召回率或精度)来调谐所述患者患有一种病症或属性的概率的最终确定。
[0112]
可以理解，在上面的表2和表3中提供的数据仅作为示例来提供，并且可以例如随着所采集图像的数量增加、和/或随着模型参数(诸如手形参数值和相应参考阈值)被调整
而变化。
[0113]
机器学习模型训练
[0114]
根据本发明的具体实施方案，第二预测确定器47使用经训练机器学习模型来执行对接收到的患者信息以及每个第一预测值进行处理。
[0115]
本发明人已试验了各种不同机器学习模型，包括最近邻模型、决策树和朴素贝叶斯分类器，并且已发现三个模型产生的结果具有最高预测能力：(i)支持向量机，(ii)随机森林，和(iii)逻辑回归。
[0116]
患者信息是从与1010个采集到的手部图像当中的相应手部图像相关联的280个患者接收的。患者信息是以对问卷(诸如图3中示出的问卷30)中的多个相应问题的多个响应的形式接收的，所述多个问题与诊断在手部的关节炎有关。
[0117]
大多数机器学习模型不能使用数据串并且需要严格的数字输入。因此，为了训练机器学习模型，患者信息被处理以生成适当格式化的数据条目以输入到机器学习模型并且进一步由第二预测确定器47处理。
[0118]
具体来说，患者信息最初被处理以生成采用列条目形式的调查数据集。在下面的表4中示出的具体示例中，为多个患者生成调查数据集，其中对于每个患者，所述多个响应是以表格的形式提供的，所述表格具有针对每个问题的列条目。注意，下面的表4仅提供示例并且未再现与问卷30中的所有问题相关联的所有患者响应。然而可以理解，调查数据集通常会生成为包括与患者一样多的行和与问卷中存在的问题一样多的列。
[0119]
患者诊断图像晨僵个人史家族史腕部应激性xypsa、oa6372》30分钟n/a无yyyoa6375n/an/aoayxzoa6399n/a oanyzoa、ra6404》10分钟 银屑病y
[0120]
表4.用于多个患者的包括对以列条目的形式提供的相应问题的患者响应的调查数据集。
[0121]
然后，所述调查数据集通过使用例如系统40的独热编码模块48而被独热编码，使得用于训练机器学习模型的完整数据集将仅包含数字输入，并且在目前的具体示例中，仅包括零和一。所述调查数据集因此是独热编码的，其中包含
‘
n’个唯一分类输入的每个列被转换为填充有1或0的
‘
n’个不同列。在下面的表5中示出了对表4的列
‘
腕部应激性’中的调查数据的独热编码的示例性表示。在对所述调查数据集之中的每个变量适当地进行独热编码之后，所述调查数据集包含280个条目(即，行)和35个列，每个条目对应于相应患者。
[0122]
腕部应激性(y)腕部应激性(n)10100110
[0123]
表5.对表4中示出的“腕部应激性”列条目进行的独热编码。
[0124]
然后，针对oa或ia的目标诊断，在独热编码的调查数据集(在35个列中的280个条目)上对根据本发明的实施方案用于确定oa或ia(即，ra或psa)的可能性的机器学习模型进
行初始训练。
[0125]
然后，通过使用留一法交叉验证(loocv)对在所述调查数据集上训练的机器学习模型进行验证，loocv在所使用的数据集相对较小并且用于模型的对应训练时间类似地较小的实例中是理想的模型验证方法。然而，可以理解，还可以设想，取决于所提供的数据集而适当地使用其他模型验证方法。
[0126]
loocv方法涉及个别地获得在数据集之中的每个条目并且将其排除(或将其留出来)，而在所述数据集之中的所有其他条目用于训练给定模型。一旦已在其他条目上对所述模型进行训练，然后在留出来的条目上测试所述模型。
[0127]
在本示例中，这意味着，对于所述机器学习模型的训练和验证，使用了280个独热条目当中的279个条目，而留出来一个条目。一旦在这279个条目上训练了所述模型，便针对留出来的条目测试所述模型。然后针对在所述数据集之中的280个条目中的每个条目重复这个过程。
[0128]
进一步地，在数据集上对所述机器学习模型进行训练，所述数据集并入有独热编码的调查数据集以及通过使用经训练“tensor flow”深度学习模型输出的第一预测值p(oa)、p(ra)和p(psa)。这些第一预测值构成第二预测确定器47的数字输入并且因此不一定需要被独热编码。然而，如所提及的，在一个实施方案中，第一预测值可以进一步基于与相应参考阈值的比较而被独热编码。
[0129]
更具体地，在数据集上对所述机器学习模型进行训练，所述数据集并入有独热编码的调查数据集、第一预测值p(oa)和第一预测值p(ia)，即p(ra)和p(psa)的最大值，所述第一预测值被用作用于指示患者患有炎症性关节炎的概率的预测值，这进一步考虑了第一预测值与相应参考阈值的比较。因此，第一预测值p(oa)和p(ia)的两个附加列与独热编码的调查数据集一起被并入到所述数据集之中，其中独热编码的值p(ra)和p(psa)的两个列根据p(ra)和p(psa)的最大值而被组合成值p(ia)的单个列。
[0130]
因此随后在包括总共280个条目和37个列的数据集上对所述模型进行训练，并且例如通过使用系统40的第二预测确定器47将相应第二预测值确定为用于指示包括oa和ia中的一个或多个的相应类型手部关节炎的第二概率的相应输出。基于第一预测值与相应参考阈值的比较，可以确定和调整独热编码的调查数据集和输出第一预测值在经训练机器学习模型中的相对加权，这可以进一步基于第一预测值如何与风湿病专家在如表1中例示的手部图像数据集之中提供的诊断相关。进一步地，如果第二预测值用于指示患者的ia的可能性，则然后对所述模型进行训练，以基于对问卷中的问题
‘
个人史’和/或
‘
家族史’的响应而区分ra与psa，其中对
‘
银屑病’的阳性响应将用于指示患者存在psa，而对问题
‘
个人史’和/或
‘
家族史’的任何其他响应将替代地导致ra的可能性。
[0131]
然后还通过使用如上文描述的loocv来验证在包括独热编码的调查数据和第一预测值的数据集上训练的机器学习模型。
[0132]
如上文所提及，数个机器学习模型被发明人试验并且如上文所描述而被训练，并且发现三个机器学习模型具有最高预测能力：(i)支持向量机、(ii)随机森林、和(iii)逻辑回归。所述机器学习模型中的每个机器学习模型的预测能力是通过确定三个测试参数，即“准确度”、“精度”和“召回率”(也被称作敏感度，如上文所讨论的)，来评估的，并且在下面的表6中示出结果。准确度表示实际上或“真正地”正确的模型预测在总数量的模型预测当
中的比例。
[0133][0134][0135]
表6.包括三个测试参数“准确度”、“精度”和“召回率”的值的结果，其是针对关于每个类型的关节炎而训练和评估的每个机器学习模型并且基于包括调查数据集和从“tensor flow”模型输出的第一预测值的数据集(即，基于所采集图像)而计算的。
[0136]
如表6中可见，在调查数据集与“tensorflow”模型输出的第一预测值的组合上训练的“支持向量机”模型允许分别以95.9％、95.6％和99.4％的准确度、精度和召回率预测炎症性关节炎，并且所述“支持向量机”模型另外能够分别以76.6％、84.4％和56.2％的准确度、精度和召回率预测骨关节炎。
[0137]
进一步地，可以设想在基于同一患者的手部的多个图像(所述图像是以相应不同角度采集的)、或基于对所述患者的手部的移动视觉图像的记录所创建的粗略3d手部模型上，训练根据本发明的实施方案所使用的深度学习模型和机器学习模型。
[0138]
还可以设想，用于执行对新采集的手部图像和相关联患者信息的处理的经训练模型，通过使用新采集的手部图像和新接收的相关联患者信息而被进一步训练，由此可以进一步最大化根据本发明的实施方案的方法和系统的准确度、精度和召回率。
[0139]
本发明的实施方案呈现如下优点：任何人、并且更具体来说具有手部和/或手部关节疼痛的任何人，都有可能
‘
即时’自行获得对一种类型的手部关节炎的诊断。例如，通过使用在配备有相机的移动设备上的应用程序，一人可以通过使用相机简单地采集他或她的手部的图像并且在应用程序中提供对此图像的链接，或该人可以替换地被应用程序提示以采集他或她的手部的图像。该人将进一步被提示提供对诸如问卷30的问卷中的一系列问题的响应。所述患者可以在对普通科医生的简单咨询之后提供对
‘
腕部应激性’问题的响应，由此避免对转诊给风湿病专家的需要，这在第一实例中可能是不必要的。其还可能由患者自己借助图解指导或在专职医疗保健提供者(护士、物理治疗师、职业治疗师)的监督下进行。一个或多个预测值然后将在应用程序中被输出并且在移动设备的图形界面上呈现给患者，一个或多个输出预测值中的每个输出预测值用于指示相应类型的手部关节炎的可能性。因此将允许对患有手部关节炎的患者进行更方便且高效的筛查。
[0140]
在以下权利要求书中并且在对本发明的前述描述中，除了上下文由于表达语言或
必要含义而另有需要的情况，词语“包括(comprise)”或诸如“包括(comprises)”或“包括(comprising)”的变型以包含性意义来使用，即在本发明的各种实施方案中指定所陈述特征的存在。
[0141]
对本领域的技术人员将显而易见的修改和变化被确定为在本发明的范围内。