多模态超声图像的RA活动度深度学习方法及装置

多模态超声图像的ra活动度深度学习方法及装置
技术领域
1.本发明涉及医学图像处理的技术领域，尤其涉及一种多模态超声图像的ra活动度深度学习方法，以及多模态超声图像的ra活动度深度学习装置，其主要用于静态灰阶(sgs)、动态灰阶(dgs)、静态能量多普勒(spd)和动态能多普勒(dpd)超声图像的处理。


背景技术：

2.类风湿性关节炎（rheumatoid arthritis，ra）是一种全身性、慢性的炎症性疾病，以滑膜炎症为主，主要累及小关节。关节炎症的反复发作可导致不可逆的畸形和功能障碍，给患者和社会造成沉重的负担。规范ra的诊断和治疗策略在临床实践中具有重要意义，但即使患者达到了治疗目标，当抗风湿药物逐渐减少或停用时，仍有可能发生疾病复发。因此，需要一种敏感和客观的成像工具来检测亚临床滑膜炎。
3.肌肉骨骼超声成像（ultrasound，us）可以直接显示炎症征象，已被认为是评估关节炎的一种可行方法。超声可较临床标准提高ra滑膜炎诊断确定性，多普勒超声可检测病理滑膜血流，反映关节的炎症活动。因此，us作为一种对ra患者早期诊断、疾病活动监测和预后预测有帮助的技术，被欧洲风湿病联盟（european league against rheumatatism，eular）推荐为一线筛查方法。然而，us在ra管理中的作用仍然存在争议，因为关于us联合评分与临床参数之间的相关性的结果存在冲突。长期以来，操作者的依赖和观察者之间一致性差的问题一直限制着us对ra疾病管理能力的提高。eular-omeract滑膜炎评分系统（eoss）引入了一种标准化的方法来解释疾病活动，利用us对ra患者的关节进行评分。制定了滑膜肥厚和血管状况评价的0-3量表评分方法，并推荐将滑膜肥厚和血管状况的eoss评分再次进行0-3联合评分，进一步提高us的可靠性。虽然eoss在分类上更加标准化，但由于人类专家评估者固有的偏见，它仍然不可避免地受到观察者之间的差异的影响。这将影响ra患者的诊断、治疗选择，并可能影响临床试验的结果。因此，提高us对滑膜炎诊断的准确性（acc）和可靠性对ra的管理非常重要。
4.近年来，通过自动深度学习（dl）方法构建的卷积神经网络（cnns）已成为图像分析的最先进方法之一。通过一系列的变换层，如卷积层，cnns可以从大量的数据中提取复杂的特征。很明显，这些自动化的方法可以减轻临床试验和实践中对操作者的依赖。在以往的研究中，根据eoss定义设计cnn对彩色多普勒（cd）超声图像进行评分，0-3分严重度分级测试acc为70.5
ꢀ‑
83.9%。然而，这些研究中提出的级联模型仅用于对cd超声图像进行分类。用于灰度超声图像分类的cnn模型尚未开发出来。此外，报道的cnn只能对超声静态图像进行分类，对超声视频进行准确评分的潜力尚未开发，这实际上忽略了超声本身的固有优势。有时，超声医生很难根据单一的静态图像对关节us评分进行准确的分类，关节复杂的解剖结构可能进一步增加滑膜炎评分的难度。而动态视频可能有助于读者更容易地认识解剖结构以及病理和基本病变。为了避免偏差，所有的超声数据，包括通过不同的超声模式获得的静态图像和视频片段，都通过专门设计的cnn进行评估，以更客观和可靠地对疾病活动进行分类。


技术实现要素：

5.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种多模态超声图像的ra活动度深度学习方法，其能够对ra患者以静态图像或视频剪辑形式获得的gs和pd图像进行处理，从而更客观和可靠地对疾病活动进行分类。
6.本发明的技术方案是：这种多模态超声图像的ra活动度深度学习方法，其包括以下步骤：（1）静态模型建立：静态灰阶sgs和静态能量多普勒spd图像采集采用jpg或bmp格式，感兴趣区域roi是使用视觉对象标记工具vott，通过简单地拖动图像上的一个矩形框来手动选择的，然后所有roi都被调整为128
×
128像素，分别对灰阶多普勒gs和能量多普勒pd建立了两个模型，网络结构相同；（2）动态模型建立：为每个视频片段在一帧上选择动态灰阶dgs或动态能多普勒dpd图像的初始矩形roi，然后，通过来自开源计算机视觉库opencv的多实例学习mil自动跟踪视频中所有帧上的矩形roi，视频采样为128帧，每帧64*64像素；（3）采用均数
±
标准差sds来描述定量参数，包括临床评分和实验室数据；采用受试者工作特征roc曲线分析来说明dl评分模型的预测性能；采用delong检验来比较roc曲线；以超声医生的评价作为金标准，计算模型中每种二元分类的敏感性和特异性。
7.本发明通过对静态gs、静态pd、动态gs和动态pd超声图像进行处理，并进行统计分析，能够对ra患者以静态图像或视频剪辑形式获得的gs和pd图像进行处理，从而更客观和可靠地对疾病活动进行分类。
8.还提供了多模态超声图像的ra活动度深度学习装置，其包括：静态模型建立模块，静态灰阶sgs和静态能量多普勒spd图像采集采用jpg或bmp格式，感兴趣区域roi是使用视觉对象标记工具vott，通过简单地拖动图像上的一个矩形框来手动选择的，然后所有roi都被调整为128
×
128像素，分别对灰阶多普勒gs和能量多普勒pd建立了两个模型，网络结构相同；动态模型建立模块，为每个视频片段在一帧上选择动态灰阶dgs或动态能多普勒dpd图像的初始矩形roi，然后，通过来自开源计算机视觉库opencv的多实例学习mil自动跟踪视频中所有帧上的矩形roi，视频采样为128帧，每帧64*64像素；分析模块，采用均数
±
标准差sds来描述定量参数，包括临床评分和实验室数据；采用受试者工作特征roc曲线分析来说明dl评分模型的预测性能；采用delong检验来比较roc曲线；以超声医生的评价作为金标准，计算模型中每种二元分类的敏感性和特异性。
附图说明
9.图1是根据本发明的多模态超声图像的ra活动度深度学习方法的流程图。
具体实施方式
10.这种多模态超声图像的ra活动度深度学习方法，其包括以下步骤：（1）静态模型建立：静态灰阶sgs和静态能量多普勒spd图像采集采用jpg或bmp格式，感兴趣区域roi是使用视觉对象标记工具vott，通过简单地拖动图像上的一个矩形框来手动选择的，然后所有roi都被调整为128
×
128像素，分别对灰阶多普勒gs和能量多普勒pd
建立了两个模型，网络结构相同；（2）动态模型建立：为每个视频片段在一帧上选择动态灰阶dgs或动态能多普勒dpd图像的初始矩形roi，然后，通过来自开源计算机视觉库opencv的多实例学习mil自动跟踪视频中所有帧上的矩形roi，视频采样为128帧，每帧64*64像素；（3）采用均数
±
标准差sds来描述定量参数，包括临床评分和实验室数据；采用受试者工作特征roc曲线分析来说明dl评分模型的预测性能；采用delong检验来比较roc曲线；以超声医生的评价作为金标准，计算模型中每种二元分类的敏感性和特异性。
11.本发明通过对静态gs、静态pd、动态gs和动态pd超声图像进行处理，并进行统计分析，能够对ra患者以静态图像或视频剪辑形式获得的gs和pd图像进行处理，从而更客观和可靠地对疾病活动进行分类。
12.通过自动深度学习(dl)方法构建的卷积神经网络(cnns)已成为图像分析的最先进方法之一。通过一系列的变换层，如卷积层，cnns可以从大量的数据中提取复杂的特征。这些自动化的方法可以减轻临床试验和实践中对操作者的依赖。在以往的研究中，根据eoss定义设计cnn对cd us图像进行评分，0-3分严重程度的测试acc为70.5
ꢀ‑
83.9%。然而，这些研究中提出的级联模型仅用于对cd超声图像进行分类。用于灰阶(gs)超声图像分类的cnn模型尚未开发出来。此外，报道的cnn只能对静态超声图像进行分类，利用超视频进行准确评分的潜力尚未开发，这实际上忽略了超声本质优势。有时，超声医生很难根据单一的静态图像对关节us评分进行准确的分类，关节复杂的解剖结构可能进一步增加滑膜炎评分的难度。而动态视频可能有助于读者更容易地认识解剖结构以及目标病理和基本病变。为了避免偏差，所有的超声数据，包括通过不同的超声模式获得的静态图像和视频片段，都通过本发明专门设计的cnn进行评估，以更客观和可靠地对疾病活动进行分类。
13.优选地，所述步骤（1）中，使用imagenet对resnet50模型进行预训练，然后，设计一个注意力模块am，并与resnet50模型结合，进一步捕捉roi的重要特征。
14.优选地，所述步骤（2）中，开发gs和pd视频的两个模型，分别命名为dgs和dpd模型，它们由imagenet上预训练的resnet50和双向长短时记忆bi-lstm构建，resnet50提取空间特征，bi-lstm提取时间特征。
15.优选地，所述步骤（3）中，通过测试队列中152张超声图像的预测和诊断来确定总体准确性acc。
16.优选地，所述步骤（3）中，将多位超声医生根据他们的超声经验被分为三组：高年超声医师》10年、资深超声6～9年、初年超声医师3～5 年；所有统计检验均为双侧检验，p 《 0.05为统计显著性水平。
17.本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种多模态超声图像的ra活动度深度学习装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：静态模型建立模块，静态灰阶sgs和静态能量多普勒spd图像采集采用jpg或bmp格式，感兴趣区域roi是使用视觉对象标记工具vott，通过简单地拖动图像上的一个矩形框来
手动选择的，然后所有roi都被调整为128
×
128像素，分别对灰阶多普勒gs和能量多普勒pd建立了两个模型，网络结构相同；动态模型建立模块，为每个视频片段在一帧上选择动态灰阶dgs或动态能多普勒dpd图像的初始矩形roi，然后，通过来自开源计算机视觉库opencv的多实例学习mil自动跟踪视频中所有帧上的矩形roi，视频采样为128帧，每帧64*64像素；分析模块，采用均数
±
标准差sds来描述定量参数，包括临床评分和实验室数据；采用受试者工作特征roc曲线分析来说明dl评分模型的预测性能；采用delong检验来比较roc曲线；以超声医生的评价作为金标准，计算模型中每种二元分类的敏感性和特异性。
18.优选地，所述静态模型建立模块中，使用imagenet对resnet50模型进行预训练，然后，设计一个注意力模块am，并与resnet50模型结合，进一步捕捉roi的重要特征。
19.优选地，所述动态模型建立模块中，开发gs和pd视频的两个模型，分别命名为dgs和dpd模型，它们由imagenet上预训练的resnet50和双向长短时记忆bi-lstm构建，resnet50提取空间特征，bi-lstm提取时间特征。
20.优选地，所述分析模块中，通过测试队列中152张超声图像的预测和诊断来确定总体准确性acc。
21.优选地，所述分析模块中，将多位超声医生根据他们的超声经验被分为三组：高年超声医师》10年、资深超声6～9年、初年超声医师3～5 年；所有统计检验均为双侧检验，p 《 0.05为统计显著性水平。
22.以下更详细地说明本发明的内容。
23.本研究的数据来自一项前瞻性风湿性关节炎研究，从2019年4月至2020年12月，从门诊招募了156名年龄大于18岁的患者。根据2010年美国风湿病学会/欧洲风湿病联盟(acr/ eular)分类标准诊断ra。排除标准:(1)在过去12个月接受手部手术，(2)有严重关节畸形不适合us检查，(3)怀孕，(4)不愿意参加。
24.本研究包括三个队列。两个测试队列的图像在eoss系统评分和五个关节部位(mcp2, mcp3, pip2, pip3和手腕关节)中相对均匀地分布，这五个关节部位是ra最常见的病变。
25.记录相关临床信息，包括一般信息、病程、症状、目前使用的药物和相关实验室参数。每名患者的28个关节，包括双侧pips、mcps、手腕、肘部、肩膀和膝盖，由具有18年临床风湿病学经验的风湿病专家进行临床评估。
26.关节的gs和pd成像由两名具有5年以上超声经验和2年肌肉骨骼超声评估的超声医生进行。超声医生根据eoss指南对143例ra患者进行了临床优势手的超声扫描，包括腕关节、mcp和pip关节的扫查。
27.由于后期(2020年5月至2020年12月)才开始采集动态数据，因此动态图像数量低于静态图像数量。使用超声设备(迈瑞生物医疗电子有限公司resona 7)，配备l20-3u高频线性探头(3
ꢀ‑ꢀ
20mhz)进行图像残迹。在整个研究过程中，超声机器的设置没有变化，pd信号增益设置为略低于颜色噪声消失的灵敏度。
28.两位超声医生对eoss系统提出的所有获取的匿名图像进行评分，sh评分从0到3,pd评分从0到3。如果出现意见分歧，另一位具有13年超声经验的超声医师将对影像数据进行复查，并通过联合审查和讨论达成共识。
29.sgs和spd图像采集采用jpg或bmp格式。感兴趣区域(roi)是由两名超声医师使用视觉对象标记工具(vott, microsoft, usa)，通过简单地拖动图像上的一个矩形框来手动选择的。然后，所有roi都被调整为128
×
128像素。分别对gs和pd建立了两个模型，网络结构相同。使用imagenet 对resnet50模型进行预训练。然后，设计一个注意力模块(am)，并与resnet50模型结合，进一步捕捉roi的重要特征。
30.由超声医师为每个视频片段在一帧上选择dgs或dpd图像的初始矩形roi。然后，通过来自开源计算机视觉库(opencv, intel, usa)的多实例学习(mil)自动跟踪视频中所有帧上的矩形roi。视频采样为128帧，每帧64*64像素。开发了gs和pd视频的两个模型，分别命名为dgs和dpd模型。它们由imagenet上预训练的resnet50和双向长短时记忆(bi-lstm)构建。resnet50提取空间特征，bi-lstm提取时间特征。
31.采用均数
±
标准差(sds)来描述定量参数，包括临床评分和实验室数据。采用受试者工作特征(roc)曲线分析来说明dl评分模型的预测性能。采用delong检验来比较roc曲线。此外，以超声医生的评价作为金标准，计算模型中每种二元分类的敏感性和特异性。
32.为了比较dl模型和超声医生的诊断能力，通过测试队列中152张超声图像的预测和诊断来确定总体acc。另外12名超声医生根据他们的超声经验被分为三组(高年超声医师》10年;资深超声6～9年;初年超声医师3～5 年)。所有统计检验均为双侧检验，p 《 0.05为统计显著性水平。
33.患者基线情况2019年4月至2020年12月期间，从门诊招募了156名患者，其中143名符合我们研究的纳入标准。训练队列、检验队列1(除sjc)和检验队列2间(除女性、tjc、crp、pga和das28-esr)的基线特征无统计学差异。
34.4种dl模型诊断效能比较结果表明，尽管dgs模型在训练队列中的表现优于其他模型，但在检验队列1中情况有很大不同。
35.在试验队列1中，基于静态和动态us图像的多模态dl模型对ra us评分较好，不同模型间0-3分评分无统计学差异(p》0.05)， dpd、sgs、dgs和spd模型分别在0、1、2和3评分上表现最好(auc = 0.87/0.95/0.74/0.95)。而spd模型在测试队列1上的表现优于sgs (0/2/3分auc =0.82/0.67/0.95 vs. 0.66/0.66/0.75)，在测试队列2上进一步证明了这一点(0 分auc = 0.89 vs. 0.81)。此外，在测试队列1中，动态模型对gs图像的评分优于静态模型(dgs auc= 0.70/0.74/0.88 vs. gs auc= 0.66/0.66/0.75)。对于pd图像，动态模型取得了与静态模型相似的性能(dpd auc=0.87/0.85/0.65/0.92 vs. pd auc= 0.82/0.83/0.67/0.95)。
36.dl模型与超声医师诊断效能比较acc被用来定量评估dl模型和超声医生之间的诊断能力。可以看出，静态和动态dl模型在1分和3分上优于超声医师，尤其是dpd模型在1分上表现更好(差异有统计学意义，p《0.05)。在评分为0时，dpd模型优于其他模型，且优于资深超声医师(p《0.05)。虽然dgs模型在所有得分上都是最好的(0-3分)，但其表现与初级和经验较多的高年超声医师的评价能力没有显著差异。可以看出，dl模型对动态us图像的评分优于大多数资深超声医师，而对于静态us图像的评分，dl模型没有明显优势。
37.此外，超声医师与静态和动态dl模型的一致性结果显示，与不同经验的超声医生相比，在几乎所有病例中，dl模型与高年资超声在不同评分上的一致性结果更高(0.239《icc《0.756, p《0.05)。综上所示，所有的dl模型与经验丰富的超声医师得出的结果更加一致，尤其是dpd模型。
38.本研究建立了一系列的dpd、sgs、dgs和spd dl模型对ra患者的us图像进行评分。研究结果显示，静态和动态dl模型在不同模式的评分方面与资历较高的超声医生有一致的结果，并有各自的优势。动态dl模型在大多数评分过程中优于静态dl模型，可能成为超声医师辅助ra评估的一种有前景的工具，从而减少临床经验对诊断acc和同质性的影响。
39.对于超声医师而言，基于静态us图像的滑膜炎gs评分比pd评分更困难，其类内相关系数(icc)为0.29~0.57,acc为0.569~0.758。2012年的一项研究发现pd评分icc(0/1和2/3)较好，而acc (0.623~0.812)受不同关节的影响。此外，ard cnn对sgs 1分和2分的acc值也低于0分和3分。在我们的研究中，spd模型在测试队列1中比sgs模型取得了更好的效果。而在测试队列2中，sgs模型表现较好。我们认为主要原因可能是由于研究中关节部位分布不同造成的。需要注意的是，动态dl模型对gs图像的评分优于静态模型，对pd图像的评分与静态模型相似。以上结果表明，在对ra us进行准确评分时，静态和动态dl模型都应考虑在内，而动态dl模型为ra us的评估提供了一种有前景的可靠工具。
40.在不同的研究中，联合评分与临床参数的相关性不同。主要原因是复杂的结构难以通过静态超声检测，而动态超声有助于发现细微的病理改变。为了解决不同超声医师对静态超声评分的分歧，动态超声作为超声可靠性研究的替代方法。该方法在不同超声医师对dpd图像正常或异常的判断上取得了0.52~0.82的kappa值，提示需要更多的定义和培训来提高us的可重复性。在本研究中，动态dl模型比大多数资深超声医生产生了更好的acc，而静态dl模型与超声医生的评估相比没有明显的优势。此外，研究结果还表明，不同经验水平的超声医生对超声影像的评分存在很大分歧。d’agostino等为缺乏或没有评估mcp、pip和mtp关节滑膜炎经验的超声医生制定了一项学习曲线，研究结果表明，至少需要进行70项检查以提高ra患者通过小关节us滑膜炎评估的能力。研究表明，dl模型，特别是动态超声图像，可以作为初级超声医师一种有用的计算机辅助诊断工具。
41.综上所述，利用dl方法对不同的us影像进行ra疾病活动度自动评分是可行的。dl模型的结果与经验丰富的超声医生一致，特别是动态dl模型可以达到与资深超声医生相似的性能。因此，dl方法是一种快速、公正的方法来分析多模态图像。dl模型是一个有价值的工具，可用于在日常临床实践和未来的试验中评估ra疾病的活动。
42.以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。