类风湿关节炎X线关节间隙狭窄定量评估方法及系统
本发明涉及医学图像处理,尤其涉及一种类风湿关节炎x线关节间隙狭窄定量评估方法及系统。
背景技术:
1、类风湿关节炎(rheumatoid arthritis, ra)是一种以慢性侵蚀性关节炎为主要特征的自身免疫性疾病,全球患病率约为0.5%~1.0%。关节间隙狭窄(joint spacenarrowing, jsn)是ra关节结构损伤的核心影像学表现之一,其严重程度直接反映关节软骨破坏程度,是评估疾病进展和治疗疗效的关键指标。在临床实践中,风湿科医师和放射科医师通常基于手/腕部x线平片,采用sharp评分或改良的sharp/van der heijde评分体系对关节间隙狭窄进行半定量评估。该评估过程需要对多个关节(包括双侧掌指关节、近端指间关节及腕关节等)逐关节阅片分级(0~4级),然后汇总得到总分。然而,这一过程存在以下核心问题:
2、关节间隙狭窄的定量评估完全依赖经验丰富的专科医师逐关节手工评分,一名熟练医师完成一份完整的sharp/van der heijde评分通常需要15~20分钟。由于不同阅片者对关节间隙狭窄程度的判断标准和经验存在差异,不同阅片者之间的一致性较低(加权k值通常为0.4~0.6),即使同一阅片者不同时间的评分也容易产生偏差。这种主观性强、耗时长、一致性差的问题,严重制约了ra影像学评估的标准化和大规模临床应用,尤其在基层医疗机构缺乏专科医师的情况下更为突出。
3、公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
技术实现思路
1、本发明提供了一种类风湿关节炎x线关节间隙狭窄定量评估方法及系统,从而有效解决背景技术中的问题。
2、为了达到上述目的,本发明所采用的技术方案是:一种类风湿关节炎x线关节间隙狭窄定量评估方法及系统,包括如下步骤:
3、获取目标对象的手部和/或腕部x线图像,对所述x线图像进行关节区域定位,得到多个目标关节各自对应的感兴趣区域图像;
4、将各所述感兴趣区域图像输入经自监督对比学习预训练的特征提取网络,提取各所述目标关节的深层视觉特征;其中,所述自监督对比学习的预训练任务基于关节解剖对称性和多视角关联性构造正负样本对,并以对比损失函数对所述特征提取网络进行参数优化;
5、将各所述目标关节的深层视觉特征输入关节间隙狭窄分级网络,得到各所述目标关节的间隙狭窄分级预测结果;
6、基于各所述目标关节的间隙狭窄分级预测结果,按照预设的类风湿关节炎影像学评分规则,计算所述目标对象的关节间隙狭窄定量评估总分。
7、进一步地,所述对所述x线图像进行关节区域定位,包括:
8、利用预训练的骨性标志点检测网络对所述x线图像进行关键点检测,识别各目标关节的中心位置;
9、基于所述中心位置和预设的关节区域尺寸,从所述x线图像中裁剪出各所述目标关节的感兴趣区域图像。
10、进一步地,所述目标关节包括掌指关节、近端指间关节和腕关节中的至少一种;
11、其中,所述掌指关节包括第1至第5掌指关节,所述近端指间关节包括第2至第5近端指间关节,所述腕关节包括桡腕关节和腕骨间关节中的至少一个区域。
12、进一步地,所述基于关节解剖对称性和多视角关联性构造正负样本对,包括:
13、将同一目标对象的左右手对称关节的感兴趣区域图像构造为对称性正样本对,将不同目标对象的同类型关节的感兴趣区域图像构造为对称性负样本对;
14、将来自同一目标关节的经不同数据增强变换处理后得到的两个增强视图构造为多视角正样本对,将来自不同关节类型的感兴趣区域图像构造为多视角负样本对。
15、进一步地,所述对比损失函数为infonce损失函数,其表达式为:
16、;
17、其中,zi和zj为正样本对经所述特征提取网络映射后的特征向量,sim(·,·)为余弦相似度函数,τ为温度系数,n为批处理中的样本总数。
18、进一步地,所述特征提取网络以残差卷积神经网络为骨干结构,并在所述骨干结构之后连接一个多层感知机投影头,所述投影头用于将所述骨干结构输出的特征图映射为低维嵌入向量;
19、在所述自监督对比学习预训练完成后,移除所述投影头,保留所述骨干结构作为所述特征提取网络用于提取所述深层视觉特征。
20、进一步地,所述方法还包括:在所述自监督对比学习预训练过程中,引入骨骼轮廓分割辅助任务与所述对比损失函数联合训练;
21、所述骨骼轮廓分割辅助任务包括:在所述特征提取网络的骨干结构之后并行连接一个轻量分割解码器,利用公开的骨骼轮廓分割标注数据对所述轻量分割解码器和所述骨干结构进行联合优化,使所述骨干结构提取的特征同时服务于对比学习任务和骨骼轮廓分割任务;
22、当获取所述目标对象在不同时间点的多次x线图像时,分别计算各时间点的关节间隙狭窄定量评估总分,并基于多个时间点的评分变化趋势,生成所述目标对象的关节间隙狭窄进展速率指标;
23、将各所述目标关节的深层视觉特征输入一个骨骼侵蚀检测网络,得到各所述目标关节的骨骼侵蚀分级预测结果;结合所述间隙狭窄分级预测结果和所述骨骼侵蚀分级预测结果,计算所述目标对象的综合影像学评分。
24、进一步地,所述联合训练的总损失函数为:
25、;
26、式中lcontrast为对比损失,lseg为骨骼轮廓分割的dice损失,λ1和λ2分别为对应的权重系数,且λ1 + λ2 = 1。
27、进一步地,所述关节间隙狭窄分级网络包括一个全局平均池化层、至少一个全连接层和一个softmax分类层;
28、所述关节间隙狭窄分级预测结果包括0级至4级五个等级,分别对应关节间隙正常、局灶性狭窄、弥漫性狭窄且狭窄程度小于50%、弥漫性狭窄且狭窄程度为50%~99%、以及关节强直;
29、所述类风湿关节炎影像学评分规则为sharp评分规则或sharp/van der heijde评分规则;
30、所述计算所述目标对象的关节间隙狭窄定量评估总分,包括:将各所述目标关节的间隙狭窄分级预测结果映射为对应的评分分值,对左右手所有所述目标关节的评分分值进行累加,得到关节间隙狭窄总评分。
31、本发明还包括一种类风湿关节炎x线关节间隙狭窄定量评估系统,使用如上述的方法,所述系统包括:
32、图像获取与定位模块,用于获取目标对象的手部和/或腕部x线图像,对所述x线图像进行关节区域定位,得到多个目标关节各自对应的感兴趣区域图像;
33、特征提取模块,用于将各所述感兴趣区域图像输入经自监督对比学习预训练的特征提取网络,提取各所述目标关节的深层视觉特征;其中,所述自监督对比学习的预训练任务基于关节解剖对称性和多视角关联性构造正负样本对,并以对比损失函数对所述特征提取网络进行参数优化;
34、分级评估模块,用于将各所述目标关节的深层视觉特征输入关节间隙狭窄分级网络,得到各所述目标关节的间隙狭窄分级预测结果;
35、评分汇总模块,用于基于各所述目标关节的间隙狭窄分级预测结果,按照预设的类风湿关节炎影像学评分规则,计算所述目标对象的关节间隙狭窄定量评估总分。
36、本发明的有益效果为:通过设计基于关节解剖对称性和多视角关联性的自监督对比学习预训练任务,使得特征提取网络能够从未标注的x线图像中学习到关节区域的判别性表示,大幅降低了对人工标注数据的依赖。通过在自监督预训练阶段引入骨骼轮廓分割辅助任务,利用公开骨骼分割标注数据对特征提取网络施加解剖结构约束,使特征提取网络学会关注骨骼区域而非软组织背景,进一步提升了jsn分级的准确性和鲁棒性;通过利用左右手关节的解剖对称性构造正样本对,使特征提取网络学习到"解剖结构相同但位置不同"的关节的共性特征,从而提取出对关节间隙评估更具判别力的深层特征,显著提升了下游jsn分级任务在跨中心、跨设备数据上的泛化能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com