一种儿童髋关节发育不良诊断系统

1.本发明属于医学人工智能领域，尤其是涉及一种儿童髋关节发育不良诊断系统。


背景技术：

2.髋关节发育不良(ddh)是导致肢体畸形的常见疾病。新生儿出生后髋关节不稳定的发生率为1％，髋关节脱位的发生率为0.1％至0.2％。ddh的解剖缺陷主要是髋臼深度较浅，导致髋关节不稳定。ddh是继发性关节炎的公认原因，可能导致最终的全髋关节置换术(tha)以减轻疼痛和改善功能。然而，新生儿患者的临床症状可能不明显，或仅在髋部移动时出现“噼啪”声。早期识别ddh与更好的结果相关。
3.x射线是在诊断ddh的最常用方法，在ddh中起着至关重要的作用，例如髋臼指数和中心边缘(ce)角。ddh的治疗与和ihdi的分类有关，而ihdi和的分类在确定ddh的严重程度方面起着重要作用。然而，目前对ddh诊断的局限性主要是降低了医生对诊断一致性和差异性的解释。儿科骨科医生对ddh的37项标准进行评分的一致性较差(icc，0.39)。这些问题影响儿童的治疗和预后。因此，迫切需要解决ddh诊断过程一致性低的问题，减少测量误差，避免大范围筛查中边缘性髋臼发育不良而被忽视的病例。
4.最近，为将ai应用于ddh做出了一些努力。帕塞林等人提出了一种神经网络，可以实时确定扫描的3d超声图像是否适合诊断。这些研究表明，深度学习可以准确、稳健地实现超声图像上ddh的自动评估，具有很大的临床应用潜力。比尔等人提出了一种基于序列预测的方法，该方法检测到23个关键点来辅助复杂场景中的髋关节手术决策。传斌等人采用物体检测来定位髋关节标志并计算髋臼指数，利用卷积神经网络检测髋关节发育发育不良。然而，很少有人工智能系统能够准确测量臀部x射线并提供全面的ddh分类结果。
5.如公开号为cn113486969a的中国专利文献公开了一种基于改进res net的医学图像多分类识别系统本发明涉及一种基于改进的resnet网络的x光图像分类方法。该方法将x光图像数据集作为图像输入，通过smo te数据扩充算法得到模型的训练、测试和验证数据集；分类模型采用残差网络resnet为模型基本框架，通过在残差网络resnet中加入挤压激励网络并将其进行捷径连接；模型中普通方形卷积核中加入了水平卷积和垂直卷积组成非对称卷积结构，突显局部关键特征和加快训练效率；采用焦点损失函数，整个网络会根据损失函数调整每种疾病的损失值，以得到对疾病分类能力更强的网络模型。本发明能够解决数据不平衡分布带来的问题，并增强特征信息提取能力，提高模型整体性能，从而提高对x光图像分类的准确度。
6.众多学者在此resnet模型的基础上进行创新以适应不同背景的医学影像处理任务。但是，针对resnet模型的过拟合问题没有很有效的解决方法，针对本发明的研究领域，也没有相关的研究和报道。


技术实现要素：

7.本发明提供了一种儿童髋关节发育不良诊断系统，能够自动、快速、准确地测量髋
臼指数、ce角，并计算出等级和ihdi等级。
8.一种儿童髋关节发育不良诊断系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有训练好的诊断识别模型，所述的诊断识别模型包括基于mask-rcnn的儿童骨骼分割模块、基于hrnet的关键点检测模块以及基于to-resnet的特征提取模块；
9.所述计算机处理器执行所述计算机程序时实现以下步骤：
10.对待检测的儿童髋关节x射线影像进行预处理，预处理后输入诊断识别模型，利用儿童骨骼分割模块进行骨盆骨骼的实例分割，分割成髂骨、耻骨、坐骨和股骨头；
11.分割后的影像输入关键点检测模块以定位四个骨盆标志，包括髋臼上外侧缘、三辐射软骨中心、股骨头中心和髋臼上缘的中点骨化股骨干骺端；
12.利用特征提取模型对分割定位后的感兴趣区域进行特征提取，通过多任务分类的方式输出中心棱角、髋臼指数、shenton线、髋臼外侧缘、髋臼源、分类和ihdi分类七个参数。
13.进一步地，所述的预处理具体为：
14.将x射线影像从dicom格式转换为png图像；通过保持原始纵横比并在较短的一侧填充零，将图像大小调整为1,333,800像素；通过应用由对比度限制的自适应直方图均衡计算的窗口级别和窗口宽度，进一步增强了被调整大小后的图像。
15.对诊断识别模型进行训练时，采集儿童髋关节x射线影像标准如下：
16.纳入标准为：(1)儿童年龄为6个月以上、3岁以下；(2)获得的x射线影像必须遵循标准指南；(3)就诊的主诉是检查髋关节发育不良；(4)需为髋关节发育不良患者首次治疗前的x射线影像；
17.排除标准为：(1)髋关节发育不良患者接受过手术治疗；(2)合并其他髋关节疾病；
18.x射线影像拍摄要求为：(1)检查时下肢自然伸直，膝外侧与肩齐平，臀部微屈，双脚取15
°
；(2)双侧髂骨和闭孔大小对称，髋臼前后缘重叠，x线片看不到髋臼后缘；并进一步对拍摄的x射线影像进行初步筛选、格式转换、像素统一、尺寸调整。
19.儿童骨骼分割模块在训练时，需要放射科医生对儿童髋关节x射线影像样本标注骨盆骨骼的轮廓，包括髂骨、耻骨、坐骨和股骨头。
20.进一步地，基于mask-rcnn的儿童骨骼分割模块的网络结构包括：输入层、最大池化层、卷积层、第二大池化层、第一稠密块层、第三大池化层、第二稠密块层等网络结构；其中，卷积层大小为64*64*64，两个稠密块层依次为32*32*32大小以及16*16*16大小，第一稠密块层输出特征图与第二稠密块层输出结果的上采样特征图进行特征融合，融合后形成的新的32*32*32的特征图经过pol池化层后，再经过rpn网络，实现对儿童骨盆骨骼的轮廓，包括髂骨、耻骨、坐骨和股骨头的分割任务。
21.进一步地，基于hrnet的关键点检测模块的网络结构为：并行连接高分辨率到低分辨率的子网，高分辨率特征图主网络逐渐并行运算，加入低分辨率特征图子网络，子网通过熔断器层进行融合，确保每个高分辨率到低分辨率不断从其他并行的行接收信息，进而可以实现多尺度的特征融合与特征提取。体系结构为32个通道配置，输入图像为256*192，对应的热图输出大小为64*48。
22.基于to-resnet的特征提取模块中，输入特征层的维度为256，模型共使用64个1x1
卷积核进行卷积计算，这个过程中特征矩阵下降到64；再通过64个3x3卷积和卷积计算，接下来通过256个1x1的卷积核对特征矩阵进行降维，降到256；接下来将通过输入的特征和通过上述3次卷积计算的特征矩阵相加。
23.训练过程中，特征提取模块通过验证集正确率与随机预测值的比对判断是否出现过拟合现象，具体如下：
24.resnet经过多次训练得到分类的权重矩阵x，每个分类类别的正确率为r0，则每个验证样本的得分矩阵为xi，组合成总的得分矩阵为x0[x1,x2,x3,
…
x
n,
i∈[0，n]]；每个验证样本预测得到的得分矩阵为yi，组合成总的得分矩阵为y0[y1,y2,y3,
…yn,
i∈[0，n]]，xi与yi为一一对应关系，用来计算交叉熵损失函数，并对应得到r0，将y0内的元素随机打乱，形成新的随机得分矩阵yi，i∈[0，10000]，将yi与x0计算新的损失函数以及新的分类正确率ri，若r
i-r0《0均成立，则判定不存在过拟合；否则判定为过拟合，重新调整网络结构。
[0025]
所述的特征提取模块在resnet架构中附加了三个多任务分支，用于来学习shenton线、髋臼外侧缘、髋臼源的定性判断。
[0026]
与现有技术相比，本发明具有以下有益效果：
[0027]
本发明的系统基于深度学习算法模型，包括基于mask-rcnn的儿童骨骼分割模块、基于hrnet的关键点检测模块，创新性的使用具有自动过拟合检测的to-resnet特征提取模块进行分类任务，计算出ce角、髋臼指数、等级和ihdi等级，可以自动测量髋关节的结果。其性能类似于骨科医生，具有一致性和效率，表明它可以在ddh辅助诊断中发挥重要作用的。
附图说明
[0028]
图1为本发明一种儿童髋关节发育不良诊断系统的整体结构流程图；
[0029]
图2为本发明中诊断识别模型的结构流程图。
具体实施方式
[0030]
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
[0031]
一种儿童髋关节发育不良诊断系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机存储器中存有训练好的诊断识别模型，诊断识别模型包括基于mask-rcnn的儿童骨骼分割模块、基于hrnet的关键点检测模块以及基于to-resnet的特征提取模块。
[0032]
如图1所示，本发明的系统的工作流程如下
[0033]
1、患者筛选
[0034]
患儿纳入标准为：(1)6个月以上，3岁以下；(2)获得的盆腔x光片必须遵循标准指南；(3)就诊的主诉是“检查髋关节发育不良”；(4)ddh患者首次治疗前的x线片。排除标准为：(1)髋关节发育不良患者接受过手术治疗；(2)合并其他髋关节疾病，如感染、股骨头perthes病等。标准骨盆x线片要求如下：(1)检查时下肢自然伸直，膝外侧与肩齐平，臀部微屈，双脚取15
°
左右；(2)双侧髂骨和闭孔大小基本对称，髋臼前后缘重叠，x线片看不到髋臼后缘。
[0035]
2、数据预处理
[0036]
使用python(version 3.6)和simpleitk library(version 1.2.3)对x射线影像的初步筛选、格式转换、像素统一、尺寸调整。
[0037]
3、数据标注
[0038]
初期模型训练过程需要三位放射科医生标注骨盆骨骼的轮廓，包括髂骨、耻骨、坐骨和股骨头，具体而言，将每个样本随机分配给一名中等放射科医师(具有5年经验)以获得初步标签。然后由资深放射科医师(15年以上经验)对初步标签进行检查和细化，以确保标签的正确性。
[0039]
4、模型训练
[0040]
如图2所示，诊断识别模型包括基于mask-rcnn的儿童骨骼分割模块、基于hrnet的关键点检测模块以及基于to-resnet的特征提取模块，诊断识别模型使用三级管道实现了自动ddh测量和分类。
[0041]
第一阶段执行骨盆骨骼的实例分割，包括髂骨、耻骨、坐骨和股骨头。股骨也被分割，以便根据ihdi分类方法定义骨化股骨干骺端上缘(h)中点的稳健定位。例如，对于分割，采用具有resnet50主干的特征金字塔网络，该网络使用sgd进行训练。初始学习率为0.02，动量为0.9，权重衰减为0.0001。这一阶段的分割结果将作为第二阶段关键点识别的基础。
[0042]
在第二阶段，提取了针对ddh标志的语义相关区域的局部图像块。在每个补丁中，进行关键点检测以定位四个骨盆标志：(e)髋臼上外侧缘，(y)三辐射软骨中心，(c)股骨头中心，和(h)髋臼上缘的中点骨化股骨干骺端。使用hrnet来识别标记点，可以保证在标记点识别的整个过程中保持高分辨率。通过多分辨率的并行分支和不同分支之间的信息交互，可以达到位置信息准确、语义信息增强的目的。hrnet偶尔会为婴儿产生“c点”的错误警报，因为这些婴儿的股骨头在x光片上不可见。为了解决这个问题，利用了由mask-rcnn产生的具有高特异性的稳健股骨头分割结果。具体来说，如果mask-rcnn没有检测到股骨头的任何roi(感兴趣区域)，则hrnet的“点c”标志将被抑制。
[0043]
在第三阶段，导出了几个射线照相测量值。首先，绘制了hilgenreiner的线和perkin的线。然后计算髋臼指数、中心边缘角和髋臼头指数。自动执行ddh分类的和ihdi方法。该阶段还对每个髋关节输出几个定性判断：shenton线是否完整或中断，髋臼上外侧缘是否锐利，髋臼盂唇是否完整。
[0044]
本发明中，利用to-resnet对感兴趣区域进行特征提取，特征提取过程中可以通过验证集正确率与随机预测值的比对判断是否出现过拟合现象，to-resnet输入特征层的维度为256，模型共使用64个1x1卷积核进行卷积计算，这个过程中特征矩阵下降到64，再通过64个3x3卷积和卷积计算，接下来通过256个1x1的卷积核对特征矩阵进行降维，降到256，接下来将通过输入的特征和通过上述3次卷积计算的特征矩阵相加。
[0045]
防止过拟合方式如下，resnet经过多次训练得到分类的权重矩阵x，每个分类类别的正确率为r0，则每个验证样本的得分矩阵为xi，组合成总的得分矩阵为x0[x1,x2,x3,
…
x
n,
i∈[0，n]]，每个验证样本预测得到的得分矩阵为yi，组合成总的得分矩阵为y0[y1,y2,y3,
…yn,
i∈[0，n]]，xi与yi为一一对应关系，可以用来计算损失函数，并对应得到r0，现将y0内的元素随机打乱，形成新的随机得分矩阵yi，i∈[0，10000]，现将yi与x0计算新的损失函数以及新的分类正确率ri，若r
i-r0《0均成立，则判定不存在过拟合。
[0046]
resnet架构中附加了三个多任务分支来学习这些定性判断。所有模型均使用四个titan xp gpu(nvidia，santa clara，ca，usa)进行训练。
[0047]
本发明中，中心棱角、髋臼指数、shenton线、髋臼外侧缘、髋臼源、和ihdi分类对ddh的诊断和治疗有帮助，测量了这七个参数来比较外科医生和人工智能之间的效率差异，在p《0.05时，统计差异被认为是显着的；ddh诊断指标的重测信度由三名外科医生和ai在2周后第二次评估，三名外科医生，包括一名高级外科医生、一名中级外科医生和一名初级外科医生；高级外科医生为副主任及以上，中级外科医生为主治医生，初级外科医生为住院外科医生；对于可靠性、ce角的一致性和髋臼指数，使用cronbachα进行评估，大于或等于0.75的alpha系数被认为是令人满意的，对shenton线、髋臼外侧缘是否锐利、髋臼源头是否浅等主观判断指标的一致性检验采用kappa进行统计处理，和ihd i分类作为统计量；使用加权线性kappa的过程，kappa统计量小于或等于0.40被认为表示差到轻微一致性，0.41-0.75中等一致性，大于0.75完全一致性。
[0048]
本发明中，为了解决过拟合问题，利用to-resnet对感兴趣区域进行特征提取，特征提取过程中可以通过验证集正确率与随机预测值的比对判断是否出现过拟合现象。在训练过程中，为了平衡相对较少的正样本和常见的负样本，采用加权交叉熵损失。人工智能在计算诊断ddh的各种参数时可以实现出色的稳定性。
[0049]
此外，人体各个部位的骨科x射线成像诊断涉及许多角度和长度测量。例如，测量肩部的肱骨颈-干角；测量手腕的径向掌倾斜和径向背倾斜。这些角度的准确测量对骨折和脱位的诊断具有重要意义。因此，提出的算法框架对于骨科x射线成像测量具有普遍意义。
[0050]
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。