一种X光片桡骨远端骨折自动快速诊断方法

一种x光片桡骨远端骨折自动快速诊断方法
技术领域
1.本发明涉及一种x光片桡骨远端骨折诊断方法，尤其是涉及一种x光片桡骨远端骨折自动快速诊断方法。


背景技术：

2.文献“基于深度学习的桡骨远端骨折自动分型研究_杨锋”中公开了一种x光片桡骨远端骨折自动快速诊断方法该方法将整个手腕部的x光片作为输入，然后使用dfr-net深度学习模型同时对桡骨远端骨折的a型、b型和c型进行分类，从而实现诊断。但是，上述方法直接对整体x光片进行判断，而桡骨远端区域在整体x光片中的比例较小，不容易自动的获取核心特征，且整体x光片中干扰因素较多，以致该方法总体平均分类准确率较低，只有84.2％，同时该方法也没有对正常、a型、b型和c型单独的准确率进行描述，只有一个总体平均准确率，无法给后续准确率优化提升提供有力的技术数据。


技术实现要素：

3.本发明所要解决的技术问题是提供一种分类准确率高，且能够对正常、a型、b型和c型单独的准确率进行描述，能够为后续准确率优化提升提供有力的技术数据的x光片桡骨远端骨折自动快速诊断方法。
4.本发明解决上述技术问题所采用的技术方案为：一种x光片桡骨远端骨折自动快速诊断方法，包括以下步骤：
5.步骤1.对用于分割训练的手腕部x光片图像进行预处理，具体步骤为：
6.1.1、获取用于分割训练的500张手腕部x光片图像和每张手腕部x光片图像对应的三张分割掩码图，三张分割掩码图分别为“桡骨”与“腕骨”整体区域分割掩码图、“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图，其中“桡骨”与“腕骨”整体区域分割掩码图通过人工在手腕部x光片图像中将“桡骨”与“腕骨”作为一个整体区域分割标注好得到；
7.1.2、将每张手腕部x光片图像和其对应的三张分割掩码图均调整为正方形图像，具体方法如下：
8.1)获取手腕部x光片图像的宽w和高h；
9.2)判断手腕部x光片图像的宽w和高h是否相等，如果相等则表明其为正方形图像，不做处理，如果h大于w，则在手腕部x光片图像左右分别扩展(h-w)/2宽度黑色像素，使其为正方形图像；如果w大于h，则在手腕部x光片图像上下分别扩展(w-h)/2高度黑色像素，使其为正方形图像；
10.1.3、将步骤1.2得到的所有手腕部x光片图像和对应分割掩码图全部进行缩放，使所有手腕部x光片图像和对应的三张分割掩码图的分辨率大小均为224*224；
11.1.4、将步骤1.3得到的所有手腕部x光片图像分别进行归一化处理，即将所有手腕部x光片图像的每个像素值均除以255，得到每个手腕部x光片图像的归一化图像，此时得到500张归一化图像，每张归一化图像与归一化处理前的手腕部x光片图像对应的三张分割掩
码图相对应；
12.步骤2.训练分割模型，具体过程为：
13.2.1、从500张归一化图像中随机获取16张归一化图像和16张归一化图像对应的分割掩码图，并对每张归一化图像和其对应的三张分割掩码图进行相同的数据增广操作，其中，数据增广操作为随机上下左右进行15％范围的平移操作、随机30度以内的旋转操作以及拉伸系数为-5到5的拉伸操作这三种操作中任意一种或者至少两种的随机组合；
14.2.2、将数据增广操作后的16张归一化图像和对应的分割掩码图同时输入到端到端分割网络中进行训练，其中所述的端到端分割网络为使用三个结构相同的扩展u-net按照从上到下顺序级联形成的三层级联的分割网络结构，最上层扩展u-net用于对“桡骨”与“腕骨”组成的一个整体对象进行分割，其输入的是数据增广操作后的归一化图像和对应的“桡骨”与“腕骨”整体区域分割掩码图，输出的分割预测结果为像素属于“桡骨”和“腕骨”整体区域的概率图；中间层扩展u-net用于对“桡骨远端”进行分割，其输入的是最上层扩展u-net输出的分割预测结果、与最上层扩展u-net一致的数据增广操作后的归一化图像和对应的“桡骨远端”区域分割掩码图，输出的分割预测结果为像素属于“桡骨远端”的概率图；最下层扩展u-net用于对“关节面”区域进行分割，输入的是中间层扩展u-net输出的分割预测结果、与最上层扩展u-net一致的数据增广操作后的归一化图像和对应的“关节面”区域分割掩码图，输出的分割预测结果为像素属于“关节面”的概率图；每个扩展u-net分别包括从上到下依次设置的5层编码端与5层解码端，每层编码端分别使用densenet结构实现，每层编码端用于对输入其内的图像进行最大化池化操作，将图像分辨率缩小为一半后输出，且下一层编码端输入的图像为上一层编码端输出的图像，每一层解码端进行一次传统的图像卷积操作，卷积核大小为3*3，激活采用relu方式，，再将输入其内的图像通过双线性差值的上采样操作将分辨率扩大一倍后输出，且上一层解码端输入的图像为下一层解码端输出的图像，每个扩展u-net中，最上层的编码端的输入为该扩展u-net的输入，最上层解码端的输出为该扩展u-net的输出；
15.2.3、重复步骤2.1和2.2 10000次后停止，得到训练好的端到端分割网络，该端到端分割网络即为分割模型；
16.3.训练分类模型，具体过程为：
17.3.1、获取步骤1.1中的500张手腕部x光片图像和对应的“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图；
18.3.2、将每张手腕部x光片图像对应的“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图求差后得到“非关节面”区域分割掩码图；
19.3.3、人工对所有“非关节面”区域分割掩码图和“关节面”区域分割掩码图进行是否骨折的标注；
20.3.4、根据每张手腕部x光片图像对应的“非关节面”区域分割掩码图和“关节面”区域分割掩码图在每张手腕部x光片图像中获取“非关节面”和“关节面”对应的最小矩形框；
21.3.5、根据最小矩形框在手腕部x光片图像获取到“关节面”图像和“非关节面”图像这两个图像；
22.3.6、使用步骤1.2相同的方法将获取的每张“关节面”图像和“非关节面”图像都调整为正方形图像；
23.3.7、将所有调整后的“关节面”图像和“非关节面”图像均缩放到分辨率大小为64*64；
24.3.8、将步骤3.7得到的所有“关节面”图像和“非关节面”图像均进行归一化处理，即将所有“关节面”图像和“非关节面”图像的每个像素值均除以255，得到每张“关节面”图像和“非关节面”图像的归一化图像；此时得到500张“关节面”图像的归一化图像和500张“非关节面”图像的归一化图像；
25.3.9、对“关节面”图像是否骨折进行训练：每次从500张“关节面”图像的归一化图像中随机获取32张，然后对获取的每张“关节面”图像的归一化图像进行数据增广操作后输入第一个densenet-121模型，对第一个densenet-121模型进行训练，训练次数为10000次，此时，数据增广操作为sigma参数在0-2区间的高斯模糊操作、左右翻转操作、-45度到45度的旋转操作以及拉伸系数-10到10的拉伸操作这四种操作中任意一种或者至少两种的随机组合，第一个densenet-121模型作为第一个分类模型；
26.3.10、对“非关节面”图像是否骨折进行训练：每次从500张“非关节面”图像的归一化图像中随机获取32张，并对获取的每张“非关节面”图像的归一化图像进行数据增广操作后输入第二个densenet-121模型，对第二个densenet-121模型进行训练，训练次数为10000次，此时，数据增广操为sigma参数在0-2区间的高斯模糊操作、左右翻转操作、-45度到45度的旋转操作以及拉伸系数-10到10的拉伸操作这四种操作中任意一种或者至少两种的随机组合，第二个densenet-121模型作为第二个分类模型。步骤4.对骨折分型进行预测，具体过程为：
27.4.1、获取待预测的手腕部x光片图像；
28.4.2、使用步骤1.2相同的方法将待预测的手腕部x光片图像调整为正方形图像；
29.4.3、将步骤4.2得到的手腕部x光片图像的分辨率缩放为224*224；
30.4.4、将步骤4.3得到的手腕部x光片图像进行归一化处理，即将手腕部x光片图像的每个像素值除以255，得到待预测的手腕部x光片图像的归一化图像；
31.4.5、将待预测的手腕部x光片图像的归一化图像输入到步骤2中训练好的端到端分割网络，使用步骤2中训练好的端到端分割网络对“桡骨远端”区域与“关节面”区域进行分割，得到像素属于“桡骨远端”的概率图和像素属于“关节面”的概率图，然后根据像素属于“桡骨远端”的概率图得到“桡骨远端”区域，根据像素属于“关节面”的概率图得到“关节面”区域，将“桡骨远端”区域与“关节面”区域求差后得到“非关节面”分割图；
32.4.6、“关节面”区域即为“关节面”分割图，将“关节面”分割图和“非关节面”分割图的分辨率还原到步骤4.2中调整后正方形图像分辨率大小；
33.4.7、根据4.6中得到的“关节面”和“非关节面”分割图，从步骤4.2中得到的调整后正方形x光片图像中获取“关节面”区域和“非关节面”区域的最小矩形框，并根据最小矩形框获取到“关节面”图像和“非关节面”图像；
34.4.8、使用步骤1.2相同的方法将步骤4.7得到的“关节面”图像和“非关节面”图像调整为正方形图像；
35.4.9、将步骤4.8得到的“关节面”图像和“非关节面”图像全部缩放到分辨率大小为64*64；
36.4.10、将步骤4.9得到的“关节面”图像和“非关节面”图像进行归一化处理，即将“关节面”图像和“非关节面”图像的像素值均除以255，得到“关节面”图像和“非关节面”图像的归一化图像；
37.4.11、使用步骤3.9中训练好的第一个densenet-121模型对“关节面”图像的归一化图像进行预测是否骨折，同时使用步骤3.10中训练好的第二个densenet-121模型对“非关节面”图像的归一化图像进行预测是否骨折；
38.4.12、如果第一个densenet-121模型和第二个densenet-121模型的预测结果都是没有骨折，则正常；当仅第二个densenet-121模型预测结果为骨折时，则为“a型”；当仅第一个densenet-121模型预测结果为骨折时，则为“b型”；当第一个densenet-121模型和第二个densenet-121模型预测结果均为骨折时，则为“c型”。
39.与现有技术相比，本发明的优点在于通过结合深度学习与图像分析处理技术，使用三层u-net网络级联形成的端到端分割网络进行训练，可以对桡骨远端骨折分类判断最关键的两个区域：关节面区和非关节面区进行精准的分割；采样两级分类，首先深度学习利用关节面区特征，对正常、a型骨折作为一类，与b型和c型骨折作为一类进行有效区分；然后深度学习利用非关节面区特征，进一步分别对正常、a型骨折、b型骨折和c型骨折进行识别，本发明的这种分层识别模式，粗分时将更相近的图像作为一类，可以达到更精准的分类结果，最终得到高于医学骨科专家的人工识别效果，由此本发明分类准确率高，且能够对正常、a型、b型和c型单独的准确率进行描述，能够为后续准确率优化提升提供有力的技术数据。
附图说明
40.图1为各种手腕部x光片图像示意图；
41.图2(a)为原始手腕部x光片图像示意图；
42.图2(b)为原始手腕部x光片图像经过本文1.2中方法调整为正方形图像的示意图；
43.图2(c)为原始手腕部x光片图像直接插值缩放后得到的图像的示意图；
44.图3为分割网络的示意图；
45.图4(a)为桡骨与腕骨作为整体对象分割的示意图一(具有唯一性)；
46.图4(b)为桡骨与腕骨作为整体对象分割的示意图二(具有相似区域)；
47.图5为扩展u-net网络的结构示意图；
48.图6为densenet-121模型分类训练示意图；
49.图7为一种x光片桡骨远端骨折自动快速诊断方法的预测过程示意图。
具体实施方式
50.以下结合附图实施例对本发明作进一步详细描述。
51.实施例：一种x光片桡骨远端骨折自动快速诊断方法，包括以下步骤：
52.步骤1.对用于分割训练的手腕部x光片图像进行预处理，具体步骤为：
53.1.1、获取用于分割训练的500张手腕部x光片图像和每张手腕部x光片图像对应的三张分割掩码图，三张分割掩码图分别为“桡骨”与“腕骨”整体区域分割掩码图、“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图，其中“桡骨”与“腕骨”整体区域分割掩码图通过人工在手腕部x光片图像中将“桡骨”与“腕骨”作为一个整体区域分割标注好得到；
各种手腕部x光片图像如图1所示，桡骨与腕骨作为整体对象分割的示意图一(具有唯一性)如图4(a)所示，桡骨与腕骨作为整体对象分割的示意图二(具有相似区域)如图4(b)所示，图4(a)中圈画处为桡骨与腕骨的整体区域，图4(b)中圈画处为桡骨与腕骨以及其他相似区域的整体区域，本步骤中按照如图4(a)进行标注，；
54.1.2、将每张手腕部x光片图像和其对应的三张分割掩码图均调整为正方形图像，具体方法如下：
55.1)获取手腕部x光片图像的宽w和高h，手腕部x光片图像如图2(a)所示，
56.2)判断手腕部x光片图像的宽w和高h是否相等，如果相等则表明其为正方形图像，不做处理，如果h大于w，则在手腕部x光片图像左右分别扩展(h-w)/2宽度黑色像素，使其为正方形图像；如果w大于h，则在手腕部x光片图像上下分别扩展(w-h)/2高度黑色像素，使其为正方形图像，如图2(b)所示；原始手腕部x光片图像直接插值缩放后得到的图像的示意图如图2(c)所示，分析图2(b)和图2(c)可以看出，本实施例中调整为正方形的效果优于直接插值所得图像。
57.1.3、将步骤1.2得到的所有手腕部x光片图像和对应分割掩码图全部进行缩放，使所有手腕部x光片图像和对应的三张分割掩码图的分辨率大小均为224*224；
58.1.4、将步骤1.3得到的所有手腕部x光片图像分别进行归一化处理，即将所有手腕部x光片图像的每个像素值均除以255，得到每个手腕部x光片图像的归一化图像，此时得到500张归一化图像，每张归一化图像与归一化处理前的手腕部x光片图像对应的三张分割掩码图相对应；
59.步骤2.训练分割模型，具体过程为：
60.2.1、从500张归一化图像中随机获取16张归一化图像和16张归一化图像对应的分割掩码图，并对每张归一化图像和其对应的三张分割掩码图进行相同的数据增广操作，其中，数据增广操作为随机上下左右进行15％范围的平移操作、随机30度以内的旋转操作以及拉伸系数为-5到5的拉伸操作这三种操作中任意一种或者至少两种的随机组合；
61.2.2、将数据增广操作后的16张归一化图像和对应的分割掩码图同时输入到端到端分割网络中进行训练，其中，如图3所示，端到端分割网络为使用三个结构相同的扩展u-net按照从上到下顺序级联形成的三层级联的分割网络结构，最上层扩展u-net用于对“桡骨”与“腕骨”组成的一个整体对象进行分割，其输入的是数据增广操作后的归一化图像和对应的“桡骨”与“腕骨”整体区域分割掩码图，输出的分割预测结果为像素属于“桡骨”和“腕骨”整体区域的概率图；中间层扩展u-net用于对“桡骨远端”进行分割，其输入的是最上层扩展u-net输出的分割预测结果、与最上层扩展u-net一致的数据增广操作后的归一化图像和对应的“桡骨远端”区域分割掩码图，输出的分割预测结果为像素属于“桡骨远端”的概率图；最下层扩展u-net用于对“关节面”区域进行分割，输入的是中间层扩展u-net输出的分割预测结果、与最上层扩展u-net一致的数据增广操作后的归一化图像和对应的“关节面”区域分割掩码图，输出的分割预测结果为像素属于“关节面”的概率图；如图5所示，每个扩展u-net分别包括从上到下依次设置的5层编码端与5层解码端，每层编码端分别使用densenet结构实现，每层编码端用于对输入其内的图像进行最大化池化操作，将图像分辨率缩小为一半后输出，且下一层编码端输入的图像为上一层编码端输出的图像，每一层解码端进行一次传统的图像卷积操作，卷积核大小为3*3，激活采用relu方式，，再将输入其内
的图像通过双线性差值的上采样操作将分辨率扩大一倍后输出，且上一层解码端输入的图像为下一层解码端输出的图像，每个扩展u-net中，最上层的编码端的输入为该扩展u-net的输入，最上层解码端的输出为该扩展u-net的输出；
62.2.3、重复步骤2.1和2.2 10000次后停止，得到训练好的端到端分割网络，该端到端分割网络即为分割模型；
63.3.如图6所示，训练分类模型，具体过程为：
64.3.1、获取步骤1.1中的500张手腕部x光片图像和对应的“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图；
65.3.2、将每张手腕部x光片图像对应的“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图求差后得到“非关节面”区域分割掩码图；
66.3.3、人工对所有“非关节面”区域分割掩码图和“关节面”区域分割掩码图进行是否骨折的标注；
67.3.4、根据每张手腕部x光片图像对应的“非关节面”区域分割掩码图和“关节面”区域分割掩码图在每张手腕部x光片图像中获取“非关节面”和“关节面”对应的最小矩形框；
68.3.5、根据最小矩形框在手腕部x光片图像获取到“关节面”图像和“非关节面”图像这两个图像；
69.3.6、使用步骤1.2相同的方法将获取的每张“关节面”图像和“非关节面”图像都调整为正方形图像；
70.3.7、将所有调整后的“关节面”图像和“非关节面”图像均缩放到分辨率大小为64*64；
71.3.8、将步骤3.7得到的所有“关节面”图像和“非关节面”图像均进行归一化处理，即将所有“关节面”图像和“非关节面”图像的每个像素值均除以255，得到每张“关节面”图像和“非关节面”图像的归一化图像；此时得到500张“关节面”图像的归一化图像和500张“非关节面”图像的归一化图像；
72.3.9、对“关节面”图像是否骨折进行训练：每次从500张“关节面”图像的归一化图像中随机获取32张，然后对获取的每张“关节面”图像的归一化图像进行数据增广操作后输入第一个densenet-121模型，对第一个densenet-121模型进行训练，训练次数为10000次，此时，数据增广操作为sigma参数在0-2区间的高斯模糊操作、左右翻转操作、-45度到45度的旋转操作以及拉伸系数-10到10的拉伸操作这四种操作中任意一种或者至少两种的随机组合，第一个densenet-121模型作为第一个分类模型；3.10、对“非关节面”图像是否骨折进行训练：每次从500张“非关节面”图像的归一化图像中随机获取32张，并对获取的每张“非关节面”图像的归一化图像进行数据增广操作后输入第二个densenet-121模型，对第二个densenet-121模型进行训练，训练次数为10000次，此时，数据增广操为sigma参数在0-2区间的高斯模糊操作、左右翻转操作、-45度到45度的旋转操作以及拉伸系数-10到10的拉伸操作这四种操作中任意一种或者至少两种的随机组合，第二个densenet-121模型作为第二个分类模型。步骤4.如图7所示，对骨折分型进行预测，具体过程为：
73.4.1、获取待预测的手腕部x光片图像；
74.4.2、使用步骤1.2相同的方法将待预测的手腕部x光片图像调整为正方形图像；
75.4.3、将步骤4.2得到的手腕部x光片图像的分辨率缩放为224*224；
76.4.4、将步骤4.3得到的手腕部x光片图像进行归一化处理，即将手腕部x光片图像的每个像素值除以255，得到待预测的手腕部x光片图像的归一化图像；
77.4.5、将待预测的手腕部x光片图像的归一化图像输入到步骤2中训练好的端到端分割网络，使用步骤2中训练好的端到端分割网络对“桡骨远端”区域与“关节面”区域进行分割，得到像素属于“桡骨远端”的概率图和像素属于“关节面”的概率图，然后根据像素属于“桡骨远端”的概率图得到“桡骨远端”区域，根据像素属于“关节面”的概率图得到“关节面”区域，将“桡骨远端”区域与“关节面”区域求差后得到“非关节面”分割图；
78.4.6、“关节面”区域即为“关节面”分割图，将“关节面”分割图和“非关节面”分割图的分辨率还原到4.2步骤中调整后正方形图像分辨率大小；
79.4.7、根据4.6中得到的“关节面”和“非关节面”分割图，从4.2步骤中得到的调整后正方形x光片图像中获取“关节面”区域和“非关节面”区域的最小矩形框，并根据最小矩形框获取到“关节面”图像和“非关节面”图像；
80.4.8、使用步骤1.2相同的方法将步骤4.7得到的“关节面”图像和“非关节面”图像调整为正方形图像；
81.4.9、将步骤4.8得到的“关节面”图像和“非关节面”图像全部缩放到分辨率大小为64*64；
82.4.10、将步骤4.9得到的“关节面”图像和“非关节面”图像进行归一化处理，即将“关节面”图像和“非关节面”图像的像素值均除以255，得到“关节面”图像和“非关节面”图像的归一化图像；
83.4.11、使用步骤3.9中训练好的第一个densenet-121模型对“关节面”图像的归一化图像进行预测是否骨折，同时使用步骤3.10中训练好的第二个densenet-121模型对“非关节面”图像的归一化图像进行预测是否骨折；
84.4.12、如果第一个densenet-121模型和第二个densenet-121模型的预测结果都是没有骨折，则正常；当仅第二个densenet-121模型预测结果为骨折时，则为“a型”；当仅第一个densenet-121模型预测结果为骨折时，则为“b型”；当第一个densenet-121模型和第二个densenet-121模型预测结果均为骨折时，则为“c型”。
85.本发明中，“桡骨”与“腕骨”整体区域、“桡骨远端”区域和“关节面”区域这三个感兴趣区域是同时分割的,所以统一进行评价，评估图像分割性能的标准主要包含敏感度(sensitivity),命中率(positive predicted value,ppv)和戴斯系数(dice coefficient,dc),即：
[0086][0087][0088][0089]
上式中,p代表像素预测值,t代表像素真实值。将采用本发明的分割模型与现有技术中的几种模型分别对相同的图像进行分割，分割性能比较结果如表1所示：
[0090]
表1分割性能比较
[0091][0092]
分析表1数据可知：本发明的分割模型性能在每一个指标的平均值和最高值都是所有模型中最好的，本发明的分割模型的sensitivity、ppv和dice的最高值分别可以达到0.93、0.98和0.95。由此可知，本发明的方法相对于采用其他模型的方法表现出比较优异的分割性能。
[0093]
使用本发明的densenet-121模型、amoebanet-a、nasnet-a与resnext-101模型分别对“关节面”区域和“非关节面”区域图像进行分类，其中，“关节面”区域分类准确性比较数据如表2所示，“非关节面”区域分类准确性比较数据如表3所示：
[0094]
表2“关节面区”分类比较
[0095][0096]
表3“非关节面区”分类比较
[0097][0098]
分析表2和表3数据可知：本发明的densenet-121模型的分类效果最佳,由于本发明的densenet-121模型分类“非关节面区”在骨折上的纹理表现更加突出一些,所以整体准确率相对于现有的几种模型更高。
[0099]
使用本发明的分割模型与分类模型结合使用后，在400张新病人图像的测试集上进行测试,一方面与整体图像直接使用四分类效果进行对比,另一方面与三名专家平均诊断结果进行对比。具体数据如表4所示。
[0100]
表4测试集分型结果比较
[0101][0102][0103]
从表4可以看出,本发明的最终分型诊断结果要略好于专家的平均诊断,同时远高于对图像直接分类的结果。