基于深度卷积神经网络的骨龄评定方法、设备及计算机可读存储介质与流程

1.本发明涉及医疗图像处理领域，尤其涉及一种基于深度卷积神经网络的骨龄评定方法、设备及计算机可读存储介质。


背景技术：

2.骨骼测定年龄简称骨龄，骨龄是评估青少年儿童骨骼发育程度，衡量生物学年龄的客观指标。骨龄评定在青少年儿童的生长发育、疾病诊断、司法鉴定、体育竞技等方面有重要作用。在生长发育方面，骨龄能给出少年儿童的生理年龄，可以预估身高，评估生长发育情况是否正常。在疾病诊断方面，若骨龄高于生活年龄，属于提早发育状态，医生会考虑个体是否患有甲亢、肾上腺皮质增生等疾病，反之属于个体发育状况滞后，考虑是否患有生长激素缺乏、甲状腺功能低下等疾病。在司法鉴定方面，骨龄能确定相关人员的真实年龄，有助于司法公正。在体育竞技方面，青少年比赛对参赛人的年龄有严格的要求，骨龄评估有助于保证比赛的公平性。
3.目前的常用骨龄评定标准是图谱法和评分法，国内骨龄主要通过拍摄骨龄片，然后由骨龄专家人工评定骨龄。而人工判读具有工作量大、测定周期长、主观性强等缺点。同一张骨龄片，不同医生给出的结果可能不同，同一医生在不同时间也可能有不同的判断。现有的医生数目不足以满足庞大的需求，往往缺乏足够的测定时间。因此急需建立好的骨龄自动评定方法。
4.现有的全自动方法基于gp图谱法和tw评分法，需要对手腕骨或特征骨块进行提取，通常会出现过分割的情况，可能遗失部分重要特征。目前公开的全自动骨龄评估误差最小能查询到的在一年内的准确率不足95％，而临床上需要把评估误差控制在6个月内。
5.因此，提出一种新型的基于深度卷积神经网络的骨龄评定方法，可提高骨龄评定的准确性。


技术实现要素：

6.为了克服上述技术缺陷，本发明的目的在于提供一种基于深度卷积神经网络的骨龄评定方法、设备及计算机可读存储介质，使得骨龄评定结果可符合临床应用的要求。
7.本发明公开了一种基于深度卷积神经网络的骨龄评定方法，包括如下步骤：
8.收集已标定有骨龄信息的手腕骨x线片，基于unet算法构建第一深度卷积神经网络，对手腕骨x线片作图像分割，以去除手腕骨x线片的背景信息而获得预处理图像集，并选取预处理图像集中部分图像作为训练集图像，其余图像作为测试集图像；
9.基于densenet算法构建第二深度卷积神经网络，并将训练集图像输入至第二深度卷积神经网络，以对第二深度卷积神经网络的参数进行训练，从而获得经训练的第二深度卷积神经网络，经训练的第二深度卷积神经网络具有学习后的网络权重参数；
10.将测试集图像中的部分或所有输入至经训练的第二深度卷积神经网络，由经训练
的第二深度卷积神经网络迭代后，输出测试集图像内受验者的手腕骨x线片的骨龄评定结果。
11.优选地，收集已标定有骨龄信息的手腕骨x线片，基于第一深度卷积神经网络对手腕骨x线片作图像分割，以去除手腕骨x线片的背景信息而获得预处理图像集，并选取预处理图像集中部分图像作为训练集图像，其余图像作为测试集图像的步骤包括：
12.自一放射检查数据库中收集已标定有骨龄信息的手腕骨x线片；
13.自手腕骨x线片中挑选具有完整数据的左手正位片，并对左手正位片预处理，使得左手正位片的背景区域的亮度低于手腕骨区域的亮度；
14.根据骨龄信息对手腕骨x线片以m个月为步长标定类别，其中1≤m≤6；
15.对手腕骨x线片作数字化采样，使得手腕骨x线片的大小呈512
×
512，并基于unet 算法构建第一深度卷积神经网络，对手腕骨x线片作图像分割，以去除手腕骨x线片的背景信息而获得预处理图像集，其中第一深度卷积神经网络包括特征提取区、采样区和跳跃连接区，其中所述特征提取区包括多个交替作动的卷积层和池化层，所述采样区包括多个交替作动的卷积层和反卷积层；
16.自预处理图像集中随机选取90％的图像作为训练集图像，对训练集图像作数据增广，将剩余的10％图像作为测试集图像，并自测试集图像中选取部分作为受验者的手腕骨x 线片。
17.优选地，根据骨龄信息对手腕骨x线片以m个月为步长标定类别的步骤包括：
18.将骨龄信息减去所收集的所有手腕骨x线片中最小月份年纪得到骨龄差；
19.将骨龄差除以m得到类别数据。
20.优选地，自预处理图像集中随机选取90％的图像作为训练集图像，对训练集图像作数据增广的步骤包括：
21.对训练集图像的图像作尺寸变换、位移变换、角度旋转变换中的任意一种或多种，使得增广后的训练集图像的数据量是增广前的训练集图像的数据量的4-8倍。
22.优选地，基于densenet算法构建第二深度卷积神经网络，并将训练集图像输入至第二深度卷积神经网络，以对第二深度卷积神经网络的参数进行训练，从而获得经训练的第二深度卷积神经网络，经训练的第二深度卷积神经网络具有学习后的网络权重参数的步骤包括：
23.基于densenet算法构建第二深度卷积神经网络，第二深度卷积神经网络包括交替作动的卷积层、池化层和激活层，建立了卷积层、池化层和激活层的不同层之间的连接；
24.将训练集图像输入至第二深度卷积神经网络，以对第二深度卷积神经网络的参数进行训练，以通过adam优化算法降低第二深度卷积神经网络的损失函数值，并更新第二深度卷积神经网络的网络权重参数；
25.反复对第二深度卷积神经网络的参数进行训练后，获得学习后的网络权重参数，其中对训练集图像根据骨龄信息中受验者的性别进行分类。
26.优选地，将测试集图像中的部分或所有输入至经训练的第二深度卷积神经网络，由经训练的第二深度卷积神经网络迭代后，输出测试集图像内受验者的手腕骨x线片的骨龄评定结果的步骤包括：
27.将测试集图像中的部分或所有输入至经训练的第二深度卷积神经网络，基于经训
练的第二深度卷积神经网络迭代，并应用基于骨龄信息中受验者的性别进行分类的训练集图像训练学习后的网络权重参数，输出类别数据；
28.根据类别数据输出受验者的手腕骨x线片的骨龄评定结果。
29.本发明还公开了一种基于深度卷积神经网络的骨龄评定设备，包括：
30.处理模块，收集已标定有骨龄信息的手腕骨x线片，基于unet算法构建第一深度卷积神经网络，对手腕骨x线片作图像分割，以去除手腕骨x线片的背景信息而获得预处理图像集，并选取预处理图像集中部分图像作为训练集图像，其余图像作为测试集图像；
31.训练模块，基于densenet算法构建第二深度卷积神经网络，并将训练集图像输入至第二深度卷积神经网络，以对第二深度卷积神经网络的参数进行训练，从而获得经训练的第二深度卷积神经网络，经训练的第二深度卷积神经网络具有学习后的网络权重参数；
32.评定模块，将测试集图像中的部分或所有输入至具有经训练的第二深度卷积神经网络的评定模块，由经训练的第二深度卷积神经网络迭代后，输出测试集图像内受验者的手腕骨x线片的骨龄评定结果。
33.本发明又公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的骨龄评定方法的步骤。
34.采用了上述技术方案后，与现有技术相比，具有以下有益效果：
35.1.基于两个深度卷积网络可实现评定结果的自动导出，提高骨龄评定的效率；
36.2.预处理过程中应用了深度卷积神经网络，能够克服现有技术中全自动分割方法将手腕骨图像过分割导致关键特征遗失的缺陷；
37.3.可实现误差6个月内的准确率达到80％，误差1年内的准确率达到95％。
附图说明
38.图1为符合本发明一优选实施例中骨龄评定方法的流程示意图；
39.图2为符合本发明一优选实施例中手腕骨x线片的原始图像。
具体实施方式
40.以下结合附图与具体实施例进一步阐述本发明的优点。
41.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
42.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
43.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
44.在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
45.在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
46.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
47.参阅图1，为符合本发明一优选实施例中基于深度卷积神经网络的骨龄评定方法的流程示意图，在该实施例中，骨龄评定方法包括以下步骤：
48.s100：收集已标定有骨龄信息的手腕骨x线片，基于unet算法构建第一深度卷积神经网络，对手腕骨x线片作图像分割，以去除手腕骨x线片的背景信息而获得预处理图像集，并选取预处理图像集中部分图像作为训练集图像，其余图像作为测试集图像；
49.unet算法的网络由两部分组成，前半部分作用是特征提取(基础模型为mobilenet)，后半部分是上采样。
50.骨龄信息为手腕骨x线片为已标定有该受验者的骨龄、性别等信息。收集这些手腕骨x线片，以作为机器学习骨龄信息评定的基础。同时，采用第一深度卷积神经网络对手腕骨x线片的分割预处理，可加深手腕骨x线片的特征部分。
51.s200：基于densenet算法构建第二深度卷积神经网络，并将训练集图像输入至第二深度卷积神经网络，以对第二深度卷积神经网络的参数进行训练，从而获得经训练的第二深度卷积神经网络，经训练的第二深度卷积神经网络具有学习后的网络权重参数；
52.densenet作为另一种拥有较深层数的卷积神经网络，具有如下优点：(1)相比resnet 拥有更少的参数数量；(2)旁路加强了特征的重用；(3)网络更易于训练，并具有一定的正则效果；(4)缓解了gradient vanishing和model degradation的问题。
53.通过该第二深度卷积神经网络的训练，可获得学习后的网络权重参数，以作为对后续待评定的手腕骨x线片的评定标准。
54.s300：将测试集图像中的部分或所有输入至经训练的第二深度卷积神经网络，由经训练的第二深度卷积神经网络迭代后，输出测试集图像内受验者的手腕骨x线片的骨龄评定结果。
55.通过所建立的两个深度卷积神经网络，可全自动地实现评定结果的导出，方便快捷。同时形成有预处理图像后，可克服现有技术中全自动分割方法将手腕骨图像过分割导致关键特征遗失的缺陷。
56.一优选实施例中，步骤s100具体包括：
57.s110：自一放射检查数据库中收集已标定有骨龄信息的手腕骨x线片；
58.可从一个或多个医院的放射检测数据库中收集已标定好骨龄信息的手腕骨x线片数据，如图2所示。这些已标定好骨龄信息的手腕骨x线片例如可包括男女性各年龄段的数据6500例。
59.s120：自手腕骨x线片中挑选具有完整数据的左手正位片，并对左手正位片预处理，使得左手正位片的背景区域的亮度低于手腕骨区域的亮度；
60.由于手腕骨x线片采集时，采集受验者的双手x线片，为节省后续的数据处理量，将挑选所有手腕骨x线片中具有完整数据的左手正位片(可根据大拇指的位置判断实现)，并在预处理后，加强特征部分，统一处理为前景更亮，背景更亮的结果。
61.s130：根据骨龄信息对手腕骨x线片以m个月为步长标定类别，其中1≤m≤6；
62.对于所有的手腕骨x线片，根据骨龄信息中给出的岁数大小，分别标定类别，例如骨龄信息为f4y6m，则表示其为4岁6个月的女性。可以理解的是，m个月的步长决定了骨龄评定结果的准确度。m值越小，类别数目越多，骨龄评定结果也将越精准，但数据处理量也将越大。
63.s140：对手腕骨x线片作数字化采样，使得手腕骨x线片的大小呈512
×
512，并基于第一深度卷积神经网络对手腕骨x线片作图像分割，以去除手腕骨x线片的背景信息而获得预处理图像集，其中第一深度卷积神经网络包括交替作动的卷积层、池化层和激活层；
64.为方便对图像处理，所有手腕骨x线片将做统一的数字化采样，其大小呈512
×
512 (手腕骨特征不得去除)，通过第一深度卷积神经网络分割去除图像中不必要的背景信息。
65.s150：自预处理图像集中随机选取90％的图像作为训练集图像，对训练集图像作数据增广，将剩余的10％图像作为测试集图像，并自测试集图像中选取部分作为受验者的手腕骨x线片。
66.可以理解的是，训练集图像的数据量越多，对于第二深度卷积神经网络的训练结果也将越好。测试集图像的选取，则作为对第二深度卷积神经网络的核验之用。
67.更进一步地，上述步骤s130包括：
68.s131：将骨龄信息减去所收集的所有手腕骨x线片中最小月份年纪得到骨龄差；
69.仍然以上述骨龄信息标定为f4y6m的受验者为例。若最初所收集的所有数据所指向的受验者为2-18随的青少年儿童，则表示所有手腕骨x线片中最小月份年级为24个月，将f4y6m的受验者的骨龄信息54个月减去24个月，所得到的骨龄差为30个月。
70.s132：将骨龄差除以m得到类别数据。
71.以m＝3为例，也即将所有骨龄信息按照每3个月分类，上述骨龄差为30个月除以3 后所得的商为10，则表示标定为f4y6m的受验者的类别数据为10。上述处理方式，一方面可将后续的待验者的评定结果以类别信息表示，输出结果更快，另一方面，对评定结果的准确度可控，维持在m的范围里。
72.优选地，上述步骤s150包括：
73.s151：对训练集图像的图像作尺寸变换、位移变换、角度旋转变换中的任意一种或多种，使得增广后的训练集图像的数据量是增广前的训练集图像的数据量的4-8倍。
74.训练集图像的数据量越大，则第二深度卷积神经网络的学习基础越丰富，其对待验者的评定结果也将越准确。
75.优选地或可选地，步骤s200包括：
76.s210：基于densenet算法构建第二深度卷积神经网络，第二深度卷积神经网络包括交替作动的卷积层、池化层和激活层，建立了卷积层、池化层和激活层的不同层之间的连接；
77.s220：将训练集图像输入至第二深度卷积神经网络，以对第二深度卷积神经网络的参数进行训练，以通过adam优化算法降低第二深度卷积神经网络的损失函数值，并更新第二深度卷积神经网络的网络权重参数；
78.训练时，将参照受验者的性别进行识别与分类。
79.s230：反复对第二深度卷积神经网络的参数进行训练后，获得学习后的网络权重参数，其中对训练集图像根据骨龄信息中受验者的性别进行分类
80.通过不断地迭代，学习后的网络权重参数将作为后续对待验者的手腕骨x线片的识别基础。可以理解的是，当有新增的待验者的手腕骨x线片进行评定时，可进行以研代练。换句话说，后续待验者的评定结果输出后，医生可人工评定形成自身的人工评定结果，并将该人工评定结果再次输入第二深度卷积神经网络，作为又一次迭代的过程。也就是说，随着整套第二深度卷积神经网路的不断使用，其也将不断学习，不断进化。
81.优选地或可选地，步骤s300包括：
82.s310：将测试集图像中的部分或所有输入至经训练的第二深度卷积神经网络，基于经训练的第二深度卷积神经网络迭代，并应用基于骨龄信息中受验者的性别进行分类的训练集图像训练学习后的网络权重参数，输出类别数据；
83.测试集图像选取时，可随机选取一个大小为512
×
512的数据。该步骤中所输出的类别数据，为上述实施例中所提及的类别值。
84.s320：根据类别数据输出受验者的手腕骨x线片的骨龄评定结果。
85.例如，当类别值输出为n时，可将为n*m，再加上骨龄差，便可得到该受验者的骨龄评定结果。
86.本发明还公开了一种基于深度卷积神经网络的骨龄评定设备，包括：处理模块，收集已标定有骨龄信息的手腕骨x线片，基于unet算法构建第一深度卷积神经网络，对手腕骨x线片作图像分割，以去除手腕骨x线片的背景信息而获得预处理图像集，并选取预处理图像集中部分图像作为训练集图像，其余图像作为测试集图像；训练模块，基于densenet算法构建第二深度卷积神经网络，并将训练集图像输入至第二深度卷积神经网络，以对第二深度卷积神经网络的参数进行训练，从而获得经训练的第二深度卷积神经网络，经训练的第二深度卷积神经网络具有学习后的网络权重参数；评定模块，将测试集图像中的部分或所有输入至具有经训练的第二深度卷积神经网络的评定模块，由经训练的第二深度卷积神经网络迭代后，输出测试集图像内受验者的手腕骨x线片的骨龄评定结果。
87.本发明又公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的骨龄评定方法的步骤。
88.应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。