基于残差注意力约束机制的脊柱三柱骨折分类与定位系统

1.本技术涉及计算机图像处理以及医学人工智能领域，尤其涉及一种基于残差注意力约束机制的用于ct影像的脊柱三柱骨折分类与定位的深度学习算法。


背景技术：

2.脊椎骨折是在外伤、骨质疏松症、感染、转移或其他骨疾病的情况下由不适当的轴向负荷导致的，它会引起患者生活质量下降以及死亡风险增加。
3.计算机断层扫描ct在临床上广泛用于脊柱骨折的诊断与后续治疗方案的选择。脊柱在骨折后不稳定的患者通常需要接受手术治疗。为了判断骨折后脊柱的稳定性，d-f三柱理论(denis f.the three column spine and its significance in the classification of acute thoracolumbar spinal injuries[j].spine(phila pa 1976),1983,8(8):817-31)提出脊柱的稳定性由三个柱维持：前柱，由椎体和椎间盘的前三分之二以及前纵韧带组成；中柱，由椎体和椎间盘的后三分之一以及后纵韧带组成；后柱，由小关节和后纵韧带复合体组成。中柱或者两柱及其以上的脊柱发生骨折往往会导致脊柱力学不稳定。由于脊柱三维结构复杂，医生在阅读ct影像进行分析时通常需要矢状面、横截面层层浏览，整个过程较为繁琐且容易发生遗漏。利用深度学习技术，可以在医生进行分析前自动地对每个椎骨前、中后柱的骨折进行分类与定位。在这一自动化的结果提示下，医生可以缩小分析范围，直接定位到骨折的区域，再对患者脊柱稳定性进行分析。整个过程中，医生的工作负担可以大大减轻，其工作效率也能得到提高。
[0004]
然而，目前存在的不足包括：首先，医生对ct影像中脊柱的三柱骨折情况进行分析的过程较为繁琐，需要耗费大量时间与精力；第二，现有的用于脊柱骨折分类的深度学习模型不能在分类的同时提供骨折的定位图；第三，基于cam的分类与定位方法没有充分地利用分类任务与定位任务之间的关系，且训练过程容易受到定位标签中噪声的干扰。


技术实现要素：

[0005]
本技术的目的在于提供一种基于残差注意力约束机制的脊柱三柱骨折分类与定位系统，其中，医生可以缩小分析范围，提高整个工作效率；并且，能够同时获得每个椎骨的类别与椎骨骨折的定位图。进一步的，能够尽量减少定位图粗标签内的噪声对定位性能的干扰。
[0006]
本技术公开了一种基于残差注意力约束机制的脊柱三柱骨折分类与定位系统，其特征在于，包括：
[0007]
椎骨数据集构造单元，用于根据输入数据获取用于模型训练和测试的椎骨数据集，其中，所述输入数据是对椎骨ct影像数据以及其对应的类别标签和定位图标签进行预处理之后获得的数据；
[0008]
基于残差注意力约束机制的分类与定位模型构建单元，用于构造基于残差注意力约束机制的分类与定位模型，所述分类与定位模型是用于根据所述椎骨数据集对每个椎骨
的三柱骨折进行分类以及定位的深度学习模型；其中，所述基于残差注意力约束机制的分类与定位模型构建单元用于实现骨折的分类与定位图的生成，通过图像级别与体素级别的监督约束，引导模型关注骨折区域，以获得分类结果与定位图。
[0009]
模型训练单元，用于训练所述基于残差注意力约束机制的分类与定位模型；以及
[0010]
检测单元，用于获取待检测的输入数据，并基于所述基于残差注意力约束机制的分类与定位模型，获取与所述待检测的输入数据对应的分类结果与定位图。
[0011]
在一个优选例中，所述系统还包含：
[0012]
ct数据集构造单元，用于获取用来训练和测试的椎骨ct影像数据以及其对应的类别标签和定位图标签；
[0013]
数据预处理单元，用于根据所述椎骨ct影像数据以及其对应的类别标签和定位图标签，获取基于残差注意力约束机制的分类与定位模型的输入数据。
[0014]
在一个优选例中，所述系统还包含：
[0015]
模型测试单元，用于测试训练好的所述基于残差注意力约束机制的分类与定位模型。
[0016]
在一个优选例中，所述ct数据集构造单元中，收集脊柱骨折的患者的ct影像数据构造数据集x，对ct序列中每一个椎骨的三柱骨折情况进行标注获得类别标签gtc和定位图标签gts；其中，所述定位图标签gts的标注过程，首先利用可以进行分割标注的软件，使用二维或三维的分割标注刷分别对每个椎骨的前、中、后柱骨折所在的区域进行涂抹，使得背景、前、中、后柱的骨折所在区域分别被值为0，1、2、3的掩膜覆盖，然后将标注好的掩膜保存作为定位图标签gts。
[0017]
在一个优选例中，所述基于残差注意力约束机制的分类与定位模型构建单元中，构建基于残差注意力约束机制的分类与定位网络，所述基于残差注意力约束的网络包含三个支路：主干特征提取网络支路，定位图生成网络支路，融合分类网络支路。
[0018]
在一个优选例中，所述主干特征提取网络支路的特征提取步骤为：将数据输入所述主干特征提取网络支路，依次经过所述卷积层c1、最大池化层m1、n个残差注意力约束子网络和一个全局平均池化层后，最终输出一个主干特征向量f1和ma个三维的空间注意力图s，其中ma为整个模型中残差注意力模块的个数，所述空间注意力图由各个残差注意力模块产生。
[0019]
在一个优选例中，所述的定位图生成网络支路的定位图生成步骤为：首先选择ms个4-1中提取到的三维空间注意力图s来构造骨折定位图，先将其上采样到与原始输入图像相同的大小，然后将上采样后的图沿特征通道进行拼接，再使用2个卷积核为3
×3×
3的卷积层将所述的多个空间注意力图融合成3个的空间注意力图，最后使用sigmoid激活函数将空间注意力图的值限制到0-1之间以便得到前、中和后柱骨折定位图sl,其中，ms为选择的空间注意力图的数量。
[0020]
在一个优选例中，所述的融合分类网络支路包含定位图特征提取和融合分类预测两个部分；所述定位图融合部分使用神经网络对骨折定位图sl的特征进行提取，所述融合分类预测部分使用全连接层对骨折定位图的特征以及主干特征向量f1进行融合并分类。
[0021]
在一个优选例中，所述融合分类网络支路获取最终分类结果的步骤为：将前、中和后柱骨折定位图sl输入到定位图特征提取网络中提取一个定位图特征f2，然后将主干特征
向量f1与f2沿特征通道进行拼接得到融合的特征向量f，将f输入到所述融合分类预测网络中获得最终的分类结果p。
[0022]
在一个优选例中，所述定位图特征提取的部分首先对3个定位图取平均获得一张骨折定位图，然后一个使用一个最大池化层和均值池化层，将骨折定位图降采样到两个4
×4×
4大小特征图，然后将两个特征图展开拼接后获得维度为128的定位图特征f2。
[0023]
在一个优选例中，所述模型训练单元中，
[0024][0025]
其中，ls定位自适应均方损失，为第k类骨折定位图标签，slk为模型预测得到的第k类骨折定位图；k取值为0、1、2，分别对应前、中、后柱骨折；i，j，k代表体素的三维坐标索引；ε为一个极小值，取值为0.000001，用来保证分母不为0。
[0026]
本技术实施方式中，结合深度学习的方法，自动地对ct影像中每个椎骨前、中后柱的骨折进行分类与定位。在这一自动化的结果的提示下，医生可以缩小分析范围，提高整个工作效率；并且，本技术提出了基于残差注意力约束机制的深度学习模型，在图像尺度与体素尺度的多尺度监督约束下，同时获得每个椎骨的类别与椎骨骨折的定位图。在整个过程中充分利用定位与分类任务之间的关系，使定位任务的引入能够引导模型更加关注骨折区域进而获得更好的分类性能，分类任务的引入能够对以数据驱动的形式对定位结果进行影响，尽量减少定位图粗标签内的噪声对定位性能的干扰。
[0027]
本技术的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本技术所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本技术上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征a b c，在另一个例子中公开了特征a b d e，而特征c和d是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征e技术上可以与特征c相组合，则，a b c d的方案因技术不可行而应当不被视为已经记载，而a b c e的方案应当视为已经被记载。
附图说明
[0028]
图1是根据本技术第一实施方式的基于残差注意力约束机制的脊柱三柱骨折分类与定位系统结构意图。
[0029]
图2为根据本技术第一实施方式中两例数据冠状面的展示图，每一列对应同一个椎骨的数据，其中图2(a)、图2(b)为输入模型的ct图像，图2(c)、图2(d)为高斯定位图，图2(e)、图2(f)为骨折定位图标签。
[0030]
图3(a)为根据本技术第一实施方式中残差模块r的结构示意图。
[0031]
图3(b)为根据本技术第一实施方式中残差注意力模块ra的结构示意图。
[0032]
图4为根据本技术第一实施方式中构建的基于残差注意力约束机制的分类与定位模型示意图。
[0033]
图5为根据本技术第一实施方式中，6个测试集样本预测得到的骨折定位图示意图，其中每一列代表同一个样本，标签依次代表前柱、中柱、后柱是否骨折，1代表骨折，0代表没有骨折。
具体实施方式
[0034]
在以下的叙述中，为了使读者更好地理解本技术而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
[0035]
需指出，本技术的技术方案不属于疾病的诊断与治疗方法。本技术仅仅是用于获得脊柱的三柱骨折的类别以及位置的系统，其在医生分析患者骨折后脊柱稳定性的过程中，预先将骨折的椎骨自动筛选出来，并提供前、中、后柱骨折的可视化定位图。本技术获得的结果仅起到提示作用，将感兴趣区域自动地展现出来，采取何种治疗方法仍需医生进行进一步的分析。
[0036]
为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术的实施方式作进一步地详细描述。
[0037]
参见图1，图3和图4，本技术的第一实施方式涉及一种基于残差注意力约束机制的脊柱三柱骨折分类与定位系统，其结构如图1所示，该基于残差注意力约束机制的脊柱三柱骨折分类与定位系统包括以下单元：ct数据集构造单元、数据预处理单元、椎骨数据集构造单元、基于残差注意力约束机制的分类与定位模型构建单元、模型训练步骤以及模型测试单元。具体如下：
[0038]
ct数据集构造单元
[0039]
ct数据集构造单元用于获取用来训练和测试的椎骨ct影像数据以及其对应的类别标签和定位图标签。
[0040]
具体地说，ct数据集构造单元收集脊柱骨折患者的椎骨ct影像数据构造椎骨数据集x，其中，对ct序列中每一个椎骨的三柱骨折情况进行标注获得类别标签gtc和定位图标签gts。
[0041]
所述类别标签gtc，其特点是，标签0、1、2和3分别代表当前椎骨健康、前柱骨折、中柱骨折以及后柱骨折。
[0042]
所述定位图标签gts的标注过程，其特征在于，首先利用可以进行分割标注的软件，使用大小合适的2d/3d的分割标注刷分别对每个椎骨的前、中、后柱骨折所在的区域进行涂抹，使得背景、前、中、后柱的骨折所在区域分别被值为0，1、2、3的掩膜覆盖，然后将标注好的掩膜保存作为定位图标签gts。整个标注流程简单易操作，不需要耗费太多的人工成本。
[0043]
数据预处理单元
[0044]
数据预处理单元用于根据所述椎骨ct影像数据以及其对应的类别标签和定位图标签，获取基于残差注意力约束机制的分类与定位模型的输入数据。
[0045]
具体的，数据预处理单元进行以下处理：
[0046]
2-1：将所述椎骨数据集x中的ct影像重采样获得分辨率统一的ct数据d和定位图标签gts。
[0047]
2-2：对数据d中的椎骨进行定位，获得每个椎骨的几何中心坐标c。
[0048]
2-3：以坐标c为中心对数据d和gts进行截取，获得能够包含整个目标椎骨的大小为s1
×
s2
×
s3的椎骨ct数据v以及与数据v对应的定位图标签vgts。
[0049]
2-4：将vgts标签转换成one-hot标签vgt
sk
，其特征在于，k取值为0、1、2分别对应前、中、后柱骨折的定位图。
[0050]
2-5：调整数据v中ct值的窗宽、窗位，使骨组织与其他组织的对比度增加，然后对调整后的数据v进行归一化，使其灰度值的均值为0，方差为1。
[0051]
2-6：构造高斯定位图g，其特征在于，高斯定位图与数据v大小相同，用来指示当前椎骨的中心所在位置。所述数据g中每个体素的值按照公式1进行计算。
[0052][0053]
其中，i，j，k代表该体素的在三个方向上的坐标索引，ic，jc，kc代表椎骨的中心坐标，σ代表高斯平滑指数。
[0054]
2-7：将数据g和数据v沿特征通道进行拼接获得分类与定位模型的输入数据i。
[0055]
椎骨数据集构造单元
[0056]
椎骨数据集构造单元用于根据所述输入数据获取用于模型训练和测试的椎骨数据集。
[0057]
换句话说，所述椎骨数据集用于后续深度学习模型训练与测试。
[0058]
优选的，所述椎骨数据集的数据为上述2-6中所获得的输入数据i，标签为上述2-3中所获得的定位图标签vgts和gtc。
[0059]
优选的，所述椎骨数据集的划分，划分过程以患者为单位进行划分。
[0060]
优选的，所述椎骨数据集的划分，训练集与测试集的比例约为3:1。
[0061]
基于残差注意力约束机制的分类与定位模型构建单元
[0062]
基于残差注意力约束机制的分类与定位模型构建单元用于构造基于残差注意力约束机制的分类与定位模型(下文中也称为“分类与定位模型”)，该模型是用于根据所述椎骨数据集对每个椎骨的三柱骨折进行分类以及定位的深度学习模型。
[0063]
具体的，构建基于残差注意力约束机制的分类与定位网络，所述基于残差注意力约束的网络包含三个支路：主干特征提取网络支路，定位图生成网络支路，融合分类网络支路；所述的网络中使用的卷积层除特别说明外其后均接一个批正则化层与relu激活函数。主干提取网络提取输入数据的基本特征，定位图生成网络用于生成模型整体的骨折定位图，同时通过定位图损伤对主干提取网络的注意力机制施加约束，融合分类网络对基本特征以及定位图的特征进行融合，经过进一步处理后得到最终的分类结果。上述三个支路在模型训练过程中相互影响，在图像尺度的类别标签以及体素尺度的定位图标签的多尺度监督约束下获得较高的分类与定位性能。
[0064]
具体的，基于残差注意力约束机制的分类与定位模型构建单元进行以下处理：
[0065]
4-1：所述的主干特征提取网络支路由按照顺序串联的一个卷积层c1、一个最大池化层mp1、n个残差注意力约束子网络和一个全局平均池化层gap组成。
[0066]
所述残差注意力约束子网络由一个经典的不带瓶颈的残差模块r和m个在残差通路上引入空间注意力机制的不带瓶颈的残差注意力模块ra依次串联组成。所述r中残差通
路内的第一个卷积层的卷积核步长大于1或者空洞卷积率的设置大于1，在整个主干特征提取网络里起到一个增加感受野的作用。所述m个残差注意力模块的超参数设置在同一个残差注意力约束子网络中是一样的。
[0067]
所述主干特征提取网络支路的特征提取步骤为：将数据输入所述主干特征提取网络支路，依次经过所述c1、最大池化层mp1、n个残差注意力约束子网络和一个全局平均池化层gap后，最终输出一个主干特征向量f1和ma个三维的空间注意力图s，其中，ma为整个模型中残差注意力模块的个数，所述空间注意力图由各个残差注意力模块产生。
[0068]
4-2：所述的定位图生成网络支路包含两个卷积核为3的卷积层和一个sigmoid激活层。
[0069]
所述的定位图生成网络支路的定位图生成步骤为：首先选择ms个4-1中提取到的三维空间注意力图s来构造骨折定位图，先将其上采样到与原始输入图像相同的大小，然后将上采样后的图沿特征通道进行拼接，再使用2个卷积核为3
×3×
3的卷积层将所述的多个空间注意力图融合成3个的空间注意力图，最后使用一个sigmoid激活函数将空间注意力图的值限制到0-1之间得到前、中和后柱骨折定位图sl，其中，ms为选择的空间注意力图的数量。通过两个卷积层对不同尺度的空间注意力图进行融合可以实现不同尺度的骨折的定位，减少漏定位的情况。
[0070]
4-3：所述的融合分类网络支路包含定位图特征提取和融合分类预测两个部分；所述定位图特征提取部分使用神经网络对骨折定位图sl的特征进行提取，所述融合分类预测部分使用全连接层对骨折定位图的特征f2以及主干特征f1进行融合并分类。对定位图的特征进行提取并将其与主干特征融合一方面可以充分利用定位图的约束直接提高模型的分类性能，另一方面可以通过这种融合使得分类任务对定位图的生成施加约束，以数据驱动的形式对定位图进行微调。
[0071]
所述融合分类网络支路获取最终分类结果的步骤为：将上述3-2中获取的sl输入到定位图特征提取网络中提取一个定位图特征f2，然后将f1与f2沿特征通道进行拼接得到融合的特征向量f，将f输入到所述融合分类预测网络中获得最终的分类结果p。所述p为一个3维的向量，分别对应前、中、后柱骨折的概率。整个过程对定位图特征再利用，能够获得表现更加丰富的特征向量，进而提高分类的准确性。
[0072]
模型训练单元
[0073]
模型训练单元用于训练所述基于残差注意力约束机制的分类与定位模型。
[0074]
优选的，训练过程中通过梯度下降算法，迭代更新网络的参数，最小化训练集上的损失l。
[0075]
其中，所述损失l由分类交叉熵损失lc和定位自适应均方损失ls按照1：λ的比例加权得到；所述λ的取值为0-10。lc为经典的二值交叉熵损失，ls的计算方式如公式2所示。通过两个损失函数的结合，对模型参数更新同时施加图像尺度以及体素尺度的多尺度约束，最终获得分类与定位表现都好的模型。
[0076][0077]
其中，ls定位自适应均方损失，为第k类骨折定位图标签，slk为模型预测得到
的第k类骨折定位图；k取值为0、1、2，分别对应前、中、后柱骨折；i，j，k代表体素的三维坐标索引；ε为一个极小值，取值为0.000001，用来保证分母不为0。
[0078]
所述ls损失函数，其特点在于，相较于传统的均方误差，除以了由骨折区域面积所组成的分母，实现不同样本对损失函数影响效果的动态调整。
[0079]
所述ls损失函数，其特点在于，仅计算有骨折的样本的损失。
[0080]
模型测试单元
[0081]
模型测试单元用于测试训练好的所述基于残差注意力约束机制的分类与定位模型。
[0082]
具体的，将需要测试的ct数据进行步骤2预处理，然后将每个椎骨依次其送到模型训练单元训练好的分类与定位模型中，最终获得当前ct数据中包含的每个椎骨的类别和骨折的定位图。
[0083]
优选地，所述ct数据集构造单元中，定位图标注过程可以使用itk-snap中的半径为2的球形刷进行标注；半径为2的球形刷进行标注可以在花费相对较少的标注工作时间的同时获得包含较少噪声的定位图标签。
[0084]
在本实施例中，可进一步通过以下具体方式实现：
[0085]
优选地，上述2-1中分辨率统一为1mm
×
1mm
×
1mm。
[0086]
优选地，上述2-2中对椎骨进行定位的方案可以选择预训练好的用于椎骨定位的深度学习模型scnet。
[0087]
优选地，上述2-3中s1
×
s2
×
s3取值为64
×
128
×
128。
[0088]
优选地，上述4-1中卷积层c1的卷积核大小为7
×7×
7，残差注意力约束子网络的个数n为4。
[0089]
优选地，上述4-1中，4个残差注意力约束子网络中r内残差通路上第一个卷积层的卷积步长依次为2,2,1,1，空洞卷积率依次为为1,1,2,4；上述设置中前两个残差模块均将输出特征图下采样到输入特征图大小的一半，后两个残差模块则通过空洞卷积的形式在不改变特征图大小的同时扩大感受野。
[0090]
优选地，上述4-1中4个残差注意力约束子网络中残差注意力模块的数量m分别为2、3、5、2。
[0091]
优选地，上述4-1中4个残差注意力约束子网络的特征通道数分别为32、64、128、256。
[0092]
优选地，上述4-1中加入的空间注意力机制为cbam注意力机制，该机制以串联的形式依次对通道和空间的特征施加注意力，其中空间注意力部分生成的注意力图即为4-1所述s。
[0093]
优选地，上述4-2中选取前n-1个残差注意力约束子网络产生的所有的空间注意力图来来构造骨折定位图。
[0094]
优选地，上述4-2中空间定位图的上采样方式为三线性插值。
[0095]
优选地，上述4-3中的定位图特征提取部分首先对3个定位图取平均获得一张骨折定位图，然后一个使用一个最大池化层和均值池化层，将骨折定位图降采样到两个4
×4×
4大小特征图，然后将两个特征图展开拼接后获得维度d2为128的定位图特征f2；直接通过两个池化层来获取特征，一方面可以减少模型的参数量以及加快计算速度，另一方面池化操
作可以提取包含相对位置信息的特征。
[0096]
优选地，上述4-3中的融合分类部分由一个输入为384维输出为3维的全连接层和一个sigmoid激活层组成。
[0097]
优选地，上述模型训练单元中λ设置为0.5，改值主要调整的是训练过程中定位任务与分类任务的影响程度。
[0098]
检测单元
[0099]
用于获取待检测的输入数据，并基于所述基于残差注意力约束机制的分类与定位模型，获取与所述待检测的输入数据对应的分类结果与定位图。
[0100]
上述实施方式具有以下技术效果：
[0101]
上述实施方式可以全自动地实现对椎骨的前、中、后柱的骨折情况进行分类与定位。
[0102]
上述实施方式提出的骨折定位图的标注方案简单实用。
[0103]
上述实施方式提出的基于残差注意力约束机制的分类与定位模型通过残差注意力约束的形式，即在主干特征提取网络支路加入注意力模块的同时结合定位损失来引导模型在训练过程中更加关注骨折所在区域的特征，能够减少背景信号的干扰获得比普通的不带约束的残差网络更好的分类性能。
[0104]
上述实施方式提出的基于残差注意力约束机制的分类与定位模型所述的定位自适应均方损失函数能够根据样本内骨折范围的大小自动地调整损失值，使不同范围的骨折都能够充分地参与训练过程，相较于单纯的均方误差能够获得更好的定位结果。
[0105]
上述实施方式提出的基于残差注意力约束机制的分类与定位模型中，融合分类网络支路通过将定位图的特征与基础的特征相融合，充分利用骨折的定位信息，获得表现更为丰富的特征向量。同时通过该支路，分类损失也会对定位图进行约束，以数据驱动的形式，对定位图进行调整。
[0106]
为了能够更好地理解本技术的技术方案，下面结合一个具体的例子来进行说明，该例子中罗列的细节主要是为了便于理解，不作为对本技术保护范围的限制。
[0107]
ct数据集构造单元
[0108]
具体的，该ct数据集构造单元收集200例脊柱骨折的患者的ct影像数据构造椎骨数据集x，对ct序列中每一个椎骨的三柱骨折情况进行标注获得类别标签gtc和定位图标签gts。
[0109]
优选的，对于所述类别标签lc，标签0、1、2和3分别代表当前椎骨健康、前柱骨折、中柱骨折以及后柱骨折。
[0110]
优选的，在所述定位图标签l
l
的标注过程中，首先在itk-snap软件中，使用半径为2的球形刷分别对每个椎骨的前、中、后柱骨折所在的区域进行涂抹，使得背景、前、中、后柱的骨折所在区域分别被值为0，1、2、3的掩膜覆盖，然后将标注好的掩膜保存作为定位图标签gts。
[0111]
数据预处理单元
[0112]
具体的，该数据预处理单元进行以下处理：
[0113]
2-1’：将所述椎骨数据集x中的ct影像重采样获得分辨率为1mm
×
1mm
×
1mm的ct数据d和定位图标签gts。
[0114]
2-2’：使用预训练好的用于椎骨定位的深度学习模型scnet对数据d中的椎骨进行定位，获得每个椎骨的集合中心坐标c。
[0115]
2-3’：以坐标c为中心对数据d和gts进行截取，获得能够包含整个目标椎骨的大小为64
×
128
×
128的椎骨ct数据v以及与数据v对应的定位图标签vgts。
[0116]
2-4’：将vgts标签转换成one-hot标签vgt
sk
，其特征在于k取值为0、1、2分别对应前、中、后柱骨折的定位图。
[0117]
2-5’：调整数据v中ct值的窗宽为1100、窗位为500，使骨组织与其他组织的对比度增加，然后对调整后的数据v进行归一化，使其灰度值的均值为0，方差为1。
[0118]
2-6’：构造高斯定位图g，其特征在于，高斯定位图与数据v大小相同，用来指示当前椎骨的中心所在位置。所述高斯定位图g中每个体素的值按照公式1进行计算：
[0119][0120]
其中，i，j，k代表该体素的在三个方向上的坐标索引，ic，jc，kc代表椎骨的中心坐标，σ代表高斯平滑指数，其取值为30。
[0121]
2-7’：将g和v沿特征通道进行凭借获得分类与定位模型的输入数据i。
[0122]
椎骨数据集构造单元
[0123]
所述椎骨数据集用于后续深度学习模型训练与测试，其中，数据集的数据为上述2-6’中所获得的输入数据i，标签为上述2-3’中所获得的定位图标签vgts和gtc。
[0124]
优选的，所述椎骨数据集的划分，划分过程按照患者为单位进行划分。
[0125]
优选的，所述椎骨数据集的划分，训练集与测试集的比例约为3:1。
[0126]
最终获得训练集的椎骨数量为742例，测试集的椎骨数量为247例。
[0127]
基于残差注意力约束机制的分类与定位模型构建单元
[0128]
具体的，该基于残差注意力约束机制的分类与定位模型构建单元构建基于残差注意力约束机制的分类与定位网络，所述基于残差注意力约束的网络包含三个支路：主干特征提取网络支路，定位图生成网络支路，融合分类网络支路；所述的网络中使用的卷积层除特别说明外其后均接一个批正则化层与relu激活函数。
[0129]
具体的，基于残差注意力约束机制的分类与定位模型构建单元进行以下处理：
[0130]
4-1’：所述的主干特征提取网络支路由按照顺序串联的一个卷积核大小为7
×7×
7卷积层c1、一个最大池化层mp1、4个残差注意力约束子网络和一个全局平均池化层gap组成。
[0131]
所述残差注意力约束子网络由一个经典的不带瓶颈的残差模块r和m个在残差通路上引入cbam注意力机制的不带瓶颈的残差注意力模块ra依次串联组成。所述m个残差注意力模块的超参数设置在同一个子网络中是一样的。
[0132]
所述4-1’中，4个残差注意力子网络中r内残差通路上第一个卷积层的卷积步长依次为2,2,1,1，空洞卷积率分别为1,1,2,4；4个残差注意力子网络中残差注意力模块的数量m分别为2、3、5、2；4个残差注意力子网络的特征通道数分别为32、64、128、256；
[0133]
所述主干特征提取网络支路的特征提取步骤为：将数据输入所述主干特征提取网络支路，依次经过所述c1、最大池化层mp1、4个残差注意力约束子网络和一个全局平均池化层后，最终输出一个256维的主干特征向量f1和12个三维的空间注意力图s，所述空间注意
力图由各个残差注意力模块产生。
[0134]
4-2’：所述的定位图生成网络支路包含两个卷积核为3的卷积层和一个sigmoid激活层。
[0135]
所述的定位图生成网络支路的定位图生成步骤为：首先将4-1’中提取到的前10个三维空间注意力图s上采样到与原始输入图像相同的大小，然后将上采样后的图沿特征通道进行拼接，再使用2个卷积核为3
×3×
3的卷积层将所述的多个空间注意力图融合成3个的空间注意力图，其中第一个卷积核的输出特征通道数为32，最后使用一个sigmoid激活函数将空间注意力图的值限制到0-1之间得到前、中和后柱骨折定位图sl。
[0136]
4-3’：所述的融合分类网络支路包含定位图特征提取和融合分类预测两个部分；所述定位图融合部分使用神经网络对骨折定位图sl的特征进行提取，所述融合分类预测部分使用全连接层对骨折定位图的特征以及主干特征f1进行融合并分类。
[0137]
所述4-3’中的定位图特征提取部分首先对3个定位图取平均获得一张骨折定位图，然后一个使用一个最大池化层和均值池化层，将骨折定位图降采样到两个4
×4×
4大小特征图，然后将两个特征图展开拼接后获得维度为128的定位图特征f2。
[0138]
所述4-3’中的融合分类部分使用一个输入为384维输出为3维的全连接层和一个sigmoid激活层组成。
[0139]
所述融合分类网络支路获取最终分类结果的步骤为：将上述3-2’中获取的sl输入到定位图特征提取网络中提取一个128维的sl特征f2，然后将f1与f2沿特征通道进行拼接得到384维的特征向量f，将f输入到所述融合分类预测网络中获得最终的分类结果p。所述p为一个3维的向量，分别对应前、中、后柱骨折的概率。
[0140]
图4为基于残差注意力约束机制的分类与定位模型构建单元中所述基于残差注意力约束机制的分类与定位模型示意图。
[0141]
模型训练单元
[0142]
优选的，训练过程中通过adam梯度下降算法，迭代更新网络的参数，最小化训练集上的损失l。
[0143]
其中，所述损失l由分类交叉熵损失lc和定位自适应均方损失ls按照1：0.5的比例加权得到；lc为经典的二值交叉熵损失，ls的计算方式如公式2所示。
[0144][0145]
其中，ls定位自适应均方损失，为第k类骨折定位图标签，slk为模型预测得到的第k类骨折定位图；k取值为0、1、2，分别对应前、中、后柱骨折；i，j，k代表体素的三维坐标索引；ε为一个极小值，取值为0.000001，用来保证分母不为0。
[0146]
所述ls损失函数，其特征在于相较于传统的均方误差，除以了由骨折区域面积所组成的分母，实现不同样本对损失函数影响效果的动态调整。
[0147]
所述ls损失函数，其特征在于仅计算有骨折的样本的损失。
[0148]
模型测试单元
[0149]
其中，将需要测试的247例ct数据通过数据预处理单元进行预处理，然后将每个椎骨依次其送到由模型训练单元练好的分类与定位模型中，最终获得当前椎骨ct数据中包含
的每个椎骨的类别和骨折的定位图。
[0150]
表1为测试集上前、中、后柱骨折分类的评价指标。该结果显示本方案在测试集上能够获得较好的分类结果，能够实现对椎骨的三柱损伤进行自动分类。
[0151]
表1：
[0152][0153]
表1中，acc表示准确率，auc表示受试者工作特征曲线下面积，ap表示平均精度，auc与ap用来衡量模型的综合分类性能。
[0154]
检测单元
[0155]
用于获取待检测的输入数据，并基于所述基于残差注意力约束机制的分类与定位模型，获取与所述待检测的输入数据对应的分类结果与定位图。
[0156]
图5展示了6个测试集样本预测得到的骨折定位图，其中每一列代表同一个样本，标签依次代表前柱、中柱、后柱是否骨折，1代表骨折，0代表没有骨折。结果显示，本发明提供的骨折定位图，能够对前、中、后柱的骨折进行定位并显示。
[0157]
需要说明的是，本领域技术人员应当理解，上述基于残差注意力约束机制的脊柱三柱骨折分类与定位系统的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本技术实施例上述基于残差注意力约束机制的脊柱三柱骨折分类与定位系统如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read only memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
[0158]
相应地，本技术实施方式还提供一种计算机存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本技术的各方法实施方式。
[0159]
此外，本技术实施方式还提供一种基于残差注意力约束机制的脊柱三柱骨折分类与定位设备，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。其中，该处理器可以是中央处理单元(central processing unit，简称“cpu”)，还可以是其他通用处理器、数字信号处理器(digital signal processor，简称“dsp”)、专用集成电路(application specific integrated circuit，简称“asic”)等。前述的存储器可以是只读存储器(read-only memory，简称“rom”)、随机存取存储器(random access memory，简称“ram”)、快闪存储器(flash)、硬盘或者固态硬盘等。本发明各实施方式所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完
成。
[0160]
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
[0161]
在本技术提及的所有文献都被认为是整体性地包括在本技术的公开内容中，以便在必要时可以作为修改的依据。此外应理解，在阅读了本技术的上述公开内容之后，本领域技术人员可以对本技术作各种改动或修改，这些等价形式同样落于本技术所要求保护的范围。