基于残差注意力约束机制的脊柱三柱骨折分类与定位系统

技术特征：
1.一种基于残差注意力约束机制的脊柱三柱骨折分类与定位系统，其特征在于，包括：椎骨数据集构造单元，用于根据输入数据获取用于模型训练和测试的椎骨数据集，其中，所述输入数据是对椎骨ct影像数据以及其对应的类别标签和定位图标签进行预处理之后获得的数据；基于残差注意力约束机制的分类与定位模型构建单元，用于构造基于残差注意力约束机制的分类与定位模型，所述分类与定位模型是用于根据所述椎骨数据集对每个椎骨的三柱骨折进行分类以及定位的深度学习模型；其中，所述基于残差注意力约束机制的分类与定位模型构建单元用于实现骨折的分类与定位图的生成，通过图像级别与体素级别的监督约束，引导模型关注骨折区域，以获得分类结果与定位图；模型训练单元，用于训练所述基于残差注意力约束机制的分类与定位模型；以及检测单元，用于获取待检测的输入数据，并基于所述基于残差注意力约束机制的分类与定位模型，获取与所述待检测的输入数据对应的分类结果与定位图。2.如权利要求1所述的系统，其特征在于，还包含：ct数据集构造单元，用于获取用来训练和测试的椎骨ct影像数据以及其对应的类别标签和定位图标签；数据预处理单元，用于根据所述椎骨ct影像数据以及其对应的类别标签和定位图标签，获取基于残差注意力约束机制的分类与定位模型的输入数据。3.如权利要求1所述的系统，其特征在于，还包含：模型测试单元，用于测试训练好的所述基于残差注意力约束机制的分类与定位模型。4.如权利要求1所述的系统，其特征在于，所述ct数据集构造单元中，收集脊柱骨折的患者的ct影像数据构造数据集x，对ct序列中每一个椎骨的三柱骨折情况进行标注获得类别标签gt
c
和定位图标签gt
s
；其中，所述定位图标签gt
s
的标注过程，首先利用可以进行分割标注的软件，使用二维或三维的分割标注刷分别对每个椎骨的前、中、后柱骨折所在的区域进行涂抹，使得背景、前、中、后柱的骨折所在区域分别被值为0，1、2、3的掩膜覆盖，然后将标注好的掩膜保存作为定位图标签gt
s
。5.如权利要求1所述的系统，其特征在于，所述基于残差注意力约束机制的分类与定位模型构建单元中，构建基于残差注意力约束机制的分类与定位网络，所述基于残差注意力约束的网络包含三个支路：主干特征提取网络支路，定位图生成网络支路，融合分类网络支路。6.如权利要求5所述的系统，其特征在于，所述主干特征提取网络支路的特征提取步骤为：将数据输入所述主干特征提取网络支路，依次经过卷积层c1、最大池化层m1、n个残差注意力约束子网络和一个全局平均池化层后，最终输出一个主干特征向量f1和m
a
个三维的空间注意力图s，其中m
a
为整个模型中残差注意力模块的个数，所述空间注意力图由各个残差注意力模块产生。7.如权利要求5所述的系统，其特征在于，所述的定位图生成网络支路的定位图生成步骤为：首先选择m
s
个4-1中提取到的三维空间注意力图s来构造骨折定位图，先将其上采样到与原始输入图像相同的大小，然后将上采样后的图沿特征通道进行拼接，再使用2个卷积核为3
×3×
3的卷积层将多个空间注意力图融合成3个的空间注意力图，最后使用sigmoid激活函数将空间注意力图的值限制到0-1之
间以便得到前、中和后柱骨折定位图sl,其中，m
s
为选择的空间注意力图的数量。8.如权利要求5所述的系统，其特征在于，所述的融合分类网络支路包含定位图特征提取和融合分类预测两个部分；所述定位图融合部分使用神经网络对骨折定位图sl的特征进行提取，所述融合分类预测部分使用全连接层对骨折定位图的特征以及主干特征向量f1进行融合并分类。9.如权利要求5所述的系统，其特征在于，所述融合分类网络支路获取最终分类结果的步骤为：将前、中和后柱骨折定位图sl输入到定位图特征提取网络中提取一个定位图特征f2，然后将主干特征向量f1与f2沿特征通道进行拼接得到融合的特征向量f，将f输入到所述融合分类预测网络中获得最终的分类结果p。10.如权利要求8所述的系统，其特征在于，所述定位图特征提取的部分首先对3个定位图取平均获得一张骨折定位图，然后一个使用一个最大池化层和均值池化层，将骨折定位图降采样到两个4
×4×
4大小特征图，然后将两个特征图展开拼接后获得维度为128的定位图特征f2。11.如权利要求1所述的系统，其特征在于，所述模型训练单元中，其中，l
s
定位自适应均方损失，为第k类骨折定位图标签，sl
k
为模型预测得到的第k类骨折定位图；k取值为0、1、2，分别对应前、中、后柱骨折；i，j，k代表体素的三维坐标索引；ε为一个极小值，取值为0.000001，用来保证分母不为0。

技术总结
本申请涉及计算机图像处理以及医学人工智能领域，公开了一种基于残差注意力约束机制的脊柱三柱骨折分类与定位系统，结合深度学习的方法，自动地对CT影像中每个椎骨前、中后柱的骨折进行分类与定位。在这一自动化的结果的提示下，可以缩小分析范围，提高整个工作效率；并且，提出了基于残差注意力约束机制的深度学习模型，在图像尺度与体素尺度的多尺度监督约束下，同时获得每个椎骨的类别与椎骨骨折的定位图。在整个过程中充分利用定位与分类任务之间的关系，使定位任务的引入能够引导模型更加关注骨折区域进而获得更好的分类性能，分类任务的引入能够以数据驱动的形式对定位结果进行影响，减少定位图粗标签内的噪声对定位性能的干扰。的干扰。的干扰。


技术研发人员：孙建奇 张舒南
受保护的技术使用者：上海交通大学
技术研发日：2022.08.17
技术公布日：2022/11/11