一种基于多模型融合的血管内超声图像斑块识别方法

1.本发明涉及计算机视觉和图像识别技术领域，特别涉及一种基于多模型融合的血管内超声图像斑块识别方法。


背景技术：

2.临床研究表明心脑血管疾病的基础病理是动脉粥样硬化，由于血液中的脂类物质在冠状动脉血管内壁上沉淀、增厚，当沉积的厚度达到一定尺寸时就形成了各种血管斑块，影响了血液的流动，一旦发生严重狭窄堵塞或栓塞时，心肌供血受到影响从而发生心肌梗塞。由于发病时极其快速，短时间内不接受紧急治疗就会造成死亡。早期发现心血管疾病，及时地进行干预和治疗对于心血管疾病的治疗具有重要的意义，也是临床研究的重点。
3.血管内超声(intravascular ultrasound，ivus)是目前临床最常用的微创血管内成像技术，能在活体中描述血管壁复杂的解剖结构，因此在临床中被广泛应用，成为诊断心血管疾病的一种有效工具。但是，临床上对不同斑块的识别主要是医生根据经验判断，这种主观判断方法很容易受到个人经验、思维方式、技术水平等因素的影响。随着软硬件技术飞速发展，以深度学习、图像处理技术为基础，结合医学成像技术，分析图像的斑块，进而辅助医生选择合适的治疗方案，这样可以提升诊断的可靠性和准确性。
4.深度学习(deep learning)的代表算法之一是卷积神经网络(convolutional neural networks,cnn)，它是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks)，但随着网络深度的增加，也带来了另外的问题，梯度消失和系统性能的退化，因此，残差结构用来设计解决了退化问题，同时解决了梯度的问题。但在resnet中，将输入直接跨层引到更深的网络层上作为输入的一部分，使得数据可以在网络中实现跨层流动，这时提取的图像特征无法很好的表征原始图像信息。考虑模型无法从训练样本中提取出足够多且准确的先验信息，设计提取特征更加精准的残差网络用来进行识别任务具有重要的学术意义和实用价值。


技术实现要素：

5.基于背景技术存在的技术问题，本发明从提取特征上改进resnet图像识别算法，提出了一种基于多模型融合的血管内超声图像斑块识别方法。将挤压与激励模块和残差模块进行融合，通过显式地建模通道之间的相互依赖性，自适应地重新校准通道特征响应使网络能够通过融合各层局部感受野中的空间和信道信息来构造信息特征，以此提高整个特征层次的空间编码质量来增强神经网络的表现力。图1为该方法的模型结构图，图2为该方法的网络结构图。
6.本发明的步骤如下：
7.步骤1，使用ivus血管内超声图像重建数据集——其中包括图像训练集和图像测试集；
8.步骤2，分别对训练数据集、测试数据集中的钙化斑块图像、纤维斑块图像、脂质斑
块图像进行扩充处理，最后化为40x40像素的图像。
9.步骤3，构建改进的挤压与激励残差块结构，具体模型结构如图1所示，请详细描述下结构组成及相应逻辑、功能关系。
10.步骤4，根据由上一步骤构建的挤压与激励残差块，使用模块堆叠的方法来实现整个识别网络。具体网络结构如图2所示。
11.步骤4.1将数据集中的图片输入至第一层卷积层，由3
×
3卷积层对其进行特征信息提取并将特征图数量扩充到64幅，然后进入bn层和激活函数(relu)层修正参数。
12.步骤4.2，将上一步骤中得到的64幅特征图输入到第一层的网络中，第一层网络包含两个挤压与激励残差块，得到256幅重新校准通道特性的特征图。
13.步骤4.3，将上一步骤的256幅特征图输入到第二层网络中，该层包含两个挤压与激励残差块，得到512幅特征图。
14.步骤4.4，将上一步骤的512幅特征图输入到第三层网络，得到1024幅更加精准描述图像特征的特征图。
15.步骤4.5，将第三层网络的输出输入到第四层网络中，得到2048幅特征图。
16.步骤5，将2048幅特征图输入平均池化层中得到一个长度为2048的含有图像特征的特征向量。
17.步骤6，对特征向量进行全连接处理，得到模型的识别结果。
18.步骤7，重复步骤4至步骤6操作50次，得到训练好的斑块识别模型。
19.步骤8，将预先设定好的测试数据集输入到训练好的斑块识别模型中，得到识别的结果。
20.补充下具体的图像特征信息通道间的重新校准过程；
21.补充下具体的增加网络对信息特征的敏感度过程；
22.补充下具体的多层的网络结构的功能特性或者具体结构。
23.本发明采用基于多模型融合的血管内超声图像斑块识别方法，使得输入图像特征信息能够充分得到提取，并实现图像特征信息通道间的重新校准，从而增加网络对信息特征的敏感度，以此提高网络的识别性能。原来的残差网络由于快捷链接的存在使得图像特征信息不够明显，本方法通过加入挤压与激励模块并构建多层的网络结构，使得网络模型能够很好的提取出图像信息的特征且自适应注意力判断这些特征的重要性，根据重要性的程度自适应的对通道响应进行校准，从而有效地提高识别网络的识别率。
附图说明
24.图1是改进的挤压与激励残差块的结构图。
25.图2是整个斑块识别网络的流程图。
26.图3是测试集中的图像，从左到右依次是钙化斑块图像、纤维斑块图像、脂质斑块图像；
27.图4是改进后模型的识别结果图。
具体实施方式
28.本发明是采用以下技术手段实现的：
29.一种基于多模型融合的血管内超声图像斑块识别方法。先使用卷积层提取图像特征并扩充特征图数量，将特征图输入至多个挤压与激励残差模块，扩充特征图数量，提取深层特征的同时重新自适应的校准了特征通道之间的依赖性，改善了网络对于特征信息的敏感度，通过残差块实现对于图像信息的多层复用并解决了深度学习中的梯度爆炸问题。经过多次训练得到训练好的斑块识别模型。
30.针对传统残差网络由于短连接的存在，提取图像特征信息不充分、不精准的问题，使用挤压与激励模块改进残差结构，由于挤压与激励模块可以重新校准特征图通道之间的依赖性，使有用的信息加强，无用的信息减弱，自适应地对通道相应进行重新校准，因此改善了网络对于图像特征信息的敏感度，再通过叠加模块的方法加深网络的深度，提取出更加具有代表性的深度特征信息，充分且准确的提取图像信息。本发明使得原有ivus医学图像特征仅由残差模块采集提取，改进为挤压与激励模块和残差模块共同决定，使得模型对于训练医学图像特征提取更为全面。并通过叠加网络加深网络的深度，使得提取特征更加精准，由于残差模块存在，避免了深层网络的梯度爆炸等问题，从而能够有效提升残差网络对于血管内超声图像斑块识别的准确率。
31.上述基于多模型融合的血管内超声图像斑块识别方法，包括下述步骤：
32.步骤1，使用ivus血管内超声图像重建数据集——其中包括图像训练集和图像测试集；
33.步骤2，分别对训练数据集、测试数据集中的钙化斑块图像、纤维斑块图像、脂质斑块图像进行扩充处理，最后化为40x40像素的图像。
34.步骤3，构建改进的挤压与激励残差块结构，具体模型结构如图1所示。
35.步骤4，根据由上一步骤构建的挤压与激励残差块，使用模块堆叠的方法来实现整个识别网络。具体网络结构如图2所示。
36.步骤4.1将数据集中的图片输入至第一层卷积层，由3
×
3卷积层对其进行特征信息提取并将特征图数量扩充到64幅，然后进入bn层和激活函数(relu)层修正参数
37.步骤4.2，将上一步骤中得到的64幅特征图输入到第一层的网络中，第一层网络包含两个挤压与激励残差块，得到256幅重新校准通道特性的特征图。
38.步骤4.3，将上一步骤的256幅特征图输入到第二层网络中，该层包含两个挤压与激励残差块，得到重新校准通道特性后的512幅特征图。
39.步骤4.4，将上一步骤的512幅特征图输入到第三层网络，得到1024幅更加精准描述图像特征的特征图。
40.步骤4.5，将第三层网络的输出输入到第四层网络中，得到最终校准通道特性后的2048幅特征图。
41.步骤5，将2048幅特征图输入平均池化层中得到一个长度为2048的含有图像特征的特征向量。
42.步骤6，对特征向量进行全连接处理，得到模型的识别结果。
43.步骤7，重复步骤4至步骤6操作50次，得到训练好的斑块识别模型。
44.步骤8，将预先设定好的测试数据集输入到训练好的斑块识别模型中，得到识别的结果。
45.图3依次为测试数据集中的钙化斑块图像、纤维斑块图像、脂质斑块图像，图4为测
试数据集输入到改进后的模型当中得到的识别结果，可以看出钙化斑块图像一共有120张，正确识别的数量为100，识别准确率为83.3％；纤维斑块图像一共有120张，正确输出的有104张，识别准确率为86.6％；脂质斑块图像有120张，识别正确的有105张，准确率有87.5％。