基于B-CNN网络的颈动脉超声影像分类模型的构建方法及系统与流程

本发明涉及图像识别，尤其涉及基于b-cnn网络的颈动脉超声影像分类。

背景技术：

1、在医学图像分类方向经常使用vgg、resnet等网络架构，在众多的分类任务上resnet网络已经证明了其在分类方向上的强大能力。但相比于(通用)图像分类任务，医学领域的图像分类需要判断的图像类别更为精细，两个类别之间的差别更为细微。针对于颈动脉的超声图像来说，超声成像效果相较于ct等方式存在更多的噪声，颈动脉内部的斑块面积相较于整张图像来说较小，因此直接使用resnet等网络进行细粒度的图像分类效果不好。

技术实现思路

1、为了克服上述技术缺陷，本发明的第一个方面提供一种基于b-cnn模型的颈动脉超声影像分类模型的构建方法，其包括：

2、步骤s1：数据预处理：对所有序列进行去噪处理，然后进行标准化；

3、步骤s2：在对预处理后的每张超声波图像进行高斯平滑处理之后，进行canny边缘检测；

4、步骤s3：对边缘检测后的图片进行二值化处理，对二值化的图片进行10次膨胀腐蚀操作，从而使血管边缘连贯，去除周围的空洞；

5、步骤s4：将去除空洞后的图片进行轮廓提取，此时提取出的轮廓为颈动脉，以该轮廓叠加原始图像，获取仅包含颈动脉和斑块的图像；

6、步骤s5：以resnet50模型作为基础模型，使用两个resnet50模型构建一个仅使用单一输入的b-cnn单输入模型，然后使用常规cnn模型训练方法进行模型训练，从而完成b-cnn单输入模型的构建。

7、b-cnn单输入模型的分类原理：利用b-cnn单输入模型的两个网络分别对图像进行特征提取，然后将同一位置上的两个特征进行矩阵外积，得到混合特征矩阵，将混合特征矩阵张成向量，对该向量进行矩归一化操作和l2归一化操作后，就得到融合后的特征。通过计算卷积描述向量(descriptor)的外积来考察不同维度之间的交互关系；由于描述向量的不同维度对应卷积特征的不同通道，而不同通道提取了不同的语义特征。融合不同通道的融合后的特征向量作为输入，利用全连接层进行2分类，即可对颈动脉超声影像进行颈动脉斑块有无的分类。

8、b-cnn单输入模型是一个cnn模型，包括了卷积层，池化层，全连接层，激励层。每一层的功能和传统cnn的每一层功能相同。(1)卷积层(convolution layer)用于提取输入数据中的特征，通过卷积操作来识别图像的边缘、纹理等信息。(2)池化层(pooling layer)通常跟在卷积层之后，通过对特征图进行下采样来减小特征图的大小和参数量，同时保留重要的特征信息。(3)全连接层(fully connected layer)用于将特征图映射为输出类别的概率分布，其中每个神经元都与上一层的所有神经元连接。(4)激励层(activation layer)用于在前向传播过程中引入非线性变换，增强模型的表达能力。

9、进一步地，在步骤s5中，在模型训练阶段，数据增强方法包括：(1)使用torchvision提供的随机水平翻转、随机垂直翻转、随机旋转进行数据增强，和/或，(2)针对建模数据较少，少量的错误样本会使模型调整参数逼近样本，导致错误样本负面影响较大的问题，使用类标签平滑，避免模型过分相信训练样本。

10、进一步地，在步骤s5中，在模型训练阶段使用针对标签平滑修改的交叉熵损失函数

11、

12、

13、其中，p是模型给出的每一个类的概率，q'(k)是k类的标签平滑后的平滑概率标签，ε为标签平滑的平滑系数，k为分类任务的类别数，标签平滑结果是output＝(1-∈)input+∈/k，把标签平滑引入交叉熵损失公式，input是标签平滑前的原标签，output是标签平滑后的平滑标签。

14、本发明的第二个方面提供一种基于b-cnn模型的颈动脉超声影像分类模型的构建系统，其包括：

15、数据处理模块，所述数据处理模块用于对所有数据进行去噪处理，然后进行标准化；还用于在对预处理后的每张超声波图像进行高斯平滑处理之后，进行canny边缘检测；还用于对边缘检测后的图片进行二值化处理，对二值化的图片进行10次膨胀腐蚀操作，从而使血管边缘连贯，去除周围的空洞；还用于将去除空洞后的图片进行轮廓提取，此时提取出的轮廓为颈动脉，以该轮廓叠加原始图像，获取仅包含颈动脉和斑块的图像；

16、模型构建模块，所述模型构建模块用于以resnet50模型作为基础模型，使用两个resnet50模型构建一个仅使用单一输入的b-cnn单输入模型，然后使用常规cnn模型训练方法进行模型训练，从而完成b-cnn单输入模型的构建。

17、进一步地，所述模型构建模块还用于：在模型训练阶段，数据增强方法包括：(1)在模型训练阶段，使用torchvision提供的随机水平翻转、随机垂直翻转、随机旋转进行数据增强，和/或，(2)针对建模数据较少，少量的错误样本会使模型调整参数逼近样本，导致错误样本负面影响较大的问题，使用类标签平滑，避免模型过分相信训练样本。

18、进一步地，所述模型构建模块还用于：在模型训练阶段使用针对标签平滑修改的交叉熵损失函数：

19、

20、

21、其中，p是模型给出的每一个类的概率，q'(k)是k类的标签平滑后的平滑概率标签，ε为标签平滑的平滑系数，k为分类任务的类别数，标签平滑结果是output＝(1-∈)input+∈/k，把标签平滑引入交叉熵损失公式，input是标签平滑前的原标签，output是标签平滑后的平滑标签。

22、本发明的第三个方面提供一种基于b-cnn模型的颈动脉超声影像分类模型的构建方法，其包括：

23、步骤s1：数据预处理：对所有序列进行去噪处理，然后进行标准化；

24、步骤s2：对预处理后的每张超声波图像进行高斯平滑处理之后，进行canny边缘检测；

25、步骤s3：对边缘检测后的图片进行二值化处理，对二值化的图片进行10次膨胀腐蚀操作，从而使血管边缘连贯，去除周围的空洞；

26、步骤s4：将去除空洞后的图片进行轮廓提取，此时提取出的轮廓为颈动脉，以该轮廓叠加原始图像，获取仅包含颈动脉和斑块的图像；

27、步骤s5：对仅含有颈动脉斑块的图像使用canny算子和sobel算子进行边缘检测，将各自处理完的图像进行叠加获得斑块的结构图像；

28、步骤s6：以resnet50模型作为基础模型，使用两个resnet50模型构建一个b-cnn双输入模型，然后使用常规cnn模型训练方法进行模型训练，从而完成b-cnn双输入模型的构建。

29、b-cnn双输入模型的分类原理：第一个resnet50网络输入斑块结构图像，提取结构特征；第二个resnet网络输入裁剪后的斑块图像，获取像素特征；然后融合结构特征和像素特征。通过计算卷积描述向量(descriptor)的外积来考察不同维度之间的交互关系；由于描述向量的不同维度对应卷积特征的不同通道，而不同通道提取了不同的语义特征。融合不同通道的特征向量作为输入，利用全连接层进行2分类，即可对颈动脉超声影像进行颈动脉斑块稳定性的分类。

30、进一步地，在步骤s6中，在模型训练阶段，数据增强方法包括：(1)使用torchvision提供的随机水平翻转、随机垂直翻转、随机旋转进行数据增强，和/或，(2)针对建模数据较少，少量的错误样本会使模型调整参数逼近样本，导致错误样本负面影响较大的问题，使用类标签平滑，避免模型过分相信训练样本。

31、进一步地，在步骤s6中，在模型训练阶段使用针对标签平滑修改的交叉熵损失函数

32、

33、

34、其中，p是模型给出的每一个类的概率，q'(k)是k类的标签平滑后的平滑概率标签，ε为标签平滑的平滑系数，k为分类任务的类别数，标签平滑结果是output＝(1-∈)input+∈/k，把标签平滑引入交叉熵损失公式，input是标签平滑前的原标签，output是标签平滑后的平滑标签。

35、本发明的第四个方面提供一种基于b-cnn模型的颈动脉超声影像分类模型的构建系统，其包括：

36、数据处理模块，所述数据处理模块用于对所有序列进行去噪处理，然后进行标准化；对预处理后的每张超声波图像进行高斯平滑处理之后，进行canny边缘检测；对边缘检测后的图片进行二值化处理，对二值化的图片进行10次膨胀腐蚀操作，从而使血管边缘连贯，去除周围的空洞；将去除空洞后的图片进行轮廓提取，此时提取出的轮廓为颈动脉，以该轮廓叠加原始图像，获取仅包含颈动脉和斑块的图像；对仅含有颈动脉斑块的图像使用canny算子和sobel算子进行边缘检测，将各自处理完的图像进行叠加获得斑块的结构图像；

37、模型构建模块，所述模型构建模块用于以resnet50模型作为基础模型，使用两个resnet50模型构建一个b-cnn双输入模型，然后使用常规cnn模型训练方法进行模型训练，从而完成b-cnn双输入模型的构建。

38、b-cnn双输入模型的分类原理：第一个resnet50网络输入斑块结构图像，提取结构特征；第二个resnet网络输入裁剪后的斑块图像，获取像素特征；然后融合结构特征和像素特征。通过计算卷积描述向量(descriptor)的外积来考察不同维度之间的交互关系；由于描述向量的不同维度对应卷积特征的不同通道，而不同通道提取了不同的语义特征。融合不同通道的特征向量作为输入，利用全连接层进行2分类，即可对颈动脉超声影像进行颈动脉斑块稳定性的分类。进一步地，所述模型构建模块还用于：在模型训练阶段使用针对标签平滑修改的交叉熵损失函数

39、

40、

41、其中，p是模型给出的每一个类的概率，q'(k)是k类的标签平滑后的平滑概率标签，ε为标签平滑的平滑系数，k为分类任务的类别数，标签平滑结果是output＝(1-∈)input+∈/k，把标签平滑引入交叉熵损失公式，input是标签平滑前的原标签，output是标签平滑后的平滑标签。

42、采用了上述技术方案后，与现有技术相比，具有以下有益效果：

43、由于难以获得更多的额外监督信息，只利用图像分类标记进行，本技术提出使用双线性cnn(bilinear cnn)其通过计算卷积描述向量(descriptor)的外积来考察不同维度之间的交互关系。由于描述向量的不同维度对应卷积特征的不同通道，而不同通道提取了不同的语义特征，因此，通过双线性操作，可以同时捕获输入图像的不同语义特征之间的关系。本技术针对斑块有无和已有斑块分类两个任务构建了两个不同的b-cnn网络：

44、(1)针对于斑块有无的分类网络，本技术构建了一个使用两个resnet50网络但仅使用单一输入的b-cnn网络，即b-cnn单输入模型，让两个网络分别对图像进行特征提取，然后将同一位置上的两个特征进行矩阵外积(bilinear feature combination)，得到混合特征矩阵，将混合特征矩阵张成向量，对该向量进行矩归一化操作和l2归一化操作后，就得到融合后的特征，最后利用全连接层进行分类。

45、(2)针对斑块的稳定性分类任务，由于不同斑块间的像素差异相较于上一任务更小，因此我们需要提取更为明显差异特征来提升模型效果，我们在单一输入的b-cnn网络的基础上构建了双输入b-cnn网络，即b-cnn双输入模型，双输入网络仍然使用两个resnet50网络作为骨干网络，但是两个resnet50网络的输入不同，第一个使用边缘提取后的超声图像作为输入，进行边缘提取后的超声图像，仅保留图像的结构信息；第二个使用原超声图像作为输入，提取像素信息。将对应位置的结构信息与像素信息进行融合，完成了更细粒度的图像分类任务。