一种肠化生严重程度分类系统

1.本技术涉及医学图像识别技术领域，特别是涉及一种肠化生严重程度分类系统。


背景技术：

2.本部分的陈述仅仅是提到了与本技术相关的背景技术，并不必然构成现有技术。
3.胃癌是全球发病率第五、病死率第三的恶性肿瘤，肠化生(intestinal metaplasia,im)是一种常见的癌前状态，与胃癌发生密切相关。研究表明，肠化生患者5年累积胃癌发病率为5.3％至9.8％，为了减少胃癌的发生及进展，及时发现肠化生并对其进行定期检测至关重要。
4.可操作的与胃癌风险联系的肠化生评估(operative link on gastric intestinal metaplasia assessment,olgim)结合了肠化的分布部位(胃窦、胃体)和程度(轻、中、重度)进行分类，具有较好的胃癌风险预测价值。但因活检部位多、实施相对繁琐，临床应用并不广泛。最近，研究人员提出一种使用窄带成像(narrow-band imaging,nbi)对胃窦、胃角、胃体的肠化生进行内镜评估的胃镜下胃肠化生分类(endoscopic grading of gastric intestinal metaplasia,eggim)。当eggim评分≥5分时实现了对广泛性肠化生(olgimⅲ/ⅳ期)患者的98％诊断准确率，因此可对胃癌的风险进行实时评估，有助于指导内镜医师进行胃镜筛查。2019年一项多中心的研究对eggim评分进行了外部验证，后该评分又被证明可以在蓝色激光成像(blue laser imaging,bli)及联动成像(linked color imaging,lci)内镜上应用。然而，尽管eggim与组织学有很好的相关性，但该评分的建立及验证均需要对图像增强内窥镜(image-enhanced endoscopy,iee)经验丰富的内镜医师完成，而对于经验较少的内镜医师，eggim与组织学的相关性可能没有那么强。事实上，这些模式的识别依赖于经验与培训，并且培训经验丰富的内镜医师需要很长时间。因此，为更有效地帮助内镜医师进行诊断，消除内镜医师诊断的主观性，缓解对有经验的内镜医师日益增长的需求，需要一种方便客观的方法。
5.人工智能(artificial intelligence,ai)最初基于传统机器学习算法，包括随机森林和支持向量机(support vector machine,svm)，这些算法被应用于各个领域，尤其是医学领域。近几年，深度学习(deep learning,dl)已成为解决许多问题的首选方法，它使机器能够分析各种训练图像并使用反向传播算法提取特定的临床特征。卷积神经网络(convolutional neural network,cnn)是一种深度学习算法，可以通过逐层特征组合的方式自动捕获最具代表性的图案。基于积累的临床特征，机器可以前瞻性地诊断新获得的临床图像，一些研究人员已经证明了cnn算法在筛查内窥镜图像异常方面的适用性。
6.尽管内镜下诊断肠化生已取得了不错的成果，但所有ai模型均只能做出有无肠化的内镜诊断而无法根据肠化的范围进行评级进而对胃癌风险进行提示。
7.现有技术中存在以下技术问题：
8.目前基于卷积的神经网络具有学习局部连接结构并发展形成多尺度分层模式的能力，提高了图像处理、视频处理和声音识别任务的效率，但基于卷积的神经网络识别准确
率相对较低，主要原因包括：(1)受限于自身固定矩形采样区域的约束，会同时提取病变区域与非病变区域特征，影响特征准确性与分类效果；(2)数据量相对较小，模型过拟合几率增大；(3)难以对非显著性的病变区域定位。


技术实现要素：

9.为了解决现有技术的不足，本技术提供了一种肠化生严重程度分类系统，通过对胃内典型部位(胃窦大小弯，胃角，胃体大小弯)肠化的范围进行评估，计算eggim评分，进而对患者的胃癌发生风险进行提示，辅助内镜医师进行内镜诊断及随访监测。
10.第一方面，本技术提供了一种肠化生严重程度分类系统；
11.一种肠化生严重程度分类系统，包括：
12.数据预处理模块，被配置为：获取内窥镜图像并进行预处理；
13.分类决策模块，被配置为：将预处理后的内窥镜图像输入训练好的肠化生严重程度分类模型，进行肠化生病变程度的分类；其中，肠化生严重程度分类模型包括依次连接的输入层、特征提取模块、偏移量生成模块、形变卷积模块以及输出层。
14.进一步的，所述输入层用于获取预处理后的内窥镜图像的彩色图像和肠化生病变严重程度标签；所述特征提取模块用于根据彩色图像，提取内窥镜图像特征；所述偏移量生成模块用于基于内窥镜图像特征，获取图像的形变卷积偏移量；所述形变卷积模块用于基于形变卷积偏移量，根据预处理后的内窥镜图像，提取深层次特征；所述输出层用于基于深层次特征，输出肠化生严重程度分类结果。
15.进一步的，所述特征提取模块中根据彩色图像，提取内窥镜图像特征的实现过程如下：
16.获取内窥镜图像的图像色彩信息，通过卷积神经网络提取内窥镜图像特征。
17.进一步的，所述偏移量生成模块中基于内窥镜图像特征，获取图像的形变卷积偏移量的实现过程如下：
18.基于内窥镜图像特征，使用区域建议网络，获取图像各个位置发生肠化生病变的概率；
19.根据肠化生病变发生概率最高位置的内窥镜图像，获取疑似病变区域的初始颜色信息；基于初始颜色信息，获取内窥镜图像中的初始疑似病变区域；
20.对初始疑似病变区域进行特征融合，微调初始颜色；基于微调初始颜色，获取内窥镜图像中的微调后疑似病变区域；
21.基于内窥镜图像特征，通过卷积网络，获取初始形变卷积偏移量；根据初始疑似病变区域和微调后疑似病变区域，生成形变卷积伪标签；基于形变卷积伪标签，利用损失函数，获取形变卷积偏移量。
22.进一步的，使用可微的top-k算法选取肠化生病变发生概率最高的位置。
23.进一步的，所述形变卷积模块中基于形变卷积偏移量，根据预处理后的内窥镜图像，提取深层次特征的实现过程如下：
24.对预处理后的内窥镜图像，通过标准卷积神经网络提取内窥镜图像特征；
25.基于内窥镜图像特征和形变卷积偏移量，通过形变卷积神经网络提取深层次特征。
26.进一步的，所述肠化生严重程度分类模型还包括全连接层，所述全连接层设置于所述形变卷积模块与所述输出层之间；
27.所述全连接层用于将深层次特征空间映射样本标记空间以减少特征位置对于分类结果的影响。
28.进一步的，所述数据预处理模块中获取内窥镜图像并进行预处理的实现过程如下：
29.获取肠化生严重程度分类数据集，对肠化生严重程度分类数据集中的图像进行裁剪，获取内窥镜图像；
30.对内窥镜图像依次进行随机旋转操作和随机翻转操作并生成随机索引。
31.第二方面，本技术提供了一种电子设备；
32.一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，实现如下步骤：
33.获取内窥镜图像并进行预处理；
34.将预处理后的内窥镜图像输入训练好的肠化生严重程度分类模型，进行肠化生病变程度的分类；其中，肠化生严重程度分类模型包括依次连接的输入层、特征提取模块、偏移量生成模块、形变卷积模块以及输出层。
35.第三方面，本技术提供了一种计算机可读存储介质；
36.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如下步骤：
37.获取内窥镜图像并进行预处理；
38.将预处理后的内窥镜图像输入训练好的肠化生严重程度分类模型，进行肠化生病变程度的分类；其中，肠化生严重程度分类模型包括依次连接的输入层、特征提取模块、偏移量生成模块、形变卷积模块以及输出层。
39.与现有技术相比，本技术的有益效果是：
40.1、本技术利用肠化生严重程度分类模型实现了内窥镜图像中肠化生病变程度的精确分类，该模型在获取疑似病变区域的基础上，能有效且准确生成形变卷积偏移量信息，提高了形变卷积的特征提取能力和严重程度分类准确率；
41.2、在临床应用中，减轻了医生在内窥镜下识别肠化生病变严重程度的负担。
附图说明
42.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
43.图1为本技术实施例提供的肠化生严重程度分类系统的实现流程示意图；
44.图2为本技术实施例提供的肠化生严重程度分类模型的网络架构示意图。
具体实施方式
45.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本技术使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
46.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
47.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
48.实施例一
49.现有技术中，用于肠生化严重程度分类的系统，准确性差且分类效果不好，容易过拟合，并且难以对非显著性的病变区域进行定位；因此，本技术提供了一种肠化生严重程度分类系统。
50.接下来，结合图1-2对本实施例公开的一种肠化生严重程度分类系统进行详细说明。该肠化生严重程度分类系统包括数据预处理模块和分类决策模块，数据预处理模块，被配置为：获取内窥镜图像并进行预处理；分类决策模块，被配置为：将预处理后的内窥镜图像输入训练好的肠化生严重程度分类模型，进行肠化生病变程度的分类。
51.数据预处理模块实现如下：
52.(1)获取肠化生严重程度分类数据集，对肠化生严重程度分类数据集中的图像进行裁剪，获取内窥镜图像；
53.(2)对内窥镜图像依次进行随机旋转操作和随机翻转操作进行数据增强并生成随机索引以打乱图像顺序。
54.由于肠化生严重程度分类数据集中的图像会存在拍摄时间、拍摄模式和缩略图显示等标注并且存在1980
×
1080与1280
×
720两种分辨率，因此，对图像进行裁剪，经裁剪去除标注后，图像分辨率分为十余种尺寸，在模型训练时，所有图像将会被统一缩放为224
×
224分辨率。
55.分类决策模块实现如下：
56.将预处理后的内窥镜图像输入训练好的肠化生严重程度分类模型，进行肠化生病变程度的分类。其中，肠化生严重程度分类模型包括依次连接的1个输入层、1个特征提取模块、1个偏移量生成模块、1个形变卷积模块、3个全连接层和1个输出层，输入层用于获取预处理后的内窥镜图像的彩色图像和肠化生病变严重程度标签；特征提取模块用于根据彩色图像，提取内窥镜图像特征；偏移量生成模块用于基于内窥镜图像特征，获取图像的形变卷积偏移量；形变卷积模块用于基于形变卷积偏移量，根据预处理后的内窥镜图像，提取深层次特征；全连接层用于将前层(卷积、池化等层)计算得到的特征空间映射样本标记空间，减少特征位置对于分类结果的影响，提高了整个网络的鲁棒性；输出层用于基于深层次特征，输出肠化生严重程度分类结果。
57.具体的实现流程如下：
58.(1)输入层(l1)：将预处理后的内窥镜图像和肠化生病变严重程度标签输入输入层。
59.示例性的，每个样本的输入是l1:w
×h×
3的三维矩阵，其中w
×
h是医学图像的宽度与高度，3是通道数量。
60.(2)特征提取模块(l2)：输入输入层的内窥镜图像的原始图像色彩信息，通过卷积神经网络对原始图像色彩信息进行特征提取，获取内窥镜图像特征。
61.示例性的，输入为k∈rw×h×3的原始图像色彩信息，h为输入图像的高，w为输入图像的宽，3为黄、绿、蓝三通道；依次经过一个卷积核为7*7、步长为2、输入通道为3、输出通道为64的卷积；一个大小为3*3、步长为2、输入通道为64、输出通道为64的最大池化；三层包含一个卷积核为1*1、步长为1、输入通道为64、输出通道为64的卷积，一个卷积核为3*3、步长为1、输入通道为64、输出通道为64的卷积，一个卷积核为1*1、步长为1、输入通道为64、输出通道为256的卷积；三层包含一个卷积核为1*1、步长为1、输入通道为256、输出通道为128的卷积，一个卷积核为3*3、步长为1、输入通道为128、输出通道为128的卷积，一个卷积核为1*1、步长为1、输入通道为128、输出通道为512的卷积；二十三层包含一个卷积核为1*1、步长为1、输入通道为512、输出通道为256的卷积，一个卷积核为3*3、步长为1、输入通道为256、输出通道为256的卷积，一个卷积核为1*1、步长为1、输入通道为256、输出通道为1024的卷积；三层包含一个卷积核为1*1、步长为1、输入通道为1024、输出通道为512的卷积，一个卷积核为3*3、步长为1、输入通道为512、输出通道为512的卷积，一个卷积核为1*1、步长为1、输入通道为512、输出通道为2048的卷积，获取内窥镜图像特征。其中，标准卷积的公式为
[0062][0063]
式中，p0表示当前卷积点位置，pn为r中列举出的周围点，w为网络权重，x为对应点特征。
[0064]
(3)偏移量生成模块(l3)：内窥镜图像特征输入偏移量生成模块，获取图像的形变卷积偏移量，实现流程如下：
[0065]
(301)基于内窥镜图像特征，使用区域建议网络，获取图像各个位置发生肠化生病变的概率；
[0066]
(302)通过可微的top-k算法，获取肠化生病变发生概率最高位置，根据肠化生病变发生概率最高位置的内窥镜图像，获取疑似病变区域的初始颜色信息；基于初始颜色信息，获取内窥镜图像中的初始疑似病变区域；
[0067]
(303)对初始疑似病变区域进行特征融合，微调初始颜色；基于微调初始颜色，获取内窥镜图像中的微调后疑似病变区域；
[0068]
(304)基于内窥镜图像特征，通过卷积网络，获取初始形变卷积偏移量；根据初始疑似病变区域和微调后疑似病变区域，生成形变卷积伪标签；基于形变卷积伪标签，利用损失函数，获取形变卷积偏移量。
[0069]
示例性的，内窥镜图像特征依次经过三个卷积核为3*3、步长为1、输入通道为2048、输出通道为2048的卷积，一个输入通道为2048、输出通道为2048、输出大小为196的全连接层，一个可微的top-k算法，一个反归一化函数，一个灰度转换算法、一个局部阈值自适应算法，一个图像特征融合层，一个卷积核为1*1、步长为1、输入通道为4096、输出通道为1的卷积，一个输入通道1、输出通道为1，输出大小为6的全连接层，一个卷积核为1*1、步长为1、输入通道为1，输出通道为512的卷积，一个卷积核为5*5、步长为1、输入通道为512，输出通道为18的卷积，一个卷积核为1*1、步长为1、输入通道为1，输出通道为1024的卷积，一个卷积核为5*5、步长为1、输入通道为1024，输出通道为18的卷积，一个卷积核为1*1、步长为1、输入通道为1，输出通道为2048的卷积，一个卷积核为5*5、步长为1、输入通道为2048，输
出通道为18的卷积；激活函数的公式sigmoid(v)＝1/(1 e
(-v)
)；损失函数的公式为公式中δpn为偏移量，δp
n.true
为偏移量标签。其中，标准卷积的公式为p0表示当前卷积点位置，pn为r中列举出的周围点，w为网络权重，x为对应点特征偏移量生成模块(l3)的作用是获取到内窥镜图像的形变卷积偏移量信息。
[0070]
(4)形变卷积模块(l4)：将预处理后的内窥镜图像和形变卷积偏移量输入形变卷积模块，提取深层次特征；该层的主要功能是在改变标准卷积固定的矩形采样区域，以一种不规则且拟合肠化生病变形状的方式对特征进行更为准确的提取。具体实现流程如下：
[0071]
(401)对预处理后的内窥镜图像，通过标准卷积神经网络提取内窥镜图像特征；
[0072]
(402)基于内窥镜图像特征和形变卷积偏移量，通过形变卷积神经网络提取深层次特征。
[0073]
示例性的，预处理后的内窥镜图像和形变卷积偏移量依次经过一个卷积核为7*7、步长为2、输入通道为3、输出通道为64的卷积；一个大小为3*3、步长为2、输入通道为64、输出通道为64的最大池化；三层包含一个卷积核为1*1、步长为1、输入通道为64、输出通道为64的卷积，一个卷积核为3*3、步长为1、输入通道为64、输出通道为64的卷积，一个卷积核为1*1、步长为1、输入通道为64、输出通道为256的卷积；三层包含一个卷积核为1*1、步长为1、输入通道为256、输出通道为128的形变卷积，一个卷积核为3*3、步长为1、输入通道为128、输出通道为128的形变卷积，一个卷积核为1*1、步长为1、输入通道为128、输出通道为512的形变卷积；六层包含一个卷积核为1*1、步长为1、输入通道为512、输出通道为256的形变卷积，一个卷积核为3*3、步长为1、输入通道为256、输出通道为256的形变卷积，一个卷积核为1*1、步长为1、输入通道为256、输出通道为1024的形变卷积；三层包含一个卷积核为1*1、步长为1、输入通道为1024、输出通道为512的形变卷积，一个卷积核为3*3、步长为1、输入通道为512、输出通道为512的形变卷积，一个卷积核为1*1、步长为1、输入通道为512、输出通道为2048的形变卷积；其中，标准卷积的公式为p0表示当前卷积点位置，pn为r中列举出的周围点，w为网络权重，x为对应点特征，形变卷积的公式为p0表示当前卷积点位置，pn为r中列举出的周围点，δpn表示x、y方向的偏移量，w为网络权重，x为对应点特征。
[0074]
(5)输出层(l5)：将深层次特征输入输出层，使用全连接层对特征进行降维并通过softmax函数输出各类别肠化生病变严重程度概率，输出概率最高类别作为最终的肠化生病变严重程度的分类结果。
[0075]
具体的，深层次特征依次经过一个输入通道为2048，输出通道为1，输出大小为3的全连接层；一个softmax函数；其中，softmax函数的公式为
[0076]
本实施例构建的cnn网络包含的损失函数定义如下：
[0077]
[0078]
loss2＝cross_entropy(p,l)
[0079]
其中，δpn为偏移量，δp
n.true
为偏移量标签，p是网络的输出值，l为标记数据。
[0080]
为了加快网络收敛的速度，上述网络各层的权重和偏差随机化为正态分布，均值为0，方差为1/n
input
，其中n
input
是上层特征的个数。使用交叉熵函数定义损失函数。同时，在pytorch中使用adam优化器和梯度下降算法来调整连接权重和偏置。将最大迭代次数设置为15，损失阈值设置为0.0001。
[0081]
实施例二
[0082]
本发明实施例二提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，计算机指令被处理器运行时，实现如下步骤：
[0083]
获取内窥镜图像并进行预处理；
[0084]
将预处理后的内窥镜图像输入训练好的肠化生严重程度分类模型，进行肠化生病变程度的分类；其中，肠化生严重程度分类模型包括依次连接的输入层、特征提取模块、偏移量生成模块、形变卷积模块以及输出层。
[0085]
实施例三
[0086]
本发明实施例三提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如下步骤：
[0087]
获取内窥镜图像并进行预处理；
[0088]
将预处理后的内窥镜图像输入训练好的肠化生严重程度分类模型，进行肠化生病变程度的分类；其中，肠化生严重程度分类模型包括依次连接的输入层、特征提取模块、偏移量生成模块、形变卷积模块以及输出层。
[0089]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0090]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0091]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0092]
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
[0093]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。