良恶性溃疡识别方法及系统与流程

1.本发明涉及图像分类技术领域，尤其是指一种良恶性溃疡识别方法及系统。


背景技术：

2.胃溃疡是常见的消化性溃疡，其分为良性胃溃疡和恶性胃溃疡。恶性胃溃疡是胃癌的一种，在过去的40-50年中胃癌的发病率和死亡率虽然有显著下降，但其在中国的发病率和死亡率仍然非常高，占全球新发病例的42.6％和死亡病例的45.0％。早期发现恶性胃溃疡可以极大提升患者生存率并减少医疗费用。胃镜检查是早期发现恶性胃溃疡的重要手段。根据胃镜图片判断患者是否具有胃良、恶溃疡疾病，通常需要医生具有较长的胃镜操作经验。基于人工智能技术的胃良、恶溃疡胃图片分类方法可以辅助医生做出更准确的判断，并且可以减低医生漏掉可疑的早期胃癌的概率。
3.在人工智能领域，基于单图片分类方法通常被用于胃图片是否良、恶溃疡疾病的判断。这种人工智能方法是使用计算机视觉和机器学习算法从单个图像中提取含义的过程。目前最为广泛的人工智能方法是将该问题建模为输入一张图像并输出一个标签的问题。在胃良、恶溃疡疾病分类方面，标签为胃良性溃疡和胃恶性溃疡。
4.现有技术分为以下几个步骤：(1)专业人员标注大量带有胃良、恶性溃疡标签的图片，每个图片作为一个样本，获得多个带有标注样本的标注语料；(2)基于深度学习网络(一般是多层卷积神经网络)训练标注语料，获得分类模型；(3)使用分类模型对某个未知标签的图片进行测试，获得该图片的胃良、恶性溃疡标签。测试过程中，每次输入分类模型的是单张图片。由于胃良、恶溃疡疾病在某些图片上面表现类似，通过单张图片很难做出准确判断。因此，现有的基于单张图片的分类技术的识别率不够高，并且标注工作量较大，从而导致了效率低、精度低等问题。


技术实现要素：

5.为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种良恶性溃疡识别方法及系统，其采用编码器对无标注的样本数据进行预训练，然后使用有标注的样本数据进行分类预测，在可以获得更加全面的图片表示的同时显著减少数据标注的工作量，大大提高图片识别的精确度和效率。
6.为解决上述技术问题，本发明提供了一种良恶性溃疡识别方法，包括以下步骤：
7.s1：获取样本数据，每个样本数据包括多个图片，其中所述样本数据包括无标注的样本数据和有标注的样本数据；
8.s2：利用所述无标注的样本数据对编码器进行编码预训练，获得预训练后的图片表示编码器；
9.s3：将所述有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；
10.s4：将每个图片的特征表示进行特征融合，获得图片的特征终极表示；
11.s5：基于所述图片的特征终极表示进行类别预测。
12.在本发明的一个实施例中，在s1中，所述有标注的样本数据为在所述样本数据中选择部分数据做标注的结果。
13.在本发明的一个实施例中，在s2中，利用所述无标注的样本数据对编码器进行编码预训练的方法包括：
14.将无标注的样本数据中的每个图片切分为若干小区域；
15.对每个小区域进行随机遮蔽处理，并将所有图片中的小区域进行拼接，得到序列；
16.将每个小区域的像素值加上其嵌入在所述序列中的位置和图片输入至编码器，获得每个小区域的特征中间表示；
17.将多个图片的所有小区域的特征中间表示输入至解码器，预测对应被遮蔽的小区域的像素值，以还原被遮蔽的图像信息；
18.将属于同一图片的小区域进行组合，得到完整的图片。
19.在本发明的一个实施例中，在s2中，将图片的小区域进行拼接包括对未遮蔽小区域和已遮蔽小区域的拼接。
20.在本发明的一个实施例中，在s2中，所述编码器为多源遮蔽自编码器。
21.在本发明的一个实施例中，在s3中，在将所述有标注的样本数据输入至所述图片表示编码器之前，将有标注的样本数据中的所有图片切分为若干小区域，并将所有图片中的小区域进行拼接得到序列。
22.此外，本发明还提供一种良恶性溃疡识别系统，包括：
23.数据获取模块，所述数据获取模块用于获取样本数据，每个样本数据包括多个图片，其中所述样本数据包括无标注的样本数据和有标注的样本数据；
24.编码预训练模块，所述编码预训练模块用于利用所述无标注的样本数据对编码器进行自动编码预训练，获得预训练后的图片表示编码器；
25.特征提取模块，所述特征提取模块用于将所述有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；
26.特征融合模块，所述特征融合模块用于将每个图片的特征表示进行特征融合，获得图片的特征终极表示；
27.分类预测模块，所述分类预测模块用于基于所述图片的特征终极表示进行类别预测。
28.在本发明的一个实施例中，所述数据获取模块包括：
29.标注子模块，所述标注子模块用于在所述样本数据中选择部分数据做标注，获得有标注的样本数据。
30.在本发明的一个实施例中，所述编码预训练模块包括：
31.预训练子模块，所述预训练子模块用于：
32.将无标注的样本数据中的每个图片切分为若干小区域；
33.对每个小区域进行随机遮蔽处理，并将所有图片中的小区域进行拼接，得到序列；
34.将每个小区域的像素值加上其嵌入在所述序列中的位置和图片输入至编码器，获得每个小区域的特征中间表示；
35.将多个图片的所有小区域的特征中间表示输入至解码器，预测对应被遮蔽的小区
域的像素值，以还原被遮蔽的图像信息；
36.将属于同一图片的小区域进行组合，得到完整的图片。
37.在本发明的一个实施例中，所述特征提取模块包括：
38.预处理子模块，所述预处理子模块用于在将所述有标注的样本数据输入至所述图片表示编码器之前，将有标注的样本数据中的所有图片切分为若干小区域，并将所有图片中的小区域进行拼接得到序列。
39.本发明的上述技术方案相比现有技术具有以下优点：
40.1、本发明采用编码器对无标注的样本数据进行预训练，然后使用有标注的样本数据进行分类预测，在可以获得更加全面的图片表示的同时显著减少数据标注的工作量，大大提高图片识别的精确度和效率。
41.2、本发明可以处理一个病例的多图片输入，从而显著提高识别率。
42.3、本发明采用双阶段的人工智能模型：预训练和分类训练来完成良恶溃疡识别任务。
附图说明
43.为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
44.图1是本发明良恶性溃疡识别方法的流程示意图。
45.图2是本发明良恶性溃疡识别系统的硬件结构示意图。
46.其中，附图标记说明如下：10、数据获取模块；20、编码预训练模块；30、特征提取模块；40、特征融合模块；50、分类预测模块。
具体实施方式
47.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
48.实施例一
49.请参阅图1所示，本实施例提供一种良恶性溃疡识别方法，包括以下步骤：
50.s1：获取样本数据，每个样本数据包括多个图片，其中所述样本数据包括无标注的样本数据和有标注的样本数据；
51.s2：利用所述无标注的样本数据对编码器进行编码预训练，获得预训练后的图片表示编码器；
52.s3：将所述有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；
53.s4：将每个图片的特征表示进行特征融合，获得图片的特征终极表示；
54.s5：基于所述图片的特征终极表示进行类别预测。
55.在本发明实施例公开的一种良恶性溃疡识别方法中，每个样本数据包括多个图片组成，其可以处理一个病例的多图片输入，从而显著提高识别率。
56.在本发明实施例公开的一种良恶性溃疡识别方法中，本发明采用多源遮蔽自编码器进行预训练，可以获得更加全面的图片表示。
57.在本发明实施例公开的一种良恶性溃疡识别方法中，本发明采用编码器对无标注的样本数据进行预训练，然后使用有标注的样本数据进行分类预测，在可以获得更加全面的图片表示的同时显著减少数据标注的工作量，大大提高图片识别的精确度和效率。
58.在本发明实施例公开的一种良恶性溃疡识别方法中，在s1中，所述有标注的样本数据为在所述样本数据中选择部分数据做标注的结果，即在所述样本数据中选择部分数据做标注，获得有标注的样本数据。
59.上述为了进一步减少数据标注的工作量，可以在所述样本数据中选择20-30％的数据做标注，其余样本数据不做标注，无标注的样本数据用于预训练阶段。
60.在本发明实施例公开的一种良恶性溃疡识别方法中，在s2中，利用所述无标注的样本数据对编码器进行编码预训练的方法包括：
61.s2.1：将无标注的样本数据中的每个图片切分为若干小区域，优选的，针对一个病例的多源图片(设为m张)集合x＝{x1，x2，
…
，xi，
…
，xm}，其中每张图片被平均切分为k
×
h个小区域；
62.s2.2：对每个小区域进行随机遮蔽处理，每个区域被遮蔽的概率为25％，其中，mask表示随机遮蔽函数，η
0/1
指示区域是否被遮蔽，等于0(未被遮蔽)或者1(被遮蔽)，表示第i张图片被切分成k
×
h个区域的集合。
63.s2.3：将所有图片中的小区域(包括未遮蔽小区域和已遮蔽小区域)进行拼接，得到序列
64.s2.4：将每个小区域的像素值加上其嵌入在所述序列中的位置和图片输入至编码器，获得每个小区域的特征中间表示
65.s2.5：将多个图片的所有小区域的特征中间表示输入至解码器，预测对应被遮蔽的小区域的像素值，以还原被遮蔽的图像信息，
66.s2.6：将属于同一图片的小区域进行组合，得到完整的图片。
67.综上所述，以下是我们优化的目标：
[0068][0069]
其中，表示训练损失函数，目标是要求尽量小，m(xi)和u(x)表示第i张图片中被遮蔽的区域和多源图片x中所有未被遮蔽的区域集合，表示被遮蔽的一个区域，表示基于u(x)还原被遮蔽区域的条件概率。
[0070]
需要说明的是，解码器只在预训练阶段使用，预训练能使编码器提取出的特征更加有效，并捕捉到同一病例的多张图片间的关系，使其在分类训练中表现出更好的性能。
[0071]
下面介绍分类训练阶段，具体包括：
[0072]
将有标注的样本数据中的所有图片切分为若干小区域，并将所有图片中的小区域进行拼接得到序列
[0073]
序列经过预训练学习后的编码器获得像素块特征
[0074]
编码器输出特征经过特征融合(池化)获得多源图片的特征终极表示：
[0075]
经过全连接层使用进行分类：其中，w和b表示全连接层中的可学习的权重和偏置。p表示分类概率。
[0076]
综上所述，以下是我们优化的目标：
[0077][0078]
其中，表示真实标签和预测结果之间的交叉熵损失，yj表示真实标签中第j个元素，pj表示预测概率中第j个元素，c表示类别数量。
[0079]
在本发明实施例公开的一种良恶性溃疡识别方法中，本发明采用双阶段的人工智能模型：预训练、分类训练，来完成良恶溃疡识别任务。
[0080]
在本发明实施例公开的一种良恶性溃疡识别方法中，本发明的良、恶性胃溃疡识别整体准确率、灵敏度、阳性预测值都明显优于经验丰富的内镜医师。具体结果如下：医生的整体准确率为86％，本发明的整体准确率为91％。医生的灵敏度为87％，本发明的灵敏度为90％。医生的阳性预测值为89％，本发明的阳性预测值为93％。
[0081]
下面提供一个具体的应用实施例对本发明一种良恶性溃疡识别方法进行详细的阐述。
[0082]
本发明收集了内镜中心胃镜检查(包括无痛胃镜、清醒镇静胃镜及普通胃镜检查)患者的胃镜图片。图片拍摄设备主要为olympus公司240、260、290系列以及日本fujinon公司560、580系列内镜。所有图片在白光非放大模式下拍摄，bli、fice、nbi等光学染色及靛胭脂、醋酸染色放大等化学染色暂不做研究。纳入标准：诊断为：恶性胃溃疡、良性胃溃疡和正常胃镜粘膜图片(良恶性溃疡的诊断有活检病理结果支撑)。排除标准：
①
患者小于16岁或者大于95岁；
②
图片异常模糊、伪影、异常失真等影响观察的图片；
③
有大量泡沫、粘液湖或者食物等干扰严重的图片。
[0083]
按照纳入和排除标准，一共纳入未标注病例样本50,000例，标注样本病例3238例。标注样本中，恶性胃溃疡、良性胃溃疡及正常胃的病例数分别为：747例、761例及1730例。通过图像格式转换、图像尺寸缩放、图像增强、图像归一化等一系类的图像操作对所获得的病例图像数据进行处理，以确保人工智能模型对图像的识别。为了保证训练集、验证集及测试集的病例无重复部分，运用随机原则将原始病例按照大致8:1:1的比例分为训练集(正常1380例，良性溃疡614例，胃癌596例)、验证集(正常179例，良性溃疡75例，胃癌70例)和测试集(正常171例，良性溃疡72例，胃癌81例)。通过训练集对人工智能的模型参数进行训练，然后用验证集验证模型的有效性，提高模型的泛化能力，对并行的超参数进行优调后形成最终的人工智能算法模型，最后通过测试集对人工智能算法模型的性能进行评价和考量。
[0084]
实施例二
[0085]
下面对本发明实施例二公开的一种良恶性溃疡识别系统进行介绍，下文描述的一种良恶性溃疡识别系统与上文描述的一种良恶性溃疡识别方法可相互对应参照。
[0086]
请参阅图2所示，本发明实施例二提供了一种良恶性溃疡识别系统，包括：
[0087]
数据获取模块10，所述数据获取模块10用于获取样本数据，每个样本数据包括多个图片，其中所述样本数据包括无标注的样本数据和有标注的样本数据；
[0088]
编码预训练模块20，所述编码预训练模块20用于利用所述无标注的样本数据对编码器进行自动编码预训练，获得预训练后的图片表示编码器；
[0089]
特征提取模块30，所述特征提取模块30用于将所述有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；
[0090]
特征融合模块40，所述特征融合模块40用于将每个图片的特征表示进行特征融合，获得图片的特征终极表示；
[0091]
分类预测模块50，所述分类预测模块50用于基于所述图片的特征终极表示进行类别预测。
[0092]
在本发明实施例公开的一种良恶性溃疡识别系统中，每个样本数据包括多个图片组成，其可以处理一个病例的多图片输入，从而显著提高识别率。
[0093]
在本发明实施例公开的一种良恶性溃疡识别系统中，本发明采用多源遮蔽自编码器进行预训练，可以获得更加全面的图片表示。
[0094]
在本发明实施例公开的一种良恶性溃疡识别系统中，本发明采用编码器对无标注的样本数据进行预训练，然后使用有标注的样本数据进行分类预测，在可以获得更加全面的图片表示的同时显著减少数据标注的工作量，大大提高图片识别的精确度和效率。
[0095]
在本发明实施例公开的一种良恶性溃疡识别系统中，所述数据获取模块10包括：
[0096]
标注子模块，所述标注子模块用于在所述样本数据中选择部分数据做标注，获得有标注的样本数据。
[0097]
在本发明实施例公开的一种良恶性溃疡识别系统中，所述编码预训练模块20包括：
[0098]
预训练子模块，所述预训练子模块用于：
[0099]
将无标注的样本数据中的每个图片切分为若干小区域；
[0100]
对每个小区域进行随机遮蔽处理，并将所有图片中的小区域进行拼接，得到序列；
[0101]
将每个小区域的像素值加上其嵌入在所述序列中的位置和图片输入至编码器，获得每个小区域的特征中间表示；
[0102]
将多个图片的所有小区域的特征中间表示输入至解码器，预测对应被遮蔽的小区域的像素值，以还原被遮蔽的图像信息；
[0103]
将属于同一图片的小区域进行组合，得到完整的图片。
[0104]
在本发明实施例公开的一种良恶性溃疡识别系统中，所述特征提取模块30包括：
[0105]
预处理子模块，所述预处理子模块用于在将所述有标注的样本数据输入至所述图片表示编码器之前，将有标注的样本数据中的所有图片切分为若干小区域，并将所有图片中的小区域进行拼接得到序列。
[0106]
本实施例的良恶性溃疡识别系统用于实现前述的良恶性溃疡识别方法，因此该系统的具体实施方式可见前文中的良恶性溃疡识别方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
[0107]
另外，由于本实施例的良恶性溃疡识别系统用于实现前述的良恶性溃疡识别方法，因此其作用与上述方法的作用相对应，这里不再赘述。
[0108]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0109]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0110]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0111]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0112]
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。