消化道内镜图像的活检留图方法、装置及存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种消化道内镜图像的活检留图方法、装置及存储介质。


背景技术：

2.取活检操作的过程中，医师需要在夹取活检的同时进行脚踏板踩图留存，以记录活检操作的基本情况，这种人工的踩图方式费时费力，由于是依靠医师经验，存在主观性强且容易出现留不到正在夹取活检时的图片的情况，降低了活检留图效率。


技术实现要素：

3.本技术实施例提供一种消化道内镜图像的活检留图方法、装置及存储介质，以解决人工踩图导致活检留图效率低的技术问题。
4.一方面，本技术提供一种消化道内镜图像的活检留图方法，包括：获取消化道内镜图像序列，所述消化道内镜图像序列包括多帧消化道内镜图像；从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序列，其中，所述标志物区域图像序列包括多帧标志物区域图像，且一帧标志物区域图像对应一帧消化道内镜图像；对多帧所述标志物区域图像进行三维重建，得到所述标志物区域图像的三维坐标集合；基于所述标志物区域图像的三维坐标集合，计算当前相邻两帧所述标志物区域图像中的粘膜形态变化程度的量化值，得到第一形态变化度；对所述多帧标志物区域图像进行表面附着物识别，得到对应的多帧附着物区域图像；基于所述当前相邻两帧附着物区域图像，计算所述附着物区域图像中的附着物变化程度的量化值，得到第二形态变化度；基于所述第一形态变化度、所述第二形态变化度及预设留图阈值，确定与所述标志物区域图像对应的所述消化道内镜图像的活检留图状态，所述活检留图状态包括留图和不留图。
5.一方面，本技术提供一种消化道内镜图像的活检留图装置，包括：获取模块，用于获取消化道内镜图像序列，所述消化道内镜图像序列包括多帧消化道内镜图像；提取模块，用于从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序列，其中，所述标志物区域图像序列包括多帧标志物区域图像，且一帧标志物区域图像对应一帧消化道内镜图像；重建模块，用于对多帧所述标志物区域图像进行三维重建，得到所述标志物区域图像的三维坐标集合；
第一计算模块，用于基于所述标志物区域图像的三维坐标集合，计算当前相邻两帧所述标志物区域图像中的粘膜形态变化程度的量化值，得到第一形态变化度；识别模块，用于对所述多帧标志物区域图像进行表面附着物识别，得到对应的多帧附着物区域图像；第二计算模块，用于基于所述当前相邻两帧附着物区域图像，计算所述附着物区域图像中的附着物变化程度的量化值，得到第二形态变化度；确定模块，用于基于所述第一形态变化度、所述第二形态变化度及预设留图阈值，确定与所述标志物区域图像对应的所述消化道内镜图像的活检留图状态，所述活检留图状态包括留图和不留图。
6.一方面，本技术提供一种计算机设备，计算机设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述消化道内镜图像的活检留图方法中的步骤。
7.一方面，本技术提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述消化道内镜图像的活检留图方法中的步骤。
8.本技术实施例提供了一种消化道内镜图像的活检留图方法、装置及存储介质，该方法获取消化道内镜图像序列，从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序列，对多帧标志物区域图像进行三维重建，得到标志物区域图像的三维坐标集合，基于标志物区域图像的三维坐标集合，计算当前相邻两帧标志物区域图像中的粘膜形态变化程度的量化值，得到第一形态变化度，对多帧标志物区域图像进行表面附着物识别，得到对应的多帧附着物区域图像，基于当前相邻两帧附着物区域图像，计算附着物区域图像中的附着物变化程度的量化值，得到第二形态变化度，基于第一形态变化度、第二形态变化度及预设留图阈值，确定与标志物区域图像对应的消化道内镜图像的活检留图状态，实现了对消化道内镜图像的活检留图状态的精准检测定位，本实施例充分考量了标志物区域图像中的粘膜形态变化程度、附着物区域图像中的附着物变化程度对图像活检操作定位分析的准确性及直观性影响，通过对标志物区域图像中的粘膜形态变化程度、附着物区域图像中的附着物变化程度的量化，提高了量化的合理性，实现了消化道内镜图像序列的活检留图状态的定量分析，相较于传统的只考虑的单一特征和定性分析的检测方法，大大提高了消化道内镜图像序列的活检留图状态检测效率。
附图说明
9.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
10.其中：图1为一个实施例中消化道内镜图像的活检留图方法的流程图；图2为一个实施例中消化道内镜图像的活检留图装置的结构框图；图3为一个实施例中计算机设备的结构框图。
具体实施方式
11.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
12.如图1所示，在一个实施例中，提供了一种消化道内镜图像的活检留图方法，该消化道内镜图像的活检留图方法可以应用于终端，也可以应用于服务器，本实施例以应用于服务器举例说明。该消化道内镜图像的活检留图方法具体包括以下步骤：步骤102，获取消化道内镜图像序列，消化道内镜图像序列包括多帧消化道内镜图像。
13.其中，消化道内镜图像序列是指在活检留图过程中，消化道电子内镜拍摄消化道部位输出的多帧连续的消化道内镜图像。具体地，可以通过消化道电子内镜采集得到消化道内镜图像序列，也可以从计算机设备的存储器中预先存储的视频库中获取消化道内镜图像序列。
14.步骤104，从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序列，其中，标志物区域图像序列包括多帧标志物区域图像，且一帧标志物区域图像对应一帧消化道内镜图像。
15.其中，标志物区域是指消化道内镜图像中标志物所在区域的部分图像，其中标志物可以是病灶或者其他异物，例如吞咽的异物。标志物区域图像序列是指具有同一标志物的多帧标志物区域图像，例如，同一病灶的多帧标志物区域图像。
16.具体地，可以将消化道内镜图像序列输入预先训练好的标志物检测模型，输出标志物区域图像序列，通过标志物区域图像序列中的各帧标志物区域对应的边界位置和形状，判断是否为相同标志物，并选取判断结果为相同标志物的标志区域，形成标志物区域图像序列。可以理解地，本实施例中的通过提取相同标志物的标志物区域图像序列，以便后续对同一标志物对应的多帧标志物区域图像进行分析比对，确保针对同一标志物进行比对分析，提高分析的合理性，进而实现对各个标志物的精准高效留图，提高活检定位操作的精准性。
17.步骤106，对多帧标志物区域图像进行三维重建，得到标志物区域图像的三维坐标集合。
18.具体地，可以通过预先训练好的三维重建模型对多帧标志物区域图像三维重建，训练好的三维重建模型输出标志物区域图像的三维坐标集合。可以理解地，由于在活检过程中，会将标志物夹高，也即处于活检状态的标志物区域图像具有高度变化明显的特点，因此，本实施例中，通过对多帧标志物区域图像进行三维重建，得到标志物区域图像的三维坐标集合，从而基于三维坐标集合，实现对标志物区域图像高度变化进行精准分析，提高后续活检留图的精准性和准确率。
19.步骤108，基于标志物区域图像的三维坐标集合，计算当前相邻两帧标志物区域图像中的粘膜形态变化程度的量化值，得到第一形态变化度。
20.其中，粘膜形态变化程度的量化值是用于反映标志物区域图像中的标志物的粘膜形态变化程度的指标数据。
21.具体地，从标志物区域图像序列中选取连续两帧标志物区域图像作为当前相邻两帧标志物区域图像，并从三维坐标集合中获取对应的三维坐标集合，作为目标三维集合，根据目标三维坐标集合中的二维极值点和二维平面的中心点，计算得到第一形态变化度。可以理解地，由于标志物区域图像的三维坐标集合能够反映标志物的粘膜的形态变化，因此，通过分析标志物区域图像的三维坐标集合，确保了第一形态变化度量化的准确性和效率，更加直观反映了标志物区域图像中的粘膜形态变化情况，以便后续基于第一形态变化度实现对标志物区域图像的精准高效分析。
22.步骤110，对多帧标志物区域图像进行表面附着物识别，得到对应的多帧附着物区域图像。
23.其中，附着物区域图像是在标志物区域图像中存在的表面附着物对应的区域图像，用于实现对标志物区域图像中的表面附着物的变化进行监测和分析。
24.具体地，可以将消化道内镜图像序列输入预先训练好的表面附着物识别模型，输出具有表面附着物的区域图像，对于没有表面附着物的图像，则输出标签为预设标签的标志物区域图像作为附着物区域图像，以便后续实现对连续两帧标志物区域图像的变化进行监测和分析。
25.步骤112，基于当前相邻两帧附着物区域图像，计算附着物区域图像中的附着物变化程度的量化值，得到第二形态变化度。
26.其中，附着物变化程度的量化值是用于反映两帧附着物区域图像中表面附着物的预设特征的变化程度的指标数据，其中的预设特征可以是非自发性出血的概率。需要说明的是，步骤110中的预设标签的标志物区域图像的非自发性出血的概率设置为预设值。
27.具体地，可以分别获取当前相邻两帧附着物区域图像的预设特征，基于各自的预设特征计算得到第二形态变化度，更加直观反映了附着物区域图像中的附着物变化程度，以便后续基于第二形态变化度，实现对标志物区域图像的变化的精准检测和分析，提高对标志物区域图像分析的精准性和直观性。
28.步骤114，基于第一形态变化度、第二形态变化度及预设留图阈值，确定与标志物区域图像对应的消化道内镜图像的活检留图状态，活检留图状态包括留图和不留图。
29.其中，预设留图阈值是指预先设置的用于判断消化道内镜图像的活检留图状态的临界量化值。
30.具体地，获取预设权值，根据该预设权值、第一形态变化度和第二形态变化度，利用预设激活函数计算得到综合形态变化度，比较综合形态变化度及预设留图阈值，当综合形态变化度大于预设留图阈值时，判定当前相邻两帧中的当前帧标志物区域图像对应的消化道内镜图像的活检留图状态为留图，当综合形态变化度小于或等于预设留图阈值时，判定当前相邻两帧中的当前帧标志物区域图像对应的消化道内镜图像的活检留图状态为不留图，实现了对消化道内镜图像的活检留图状态的精准检测定位，且检测简单快捷，仅通过比较综合形态变化度与预设留图阈值的大小，即可确化道内镜图像的活检留图状态。
31.值得说明的是，当活检留图状态为留图时，则将当前帧标志物区域图像对应的消化道内镜图像进行留图保存，从而为医生进行病理分析提供参考。
32.本实施例中，通过对当前相邻两帧标志物区域图像中的粘膜形态变化程度、附着物区域图像中的附着物变化程度进行分析，使得消化道内镜图像序列的变化分析更加全面
丰富，基于该两个量化值进行消化道内镜图像序列的活检留图状态检测，提高对活检过程中的消化道内镜图像序列分析的准确性和直观性，提高了对消化道内镜图像序列的活检定位效率。可以理解地，本实施例充分考量了标志物区域图像中的粘膜形态变化程度、附着物区域图像中的附着物变化程度对图像活检操作定位分析的准确性及直观性影响，通过对标志物区域图像中的粘膜形态变化程度、附着物区域图像中的附着物变化程度的量化，提高了量化的合理性，实现了消化道内镜图像序列的活检留图状态的定量分析，相较于传统的只考虑的单一特征和定性分析的检测方法，大大提高了消化道内镜图像序列的活检留图状态检测效率。
33.上述消化道内镜图像的活检留图方法中，获取消化道内镜图像序列，从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序列，对多帧标志物区域图像进行三维重建，得到标志物区域图像的三维坐标集合，基于标志物区域图像的三维坐标集合，计算当前相邻两帧标志物区域图像中的粘膜形态变化程度的量化值，得到第一形态变化度，对多帧标志物区域图像进行表面附着物识别，得到对应的多帧附着物区域图像，基于当前相邻两帧附着物区域图像，计算附着物区域图像中的附着物变化程度的量化值，得到第二形态变化度，基于第一形态变化度、第二形态变化度及预设留图阈值，确定与标志物区域图像对应的消化道内镜图像的活检留图状态，实现了对消化道内镜图像的活检留图状态的精准检测定位，本实施例充分考量了标志物区域图像中的粘膜形态变化程度、附着物区域图像中的附着物变化程度对图像活检操作定位分析的准确性及直观性影响，通过对标志物区域图像中的粘膜形态变化程度、附着物区域图像中的附着物变化程度的量化，提高了量化的合理性，实现了消化道内镜图像序列的活检留图状态的定量分析，相较于传统的只考虑的单一特征和定性分析的检测方法，大大提高了消化道内镜图像序列的活检留图状态检测效率。
34.在一个实施例中，从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序列，包括：对消化道内镜图像进行标志物区域定位，确定标志物区域的预测框；基于预测框的坐标，计算各个预测框的偏移程度系数；将偏移程度系数小于预设偏移阈值的预测框确定为目标预测框；按照各个目标预测框在消化道内镜图像进行裁剪，得到标志物区域图像序列。
35.其中，标志物区域图像是指消化道内镜图像中预测框对应的区域图像，且包含标志物区域。具体地，可以采用通过预先训练的标志物检测模型，如yolov7模型，对消化道内镜图像进行目标检测，得到标志物区域的预测框，且该预测框为矩形框，按照预测框在部位图像进行裁剪，得到标志物区域图像。然后，根据预测框的坐标，采用如下公式计算各个预测框的偏移程度系数p，；其中，t为时刻，(x
t
,y
t
)为t时刻的一帧标志物区域图像的预测框的左下角的坐标点，(p
t
,q
t
)t时刻的一帧标志物区域图像的预测框的右上角的坐标点，表示表权重系数，为偏执值。t、t 1是连续时刻，对应连续多帧标志物区域图像，当偏移程度系数p小于预设偏移阈值p0时，判定为时相同标志物，并确定为目标预测框，按照各个目标预测框在消化道内镜图像进行裁剪，得到标志物区域图像序列。
36.在一个实施例中，对多帧标志物区域图像进行三维重建，得到标志物区域图像的三维坐标集合，包括：将标志物区域图像输入训练好的三维重建模型中，输出标志物区域图像的三维坐标集合。
37.其中，训练好的三维重建模型可以是基于深度学习的三维重建方式构建的3d模型。
38.具体地，将标志物区域图像作为训练好的三维重建模型的输入，输出标志物区域图像的三维坐标集合，实现对标志物区域图像的三维坐标集合的提取。
39.在一个实施例中，该消化道内镜图像的活检留图方法还包括：根据标志物区域图像和对应的灰度掩模，预测像素点的三维坐标；基于像素点的三维坐标进行点云融合，得到初始三维模型；根据初始三维模型生成标志物区域图像的二维投影图；获取二维投影图的掩模图像对应的损失函数，得到掩模损失函数；获取二维投影图的深度掩模图像对应的损失函数，得到深度损失函数；基于深度损失函数和掩模损失函数对三维模型进行训练，生成训练好的三维重建模型。
40.具体地，构建结构生成器，根据标志物区域图像和对应的灰度掩模，预测像素点的三维坐标，在视点n每个3d点都可以转换为标准的三维坐标系：；其中，k是预定义的摄影机内部矩阵，定义了预测的三维点和标准三维坐标系中点云融合集合之间的关系，然后，进行点云融合生成初始三维模型，再根据初始三维模型生成标志物区域图像的二维投影图，并与在随机新视角下预渲染的深度掩模图像比对计算损失值。损失函数由掩模损失函数和深度损失函数组成，基于深度损失函数和掩模损失函数对三维模型进行训练，生成训练好的三维重建模型。
41.其中的掩模损失函数和深度损失函数分别定义为：；；一次同时优化超过k个新视点。和是第k个新视点下的二维投影图的掩模图像和二维投影图的深度掩模图像。总损失函数l定义为:；其中，和为权重系数。
42.本实施例中，训练好的三维重建模型是基于从多帧2d图像以及每张图像对应的映射矩阵生成3d模型，并融合和新角度的渲染生成，产生了差异以及几何意义，相较于传统的三维重建方式，提高了三维重建模型的三维坐标的准确性。
43.在一个实施例中，基于标志物区域图像的三维坐标集合，计算标志物区域图像中的粘膜形态变化程度的量化值，得到第一形态变化度，包括：根据标志物区域图像的三维坐标集合，确定标志物区域图像中的标志物在z轴上的极值点的二维坐标；确定标志物区域图像中的标志物所在平面的中心点的二维坐标；基于极值点的二维坐标和中心点的二维坐标确定第一形态变化度。
44.具体地，由于三维坐标集合所在的三维坐标系固定，标志物区域图像的二维平面是三维坐标集合所在的三维坐标系的x轴，y轴，而z轴的向量表示了标志物的高度，并且夹取活检操作会把标志物夹高，因此，连续帧的标志物区域图像中标志物的高度发生变化，就粘膜形态在变化，因此，根据极值点的二维坐标和中心点的二维坐标采用如下公式计算第一形态变化度h：；其中，为标志物在z轴上的极值点的二维坐标，为中心点的二维坐标，变化程度h越大，则表示标志物区域图像中的粘膜形态变化程度越大。可以理解地，本实施例中通过基于标志物区域图像中的标志物在z轴上的极值点的二维坐标和标志物区域图像中的标志物所在平面的中心点的二维坐标，即可实现对第一形态变化度的量化，且夹取活检操作会把标志物夹高的特点，利用标志物区域图像中的三维坐标集合进行标志物高度的分析，提高了第一形态变化度计算的精准性和合理性。
45.在一个实施例中，对多帧标志物区域图像进行表面附着物识别，得到对应的多帧附着物区域图像，包括：将标志物区域图像输入训练好的附着物识别模型进行识别，获取输出结果，输出结果包括附着物类型标签及附着物类型标签对应的附着物区域图像，附着物类型标签包括表面附着物和其他附着物；从输出结果中获取附着物类型标签为表面附着物对应的附着物区域图像作为附着物区域图像。
46.具体地，将标志物区域图像作为训练好的附着物识别模型的输入，其中的训练好的附着物识别模型优选为efficientnet模型，获取输出结果，从输出结果中获取附着物类型标签为表面附着物对应的附着物区域图像作为附着物区域图像，对于附着物类型标签为其他附着物时，则输出预设标签的标志物区域图像。
47.在一个实施例中，输出结果还包括附着物类型标签为表面附着物的非自发性出血的概率；基于当前相邻两帧附着物区域图像，计算附着物区域图像中的附着物变化程度的量化值，得到第二形态变化度，包括：计算当前相邻两帧附着物区域图像的非自发性出血的概率的差值，将差值作为第二形态变化度。
48.具体地，计算当前相邻两帧附着物区域图像的非自发性出血的概率的差值，即，、分别为低n帧和第n-1帧的附着物区域图像的非自发性出血的概率，b为第二形态变化度。
49.可以理解地，本实施例中通过对附着物区域图像的非自发性出血的概率确定第二形态变化度，实现了对附着物区域图像的非自发性出血的概率这一特征的形态变化的分析，有利于提高活检留图状态检测的精准性。
50.在一个实施例中，基于第一形态变化度、第二形态变化度及预设留图阈值，确定与标志物区域图像对应的消化道内镜图像的活检留图状态，包括：根据第一形态变化度、第二形态变化度，利用预设激活函数计算得到综合形态变化度；根据综合形态变化度及预设留图阈值，确定活检留图状态。
51.具体地，通过激活函数计算综合形态变化度f，即：)其中，h、b分别为第一形态变化度和第二形态变化度，
휇
为预设权重。
52.根据综合形态变化度f和预设留图阈值f0，按照如下公式确定活检留图状态：；本实施例中，通过比较综合形态变化度f和预设留图阈值f0，检测返回格式简单快捷，提高了对消化道内镜图像的活检留图状态的检测效率。
53.如图2所示，在一个实施例中，提出了一种消化道内镜图像的活检留图装置，包括：获取模块202，用于获取模块，用于获取消化道内镜图像序列，所述消化道内镜图像序列包括多帧消化道内镜图像；提取模块204，用于从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序列，其中，所述标志物区域图像序列包括多帧标志物区域图像，且一帧标志物区域图像对应一帧消化道内镜图像；重建模块206，用于对多帧所述标志物区域图像进行三维重建，得到所述标志物区域图像的三维坐标集合；第一计算模块208，用于基于所述标志物区域图像的三维坐标集合，计算当前相邻两帧所述标志物区域图像中的粘膜形态变化程度的量化值，得到第一形态变化度；识别模块210，用于对所述多帧标志物区域图像进行表面附着物识别，得到对应的多帧附着物区域图像；第二计算模块212，用于基于所述当前相邻两帧附着物区域图像，计算所述附着物区域图像中的附着物变化程度的量化值，得到第二形态变化度；确定模块214，用于基于所述第一形态变化度、所述第二形态变化度及预设留图阈值，确定与所述标志物区域图像对应的所述消化道内镜图像的活检留图状态，所述活检留图状态包括留图和不留图。
54.在一个实施例中，所述获取模块202包括：定位单元，用于对所述消化道内镜图像进行标志物区域定位，确定标志物区域的预测框；第一计算单元，用于基于所述预测框的坐标，计算各个预测框的偏移程度系数；第一确定单元，用于将偏移程度系数小于预设偏移阈值的所述预测框确定为目标预测框；裁剪单元，用于按照各个所述目标预测框在所述消化道内镜图像进行裁剪，得到所述标志物区域图像序列。
55.在一个实施例中，所述重建模块206包括：重建单元，用于将所述标志物区域图像输入训练好的三维重建模型中，输出所述标志物区域图像的三维坐标集合。
56.在一个实施例中，所述消化道内镜图像的活检留图装置还包括：预测模块，用于根据所述标志物区域图像和对应的灰度掩模，预测像素点的三维坐标；融合模块，用于基于所述像素点的三维坐标进行点云融合，得到初始三维模型；生成模块，用于根据所述初始三维模型生成所述标志物区域图像的二维投影图；第一获取模块，用于获取所述二维投影图的掩模图像对应的损失函数，得到掩模
损失函数；第二获取模块，用于获取所述二维投影图的深度掩模图像对应的损失函数，得到深度损失函数；训练模块，用于基于所述深度损失函数和掩模损失函数对所述三维模型进行训练，生成所述训练好的三维重建模型。
57.在一个实施例中，第一计算模块208包括：第二确定单元，用于根据所述标志物区域图像的三维坐标集合，确定所述标志物区域图像中的标志物在z轴上的极值点的二维坐标；第三确定单元，用于确定所述标志物区域图像中的标志物所在平面的中心点的二维坐标；第四确定单元，用于基于所述极值点的二维坐标和所述中心点的二维坐标确定所述第一形态变化度。
58.在一个实施例中，识别模块210包括：识别单元，用于将所述标志物区域图像输入训练好的附着物识别模型进行识别，获取输出结果，所述输出结果包括附着物类型标签及所述附着物类型标签对应的附着物区域图像，所述附着物类型标签包括表面附着物和其他附着物；提取单元，用于从所述输出结果中获取附着物类型标签为表面附着物对应的附着物区域图像作为所述附着物区域图像。
59.在一个实施例中，所述输出结果还包括附着物类型标签为表面附着物的非自发性出血的概率；所述第二计算模块212包括：第二计算单元，用于计算所述当前相邻两帧附着物区域图像的非自发性出血的概率的差值，将所述差值作为第二形态变化度。
60.在一个实施例中，所述确定模块214包括：第三计算单元，用于根据所述第一形态变化度、所述第二形态变化度，利用预设激活函数计算得到综合形态变化度；第五确定单元，用于根据所述综合形态变化度及所述预设留图阈值，确定活检留图状态。
61.图3示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器，所述服务器包括但不限于高性能计算机和高性能计算机集群。如图3所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现消化道内镜图像的活检留图方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行消化道内镜图像的活检留图方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
62.在一个实施例中，本技术提供的消化道内镜图像的活检留图方法可以实现为一种计算机程序的形式，计算机程序可在如图3所示的计算机设备上运行。计算机设备的存储器
中可存储组成消化道内镜图像的活检留图装置的各个程序模板。比如，获取模块202，提取模块204，重建模块206，第一计算模块208，识别模块210，第二计算模块212，确定模块214。
63.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述消化道内镜图像的活检留图方法中的步骤。
64.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述消化道内镜图像的活检留图方法中的步骤。
65.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink) dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
66.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
67.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。