一种胶囊内镜胃肠道器官图像自动识别方法与流程

1.本发明属于图像处理领域，尤其涉及一种胶囊内镜胃肠道器官图像自动识别方法。


背景技术：

2.无线胶囊内镜是21世纪初发展起来的胃肠道检查新技术，克服了传统内镜检查小肠的局限性，检查过程便捷、无痛、安全。检查者吞咽下一颗胶囊内镜，随着重力作用和胃肠道蠕动，胶囊内镜拍摄整个胃肠道的彩色图像，拍摄视频按照时间顺序依次经过体外、食管、胃、小肠、大肠。医生在查看胶囊内镜视频时，首先找到器官之间的连接部分，如：食管和胃的交接点为贲门，胃和小肠的交接点为幽门。进一步确定胶囊内镜进入不同器官的时刻。最后对各个器官采取不同的查看方式，在观察到病灶后结合病灶所处器官位置做出诊断。由于胶囊内镜拍摄时间约8～13小时，且检查者情况复杂多样，医生人工确定胶囊内镜进入不同器官的时刻需要耗费较长时间。
3.近年来，深度学习在图像识别领域取得了巨大突破，也有基于深度学习的胃肠道分段识别方法，通常是采用深度学习方法直接分类各个器官(食管、胃、小肠、大肠)，但直接分类的准确率不高。因此，针对胶囊内镜阅片的临床需求，设计准确的胶囊内镜胃肠道器官自动识别是亟需解决的难题。


技术实现要素：

4.为了克服已有技术的不足，本发明提供了一种胶囊内镜胃肠道器官图像自动识别方法，提高胶囊内镜图像胃肠道分段的识别准确率，辅助缩减临床医生的阅片时间，辅助提高诊断效率。
5.本发明解决其技术问题所采用的技术方案是：
6.一种胶囊内镜胃肠道器官图像自动识别方法，包括以下步骤：
7.1)规范标记胶囊内镜采集的胃肠道图像序列；
8.2)利用哈希相似度进行关键帧的提取；
9.3)采用多头注意力结合可分离卷积架构的四分类模型，确定胶囊内镜进入食管和贲门的时刻；
10.4)采用融合边缘信息的多头注意力深度学习二分类网络，确定胶囊内镜进入小肠和大肠的时刻。
11.进一步，所述步骤1)中，根据胶囊内镜拍摄视频的帧速率值，计算每一帧图像的时间信息，以“时间_帧数值”的格式命名每一帧图像，通过样规范标记的方法快速定位图像在视频中的位置。
12.再进一步，所述步骤2)的过程如下：
13.2.1)关键帧初始化，设采集的胶囊内镜图像序列第一帧作为当前关键帧；
14.2.2)利用差异哈希算法计算关键帧与下一帧图像的相似值，设置阈值t1；若相似
值小于阈值t1，下一帧图像设置为当前关键帧；否则判断下一帧图像为冗余图像，从图像序列中删除，当前关键帧不变；
15.2.3)判断图像读取是否结束，若结束，则终止比较，否则重复2.2)；
16.2.4)关键帧集合为预处理后的图像。
17.更进一步，所述步骤3)的过程如下：
18.3.1)训练体外、贲门、幽门和其它胶囊内镜图像四分类网络，训练图片进行数据增强，包括图像在水平和垂直方向上的翻转、旋转，再进入多头自注意力模块，提升关键区域的特征表达，为每个位置生成权重掩膜并加权输出，从而增强感兴趣的特定目标区域同时弱化不相关的背景区域；之后采用深度可分离卷积，包含逐通道卷积和逐点卷积两部分，降低参数运算量和计算成本；
19.3.2)胶囊内镜图像序列中，依次经过体外、贲门，且到达贲门耗时较短，设置阈值t2，在第t2帧之前分类体外和贲门图像，提升分类准确性；
20.3.3)分类结果中，体外图像的最后一帧为器官食管的起始位置，结合贲门图像分类结果，可以确定胶囊内镜进入食管和贲门的时刻；
21.3.4)对于分类得到的多张幽门图像，取最后一张为胃和小肠的交接点。
22.所述步骤4)的过程如下：
23.4.1)大小肠差异显著，在网络结构中，融合图像的边缘信息，通过多头注意力的提取加强网络对小肠绒毛的识别能力；
24.4.2)对胶囊内镜图像序列中胃和小肠的交接点幽门之后的图像分类大肠、小肠，设置阈值t3，当连续分类大肠的图片数量大于t3时，停止分类；连续分类大肠图像的第一帧为大小肠器官分界点，结合步骤3)中幽门的确定，可以确定胶囊内镜进入小肠和大肠的时刻。
25.本发明的有益效果主要表现在：提高胶囊内镜图像胃肠道分段的识别准确率，辅助缩减临床医生的阅片时间，辅助提高诊断效率。
附图说明
26.图1是胶囊内镜拍摄的胃肠道图像序列示意图。
27.图2是一种胶囊内镜胃肠道器官图像自动识别方法流程图。
28.图3是胶囊内镜关键帧图像提取流程图。
29.图4是深度学习四分类网络结构示意图。
具体实施方式
30.下面结合附图对本发明作进一步描述。
31.参照图1～图4，一种胶囊内镜胃肠道器官图像自动识别方法，包括以下步骤：
32.1)规范标记胶囊内镜采集的胃肠道图像序列
33.如图2所示，为胶囊内镜拍摄的胃肠道器官图像序列示意图。可以理解的是，检查者吞咽一颗带摄像头的“胶囊”，通过重力作用及肠胃的蠕动，自动拍摄人体整个胃肠道图像，依次经过体外、食管、胃、小肠、大肠。胶囊内镜拍摄速率一般为5fps，在体内运行时间约8～13小时，拍摄图像数量达上万张。视频转换图像处理时，计算每帧内镜图像的拍摄时间，
并以“时间_帧数值”格式命名图像，方便医生快速定位图像在视频中的位置。
34.拍摄时间＝帧数值/fps
35.2)利用哈希相似度进行关键帧的提取；
36.关键帧提取的目的是去除大量相似胶囊内镜图像，减轻网络分类负担，如图3所示，具体步骤如下：
37.2.1)关键帧初始化，设采集的胶囊内镜图像序列第一帧为当前关键帧；
38.2.2)利用差异哈希算法计算关键帧与下一帧图像的相似值，设置阈值t1，若相似值小于阈值t1，下一帧图像设置为当前关键帧，否则判断为冗余图像，从图像序列中删除，当前关键帧不变。差异哈希算法首先将图片缩小到9x8尺寸，总共72个像素，摒弃不同尺寸、比例带来的图片差异；再将缩放后的图片转化为256阶的灰度图；然后对灰度矩阵每一行相邻的两个元素进行相减(左边元素减右边元素)，得出8个不同的差异值，共得到64个差异值，再对差异值进行处理，若为正数或0，则记得为1；若为负数，记为0；最后将64个结果结合在一起得到一个哈希值来代表一幅图像，计算哈希值的距离，来判断两张图片的相似度，一般使用汉明距离，也就是逐位计算两张图片的哈希值是否相同；
39.2.3)判断图像读取是否结束，若结束，则终止比较，否则重复2.2)；
40.2.4)关键帧集合为预处理后的图像。
41.3)采用多头注意力结合可分离卷积架构的四分类模型，确定胶囊内镜进入食管和贲门的时刻；
42.体外、贲门和幽门胶囊内镜图像都具有显著特征：体外图像主要包含检查者的人脸信息，与胃肠道图像差异显著；贲门图像的特征在于四周食管壁向中心处收缩，图像外围呈粉色，中心处表现为白色；无物体通过时，幽门图像四周表现为胃壁缩向中心，有物体通过时，胃壁张开，图像中心呈圆孔状。
43.根据体外、贲门、幽门、其它胶囊内镜图像的差异性，本发明训练四分类网络结构图，见图4。训练集包含4类，体外、贲门、幽门胶囊内镜图片各一类，剩余胶囊内镜拍摄图像为一类。首先对胶囊内镜训练集采用数据增强方法提升模型分类精度和泛化能力，包括图像在水平和垂直方向上的翻转、旋转，再对训练增强图像进行两层3x3卷积，卷积后的特征图送入多头自注意力模块(multi-head self-attention，mhsa)，mhsa得到的特征图进行反向残差瓶颈(inverted residual bottleneck，irb)操作，irb中的3x3卷积为深度可分离卷积，激活函数为silu，
×
li表示mhsa irb模块被重复i次。最后经过全局平均池化、全连接层得到分类结果。
44.分类效果指标为准确率，精确率，召回率。准确率是分类正确的结果占总样本的百分比；精确率是针对分类结果而言的，其含义是在所有被分类为正的样本中实际为正样本的概率；召回率是针对原样本而言的，其含义是在实际为正的样本中被分类为正样本的概率；
45.分类过程中，考虑到胶囊内镜图像序列依次经过体外、贲门，且到达贲门耗时较短，我们设置阈值t2，在第t2帧之前分类体外和贲门图像，提升分类准确性。临床中，胶囊内镜在不同检查者体内的运行情况差异较大。胶囊内镜进入胃部后，可能一次性通过幽门，进入小肠；也可能受到胃部蠕动影响，在幽门附近出现胶囊内镜长时反复拍摄的情况，拍摄到的幽门图像数量较多，且不连续。对于后者，分类得到多张幽门图像，考虑到临床中最后一
张幽门图像的实际意义，我们仅关注最后一张幽门分类图像。
46.分类结果中，体外图像的最后一张判断为食管起始位置，结合贲门分类的信息，确定胶囊内镜进入食管和贲门的时刻。
47.4)采用融合边缘信息的多头注意力深度学习二分类网络，确定胶囊内镜进入小肠和大肠的时刻。
48.胶囊内镜拍摄过程依次经过体外、食管、胃、小肠、大肠。在步骤三中，判断得到幽门的位置，本步骤对胶囊内镜图像序列幽门之后的图像(包含小肠、大肠)进行分类。根据小肠与大肠的显著差异训练二分类网络，如：小肠壁表面有大量绒毛；大肠表面没有绒毛，显得较光滑。网络包含两个分支，第一个分支为训练图像数据增强后直接放入图4网络结构，得到特征图1；考虑到小肠内镜图像较大肠图像边缘信息丰富，在分支二中，对训练图像数据增强后进行边缘检测，得到的边缘图像送入图4网络中，得到特征图2；联合特征图1、2，得到特征图3，最后经过全局平均池化、全连接层得到分类结果。
49.分类过程中，为了减轻系统分类压力，提升分类准确性，设置阈值t3，当连续分类大肠图片数量大于t3时，停止分类。分类为大肠连续图像的第一帧为大肠、小肠分界点，可以确定胶囊内镜进入小肠和大肠的时刻。
50.为了实现本实施例的方法，设计一种胶囊内镜胃肠道器官图像自动识别设备，包括：
51.存储器，用于存储计算机程序；
52.处理器，用于执行所述计算机程序时实现如上述所述的胶囊内镜胃肠道器官图像自动识别方法的步骤。
53.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储器(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台智能胶囊内镜图像胃肠道器官图像自动识别设备(可以是手机，计算机，胶囊内镜图像胃肠道器官图像自动识别设备等)执行本发明各个实施例所述的方法。
54.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。