一种胶囊胃镜轨迹跟踪方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种胶囊胃镜轨迹跟踪方法及装置。


背景技术：

2.现有对于胶囊胃镜轨迹跟踪方法主要分为两种，一种是使用内带磁标记物的胶囊，另一种是需要另外对胃部进行染色。
3.对于第一种方法的实现，需要提供多个磁场传感器，磁场传感器分布固定在体表设定位置，并与体外定位控制装置的电源管理器和多路开关相连，用于捕获胶囊在体内的三维运动轨迹。对于使用内带磁标记物的胶囊进行胶囊轨迹跟踪，检测者需要佩戴多个磁场传感器在身上，这也会给检测者在检测过程中造成不便；其次，每个磁场传感器必须固定在体表设定位置，对于不同体型的检测者或者佩戴过程中出现传感器移动，都会对后续检测准确性造成影响。因此该方法存在使用不便及固定不易等问题，导致跟踪容易失败。
4.而对于第二种方法，需要先对检测者胃部进行染色，增强胃部图像特征，从而能够从胶囊拍摄图片中更好提取图片特征，实现胶囊轨迹跟踪计算。对于额外使用染色剂的方法，由于需要检测者在检测时额外使用染色剂，在医生检测识别病灶时，受到染色剂的影响，医生辨别病灶的难度会大大提高，这种方法就起到一种适得其反的效果，即使能跟踪到胶囊的运动轨迹，到最终反而影响到图片的准确性，不适合实际应用。
5.基于上述现有技术在对胶囊胃镜的轨迹跟踪时，存在的跟踪准确率较低的问题，现在亟需一种胶囊胃镜轨迹跟踪方法及装置来解决上述问题。


技术实现要素：

6.针对现有技术存在的问题，本发明提供一种胶囊胃镜轨迹跟踪方法及装置。
7.本发明提供一种胶囊胃镜轨迹跟踪方法，包括：获取胶囊胃镜拍摄到的视频图片序列；将所述视频图片序列中每一帧图片依次输入到训练好的图片特征提取模型中，得到每一帧图片的图片特征点和对应的特征描述符，其中，所述训练好的图片特征提取模型是由样本视频图片，对卷积神经网络进行训练得到的，所述样本视频图片上标记有样本图片特征点和所述样本图片特征点对应的样本特征描述符；根据所述图片特征点和所述特征描述符，通过orb slam3算法，对胶囊胃镜进行轨迹跟踪。
8.根据本发明提供的一种胶囊胃镜轨迹跟踪方法，所述训练好的图片特征提取模型通过以下步骤得到：通过sift算法，对每张样本视频图片的样本图片特征点进行特征提取标定，并获取所述样本图片特征点对应的特征描述符，构建得到训练样本集；将所述训练样本集输入到学习不变特征变换网络进行训练，得到训练好的图片特征提取模型。
9.根据本发明提供的一种胶囊胃镜轨迹跟踪方法，所述根据所述图片特征点和所述特征描述符，通过orb slam3算法，对胶囊胃镜进行轨迹跟踪，包括：根据所述图片特征点和所述特征描述符，通过g2o算法，对胶囊胃镜位姿进行估计，得到第一3d位置坐标，所述第一3d位置坐标为胶囊胃镜的3d位置坐标；根据所述图片特征点的位置坐标和所述第一3d位置坐标，通过g2o算法，对所述图片特征点的3d位置坐标进行估计，得到第二3d位置坐标；根据所述第一3d位置坐标和所述第二3d位置坐标，对胶囊胃镜进行轨迹跟踪。
10.根据本发明提供的一种胶囊胃镜轨迹跟踪方法，在所述根据所述图片特征点和所述特征描述符，通过g2o算法，对胶囊胃镜位姿进行估计，得到第一3d位置坐标之前，所述方法还包括：通过gms算法，对所述图片特征点和所述特征描述符进行匹配，并将匹配后的图片特征点和特征描述符，用于胶囊胃镜的轨迹跟踪。
11.根据本发明提供的一种胶囊胃镜轨迹跟踪方法，在所述根据所述图片特征点和所述特征描述符，通过orb slam3算法，对胶囊胃镜进行轨迹跟踪之后，所述方法还包括：根据所述图片特征点和所述特征描述符，通过orb slam3算法对视频图片序列中每一帧图片进行重识别及回环检测，得到胶囊胃镜的轨迹跟踪结果。
12.本发明还提供一种胶囊胃镜轨迹跟踪装置，包括：图像获取模块，用于获取胶囊胃镜拍摄到的视频图片序列；特征提取模块，用于将所述视频图片序列中每一帧图片依次输入到训练好的图片特征提取模型中，得到每一帧图片的图片特征点和对应的特征描述符，其中，所述训练好的图片特征提取模型是由样本视频图片，对卷积神经网络进行训练得到的，所述样本视频图片上标记有样本图片特征点和所述样本图片特征点对应的样本特征描述符；跟踪模块，用于根据所述图片特征点和所述特征描述符，通过orb slam3算法，对胶囊胃镜进行轨迹跟踪。
13.根据本发明提供的一种胶囊胃镜轨迹跟踪装置，所述装置还包括：样本构建模块，用于通过sift算法，对每张样本视频图片的样本图片特征点进行特征提取标定，并获取所述样本图片特征点对应的特征描述符，构建得到训练样本集；训练模块，用于将所述训练样本集输入到学习不变特征变换网络进行训练，得到训练好的图片特征提取模型。
14.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述胶囊胃镜轨迹跟踪方法的步骤。
15.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述胶囊胃镜轨迹跟踪方法的步骤。
16.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述胶囊胃镜轨迹跟踪方法的步骤。
17.本发明提供的一种胶囊胃镜轨迹跟踪方法及装置，通过将深度学习网络和orb slam3算法结合，实现在使用卷积神经网络提取特征向量的基础上，通过orb slam3算法对图片特征进行匹配跟踪，提高所提取特征的鲁棒性，从而对胶囊胃镜的轨迹跟踪实现精密
定位。
附图说明
18.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明提供的胶囊胃镜轨迹跟踪方法的流程示意图；图2为本发明提供的胶囊胃镜轨迹跟踪装置的结构示意图；图3为本发明提供的电子设备的结构示意图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.需要说明的是，本发明采集到的用于胶囊胃镜轨迹跟踪的视频图像以及用于模型训练的样本视频图像，是通过胶囊胃镜拍摄得到的，胶囊胃镜的工作过程及特点主要包括：1、胶囊胃镜从口腔进入消化道后再自然排出体外；2、胶囊胃镜的电池续航力有限，其有效工作区间为口腔、食道、胃、十二指肠、小肠和大肠一部分；3、胶囊胃镜的每次活动都会产生域内检查图片和域外检查图片，其中，域内检查图片是通过对消化道某一段进行拍摄得到的，域外检查图片是指除了域内检查图片以外，胶囊胃镜顺便拍到的图片；4、每粒胶囊胃镜每次可以拍摄的原始图片的数量可以为2000~3000张，即胶囊胃镜获取到的图片集中的图片数量。
22.针对现有胶囊胃镜轨迹跟踪的方法存在使用不便、跟踪准确率较低较低的问题，本发明提供了一种纯视觉单目的胶囊胃镜轨迹跟踪方法，适用于被动式胶囊的轨迹跟踪，能够更准确的跟踪胶囊轨迹。同时，由于不需要使用磁场传感器和对肠胃使用染色剂，保证能稳定跟踪胶囊胃镜轨迹。
23.图1为本发明提供的胶囊胃镜轨迹跟踪方法的流程示意图，如图1所示，本发明提供了一种胶囊胃镜轨迹跟踪方法，包括：步骤101，获取胶囊胃镜拍摄到的视频图片序列。
24.在本发明中，通过胶囊胃镜的拍摄过程，获取未经任何处理的胶原始视频图片序列（jpg格式），然后对该原始视频图片序列进行图像预处理，得到用于后续胶囊胃镜轨迹跟踪的视频图片序列。需要说明的是，在本发明中，胶囊胃镜拍摄得到的原始视频图片序列为实时拍摄得到的。
25.步骤102，将所述视频图片序列中每一帧图片依次输入到训练好的图片特征提取模型中，得到每一帧图片的图片特征点和对应的特征描述符，其中，所述训练好的图片特征提取模型是由样本视频图片，对卷积神经网络进行训练得到的，所述样本视频图片上标记有样本图片特征点和所述样本图片特征点对应的样本特征描述符。
slam3算法，对胶囊胃镜进行轨迹跟踪，包括：根据所述图片特征点和所述特征描述符，通过g2o算法，对胶囊胃镜位姿进行估计，得到第一3d位置坐标，所述第一3d位置坐标为胶囊胃镜的3d位置坐标。
36.在本发明中，将上述实施例通过图片特征提取模型提取得到的图片特征点和特征描述符输入到orb slam3算法中，使用g2o（general graph optimization）算法实时对胶囊胃镜的相机位姿进行估计，得到相机3d位置，即第一3d位置坐标。
37.根据所述图片特征点的位置坐标和所述第一3d位置坐标，通过g2o算法，对所述图片特征点的3d位置坐标进行估计，得到第二3d位置坐标。
38.在本发明中，根据图片特征点位置坐标及胶囊胃镜的相机估计3d位置，使用g2o算法对该图片特征点的3d坐标进行估计，从而得到第二3d位置坐标。
39.根据所述第一3d位置坐标和所述第二3d位置坐标，对胶囊胃镜进行轨迹跟踪。
40.在本发明中，orb slam3算法基于g2o算法估计得到的相机3d位置和图片特征点3d坐标，对胶囊胃镜的运动轨迹进行实时跟踪。
41.优选地，在上述实施例的基础上，在所述根据所述图片特征点和所述特征描述符，通过orb slam3算法，对胶囊胃镜进行轨迹跟踪之后，包括：根据所述图片特征点和所述特征描述符，通过orb slam3算法对视频图片序列中每一帧图片进行重识别及回环检测，得到胶囊胃镜的轨迹跟踪结果。
42.在本发明中，在对胶囊胃镜进行轨迹跟踪时，当得到胶囊胃镜的轨迹跟踪结果后，此时可对该轨迹跟踪结果进行优化，通过orb slam3算法对全局进行重识别及回环检测，从而对全局跟踪进行一个整体的优化。这是为了避免胶囊胃镜拍照频率低或快速移动旋转时，造成视频中断而导致跟踪失败的情况，凭借orb slam3算法的重定位和回环检测，可以很好地解决因视频中断而造成的跟踪失败。
43.在上述实施例的基础上，在所述根据所述图片特征点和所述特征描述符，通过g2o算法，对胶囊胃镜位姿进行估计，得到第一3d位置坐标之前，所述方法还包括：通过gms算法，对所述图片特征点和所述特征描述符进行匹配，并将匹配后的图片特征点和特征描述符，用于胶囊胃镜的轨迹跟踪。
44.在本发明中，使用gms（grid
‑
based motion statistics）算法，对图片特征提取模型提取得到的图片特征点和特征描述符进行特征点匹配，当图片特征点和特征描述符完成匹配后，再通过匹配后的图片特征点进行胶囊胃镜的轨迹跟踪。相比于现有直接使用bf match算法进行暴力特征匹配，gms匹配算法能关注局部大量正确匹配区域，匹配准确率更高，在胶囊胃镜图片中，减少漂浮物及黑色边框对特征匹配影响。
45.在一实施例中，运用本发明提供的胶囊胃镜跟踪方法，当胶囊胃镜在拍摄视频时，采集胶囊胃镜拍摄图片的设备会把这些图片实时反馈到移动终端（例如，手机、平板电脑），移动终端通过无线网络把图片传输到服务器，最后，服务器实时对胶囊胃镜拍摄的图片进行跟踪计算，估计出胶囊胃镜在胃部具体位置以及移动轨迹，并实时反馈位置结果到移动终端。
46.图2为本发明提供的胶囊胃镜轨迹跟踪装置的结构示意图，如图2所示，本发明提供了一种胶囊胃镜轨迹跟踪装置，包括图像获取模块201、特征提取模块202和跟踪模块203，其中，图像获取模块201用于获取胶囊胃镜拍摄到的视频图片序列；特征提取模块202
用于将所述视频图片序列中每一帧图片依次输入到训练好的图片特征提取模型中，得到每一帧图片的图片特征点和对应的特征描述符，其中，所述训练好的图片特征提取模型是由样本视频图片，对卷积神经网络进行训练得到的，所述样本视频图片上标记有样本图片特征点和所述样本图片特征点对应的样本特征描述符；跟踪模块203用于根据所述图片特征点和所述特征描述符，通过orb slam3算法，对胶囊胃镜进行轨迹跟踪。
47.本发明提供的胶囊胃镜轨迹跟踪装置，通过将深度学习网络和orb slam3算法结合，实现在使用卷积神经网络提取特征向量的基础上，通过orb slam3算法对图片特征进行匹配跟踪，提高所提取特征的鲁棒性，从而对胶囊胃镜的轨迹跟踪实现精密定位。
48.在上述实施例的基础上，所述装置还包括样本构建模块和训练模块，其中，样本构建模块用于通过sift算法，对每张样本视频图片的样本图片特征点进行特征提取标定，并获取所述样本图片特征点对应的特征描述符，构建得到训练样本集；训练模块用于将所述训练样本集输入到学习不变特征变换网络进行训练，得到训练好的图片特征提取模型。
49.在上述实施例的基础上，所述跟踪模块包括相机3d坐标计算单元、特征点3d坐标计算单元和第一处理单元，其中，相机3d坐标计算单元用于根据所述图片特征点和所述特征描述符，通过g2o算法，对胶囊胃镜位姿进行估计，得到第一3d位置坐标，所述第一3d位置坐标为胶囊胃镜的3d位置坐标；特征点3d坐标计算单元用于根据所述图片特征点的位置坐标和所述第一3d位置坐标，通过g2o算法，对所述图片特征点的3d位置坐标进行估计，得到第二3d位置坐标；第一处理单元用于根据所述第一3d位置坐标和所述第二3d位置坐标，通过orb slam3算法，对胶囊胃镜进行轨迹跟踪。
50.在上述实施例的基础上，所述装置还包括：匹配模块，用于通过gms算法，对所述图片特征点和所述特征描述符进行匹配，并将匹配后的图片特征点和特征描述符，用于胶囊胃镜的轨迹跟踪。
51.在上述实施例的基础上，所述装置还包括：图像优化模块，用于根据所述图片特征点和所述特征描述符，通过orb slam3算法对视频图片序列中每一帧图片进行重识别及回环检测，得到胶囊胃镜的轨迹跟踪结果。
52.本发明提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
53.图3为本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器（processor）301、通信接口（communicationsinterface）302、存储器（memory）303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行胶囊胃镜轨迹跟踪方法，该方法包括：获取胶囊胃镜拍摄到的视频图片序列；将所述视频图片序列中每一帧图片依次输入到训练好的图片特征提取模型中，得到每一帧图片的图片特征点和对应的特征描述符，其中，所述训练好的图片特征提取模型是由样本视频图片，对卷积神经网络进行训练得到的，所述样本视频图片上标记有样本图片特征点和所述样本图片特征点对应的样本特征描述符；根据所述图片特征点和所述特征描述符，通过orb slam3算法，对胶囊胃镜进行轨迹跟踪。
54.此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以
软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read
‑
onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。
55.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的胶囊胃镜轨迹跟踪方法，该方法包括：获取胶囊胃镜拍摄到的视频图片序列；将所述视频图片序列中每一帧图片依次输入到训练好的图片特征提取模型中，得到每一帧图片的图片特征点和对应的特征描述符，其中，所述训练好的图片特征提取模型是由样本视频图片，对卷积神经网络进行训练得到的，所述样本视频图片上标记有样本图片特征点和所述样本图片特征点对应的样本特征描述符；根据所述图片特征点和所述特征描述符，通过orb slam3算法，对胶囊胃镜进行轨迹跟踪。
56.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的胶囊胃镜轨迹跟踪方法，该方法包括：获取胶囊胃镜拍摄到的视频图片序列；将所述视频图片序列中每一帧图片依次输入到训练好的图片特征提取模型中，得到每一帧图片的图片特征点和对应的特征描述符，其中，所述训练好的图片特征提取模型是由样本视频图片，对卷积神经网络进行训练得到的，所述样本视频图片上标记有样本图片特征点和所述样本图片特征点对应的样本特征描述符；根据所述图片特征点和所述特征描述符，通过orb slam3算法，对胶囊胃镜进行轨迹跟踪。
57.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
58.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
59.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。