基于视频时间序列的导丝分割方法、装置及可读介质与流程

1.本发明涉及计算机图像领域，具体涉及了一种基于视频时间序列的导丝分割方法、装置及可读介质。


背景技术：

2.计算机技术的发展促进了机器人介入系统的发展。近些年来，心血管机器人介入系统作为机器人介入系统领域的研究热点，受到国内外学者的广泛关注。导丝的分割是心血管机器人介入系统中的关键步骤，因此实现导丝的准确分割对于一个心血管机器人介入系统来说至关重要。
3.导丝分割是一个很有挑战性的任务，主要有以下几个原因：
4.(1)导丝像素与背景像素的低比率造成的极端的前景-背景类不平衡；
5.(2)导丝序列中椎骨、骨盆等线状结构的存在，加大了导丝分割中误分割的发生概率；
6.(3)x线图像信噪比低，背景噪声对导管的分割有很大的干扰。
7.为了实现导丝的分割，到目前为止已经有很多相关算法被提出。其中传统的导丝分割方法主要是利用曲线拟合，但是这种方法在复杂的背景下通常得不到理想的分割结果。目前，随着计算机性能和深度学习技术的快速发展，许多基于深度学习的导丝分割方法被提出，基于深度学习的方法首先采用带标签的导丝数据来训练导丝分割模型，再利用训练好的模型来对导丝序列进行分割。目前提出的导丝分割模型主要是基于单帧的导丝信息，并没有很好的利用导丝序列中的时序信息。导丝序列中的时序信息能够帮助模型更好的识别导丝信息，从而实现更准确的导丝分割。


技术实现要素：

8.本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种基于视频时间序列的导丝分割方法、装置及可读介质，实现了更准确的导丝分割。
9.本发明的技术方案包括一种基于视频时间序列的导丝分割方法，其特征在于，包括：获取具有时间序列图像的不同时间步的图像帧；将不同时间步的所述图像帧分别进行特征提取，并融合所述特征；通过融合的所述特征确定所述图像帧的时序信息，并生成第一特征图；对所述第一特征图执行上采样处理，进而将上一步骤不同深度的信息进行融合，得到第二特征图；对所述第二特征图执行激活处理，得到分割结果。
10.根据所述的基于视频时间序列的导丝分割方法，其中获取具有时间序列图像的不同时间步的图像帧为图像的当前帧和前一帧。
11.根据所述的基于视频时间序列的导丝分割方法，其中将不同时间步的所述图像帧分别进行特征提取，并融合所述特征包括：两个图像经过参数共享的孪生网络进行特征提取，并将前一帧的特征和当前帧的特征融合，通过神经网络学习导丝的运动信息。
12.根据所述的基于视频时间序列的导丝分割方法，其中通过融合的所述特征确定所
述图像帧的时序信息，并生成第一特征图包括：通过参数共享的所述孪生网络的rcnn模块及ir模块将不同时间步的特征进行融合，得到图像的特征信息，所述rcnn模块及所述ir模块分别对应不同时间序列的图像帧。
13.根据所述的基于视频时间序列的导丝分割方法，其中对所述第一特征图执行上采样处理，进而将上一步骤不同深度的信息进行融合，得到第二特征图包括：通过上采样方式对所述rcnn模块及所述ir模块的深层信息及浅层信息通过跳跃连接方式自顶向下的方式进行融合，对图像的语义及纹理进行学习。
14.根据所述的基于视频时间序列的导丝分割方法，其中上采样方式通过卷积模块及转置卷积模块实现。
15.根据所述的基于视频时间序列的导丝分割方法，其中通过上采样方式对所述rcnn模块及所述ir模块的深层信息及浅层信息通过跳跃连接方式自顶向下的方式进行融合包括：将所述上采样方式得到深层网络信息与第一特征图的浅层网络信息进行融合，进而将融合的通过所述rcnn模块及所述ir模块进行卷积处理，循环此步骤直至收敛，得到所述第二特征图，并对所述第二特征图通过1x1的卷积核进行处理，进而通过sigmoid激活层的处理，得到最终的分割结果。
16.本发明的技术方案还包括一种基于视频时间序列的导丝分割装置，该装置包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现任一所述的方法步骤。
17.本发明的技术方案还包括一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现任一所述的方法步骤。
18.本发明的有益效果为：实现了导丝分割网络的运行速度的同时确保导丝分割的准确度。
附图说明
19.下面结合附图和实施例对本发明进一步地说明；
20.图1所示为根据本发明实施方式的流程图。
21.图2所示为根据本发明实施方式的视频时间序列的导丝分割学习网络框图。
22.图3a，3b，3c所示为根据本发明实施方式的ir模块、rsnn模块及上采样模块。
23.图4所示为根据本发明实施方式的装置图。
具体实施方式
24.本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
25.在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
26.在本发明的描述中，对方法步骤的连续标号是为了方便审查和理解，结合本发明的整体技术方案以及各个步骤之间的逻辑关系，调整步骤之间的实施顺序并不会影响本发明技术方案所达到的技术效果。
27.本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
28.图1所示为根据本发明实施方式的流程图。该流程包括：获取具有时间序列图像的不同时间步的图像帧；将不同时间步的图像帧分别进行特征提取，并融合特征；通过融合的特征确定图像帧的时序信息，并生成第一特征图；对第一特征图执行上采样处理，进而将上一步骤不同深度的信息进行融合，得到第二特征图；对第二特征图执行激活处理，得到分割结果。
29.图2所示为根据本发明实施方式的视频时间序列的导丝分割学习网络框图。该网络结合了recurrent convolutional neural networks(rcnn)和inverted residual(ir)模块，rcnn模块通过将不同时间步的特征进行融合能够更好地学习到图像的特征信息。ir模块源自于mobilenetv2，该模块能够减少网络的模型参数，从而提高网络的运行速度。该网络通过将这两个模块融合，从而实现在提高运行速度的同时确保导丝分割的准确度。
30.为了捕获时序信息，本方法将序列图像的当前帧和前一帧输入到网络，两个图像经过参数共享的孪生网络提取特征，并将前一帧的特征和当前帧的特征融合，帮助网络学习导丝的运动信息。方法的流程如图2所示，模型主要由编码-解码两个阶段构成，其中编码部分主要由rcnn(图3b)和ir模块(图3a)构成,分别用实框和中虚框表示这两个模块。解码部分主要由上采样模块和rcnn模块组成，分别用短虚框和长虚框来表示这两个模块。
31.编码器主要由rcnn和ir模块构成的二分支网络，为了能够利用图像序列中的时序信息，这两个分支分别以当前帧和当前帧的前一帧为输入，我们的编码器提取当前帧和前一帧的特征图，然后通过融合当前帧和前一帧的特征图来帮助网络获取时序信息。如图2所示，我们分别将当前帧和前一帧对应的特征图采用求和的方式进行融合，最后生成了四幅融合后的特征图。
32.解码器主要由上采样模块和rcnn模块组成，参考图3c，其中上采样模块由卷积(卷积核1
×
1)，转置卷积(卷积核4
×
4)和卷积(卷积核1
×
1)构成。编码器生成融合后的特征图输入到上采样模块后，为了更好的学习图像的的特征，我们采用skip connection将网络浅层的信息和深层的信息进行融合，从而使得网络能够在学习到图像语义信息的同时提取到图像的纹理结构等细节信息。最后将skip connection后的特征输送到rcnn模块进一步学习图像的信息，我们的解码器以自顶向下的方式不断地与编码阶段的生成的浅层特征进行融合后输入rcnn，最后生成通道为64的特征图，然后用1
×
1的卷积核来处理该特征图，改变特征图的通道数后再经过一个sigmoid激活层的处理，得到最终的分割结果。
33.图4所示为根据本发明实施方式的装置图。装置包括存储器100及处理器200，其中处理器200存储有计算机程序，计算机程序用于执行：获取具有时间序列图像的不同时间步的图像帧；将不同时间步的图像帧分别进行特征提取，并融合特征；通过融合的特征确定图像帧的时序信息，并生成第一特征图；对第一特征图执行上采样处理，进而将上一步骤不同深度的信息进行融合，得到第二特征图；对第二特征图执行激活处理，得到分割结果。
34.应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编
译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
35.此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
36.进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
37.计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如消费者。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括消费者上产生的物理和有形对象的特定视觉描绘。
38.上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。