一种对内窥镜视频流进行处理的方法、装置及系统

本公开涉及医学图像处理，具体涉及一种对内窥镜视频流进行处理的方法、装置及系统。

背景技术：

1、腹腔镜胰十二指肠切除术（lpd）是肝胰胆管（hpb）外科领域中极具挑战性的手术之一。在该手术中，外科医生需要在有限的腹腔镜视野下，精确解剖和保护胃十二指肠动脉（gda）、胃结肠干（gct，又称henle干）等复杂的血管结构，以避免术中误伤导致严重并发症。

2、现有研究表明，超过50%的腹腔镜术后并发症源于人为操作错误，其中接近19%与解剖结构识别错误有关。在目前的临床实践中，外科医生主要依赖术前影像资料（如ct、mri）构建的静态三维模型或术中超声进行血管定位。然而，上述方式存在以下技术缺陷：

3、第一，术前三维重建和术中超声检查增加了患者的经济负担，且术前影像无法反映术中因组织牵拉、体位变化导致的血管位置偏移；

4、第二，腹腔镜手术缺乏触觉反馈，且传统显示器仅能提供二维平面图像，医生难以在手术中实时获取精确的空间深度信息，对解剖结构的判断高度依赖于手术经验；

5、第三，现有深度学习技术已尝试应用于腹腔镜下的解剖结构识别。然而，上述研究多集中于结直肠、输尿管、胆囊及手术器械等结构，对于腹腔血管的语义分割研究尚处于初级阶段。

技术实现思路

1、为了解决相关技术中的问题，本公开实施例提供一种对内窥镜视频流进行处理的方法、装置及系统。

2、第一方面，本公开实施例提供一种对内窥镜视频流进行处理的方法，包括：

3、将内窥镜成像过程中采集的视频帧输入编码-解码结构的分割网络，通过嵌入于所述分割网络的编码-解码路径中的双重注意力特征重加权机制，沿通道维度和空间维度对中间特征图执行自适应权重分配，以生成语义分割结果；

4、从所述语义分割结果中并行获取携带类型标识的管状结构语义掩膜，所述类型标识用于区分第一类管状结构和第二类管状结构；

5、基于所述语义掩膜生成具有视差的立体显示信号。

6、可选地，所述双重注意力特征重加权机制包括级联的通道注意力特征重加权和空间注意力特征重加权，所述通道注意力特征重加权沿通道维度对中间特征图执行自适应权重分配，所述空间注意力特征重加权在所述通道注意力特征重加权之后沿空间维度对特征图执行自适应权重分配。

7、可选地，所述通道注意力特征重加权包括：

8、对输入特征图分别执行自适应平均池化操作和自适应最大池化操作，得到第一通道描述符和第二通道描述符；

9、将所述第一通道描述符和所述第二通道描述符分别输入共享多层感知器，所述共享多层感知器包含降维层和升维层，所述降维层将通道维度压缩至原维度的预设比例，所述升维层将通道维度恢复至原维度；

10、将所述共享多层感知器输出的两组结果逐元素相加后经激活函数处理，生成通道注意力权重；

11、将所述通道注意力权重与所述输入特征图逐通道相乘，得到通道重加权特征图；

12、所述空间注意力特征重加权包括：

13、对所述通道重加权特征图沿通道维度分别执行通道级平均池化操作和通道级最大池化操作，得到第一空间描述符和第二空间描述符；

14、将所述第一空间描述符和所述第二空间描述符沿通道维度拼接，生成空间特征描述符；

15、对所述空间特征描述符执行卷积运算，经激活函数处理后生成空间注意力权重图；

16、将所述空间注意力权重图与所述输入特征图逐空间位置相乘，得到双重注意力重加权特征图。

17、可选地，所述第一类管状结构为动脉血管，所述第二类管状结构为静脉血管，所述分割网络通过多通道输出层并行输出与各类型对应的概率图，各概率图指示对应类型的管状结构在所述视频帧中各像素位置的存在概率。

18、可选地，所述分割网络基于经标注的训练数据集训练而成，所述训练数据集包含多帧内窥镜样本图像，各样本图像中标注有管状结构的分段分类信息，所述分段分类信息包括：

19、仅包含动脉血管的管状结构区段，标注为第一类别；

20、仅包含静脉血管的管状结构区段，标注为第二类别；

21、同时包含动脉血管和静脉血管的管状结构区段，标注为第三类别；

22、所述分割网络在训练过程中基于包含所述第一类别、第二类别和第三类别标注的样本图像进行多任务学习，以同时具备对动脉血管和静脉血管的区分能力。

23、可选地，所述基于所述语义掩膜生成具有视差的立体显示信号，包括：

24、将所述语义掩膜叠加至所述视频帧，生成增强视频帧；

25、基于所述增强视频帧生成左眼视图和右眼视图，所述左眼视图和右眼视图之间具有视差。

26、可选地，所述左眼视图和右眼视图以左右并排格式编码为单帧输出图像，所述单帧输出图像的左半部分承载所述左眼视图，右半部分承载所述右眼视图；

27、将所述单帧输出图像传输至偏振立体显示终端，所述偏振立体显示终端通过表面偏振层将所述左半部分和右半部分分别转换为左旋圆偏振光信号和右旋圆偏振光信号；

28、操作者佩戴左眼和右眼分别配置有对应旋向偏振片的偏振眼镜，使左眼接收所述左旋圆偏振光信号、右眼接收所述右旋圆偏振光信号，基于双目视差原理在视觉皮层合成具有深度感的立体手术视野。

29、可选地，在将所述视频帧输入所述分割网络之前，还包括对所述视频帧执行数据增强处理，所述数据增强处理包括光度畸变、色彩空间增强、通道翻转、马赛克增强和混合增强中的至少一种。

30、第二方面，本公开实施例提供一种对内窥镜视频流进行处理的装置，包括：

31、编码-解码处理单元，配置为对内窥镜成像过程中采集的视频帧执行语义分割，所述编码-解码处理单元的编码-解码路径中嵌入有双重注意力特征重加权模块，所述双重注意力特征重加权模块沿通道维度和空间维度对中间特征图执行自适应权重分配；

32、多类型分割输出单元，配置为并行输出携带类型标识的管状结构语义掩膜，所述类型标识至少区分第一类管状结构和第二类管状结构；

33、立体显示信号生成单元，配置为基于所述语义掩膜生成具有视差的立体显示信号。

34、第三方面，本公开实施例提供一种内窥镜手术实时导航系统，包括：

35、内窥镜图像采集单元，配置为采集手术视野的视频帧；

36、如第二方面所述的对内窥镜视频流进行处理的装置；

37、立体显示终端，配置为接收所述处理装置输出的立体显示信号，并向操作者呈现叠加有管状结构分割结果的立体手术视野。

38、本公开实施例提供的技术方案可以包括以下有益效果：

39、本公开实施例通过编码-解码结构的分割网络并行输出多类管状结构的语义掩膜，实现了对内窥镜图像中动脉和静脉的同步分割与精准区分。实验结果表明，在lpd手术血管分割任务中，本公开实施例的方案在包含798张测试图像的测试集上，动脉与静脉联合分割的dice系数达到0.917，平均交并比（miou）达到0.848。

40、本公开实施例通过在解码器的每一级中嵌入双重注意力特征重加权机制（包含通道注意力和空间注意力），使得网络能够自适应地过滤结缔组织、脂肪等背景噪声，在低对比度场景下精准捕捉血管边缘，并通过多样化的数据增强策略模拟腹腔内各种干扰环境，极大增强了模型在遮挡、光照变化、解剖变异等复杂条件下的稳定性和识别精度。

41、本公开实施例分割网络模型运行速度达到30帧/秒，端到端处理延迟小于50毫秒，远低于人类视觉感知的无缝延迟门槛（100毫秒），真正满足了术中实时导航的临床需求。

42、本公开实施例将ai语义分割结果与偏振光成像技术相结合，通过左右并排（side-by-side, sbs）格式编码和偏振立体显示终端输出，使术者通过佩戴偏振眼镜即可获得具备真实纵深感的立体手术视野，解决了传统2d腹腔镜缺乏空间深度信息的核心痛点，显著降低了对医生手术经验的依赖。

43、本公开实施例直接从内窥镜视频流中实时提取血管信息并生成三维导航信号，无需术前三维重建或术中超声等昂贵辅助检查，切实减轻了患者的围术期经济负担。

44、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。