一种肺小结节的定位方法

1.本发明涉及一种肺小结节的定位方法，用于手术过程辅助对肺小结节进行定位。


背景技术：

2.肺癌是目前世界上发病率和死亡率最高的恶性肿瘤，严重威胁着人类的生命健康。中国是肺癌高发国家，发病率和死亡率均位居世界首位。近年来，尽管肺癌的诊治技术得到了长足的发展，但肺癌患者的总体生存率仍不容乐观。造成肺癌患者预后不良的主要原因是大多数患者在发现症状时已经到了晚期，因此肺癌的早期诊断和早期治疗是肺癌防治的核心环节。胸部低剂量螺旋ct筛查可发现肺小结节，降低20％的肺癌死亡率。
3.另一方面，随着胸外科技术的发展，电视辅助胸腔镜手术(video assisted thoracoscopic surgery,vats)，为肺小结节的诊断提供了全新的微创治疗方式。相比传统开胸手术，胸腔镜能减少患者术后痛苦，缩短住院时间，减少并发症。但胸腔镜手术对于部分肺小结节的处理能力非常有限，大多数直径＜1cm或者胸膜下深度超过5mm的小结节，术中难以通过视觉、手指触诊、强劲器械滑行进行定位，使得手术本身的操作时间延长，尤其是对于质地较软的纯磨玻璃样结节(ground-glass opacity，ggo)，更增加了手术难度。因此，准确的术前和术中结节定位的胸腔镜手术成功的关键。
4.现有的术前肺小结节定位的方法包括染色体染料定位、hook-wire等。其中，ct引导下的带钩金属针定位(hook-wire)是应用最早和最广泛的肺小结节定位方法。将前端带有钩状弯曲的细长金属针在ct引导下通过陶镇到达病灶周围，金属针前段钩状展开固定与结节周围，实现肺小结节的定位。但是，这一定位方法存在下述缺陷：(1)穿刺路径的选择受到胸廓骨性结构的阻挡，很难保证穿刺针能够完全垂直于胸膜表面，从而造成书中切除部位的偏差；(2)hook-wire置入体内后，由于肺组织的运动，存在脱落及移位的风险；(3)hook-wire为有创检查，并需要反复ct扫描确认位置，存在辐射暴露和穿刺并发症的风险；(4)穿刺针留置体内，引起患者的疼痛和不适。
5.为此，人们进行了不断的探索和改进，如申请号为“201910478535.2”、名称为“一种用于手术中肺结节的定位装置和方法”的中国发明专利申请公开了一种肺结节的定位方法，通过影像建模构建出肋骨模型和胸壁模型，并独立出肺内结节的位置，随后通过电脑建模并3d打印出一个条状条的定位装置，再将该定位装置置入胸腔内，通过该定位装置上的标记点在肺部对结节进行标记。上述定位方法可以较为精确地在肺表面对肺结节进行标记，在一定程度上解决了上述技术问题。但是，该方法必须依赖电脑建模并3d打印出一个条状条的定位装置，且需要在手术过程中将该定位装置嵌入受术者的胸腔内，过程繁琐、成本高，且增加了受术者感染的风险。此外，适用的条件受到一定的限制，比如，对位于靠近肺顶部和底部以及靠近心脏位置处的肺结节，由于位置关系，该方法难以适用。
6.为此，仍需要对肺小结节的定位方法进行进一步地改进。


技术实现要素：

7.本发明针对上述技术问题，提供一种肺小结节的定位方法，对肺小结节进行准确的定位，步骤简单易操作，安全，经济。
8.为此，本发明采用如下技术方案：
9.一种肺小结节的定位方法，其特征在于，包括如下步骤：
10.s0：确定肺小结节在肺内的位置：根据术前ct影像，确定肺小结节在肺内的具体位置；
11.s1：胸廓三维模型的建立：根据术前ct影像，通过计算机进行三维建模，构建出受术者的胸廓三维模型；
12.s2：标记胸壁上的虚拟穿刺定位点：在胸腔镜下，以胸腔镜下受术者胸廓内实时影像为基础，识别出受术者胸廓内解剖学标记，与步骤s1中形成的受术者的胸廓三维模型进行实时配准，确定肺小结节垂直于胸壁的投影点，该投影点即为胸壁上的虚拟穿刺定位点，标记该胸壁上的虚拟穿刺定位点p0；
13.s3：标记肺小结节在肺表面的位置：向肺内鼓入气体使肺复张，从胸壁上的虚拟穿刺定位点p0向肺表面进行垂直投影，该投影点即为肺小结节在肺表面上的虚拟穿刺定位点p1，标记该肺表面上的虚拟穿刺定位点p1。
14.进一步地，在步骤s1中，运用深度学习算法，搭建三维多目标检测网络，对胸部ct中的肋骨小头和肋骨进行精准检测，并构建胸廓三维模型。
15.进一步地，所述搭建三维多目标检测网络，具体包含下述步骤：
16.s1-1：首先通过3d卷积神经网络对三维ct图像进行关键点检测，实现三维ct图像中肋骨小头和肋骨的识别和定位；
17.s1-2：针对三维图像数据较大的特征，设置小窗口滑动进行特征提取，对肋骨小头和肋骨进行精细的特征提取；
18.s1-3：运用长短期记忆网络提取多个肋骨小头和肋骨之间的序列关系，实现肋骨小头和肋骨间的区分。
19.进一步地，在步骤s2中，所述的受术者胸廓内解剖学标记为胸壁骨性结构。
20.进一步地，在步骤s2中，所述的受术者胸廓内解剖学标记包括肋骨小头、肋骨。
21.进一步地，步骤s2具体包括下述步骤：
22.s2-1：运用深度学习算法分析胸腔镜手术中的胸腔镜视频，构建二维卷积神经网络对胸腔镜视频中每一帧图像进行特征提取；
23.s2-2：设计双向循环神经网络提取胸腔镜视频中的动态显著特征和时序关系；
24.s2-3：运用深度网络将视频中的图像特征和时序特征进行融合，实现肋骨小头和肋骨的实时定位；
25.s2-4：以胸腔镜视频中当前位置为参考点，依据三维模型计算肺小结节与胸腔镜镜头的方向、角度及距离，确定肺小结节在胸壁投影点，即胸壁上的虚拟穿刺定位点p0。
26.进一步地，在步骤s2和/或步骤s3中，通过电刀或者医用显色剂标记虚拟穿刺定位点。
27.进一步地，在步骤s3后还包括下述步骤：
28.s4：肺表面上的虚拟穿刺定位点p1的检验与校准：手术者根据传统定位方法，胸腔
镜直视下确定肺小结节的真实胸壁投影点p2，与步骤s3中确定的肺表面上的虚拟穿刺定位点p1进行比较，检验肺表面上的虚拟穿刺定位点p1的有效性，并校准模型。
29.本发明的肺小结节的定位方法，借助计算机辅助诊断技术，利用基于人工智能的计算机深度学习模型，实现对大量医学图像的学习并从中发现特有的信息，将ct三维重建图像和胸腔镜图像进行精准定位和实时配准，达到虚拟穿刺定位的效果，实现肺小结节的精准定位，为进一步的诊疗提供帮助。由于本发明的肺小结节的定位方法，实现了虚拟穿刺定位的效果，减少了对受术者的介入性或辐射性等对人体有害的定位步骤，可以减少定位后并发症，降低定位成本。
30.综上，与现有技术相比，本发明的优点主要体现在：
31.1)高效：医生对于术中肺小结节的定位主要依赖于胸腔镜直视或者手触，需要花费较多的时间，尤其是对于一些位置较深的结节，而训练好的深度学习模型能够在毫秒级的时间内给出结果，达到实时定位的效果；
32.2)精确：深度学习模型能够充分挖掘医学影像中深层语义信息和空间信息，学习到人眼无法捕获的特征信息，提供更精确的肺小结节位置信息；
33.3)全面：深度学习模型能够学习多种医学影像的特征并将多种特征信息进行融合，从而在肺小结节实时定位过程中能够提供更加全面的位置信息；
34.4)客观：训练好的深度学习模型在执行肺小结节实时检测任务时执行同一套算法，不会受到医生个人水平差异以及情绪、心态等主观因素影响。
35.5)动态：通过术前ct与胸腔镜视频相融合，可实现术中实时动态定位，有助于胸腔镜下精准切除。
36.6)安全：通过基于深度学习模型的计算机辅助诊断，可使得肺小结节定位实现无创化，使得患者免于经皮穿刺等有创操作，避免相关穿刺风险及大量的辐射暴露。
37.本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
38.图1为一个肺小结节在人体中的示意图；
39.图2为在人体横截面上、胸腔镜下肺小结节在人体中的示意图(肺处于塌陷状态)；
40.图3为鼓肺后，肺小结节与胸壁上的虚拟穿刺定位点p0、肺表面上的虚拟穿刺定位点p1之间的位置关系示意图；
41.图4为一个沿着时间展开的双向循环神经网络；
42.图5为一个标准循环神经网络中各模块的结构示意图
43.图6为lstm中各模块的及结构示意图
44.图中，100为肺小结节，200为胸壁，300为胸壁骨性结构。
具体实施方式
45.为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
46.实施例1：
47.如图1所示，以一个位于右肺中叶位置较深(胸膜下垂直距离超过5mm)的肺小结节100为例进行说明。该小结节位置较深，难以在术中难以通过视觉、手指触诊、强劲器械滑行进行定位，但可通过本发明提供的定位方法进行定位。具体步骤如下：
48.s0:确定肺小结节在肺内的位置：首先根据术前ct影像，确定肺小结节在肺内的具体位置，如：在横切面上位于第5肋骨高度，在矢状面上位于偏离中线10cm、距离前胸壁15cm处；
49.s1:胸廓三维模型的建立：根据术前ct影像，通过计算机进行三维建模，构建出受术者的胸廓三维模型；
50.本发明中，运用深度学习算法，搭建三维多目标检测网络，对胸部ct中的肋骨小头和肋骨进行精准检测，并构建胸廓三维模型。
51.为了实现胸部ct图像中肋骨小头和肋骨的检测，本技术采用三维多目标检测网络模型，分为三个阶段：首先通过3d卷积神经网络对三维ct图像进行关键点检测，实现三维ct图像中肋骨小头和肋骨的识别和定位。其次，针对三维图像数据较大的特征，设置小窗口滑动进行特征提取，对肋骨小头和肋骨进行精细的特征提取。最后，运用长短期记忆网络(long short-term memory,lstm)提取多个肋骨小头和肋骨之间的序列关系，解决多个肋骨小头和肋骨之间的区分问题。
52.阶段i：3d卷积神经网络模型的建立。ct数据是医学图像处理中一种非常重要的图像数据，在计算机辅助诊断技术发展的过程中，人们尝试运用多种方法对ct数据进行特征提取，来获得人们想要的信息。这些方法大体分为两类，一类是将ct数据处理成多个片层，运用二维卷积神经网络进行特征提取。这样的方法能够充分获得每个片层上数据的语义信息，但是对于三维空间信息会有较大的损失。另一类方法是直接运用三维卷积神经网络，将ct数据作为一个整体输入其中，进行特征提取和学习。这样的方法虽然能更大程度上提取整个ct数据中的空间信息，但是由于三维卷积神经网络对于内存消耗较大，会造成很高的时间和空间负担，因此通常情况下使用三维卷积神经网络时对语音信息的提取会比较粗糙。
53.本技术采用三维卷积神经网络首先对ct数据进行关键点的检测，一方面，这一过程只是需要网络实现对于肋骨小头和肋骨关键部位的粗略检测即可，对于ct数据详细的语义信息并没有很高的要求。另一方面，肋骨小头和肋骨的固定顺序提供了重要的上下文信息，为肋骨小头和肋骨的检测和定位提供了一定的校准依据，运用三维卷积神经网络能够更大程度地提取三维ct数据中的空间信息。通过多个卷积层、池化层和全连接层实现三维ct图像作为输入，预测肋骨小头和肋骨可能存在的位置。对于每个卷积层的输入进行填充以保证卷积层的输出具有相同大小的尺寸，而池化层不进行任何的填充，从而实现对于具有稠密特征的输入减小尺寸。
54.阶段ii：对于三维ct图像，设置滑动窗口对图像进行扫描，设置全卷积神经网络对图像进行更精细的特征提取。全卷积神经网络能够对图像进行像素级的分类从而高效地解决ct图像中肋骨小头和肋骨的精确检测及定位，只包含卷积层和池化层，并且池化层和卷积操作都是运用滑动窗口进行计算，所以全卷积神经网络能够通过更加高效的池化和卷积操作进行特征提取。全卷积神经网络是通过卷积神经网络变化而来的，与经典的卷积神经网络在卷积层之后使用全连接层得到固定长度的特征向量进行分类的操作不同，全卷积神
经网络可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复到与输入图像相同的尺寸，从而对每一个像素都产生一个预测，同时也保留了原始输入图像中的空间信息。最后在上述采样的特征图进行逐像素的分类，从而实现对于ct图像中肋骨小头和肋骨的精确检测及定位。
55.阶段iii：运用长短期记忆网络结构提取多个肋骨小头和肋骨的序列信息，进行肋骨小头和肋骨间的区分。长短期记忆网络是针对时序性依赖关系而提出的一种变体的循环神经网络模型。所有的循环神经网络都具有一种重复神经网络模块的链式结构，在标准的循环神经网络模型中，这种重复的结构模块只有一个非常简单的结构，例如只有一个tanh层，如图5所示，图5示出了一个标准循环神经网络中各模块的结构示意图。
56.而lstm同样具有这样的结构，但是重复的模块拥有一个不同的结构。不同于单一的神经网络层，这里包含四个层，并且以一种特殊的方式进行交互。如图6所示，图6示出了lstm中各模块的及结构示意图。其中每一条黑线都传输一整个向量，从一个节点的输出到其他节点的输入，第二个方框内的圆圈表示pointwise的操作，诸如向量的和，第二个方框内的矩形表示学习到的神经网络层。合并的线条表示向量的连接，分开的线条表示内容被复制并分别流向不同位置。
57.s2:标记虚拟穿刺定位点：在胸腔镜下，以胸腔镜下受术者胸廓内实时影像为基础，识别出受术者胸廓内解剖学标记，与步骤s1中形成的受术者的胸廓三维模型进行实时配准，确定肺小结节垂直于胸壁200的投影点，该投影点即为虚拟穿刺定位点，标记该胸壁上的虚拟穿刺定位点p0，如图2所示；可以通过电刀或者医用显色剂标记虚拟穿刺定位点；在本实施例中，通过医用显色剂标记虚拟穿刺定位点；
58.受术者胸廓内解剖学标记可以为肋骨小头、肋骨等胸壁骨性结构300；
59.在胸腔镜操作过程中，受术者相应的肺部处于瘪下去的状态，如对左肺进行胸腔镜操作，则左肺处于瘪下去的状态，右肺形态正常，如图2所示。
60.标记虚拟穿刺定位点，具体可以包括如下步骤：
61.s2-1：运用深度学习算法分析胸腔镜手术中的胸腔镜视频，构建二维卷积神经网络对胸腔镜视频中每一帧图像进行特征提取。
62.胸腔镜视频中二维特征提取具体可以通过构建二维卷积神经网络对胸腔镜中每一帧图像进行特征提取，在胸腔镜每一帧图像中精确定位肋骨小头和肋骨。在设计卷积神经网络进行实现的过程中，感受野对性能的表现尤为重要。为了增大感受野，现有技术中，有些采用空洞空间金字塔池化(atrous spatial pyramid pooling,aspp)或者更大的卷积核，但是这些操作比较耗费计算和内存，对于实时检测任务来说，时间成本会很大。本技术采用轻量级的模型和全局平均池化来兼顾较高的检测准确率、较大的感受野和较短的检测时间。运用xception轻量级网络结构，快速地采样特征图以获得较大的感受野，编码高层语义信息。在轻量级模型末端加入一个全局平均值化，通过全局语义信息提供一个最大的感受野。
63.s2-2：设计双向循环神经网络提取胸腔镜视频中的动态显著特征和时序关系；
64.双向循环神经网络提取胸腔镜视频中的动态显著特征和时序关系，具体可以为：针对胸腔镜视频中的视频数据的特征构建双向循环神经网络，学习视频中时序信息。从多层感知机(multi-layer perception,mlp)到循环神经网络(recurrent neural network,
rnn)的发展对序列的学习具有深远的影响。在传统的神经网络模型中，层与层之间是全连接的，每层之间的节点是无连接的，但是这种普通神经网络无法学习视频中存在的连续信息之间的关系。循环神经网络会对前面的信息进行记忆，并保存在网络的内部状态中，并应用与当前输出的计算中，即隐含层之间的节点不再无连接而是有连接的，并且隐含层的输入不仅包含输入层的输出还包含上一刻隐含层的输出。双向循环神经网络(bi-lstm)中每一个训练序列向前和向后分别是两个循环神经网络，而且这两个循环神经网络连接着同一个输出层。图4示出了一个沿着时间展开的双向循环神经网络。
65.s2-3：运用深度网络将视频中的图像特征和时序特征进行融合，实现肋骨小头和肋骨的实时定位；
66.运用深度网络将视频中的图像特征和时序特征进行融合。此处的深度网络并不是网络层数较多的网络，而是一种用来融合图像深度信息的网络。设计encoder-decoder的网络结构融合二维检测网络提取的关键特征和双向循环神经网络提取的时序特征，同时依据胸腔镜内画面的移动实现视频中多个肋骨小头和肋骨之间的多目标深度估计。为了保证整个视频检测过程的实时性，深度网络在encoder和decoder阶段分别设置少量卷积层和反卷积层，并且在encoder和decoder之间建立跳跃结构(skip-connection)来保留特征图中每个像素点的位置信息。
67.s2-4：以胸腔镜视频中当前位置为参考点，依据三维模型计算肺小结节与胸腔镜镜头的方向、角度及距离，确定肺小结节在胸壁投影点，即胸壁上的虚拟穿刺定位点p0。
68.s3：标记肺小结节在肺表面的位置：向肺内鼓入气体使肺复张，从胸壁上的虚拟穿刺定位点p0向肺表面进行垂直投影，该投影点即为肺小结节在肺表面上的穿刺定位点，标记该肺表面上的虚拟穿刺定位点p1，如图3所示；同样地，可以通过电刀或者医用显色剂标记虚拟穿刺定位点；在本实施例中，通过医用显色剂标记该肺表面上的虚拟穿刺定位点p1。
69.本发明利用深度学习方法,将胸腔镜中实时检测到的肋骨小头和肋骨与胸部ct中肋骨小头和肋骨的测量结果进行实时配准。医学图像配准是计算机辅助诊断技术中一种常用的技术手段，即寻找一种空间变换，使得两幅或者多幅图像的对应点达到空间位置和解剖位置的完全一致，配准的效果应该是两种图像数据中所有的解剖点，或至少具有诊断意义的点都能达到匹配。传统的医学图像配准主要分为有监督和无监督配准两大类，通常包括图像预处理、空间变换、图像插值、相似性测度、参数优化和配准效果评价几个步骤。上述方法的配准结果较为准确，但是过程较为繁琐、时间成本高。
70.本发明利用深度学习方法，设计神经网络模型进行图像配准，在保证精度的同时，让配准速度更快。本发明中所涉及的配准图像是两种不同格式的图像数据，并且来自不同的机器，具有不同的空间取向，各个体素之间的计算会比较复杂。因此，卷积神经网络模型首先通过学习大量的配准数据，从中获得图像配准和像素匹配过程中最优的匹配参数。在实际应用中，算法使用训练后的参数将ct图像中所有像素同时映射到胸腔镜数据中。随后，通过空间变换的修正计算模块捕捉胸部ct和胸腔镜视频中当前时刻对应体素之间的相似性。由于卷积神经网络在训练过程中已经提取了大量的关键信息，因此在每一个配准过程中都可以通过简单的可计算函数进行后续的配准、位置映射等任务。
71.本发明通过卷积神经网络模型进行配准的方法，一方面保证了配准的平滑性，不会在合成图像中产生褶皱、孔洞或者扭曲现象，同时这种无监督学习方法不需要超出图像
数据的额外信息，保证了整个配准过程的精确、高效。
72.本发明中，由于胸腔镜视频中包含有大量患者解剖结构信息，由于呼吸运动的存在，肺组织具有较大的活动度，而胸壁结构相对较为固定，因此，肋骨小头和肋骨等胸壁骨性结构可作为定位的有效参考点。通过卷积神经网络提取胸腔镜视频中各个帧的关键特征，实时定位形态和位置较为固定的肋骨小头和肋骨，进而完成肺小结节的定位。
73.在电视辅助胸腔镜手术中，通过深度学习算法分析胸腔镜视频，利用卷积神经网络提取视频中各个帧的关键特征，实现其中肋骨小头和肋骨的实时定位，从而帮助医生精准定位肺部结节。
74.实施例2：
75.本实施例与实施例1的不同之处在于：
76.在实施例1的基础上，对经过s3确认的肺表面上的虚拟穿刺定位点p1进行检验与校准，手术者根据传统定位方法，胸腔镜直视下确定肺小结节的真实胸壁投影点p2，与步骤s3中确定的肺表面上的虚拟穿刺定位点p1进行比较，检验肺表面上的虚拟穿刺定位点p1的有效性，并校准模型。
77.传统定位方法包括通过手术者的视觉、触觉等方式对肺小结节进行定位。
78.上述检验与校准适用于结节距离肺表面的位置较近的情形，当结节距离肺表面较远或由于解剖学原因难根据传统定位方法进行定位时，则不能进行该检验与校准。