基于光学相干断层成像的血流储备分数预测方法、装置及计算机存储介质与流程

1.本发明属于医疗技术领域，具体涉及一种光学相干断层扫描成像的血流储备分数的预测方法及装置。


背景技术：

2.光学相干断层扫描成像(optical coherence tomography，oct)，是一种腔内影像的成像技术，该技术利用弱相干光干涉仪的基本原理，通过记录不同深度的生物组织的反射光然后计算机重构反射光信号，形成能被简单识别的生物组织结构图像。成像快、分辨率高、准确识别斑块以及支架植入效果评价精确都让oct逐渐成为冠心病诊断和pci介入治疗中重要的影像技术。相比于血管内超声影像(intravascular ultrasound,ivus)，oct影像的分辨率高达10～20μm(ivus分辨率约为100μm)，不仅可以准确分辨出解剖学狭窄程度，而且可以看清血管壁内斑块的类别与形状，从而可以更加精准的评估病变。
3.血流储备分数(fractional flow reserve,ffr)是指冠状动脉在发生病变时为所供应的心肌区域提供的最大血流量和理论上未发生病变对该区域提供的最大血流量之比。长期的科学研究和临床试验表明，ffr可作为冠状动脉狭窄功能性评价的“金标准”，ffr可以准确判断冠脉狭窄病变与心肌缺血的关系，正确指导冠脉介入治疗，评价冠脉介入治疗的结果和预后。通常认为病变血管ffr值低于0.75时需要进行介入治疗，但ffr测量存在以下缺陷，如为使患者血管达到最大充血状态，需要注射腺苷，这对于如肾功能有缺失的患者、对注射药物有不适反应的患者，则无法进行测量，患者的健康得不到保障。而且，插入压力导丝的所需要的反应时间较长，会使患者较为痛苦；同时，压力导丝体内检测造价普遍较高，医疗花费较大。故现在ffr检测普遍率较低。
4.为了解决上述检测血流储备分数方法需要配合采用三磷酸腺苷等血管扩张药物诱导最大充血反应，对于不适用相关药物的患者无法进行检测，不能保障患者的健康，属于有创操作，而且由于测量插入压力导丝，不仅医生操作麻烦，而且时间较长，患者比较痛苦，每次压力导丝的费用需要人民币1万元左右，费用较高。随着技术的发展，许多研究者开发出一些影像学手段辅助计算ffr，杭州脉流公司提出的基于腔内影像计算血流储备分数的方法就是其中的代表。
5.cn111134651，公开日期：2020-05-12，阐述了一种基于腔内影像计算血流储备分数的方法、装置、系统和计算机存储介质，其中获取血流储备分数的方法，包括步骤s1，获取与冠状动脉血管相关的影像数据，通过对影像数据的处理构建相应的三维血管模型；其中与冠状动脉血管相关的影像数据包括：腔内影像数据以及冠脉造影影像数据；步骤s2，根据所述三维血管模型以及流体动力学方法计算血液流动方程，以获得三维血管模型所表达区域的冠状动脉的血液动力学参数分布；步骤s3，根据步骤s2获取的血液动力学参数，计算得到所述血流储备分数，可精确计算获取患者冠状动脉ffr。
6.然而，在现实实践过程中，运用现有技术计算血流储备分数，虽然其有效识别了管
腔面积，但是在选择参考帧(正常/健康管腔)通常需要手动进行选择，不仅需要花费更多的时间，也需要医生具有比较丰富的临床经验，而且容易引入主观误差，从而降低ffr的预测精度。


技术实现要素：

7.本发明所要解决的技术问题在于，通过建立多任务学习模型，采用端到端的网络结构同时识别出oct影像中的管腔和分叉；同时，考虑到管腔、分叉具有一定的结构特性和空间位置关系，构建基于空间结构约束的多任务学习模型，实现管腔、分叉的精准识别，同时解决传统网络模型中存在的结构信息缺失、类别不平衡等问题，提高模型的泛化能力；为了实现参考帧的自动选择，同时解决oct健康血管和非健康血管在视觉上的相似性问题，提出了基于三元组损失的oct健康血管分类网络；然后利用流体动力学程式，结合管腔轮廓面积、分叉和参考帧，提出构建基于多参数的ffr预测技术，精准测算ffr。
8.为了实现上述技术任务，本发明采用如下技术方案予以实现：
9.基于光学相干断层扫描影像的血流储备分数预测装置，包括探头接口模块、显示模块，还包括探测模块、信号处理模块和数据计算模块，所述的探测模块、探头接口模块、信号处理模块、数据计算模块和显示模块依次相连；
10.探头接口模块，用于光信号发射和接收，并联动探测模块进行回撤；
11.探测模块，包含导管1、弹性构件2、光纤3、探头4、导丝5、透明外管套6、冲洗液出口7，用于传输探头接口模块发射的光信号，并将从组织返回的光信号再传回到探头接口模块，上述信号通过探头接口模块发送给信号处理模块，主要用于传输探头接口模块发射的光信号，并将从组织返回的光信号再传回到探头接口模块，上述信号通过探头接口模块发送给信号处理模块。
12.信号处理模块，用于将探头接口模块输入的光信号转换成为图像信息；并且对图像信息进行数据校准、图像增强；
13.数据采集单元，将在同一时间从组织中反射回来的光信号与参照反光镜反射回来的光信号相叠加、干涉，产生的干涉信号被光电探测器探测，经探测器把干涉后的光信号转换成电信号，从而实现数据的采集。由于探测器输出的电信号比较微弱，因此需要信号放大器进行放大，并将放大后的电信号发送给数据处理单元；
14.数据处理单元，对数据采集单元输入的电信号进行信号转换，得到图像信息，并对图像信息进行数据校准、图像增强；
15.数据计算模块，基于oct影像及多任务学习机制，构建联合管腔、分叉识别框架，通过对探测模块输入的信号进行处理，得到血管管腔边缘、形态、结构空间信息，获取血管管腔边界，计算血管管腔面积，得到分叉位置；
16.通过对数据处理单元输入的图像进行处理，构建基于三元组的健康血管识别模型，通过增加类间的差异性及类内的相似性，识别出回拉oct图像中的健康血管，并结合管腔面积及分叉位置，选出参考帧；
17.进一步利用流体动力学模型，结合血管管腔面积、参考帧面积，计算出血管内的血流量、流阻，结合实际测量的收缩压和舒张压数据，得到血管内ffr值，从而实现ffr的全自动计算；
18.显示模块，用于将数据计算模块得到的处理结果呈现在显示器上。
19.本发明还公开了一种基于光学相干断层扫描影像的血流储备分数预测方法，该方法包括如下步骤：
20.步骤1，近红外光从组织返回来的光信号与参照反光镜反射回来的光信号相叠加、干涉，产生的干涉信号被光电探测器探测，经探测器把干涉后的光信号转换成电信号，由于探测器输出的电信号比较微弱，因此需要信号放大器进行放大，并将放大后的电信号发送给信号处理模块完成信号数据采集；
21.步骤2，将采集信号数据进行信号转换、图像校准、图像增强，完成图像数据采集；
22.步骤3，构建管腔、分叉的识别多任务学习模型；
23.步骤4，建立管腔、分叉的轮廓先验约束条件；
24.步骤5，结合步骤4轮廓先验约束条件，执行管腔和分叉的识别多任务学习模型学习任务，得到血管管腔边缘、形态、结构空间信息，计算血管管腔面积,得到分叉位置；
25.步骤6，构建基于三元组的健康血管识别模型，通过增加类间的差异性及类内的相似性，识别出回拉oct图像中的健康血管，并结合管腔面积及分叉位置，选出参考帧；
26.步骤7，利用流体动力学程式，结合血管管腔面积、参考帧面积，构建全自动ffr预测模型，计算得到血管内ffr值。
27.本发明还可以应用制成任意一种计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明总体基于光学相干断层扫描影像的血流储备分数预测方法。
28.本发明与现有技术相比，具有以下积极有益效果
29.(1)光学相干断层扫描技术具有分辨率高的显著特点，相较于传统的血管造影成像技术，其分辨率可达几微米，分辨效果接近组织病理切片水平，并且对组织无任何损害，利用oct-ffr为ffr预测采集必要的血管内特征数据，其预测的ffr值更精准，具有更高的临床诊疗参考意义。
30.(2)利用参考帧自动识别技术，从而实现全自动oct-ffr技术，减少诊断时间，降低医生主观差异性对ffr计算的影像，对初级医生也可以进行有效的辅助诊断。
31.(3)将oct与ffr进行结合，oct图像中可以获得更加准确的患者特异性的冠脉图像，使虚拟ffr预测结果更可靠准确，不仅可以对心肌血管的狭窄程度进行影像学的评价，而且可以分析狭窄对远端血流产生的影响，对冠状动脉狭窄病变进行功能性的评价。oct-ffr较常规ffr更准确详细，不仅可实现病变血管的ffr值预测,也可通过血管内三维成像精确评估冠状动脉粥样硬化斑块，为医生提供更全面的病变血管信息，从而为制定、选择个性化的治疗方案提供更多的理论参考。
32.(4)基于血管内光学相干断层扫描影像的血流储备分数的预测，属于无创技术，相较于传统的压力导丝测量ffr，无需导入腺苷使患者血管处于最大充血状态，减轻患者痛苦，显著减少诊断时间，有效提升医疗效率。
附图说明
33.图1为本发明的基于光学相干断层扫描影像的血流储备分数预测装置的结构示意图。
34.图2为本发明的基于光学相干断层扫描影像的血流储备分数预测装置信号处理模块中数据处理单元的结构示意图。
35.图3为本发明的基于光学相干断层扫描影像的血流储备分数预测装置信号处理模块中数据处理单元的另一种结构示意图。
36.图4为本发明的基于光学相干断层扫描影像的血流储备分数预测装置数据计算模块的结构示意图。
37.图5为本发明的基于光学相干断层扫描影像的血流储备分数预测方法流程图。
38.图6为本发明的管腔、分叉和支架的识别多任务学习模型网络结构示意图。
39.图7位本发明的健康血管识别模型中三元组损失原理示意图
40.图8为本发明的基于光学相干断层扫描影像的血流储备分数预测装置的初始操作界面图。
41.图9为本发明的基于光学相干断层扫描影像的血流储备分数预测方法完成图像校准和图像增强，得到oct图像。
42.图10为本发明的发基于光学相干断层扫描影像的血流储备分数预测方法其中管腔和分叉识别效果示意图。
43.图11为发明的基于光学相干断层扫描影像的血流储备分数预测方法其中分叉位置效果示意图。
44.图12为本发明的基于光学相干断层扫描影像的血流储备分数预测方法其中参考帧自动选择效果示意图。
45.图13为发明的基于光学相干断层扫描影像的血流储备分数预测方法其中ffr预测结果效果示意图。
46.图1中各符号分别代表以下含义：1、导管；2、弹性构件；3、光纤；4、探头；5、导丝；6、透明外管套；7、冲洗液出口；8、血管壁。
47.以下结合附图及具体实施方式，对本发明的具体内容作进一步详细说明。
具体实施方式
48.参见图1，本发明的基于光学相干断层扫描影像的血流储备分数预测装置，包括探头接口模块、显示模块，还包括探测模块、信号处理模块和数据计算模块，所述的探测模块、探头接口模块、信号处理模块、数据计算模块和显示模块依次相连；
49.探头接口模块，用于光信号的发射和接收，并联动探测模块进行回撤；
50.探测模块，包含导管1、弹性构件2、光纤3、探头4、导丝5、透明外管套6、冲洗液出口7，用于传输探头接口模块发射的光信号，并将从组织返回的光信号再传回到探头接口模块，上述信号通过探头接口模块发送给信号处理模块。
51.信号处理模块，用于将探头接口模块输入的光信号转换成为图像信息；并且对图像信息进行数据校准、图像增强；
52.数据计算模块，基于oct影像及多任务学习机制，构建联合管腔、分叉识别框架，通过对探测模块输入的信号进行处理，得到血管管腔边缘、形态、结构空间信息，获取血管管腔边界，计算血管管腔面积，得到分叉位置；
53.通过对信号处理模块输入的信号进行处理，构建基于三元组的健康血管识别模
型，通过增加类间的差异性及类内的相似性，识别出回拉oct图像中的健康血管，并结合管腔面积及分叉位置，选出参考帧；
54.进一步利用流体动力学模型，结合血管管腔面积、参考帧面积，计算出血管内的血流量、压力损失，结合实际测量的收缩压和舒张压数据，得到血管内ffr值，从而实现ffr的全自动计算；
55.显示模块，用于将数据计算模块得到的处理结果呈现在显示器上。
56.参见图2-图3，所述的信号处理模块，至少包括依次相连的数据采集单元和数据处理单元。数据采集单元，通过探测接口模块，将探测模块获取的信号进行数据采集。
57.数据采集单元，将在同一时间从组织中反射回来的光信号与参照反光镜反射回来的光信号相叠加、干涉，产生的干涉信号被光电探测器探测，经探测器把干涉后的光信号转换成电信号，从而实现数据的采集。由于探测器输出的电信号比较微弱，因此需要信号放大器进行放大，并将放大后的电信号发送给数据处理单元；
58.数据处理单元至少包括信号转换模块、图像校准模块和图像增强模块，所述信号转换模块用于将数据采集单元输出的电信号信号转换成为图像信息；图像校准模块，用于分别对信号转换模块或图像裁剪模块得到的图像进行数据校准；图像增强模块，用于对经过图像校准模块校准重构的图像进行图像增强。
59.数据计算模块单元，至少包括依次相连的管腔、分叉别模块；管腔面积计算模块、参考帧自动识别模块、ffr全自动预测模块；管腔、分叉识别模块用于针对血管管腔、分叉信息进行轮廓信息提取；管腔面积计算模块，用于根据血管管腔边缘、形态、结构空间信息，获取血管管腔边界，计算血管管腔面积；参考帧自动计算模块，利用三元组损失函数构建健康管腔识别模型，增加类内的相关性及类间的差异性，然后结合分叉位置，自动选择参考帧位置；ffr全自动预测模块，利用流体动力学模型，结合血管管腔面积、参考帧面积，计算出血管内的血流量、流阻，结合实际测量的收缩压和舒张压数据，得到血管内ffr值。
60.参见图3为本发明的基于光学相干断层扫描影像的血流储备分数预测装置，其中信号处理模块的数据处理单元的另一种结构示意图，数据预处理单元还包括图像裁剪模块，用于将信号转换模块得到的图像信息进行分割，提取图像特定区域。
61.在探头接口模块与探测模块之间还设置有清洗模块。
62.进一步参见图1，本发明的基于光学相干断层扫描影像的血流储备分数预测装置，探测模块还包括导管1、弹性构件2、光纤3，导管1包括体内部和体外部，导管1的体外部上设置有清洗模块，探测模块与探头接口模块通过导管1的体外部连接；在导管1的体内部设置有探头4、光纤3和弹性构件2，探头4通过光纤3与探头接口模块连通，弹性构件2设置在光纤3上。弹性构件2可以是弹簧管等任何可以产生弹性形变的构件，实现在弹性构件2的形变约束条件下，探头4沿导管轴向实现往复运动，获取血管管腔及外弹力膜相关数据信息。
63.探测模块导管1的体内部远离导管1的体外部一端设置有冲洗液出口7。冲洗液从清洗模块注入到导管1中并从冲洗液出口7中排出。
64.在导管1的体内部外侧还套置有透明外套管6，且透明外套管6在导管1的体内部的深度不超过探头4在导管1的体内部的轴向位置。
65.透明外套管6设置在导管1的体内部外侧，主要目的在于协助导管1在体内位置固定。
66.参见图5，本发明的基于光学相干断层扫描影像的血流储备分数预测方法，该方法包括如下步骤：
67.步骤1，近红外光从组织返回来的光信号与参照反光镜反射回来的光信号相叠加、干涉，产生的干涉信号被光电探测器探测，经探测器把干涉后的光信号转换成电信号，由于探测器输出的电信号比较微弱，因此需要信号放大器进行放大，并将放大后的电信号发送给信号处理模块完成信号数据采集；
68.步骤2，将采集信号数据进行信号转换、图像校准、图像增强，完成图像数据采集；
69.步骤3，构建管腔、分叉识别多任务学习模型；
70.步骤4，建立管腔、分叉的轮廓先验约束条件；
71.步骤5，结合步骤4轮廓先验约束条件，执行管腔和分叉的识别多任务学习模型学习任务，得到血管管腔边缘、形态、结构空间信息，计算血管管腔面积,得到分叉位置；
72.步骤6，构建基于三元组的健康血管识别模型，通过增加类间的差异性及类内的相似性，识别出回拉oct图像中的健康血管，并结合管腔面积及分叉位置，选出参考帧；
73.步骤7，利用流体动力学程式，结合血管管腔面积、参考帧面积，构建全自动ffr预测模型，计算得到血管内ffr值。
74.参见图6，本发明的管腔、分叉的识别多任务学习模型网络结构示意图。考虑到管腔和分叉具有本身的结构和轮廓特性，因此为了在不增加标记成本的条件下利用结构信息，本技术提取了掩膜的轮廓，从而构建了两个并行的卷积神经网络，其中采用的卷积核大小包括5x5的卷积和3x3的卷积，考虑到管腔和分叉在不同图像中有不同的大小，因此采用了跳跃连接，将浅层的下采样层和深层的上采样层进行连接，从而实现不同语义层面上的特征融合，非线性激活函数采用relu，池化层采用的是最大值池化，图像的输入大小为704x704，数据预处理采用的均值和方差均为imagenet的均值[0.406,0.456,0.485]和方差[0.225,0.224,0.229],没有采用预训练网络，训练时每个批次(batch)的大小为32，数据轮次(epoch)的最大值为100，初始学习率为0.01，采用adam优化器。本发明运用多任务学习模型，构建掩膜预测和轮廓绘制多任务学习模型，该学习模型可以实现即插即用。该模块有两个并行卷积滤波器组成，可以同时学习两个相关的任务。该模块处理类不平衡、减少离群值，减轻结构信息丢失，并能很好地处理多实例对象分割。该学习模型帮助网络并行学习多个相关任务，使网络具有较好的泛化能力。其中掩膜预测和轮廓提取均是分类任务。
[0075]
进一步，所述步骤4轮廓、分叉的轮廓先验约束条件为在网络损失函数中添加轮廓损失函数，使得模型学习到更多的结构信息，具体公式为：
[0076]
l
总损失
＝λ1(l
管腔掩膜
l
分叉掩膜
) λ2(l
管腔轮廓
l
分叉轮廓
)
[0077]
其中l表示损失函数，采用的是负似然对数，即
[0078][0079]
其中x表示表示图像中像素的位置，表示相对于真实标签l的网络模型预测概率，λ1、λ2分别表示掩膜和轮廓的在多任务学习中的权重参数。
[0080]
为了实现参考帧的自动选择，本专方案采用resnet101网络对oct图像进行分类，将oct图像分为健康血管和非健康血管。考虑到健康血管和非健康血管存在类内差异大、类
间差异小的问题，本专利提出三元组的健康血管识别模型，参见图7，通过采用三元组损失函数，可以使得健康血管之间的距离变小，同时增加健康和非健康血管之间的距离，因此提高分类的精度，具体的，三元组损失函数为：
[0081]
l＝max(d(f
健康1-f
健康2
)-d(f
健康1-f
非健康1
) margin,0)
[0082]
其中函数d(
·
)表示欧式距离，f
健康1
、f
健康2
表示健康血管提取的深度特征，f
非健康1
表示非健康血管提取的特征，margin是一个偏置项。然后参考帧位置即可选择为距离最小管腔面积近远端各10mm内健康血管且不在分叉口位置的最大管腔面积处。
[0083]
进一步，结合流体动力学中伯努利方程、动量方程以及navier-stokes方程以及管腔面积、参考帧面积，本专利采用的多参数ffr模型为：
[0084][0085]
δp＝fv fv2[0086][0087]
其中，p
近端
表示oct数据近端压力，δp是血管内压力损失，μ是血液的黏度，通常为4.0
×
10-3
pa
·
s，l表示血管管腔长度，a
自动
表示自动选择的参考帧，as狭窄处的管腔面积，v表示的是血流速度，k表示进出口对压降影响系数，通常取为1，ρ表示血液密度，取ρ＝1050kg/m3。
[0088]
以下是本发明涉及的实际的试验案例，通过操作界面，解读整个方案的关键技术效果。
[0089]
首先，数据采集完进行数据处理界面(图8)，系统会完成图像校准和图像增强，得到ivus图像(图9)。
[0090]
本发明的基于光学相干断层扫描影像的血流储备分数预测方法其中管腔和分叉识别效果示意图10。
[0091]
参见图11，为本发明的方法分叉位置识别示意图。
[0092]
图12为本发明的参考帧自动选择结果效果示意图。
[0093]
图13本发明的oct-ffr结果示意图。
[0094]
本发明还可以应用制成任意一种计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明总体基于光学相干断层成像的血流储备分数预测方法。