一种基于视频分割的近红外二区荧光视频动态分析方法及系统

本技术涉及医学图像处理，具体涉及一种基于视频分割的近红外二区荧光视频动态分析方法及系统。

背景技术：

1、近红外二区（nir-ii）荧光成像技术凭借高穿透深度、低组织散射及高信噪比等物理优势，在显微外科、整形外科的皮瓣移植、切口血供监测及组织存活状态评价等临床领域得到了广泛应用。通过向患者体内注射荧光示踪剂并采集连续的近红外二区荧光视频，能够实时、直观地呈现目标组织内部的微循环灌注状态，为术中临床决策提供重要的可视化参考。

2、现有的荧光视频分析技术通常采用图像处理算法在视频帧中设定感兴趣区域，并提取该感兴趣区域内像素的荧光灰度值。通过计算该区域在连续视频帧中的平均荧光强度，建立荧光强度随时间变化的动力学曲线，进而通过分析曲线的上升趋势来评估目标组织的血流灌注情况。

3、然而，在实际手术场景中，受患者呼吸起伏、体位轻微变动以及摄像镜头抖动等因素影响，视频中的目标组织会发生持续的位移、旋转及非刚性形变。现有的分析技术多采用固定位置和固定尺寸的感兴趣区域进行荧光值提取，无法自适应地跟踪目标组织的实时运动与形态变化，导致在视频播放过程中，设定的roi极易偏离目标组织区域，从而引入严重的测量误差，无法准确地量化评估目标组织边缘的真实灌注状态。

技术实现思路

1、本技术提供了一种基于视频分割的近红外二区荧光视频动态分析方法及系统，该方法解决现有技术中固定感兴趣区域无法适应组织运动与形变的问题，提升对目标组织评估的精度。

2、第一方面，本技术提供了一种基于视频分割的近红外二区荧光视频动态分析方法，方法包括：获取近红外二区荧光视频序列，对近红外二区荧光视频序列进行分帧处理，得到多帧原始图像；从多帧原始图像中选取一帧参考帧，接收针对参考帧中目标组织区域的交互信息，并基于视频分割模型生成参考帧中目标组织的初始掩膜；将参考帧的初始掩膜传播至近红外二区荧光视频序列中的多帧原始图像，生成与各帧原始图像一一对应的连续动态掩膜；基于当前帧的跟踪状态和掩膜几何特征，在当前帧对应的动态跟踪区域内对当前帧的掩膜进行边缘扩展及区域净化，以生成环绕目标组织边缘的环形分析区域，当前帧为连续动态掩膜中的任意一帧；在环形分析区域内进行像素采样以提取荧光灰度值，并生成荧光强度时间序列；根据荧光强度时间序列中相邻时间点的荧光强度变化量与时间间隔，计算每个时间点的荧光变化速率值，并生成荧光变化速率值变化曲线；将荧光变化速率值变化曲线中的荧光变化速率值与预设阈值进行比较，根据比较结果确定针对目标组织的灌注状态评价结果。

3、通过采用上述技术方案，在参考帧中接收交互信息并生成初始掩膜，实现了对目标组织的精确界定，避免了传统方法中手动绘制固定区域的局限性；将初始掩膜传播至整个视频序列生成连续动态掩膜，使得系统能够自动跟踪目标组织在各帧中的实际位置和形态变化，有效应对了患者呼吸起伏、体位变动及摄像镜头抖动等因素导致的组织位移和非刚性形变；基于当前帧跟踪状态和掩膜几何特征在动态跟踪区域内进行边缘扩展及区域净化，能够自适应地生成环绕目标组织边缘的环形分析区域，确保荧光灰度值的提取始终聚焦于组织边缘的真实位置，而不会因组织运动而偏离目标区域；在环形分析区域内进行像素采样生成荧光强度时间序列，并计算荧光变化速率值生成变化曲线，通过将荧光变化速率值与预设阈值比较确定灌注状态评价结果，提升了对目标组织状态评估的精度。

4、可选的，接收针对参考帧中目标组织区域的交互信息，并基于视频分割模型生成参考帧中目标组织的初始掩膜，具体包括：获取用户在参考帧中针对目标组织区域输入的交互信息，交互信息包括前景点提示和背景点提示中的至少一种；利用视频分割模型中的提示编码器对交互信息进行编码，得到提示嵌入向量；将参考帧的图像特征与提示嵌入向量输入至视频分割模型中的掩膜解码器，生成目标组织的候选掩膜；响应于用户针对候选掩膜的修正交互信息，更新交互信息并重新生成掩膜，直至满足预设准确性条件，将最终生成的掩膜确定为初始掩膜。

5、通过采用上述技术方案，用户仅需在参考帧中进行简单的点击操作即可指示目标组织区域，使得系统能够智能地理解用户意图并自动推断目标组织的完整边界，响应用户针对候选掩膜的修正交互信息并迭代更新直至满足预设准确性条件，确保最终生成的初始掩膜能够精确贴合目标组织的真实形态。

6、可选的，基于当前帧的跟踪状态和掩膜几何特征，在当前帧对应的动态跟踪区域内对当前帧的掩膜进行边缘扩展及区域净化，以生成环绕目标组织边缘的环形分析区域，具体包括：逐帧计算各帧原始图像对应掩膜的二维空间矩，并根据二维空间矩确定各帧掩膜的原始质心位置；对当前帧对应掩膜的原始质心位置进行平滑滤波处理，得到平滑质心位置；若当前帧对应的掩膜不满足预设跟踪异常条件，则根据当前帧的平滑质心位置相对于参考帧中初始掩膜的平滑质心位置的质心位移偏差，更新参考帧的初始感兴趣区域中心位置，得到当前帧的更新感兴趣区域中心位置；根据更新感兴趣区域中心位置构建当前帧的候选感兴趣区域，并将候选感兴趣区域与当前帧原始图像的有效域取交集，输出当前帧的动态跟踪区域；在当前帧的动态跟踪区域内，根据当前帧掩膜的几何特征确定边缘扩展尺度，并基于边缘扩展尺度对当前帧掩膜进行边缘扩展与区域净化处理，以生成当前帧的环形分析区域。

7、通过采用上述技术方案，有效抑制了视频分割模型可能产生的帧间抖动，及时识别由荧光信号突变或分割失败导致的跟踪异常情况，避免了错误掩膜向后续帧的级联传播；对于正常跟踪的帧，通过与当前帧原始图像的有效域取交集输出动态跟踪区域，防止跟踪区域超出图像边界；在动态跟踪区域内根据当前帧掩膜的几何特征确定边缘扩展尺度并进行边缘扩展与区域净化处理，实现了环形分析区域尺寸随组织形态自适应调整，确保始终精确锁定目标组织边缘的真实位置进行荧光信号采样。

8、可选的，在当前帧的动态跟踪区域内，根据当前帧掩膜的几何特征确定边缘扩展尺度，并基于边缘扩展尺度对当前帧掩膜进行边缘扩展与区域净化处理，以生成当前帧的环形分析区域，具体包括：在当前帧的动态跟踪区域内，根据当前帧掩膜的面积确定边缘扩展尺度，并基于边缘扩展尺度对当前帧掩膜进行边缘扩展处理，得到扩展掩膜；利用扩展掩膜与当前帧掩膜进行差集计算，生成环绕当前帧掩膜边缘的环形候选区域，并根据当前帧的医学分析场景，在环形候选区域和当前帧掩膜的内部边界区域中选择一种作为环形分析区域的候选区域；获取当前帧原始图像中的干扰区域；将候选区域与有效域取交集并剔除干扰区域，以输出当前帧的环形分析区域。

9、通过采用上述技术方案，实现了扩展范围随组织大小的自适应调整，避免了固定扩展参数在不同尺度组织上导致的环形区域过宽或过窄问题，通过获取当前帧原始图像中的干扰区域，能够识别多种类型的无效像素源，避免了这些干扰因素对荧光信号采样的污染；将候选区域与有效域取交集并剔除干扰区域输出环形分析区域，确保了提取的荧光灰度值完全来自目标组织边缘的真实生理信号，提高了灌注状态评估的准确性。

10、可选的，基于边缘扩展尺度对当前帧掩膜进行边缘扩展处理，得到扩展掩膜，具体包括：根据当前帧掩膜的当前面积，计算得到当前帧掩膜的等效圆半径；将等效圆半径与预设第二比例系数相乘，得到基准膨胀半径；判断基准膨胀半径是否大于预设最小膨胀半径，或基准膨胀半径是否小于预设最大膨胀半径；若基准膨胀半径小于或等于预设最小膨胀半径，则将边缘扩展尺度确定为预设最小膨胀半径；若基准膨胀半径大于预设最小膨胀半径，且小于预设最大膨胀半径，则将边缘扩展尺度确定为基准膨胀半径；若基准膨胀半径大于或等于预设最大膨胀半径，则将边缘扩展尺度确定为预设最大膨胀半径。

11、通过采用上述技术方案，将等效圆半径与预设第二比例系数相乘得到基准膨胀半径，使得边缘扩展范围与组织本身的尺度呈比例关系，判断基准膨胀半径与预设最小膨胀半径和预设最大膨胀半径的关系，避免了极端情况下边缘扩展尺度过小导致环形区域采样像素不足，或过大导致偏离目标边缘而引入过多远端噪声的问题，提高了荧光信号提取的针对性。

12、可选的，将荧光变化速率值变化曲线中的荧光变化速率值与预设阈值进行比较，根据比较结果确定针对目标组织的灌注状态评价结果，具体包括：从荧光变化速率值变化曲线中提取目标组织的荧光变化速率峰值，将预设阈值划分为预设第一阈值和预设第二阈值，其中，预设第一阈值大于预设第二阈值；若荧光变化速率峰值大于预设第一阈值，则判定目标组织的灌注状态评价结果为灌注正常；若荧光变化速率峰值小于或等于预设第一阈值，且大于预设第二阈值，则判定目标组织的灌注状态评价结果为灌注不足；若荧光变化速率峰值小于或等于预设第二阈值，则判定目标组织的灌注状态评价结果为灌注中断。

13、通过采用上述技术方案，从荧光变化速率值变化曲线中提取荧光变化速率峰值，将预设阈值划分为预设第一阈值和预设第二阈值，并通过荧光变化速率峰值与两个阈值的比较关系将灌注状态分为灌注正常、灌注不足和灌注中断三个临床等级，提高了灌注异常的早期识别敏感性。

14、可选的，在环形分析区域内进行像素采样以提取荧光灰度值，并生成荧光强度时间序列，具体包括：获取当前帧的环形分析区域，提取环形分析区域内所有像素点的原始灰度值；对原始灰度值进行异常剔除，以滤除环形分析区域内的噪点像素，得到有效采样像素集；计算有效采样像素集中所有像素点的灰度平均值，作为当前帧的代表荧光强度值；对近红外二区荧光视频序列中的多帧原始图像依次进行处理，得到与各帧原始图像一一对应的代表荧光强度值序列；利用时域平滑滤波器对代表荧光强度值序列进行滤波去噪，得到荧光强度时间序列。

15、通过采用上述技术方案， 能够充分利用边缘区域的采样信息，对原始灰度值进行异常剔除以滤除噪点像素得到有效采样像素集，利用时域平滑滤波器对代表荧光强度值序列进行滤波去噪得到荧光强度时间序列，消除了帧间的高频噪声和由视频分割模型波动引起的测量抖动，使得最终的荧光强度时间序列呈现出平滑连续的动力学变化趋势。

16、在本技术的第二方面提供了一种基于视频分割的近红外二区荧光视频动态分析系统，系统包括输入模块、分割模块、视频传播模块、识别模块、荧光值处理模块、荧光动力学分析模块、组织灌注评价模块；输入模块，获取近红外二区荧光视频序列，对近红外二区荧光视频序列进行分帧处理，得到多帧原始图像；分割模块，从多帧原始图像中选取一帧参考帧，接收针对参考帧中目标组织区域的交互信息，并基于视频分割模型生成参考帧中目标组织的初始掩膜；视频传播模块，将参考帧的初始掩膜传播至近红外二区荧光视频序列中的多帧原始图像，生成与各帧原始图像一一对应的连续动态掩膜；识别模块，基于当前帧的跟踪状态和掩膜几何特征，在当前帧对应的动态跟踪区域内对当前帧的掩膜进行边缘扩展及区域净化，以生成环绕目标组织边缘的环形分析区域，当前帧为连续动态掩膜中的任意一帧；荧光值处理模块，在环形分析区域内进行像素采样以提取荧光灰度值，并生成荧光强度时间序列；荧光动力学分析模块，根据荧光强度时间序列中相邻时间点的荧光强度变化量与时间间隔，计算每个时间点的荧光变化速率值，并生成荧光变化速率值变化曲线；组织灌注评价模块，将荧光变化速率值变化曲线中的荧光变化速率值与预设阈值进行比较，根据比较结果确定针对目标组织的灌注状态评价结果。

17、在本技术第三方面提供一种电子设备，电子设备包括处理器、存储器、用户接口及网络接口，存储器用于存储指令，用户接口和网络接口用于与其他设备通信，处理器用于执行存储器中存储的指令，使得一种电子设备执行如本技术上述中任意一项的方法。

18、在本技术第四方面提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令被执行时，执行本技术上述中任意一项的方法。

19、综上，本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

20、1、在参考帧中接收交互信息并生成初始掩膜，实现了对目标组织的精确界定，避免了传统方法中手动绘制固定区域的局限性；将初始掩膜传播至整个视频序列生成连续动态掩膜，使得系统能够自动跟踪目标组织在各帧中的实际位置和形态变化，有效应对了患者呼吸起伏、体位变动及摄像镜头抖动等因素导致的组织位移和非刚性形变；基于当前帧跟踪状态和掩膜几何特征在动态跟踪区域内进行边缘扩展及区域净化，能够自适应地生成环绕目标组织边缘的环形分析区域，确保荧光灰度值的提取始终聚焦于组织边缘的真实位置，而不会因组织运动而偏离目标区域；在环形分析区域内进行像素采样生成荧光强度时间序列，并计算荧光变化速率值生成变化曲线，通过将荧光变化速率值与预设阈值比较确定灌注状态评价结果，提升了对目标组织状态评估的精度。