基于视觉的三维医学影像诊断方法、系统、介质、终端及程序产品

本技术涉及医学影像人工智能（medical imaging ai）与计算机视觉（computervision）交叉，特别是涉及一种基于视觉的三维医学影像诊断方法、系统、介质、终端及程序产品。

背景技术：

1、医学影像诊断是现代医疗体系中最关键的环节之一，尤其在胸部、腹部、神经系统等疾病的筛查与确诊中，三维计算机断层扫描（computed tomograph，ct）和磁共振成像（magnetic resonance imaging，mri）已经成为临床标准。传统的医学影像人工智能（artificial intelligence，ai）系统通常依赖高质量、无损的dicom（digital imagingand communications in medicine，医学数字成像和通信）数据作为输入，这些数据由医院的pacs（picture archiving and communication system，影像归档和通信系统）统一管理。由于dicom文件包含完整的体素信息、成像参数和元数据，因此长期以来被认为是实现可靠计算机辅助诊断（computer aided diagnosis，cad）的必要条件。然而，直接访问pacs系统往往需要复杂的网络权限、数据接口、合规审批和it支持，这使得ai 系统在许多医疗机构中难以部署，尤其是在基层医院、低资源地区或尚未完成数字化改造的医疗环境中。

2、随着移动设备和高分辨率摄像头的普及，临床医生在实际工作中经常通过手机或外接摄像头拍摄屏幕内容，用于远程会诊、教学讨论或病例记录。这类“屏幕录制”方式具有极低的部署成本，不依赖pacs接口，也不需要改变医院现有的工作流程，因此具有天然的可推广性。然而，摄像头录制的屏幕视频与原始dicom数据相比存在显著差异，包括分辨率下降、moiré条纹、压缩伪影、反光、运动模糊、滚动速度不均匀、帧丢失等多种退化因素。同时，三维影像的浏览过程本质上是一个动态过程，医生通过滚动切片来观察体积结构，而摄像头记录到的是一个时间序列视频，其中的每一帧与原始体积切片之间并非一一对应，这些因素使得传统基于dicom的三维ai模型无法直接应用于摄像头录屏视频。

3、因此，有必要提供一种基于视觉的三维医学影像诊断方法、系统、介质、终端及程序产品，以解决现有技术中存在的上述问题。

技术实现思路

1、鉴于以上所述现有技术的缺点，本技术的目的在于提供一种基于视觉的三维医学影像诊断方法、系统、介质、终端及程序产品，用于解决现有的医学影像人工智能系统必须依赖高质量 dicom 数据、无法从摄像头录制的屏幕浏览视频中进行三维诊断的技术问题。

2、为实现上述目的及其他相关目的，本技术的第一方面提供一种基于视觉的三维医学影像诊断方法，包括：获取摄像头录制的在医学影像浏览软件中滚动三维医学影像切片的屏幕内容所呈现的三维影像浏览过程中的医学影像视频；基于预设的两级定位机制对所获取的医学影像视频进行逐帧定位，得到医学视窗区域，并对定位得到的医学视窗区域裁剪出医学影像区域图像；将裁剪得到的医学影像区域图像输入至预训练的医学视觉模型中进行提取各个视频帧对应的医学影像特征向量，以构成为医学影像特征序列；将医学影像特征序列输入至预先构建的序列建模模型中进行捕获各个视频帧间的上下文关系，并输出上下文增强后的帧级特征序列；为每一个诊断任务配置相应的任务查询向量，并根据各个诊断任务对应的任务查询向量和帧级特征序列，基于混合专家模型生成各个诊断任务对应的任务特征向量；将各个诊断任务对应的任务特征向量输入至多任务分类器中，以输出各个诊断任务对应的诊断结果。

3、于本技术的第一方面的一些实施例中，所述基于预设的两级定位机制对所获取的医学影像视频进行逐帧定位，得到医学视窗区域，并对定位得到的医学视窗区域裁剪出医学影像区域图像，其具体包括：基于第一目标检测模型对医学影像视频的各个视频帧进行第一级定位，以定位得到显示器区域，并基于透视变换技术将显示器区域校正，以得到标准的矩形显示器图像；基于第二目标检测模型对矩形显示器图像进行第二级定位，以定位得到医学视窗区域，并对医学视窗区域进行裁剪，以得到医学影像区域图像；将裁剪得到的医学影像区域图像缩放至预设的统一尺寸，以将其转换为适合医学视觉模型输入的输入尺寸。

4、于本技术的第一方面的一些实施例中，所述根据各个诊断任务对应的任务查询向量和帧级特征序列，基于混合专家模型生成各个诊断任务对应的任务特征向量，其具体包括：基于交叉注意力机制根据各个诊断任务对应的任务查询向量从帧级特征序列中选择与各个诊断任务相关联的帧区域，以输出各个诊断任务的初步聚合特征向量；将初步聚合特征向量输入至混合专家模型的门网络中，以动态选择混合专家模型的专家组合；将混合专家模型的专家组合中的各个专家输出的特征向量进行加权融合，以得到各个诊断任务对应的任务特征向量。

5、于本技术的第一方面的一些实施例中，所述医学视觉模型基于无标签的自蒸馏模型预先训练所得。

6、于本技术的第一方面的一些实施例中，所述序列建模模型基于transformer模型预先构建所得。

7、于本技术的第一方面的一些实施例中，所述多任务分类器的架构包括全连接层和激活函数层。

8、为实现上述目的及其他相关目的，本技术的第二方面提供一种基于视觉的三维医学影像诊断系统，包括：视频获取模块，用于获取摄像头录制的在医学影像浏览软件中滚动三维医学影像切片的屏幕内容所呈现的三维影像浏览过程中的医学影像视频；两级定位模块，用于基于预设的两级定位机制对所获取的医学影像视频进行逐帧定位，得到医学视窗区域，并对定位得到的医学视窗区域裁剪出医学影像区域图像；特征提取模块，用于将裁剪得到的医学影像区域图像输入至预训练的医学视觉模型中进行提取各个视频帧对应的医学影像特征向量，以构成为医学影像特征序列；序列建模模块，用于将医学影像特征序列输入至预先构建的序列建模模型中进行捕获各个视频帧间的上下文关系，并输出上下文增强后的帧级特征序列；任务特异性聚合模块，用于为每一个诊断任务配置相应的任务查询向量，并根据各个诊断任务对应的任务查询向量和帧级特征序列，基于混合专家模型生成各个诊断任务对应的任务特征向量；多病灶诊断输出模块，用于将各个诊断任务对应的任务特征向量输入至多任务分类器中，以输出各个诊断任务对应的诊断结果。

9、为实现上述目的及其他相关目的，本技术的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法。

10、为实现上述目的及其他相关目的，本技术的第四方面提供一种计算机程序产品，所述计算机程序产品中包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得所述计算机实现所述方法。

11、为实现上述目的及其他相关目的，本技术的第五方面提供一种电子终端，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序以实现所述方法。

12、如上所述，本技术的基于视觉的三维医学影像诊断方法、系统、介质、终端及程序产品，具有以下有益效果：

13、通过首先获取摄像头录制的在医学影像浏览软件中滚动三维医学影像切片的屏幕内容所呈现的三维影像浏览过程中的医学影像视频；然后，基于预设的两级定位机制对所获取的医学影像视频进行逐帧定位，得到医学视窗区域，并对定位得到的医学视窗区域裁剪出医学影像区域图像；再将裁剪得到的医学影像区域图像输入至预训练的医学视觉模型中进行提取各个视频帧对应的医学影像特征向量，以构成为医学影像特征序列；然后，将医学影像特征序列输入至预先构建的序列建模模型中进行捕获各个视频帧间的上下文关系，并输出上下文增强后的帧级特征序列；然后，为每一个诊断任务配置相应的任务查询向量，并根据各个诊断任务对应的任务查询向量和帧级特征序列，基于混合专家模型生成各个诊断任务对应的任务特征向量；最后，将各个诊断任务对应的任务特征向量输入至多任务分类器中，以输出各个诊断任务对应的诊断结果，从而能够在无需访问pacs系统、无需获取原始dicom文件的情况下，从屏幕浏览视频中恢复三维语义信息并完成多病灶诊断，同时，本技术显著降低了医学影像ai系统的部署门槛，使其适用于低资源医院、基层医疗机构以及无法进行pacs改造的场景。