一种基于不确定性感知与指令引导特征压缩的3D医学影像智能问答方法及装置

本发明涉及医学影像人工智能分析，特别是涉及一种基于不确定性感知与指令引导特征压缩的3d医学影像智能问答方法及装置。

背景技术：

1、随着医学影像技术的快速发展，计算机断层扫描(ct)已成为临床诊断中不可或缺的重要工具，广泛应用于肿瘤检测、心血管疾病诊断等多个领域。据统计，全球每年进行的ct检查超过3亿次，且这一数字仍在持续增长。然而，ct影像的准确解读面临巨大挑战：准确解读需要放射科医生具备深厚的解剖学知识和长期的专业训练；一次完整的ct扫描可能产生数百个切片，医生工作负荷繁重且极易产生疲劳；不同医生对同一影像的解读存在主观差异性；急诊情况下人工阅片耗时较长。

2、近年来，将3d视觉transformer与大语言模型结合的多模态大语言模型（如m3d系列工作）被初步应用于处理ct体积数据的问答任务。该类方法通常采用单一3dvit编码器提取全局特征，通过简单的线性或mlp投影层映射至语言空间，再利用lora等微调技术适配大语言模型。然而，现有技术仍存在以下显著局限性：

3、缺乏不确定性建模：现有方法仅输出文本结果，不提供置信度估计。当模型对某一病例判断存在较大不确定性时，若给出确定性答案将产生严重误诊风险，制约了ai辅助诊断在临床的可信部署。

4、视觉特征提取缺乏多尺度协同：采用单一尺度编码器，难以同时兼顾细粒度的局部病灶信息（如微小结节）和宏观的解剖结构上下文（如器官空间关系），导致对小病灶的感知能力不足。

5、特征压缩缺乏任务导向：视觉特征映射时通常采用固定压缩策略，大量与诊断无关的冗余视觉信息被保留，既浪费了大语言模型的上下文窗口，又稀释了关键诊断特征的注意力权重。

技术实现思路

1、本发明所要解决的技术问题是，克服现有技术的缺点，提供一种基于不确定性感知与指令引导特征压缩的3d医学影像智能问答方法及装置。

2、为了解决以上技术问题，本发明的技术方案如下：

3、一种基于不确定性感知与指令引导特征压缩的3d医学影像智能问答方法，包括：

4、获取待分析的3d医学影像和与其对应的用户问答指令；

5、对3d医学影像进行多尺度并行特征提取，分别获取具有细粒度信息的局部细节特征和具有宏观解剖信息的全局上下文特征，并将局部细节特征和全局上下文特征进行跨尺度融合，生成多尺度融合特征序列；

6、基于证据深度学习将多尺度融合特征序列映射为分布参数，依据分布参数计算对应视觉特征的认知不确定性和偶然不确定性并生成不确定性嵌入向量，利用不确定性嵌入向量对分布参数中的均值参数进行特征调制，生成不确定性条件化词元；

7、提取用户问答指令的语义信息，利用语义信息对预设的多个可学习查询向量进行独立条件化缩放调制，并以调制后的查询向量为查询，以多尺度融合特征序列为键和值进行交叉注意力计算，生成指令引导的压缩视觉词元；

8、将压缩视觉词元、不确定性条件化词元和用户问答指令拼接后输入预先训练的大语言模型进行解码推理，生成问答文本结果以及与问答文本结果对应的置信度分数。

9、第二方面，本发明还提供了一种基于不确定性感知与指令引导特征压缩的3d医学影像智能问答系统，包括：

10、数据获取模块，用于获取待分析的3d医学影像和与其对应的用户问答指令；

11、多尺度编码模块，用于对3d医学影像进行多尺度并行特征提取，分别获取具有细粒度信息的局部细节特征和具有宏观解剖信息的全局上下文特征，并将局部细节特征和全局上下文特征进行跨尺度融合，生成多尺度融合特征序列；

12、不确定性感知模块，用于基于证据深度学习将多尺度融合特征序列映射为分布参数，依据分布参数计算对应视觉特征的认知不确定性和偶然不确定性并生成不确定性嵌入向量，利用不确定性嵌入向量对分布参数中的均值参数进行特征调制，生成不确定性条件化词元；

13、自适应压缩模块，用于提取用户问答指令的语义信息，利用语义信息对预设的多个可学习查询向量进行独立条件化缩放调制，并以调制后的查询向量为查询，以多尺度融合特征序列为键和值进行交叉注意力计算，生成指令引导的压缩视觉词元；

14、模型推理模块，用于将压缩视觉词元、不确定性条件化词元和用户问答指令拼接后输入大语言模型进行解码推理，生成问答文本结果以及与问答文本结果对应的置信度分数。

15、第三方面，本发明还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现上述问答方法的步骤。

16、第四方面，本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述问答方法的步骤。

17、本发明的有益效果是：

18、（1）本发明在投影层摒弃了传统的确定性线性映射，创新性引入了基于证据学习的投影结构，将多尺度融合特征序列映射为正态逆伽马分布参数，并基于此生成不确定性条件化词元。这使得系统在输出文本答案的同时能够量化每个诊断结论的可靠程度，为临床决策提供多层次不确定性报告，显著降低黑盒误诊风险。

19、（2）本发明在生成置信度分数后，设置了第一阈值和第二阈值的智能路由判别逻辑。系统能够自动识别低置信度病例并推荐人工复核，避免了系统在不确定情况下给出误导的确定性答案，大幅提升了系统的可信度和安全性。

20、（3）本发明通过在拼接序列中引入不同的模式标记词元（保守模式指令或探索模式指令），在无需重新训练模型的情况下，可灵活控制大语言模型输出高确定性结论或包含推测性诊断的全面分析报告，完美匹配高风险诊断场景与科研教学场景的差异化需求。

21、（4）本发明利用第一尺寸的3d patch分块提取局部细节，利用大体积的第二尺寸3d patch分块提取全局上下文，并通过跨尺度交叉注意力机制进行语义融合。该双流并行设计使得系统同时捕获微小病灶特征（如数毫米的肺结节）和宏观解剖关系，检测精度取得实质性突破。

22、（5）本发明提取用户问答指令的语义向量生成注意力调制因子，动态缩放可学习的查询向量。该机制使视觉注意力根据具体的问答任务动态分配，有限的视觉词元最大限度地承载了与当前问题相关的诊断信息，杜绝了冗余特征对上下文窗口的占用。

23、（6）本发明采用多任务协同损失函数，特别是引入了“引导压缩分配损失”。该设计将视觉区域的不确定性转换为目标权重，通过交叉熵损失反向指导模型，使得查询向量强制倾向于保留高不确定性区域（疑难病灶）的视觉特征细节，实现了视觉感知与语言推理的深度反馈耦合。

1.一种基于不确定性感知与指令引导特征压缩的3d医学影像智能问答方法，其特征在于：包括：

2.根据权利要求1所述的基于不确定性感知与指令引导特征压缩的3d医学影像智能问答方法，其特征在于：对所述3d医学影像进行多尺度并行特征提取，分别获取具有细粒度信息的局部细节特征和具有宏观解剖信息的全局上下文特征，并将所述局部细节特征和所述全局上下文特征进行跨尺度融合，生成多尺度融合特征序列，包括：

3.根据权利要求1所述的基于不确定性感知与指令引导特征压缩的3d医学影像智能问答方法，其特征在于：所述基于证据深度学习将所述多尺度融合特征序列映射为分布参数，依据所述分布参数计算对应视觉特征的认知不确定性和偶然不确定性并生成不确定性嵌入向量，利用所述不确定性嵌入向量对所述分布参数中的均值参数进行特征调制，生成不确定性条件化词元包括：

4.根据权利要求1所述的基于不确定性感知与指令引导特征压缩的3d医学影像智能问答方法，其特征在于：提取所述用户问答指令的语义信息，利用所述语义信息对预设的可学习查询向量进行缩放调制包括：

5.根据权利要求1所述的基于不确定性感知与指令引导特征压缩的3d医学影像智能问答方法，其特征在于：将所述压缩视觉词元、所述不确定性条件化词元和所述用户问答指令拼接后输入大语言模型进行解码推理，生成问答文本结果包括：

6.根据权利要求1所述的基于不确定性感知与指令引导特征压缩的3d医学影像智能问答方法，其特征在于：所述预先训练的大语言模型通过低秩自适应方法进行参数更新与模型训练得到，在训练阶段采用多任务协同损失函数进行联合优化，所述多任务协同损失函数的计算公式为：，其中，表示总损失；表示基于文本生成的答案生成损失；表示用于使所述置信度分数与预测准确率相匹配的期望校准误差损失；表示用于约束不同的所述可学习查询向量关注不同视觉区域的压缩多样性正则化损失；表示引导压缩分配损失；分别为预设的平衡超参数；

7.根据权利要求1所述的基于不确定性感知与指令引导特征压缩的3d医学影像智能问答方法，其特征在于：在所述生成问答文本结果以及与所述问答文本结果对应的置信度分数之后，还包括：基于所述置信度分数进行智能路由，其包括：

8.一种基于不确定性感知与指令引导特征压缩的3d医学影像智能问答系统，其特征在于：包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。