一种疗效预测方法、装置、计算机设备及存储介质
本申请涉及图像处理,尤其涉及一种疗效预测方法、装置、计算机设备及存储介质。
背景技术:
1、在治疗糖尿病黄斑水肿(diabetic macular edema,dme)的过程中,抗血管内皮生长因子(anti-vegf)玻璃体腔注射是临床常用的重要治疗方式。然而,不同患者对抗vegf治疗的反应存在明显的个体差异,部分患者在治疗后黄斑区病变及液体状态明显改善并伴随视力提高,而另一部分患者改善有限,甚至可能继续恶化。因此,在治疗前预测患者接受治疗后的影像和功能结局,对于辅助制定个体化治疗策略、减少无效治疗具有重要意义。
2、目前用于抗vegf疗效预测的方法,一部分采用传统图像转换或生成对抗网络方法预测治疗后的医学影像,存在训练稳定性不足、生成图像容易出现模糊和伪影、高频结构细节保持不足等问题。对于oct影像而言,视网膜层及黄斑区液体的形态变化是临床医生评估dme严重程度和判断抗vegf疗效的核心解剖学依据,传统生成方法在生成过程中容易出现结构模糊或细节丢失,难以在保持整体视网膜形态的同时精准还原黄斑区液体及微细结构。另一方面,现有部分方法主要依赖治疗前oct影像进行预测,较少充分利用患者的结构化临床信息。dme患者的抗vegf疗效受多种临床因素影响,包括年龄、疾病病程、代谢指标(如hba1c、血糖)及治疗前视力等,这些因素已被临床研究证实与治疗响应显著相关。仅依赖影像信息难以刻画患者之间的个体差异,从而限制了疗效预测的准确性。
3、由此可见,目前用于抗vegf疗效预测的方法存在疗效预测准确性较低的问题。
技术实现思路
1、本申请实施例的目的在于提出一种疗效预测方法、装置、计算机设备及存储介质,以解决目前用于抗vegf疗效预测的方法存在疗效预测准确性较低的问题。
2、第一方面,提供了一种疗效预测方法,采用了如下所述的技术方案:
3、获取治疗前oct图像、结构化临床信息以及治疗编辑指令;
4、对所述治疗前oct图像进行潜在频域增强,得到增强潜在表示特征;
5、对所述增强潜在表示特征进行图像块划分,得到图像特征数据;
6、对所述结构化临床信息进行临床特征提取,得到临床特征数据;
7、根据所述临床特征数据以及所述增强潜在表示特征构建治疗轨迹特征数据;
8、对所述治疗前oct图像以及所述治疗编辑指令进行视觉语言编码,得到视觉语言特征数据;
9、对所述视觉语言特征数据以及所述治疗轨迹特征数据进行拼接,得到条件特征数据;
10、将所述图像特征数据、所述条件特征数据、流匹配中间潜在状态以及时间步输入至多模态扩散transformer进行训练;
11、在时间步为零的条件下提取所述训练好的多模态扩散transformer的隐藏状态;
12、对所述隐藏状态进行池化,得到中间语义特征数据;
13、将所述中间语义特征数据分别输入至分类任务头以及回归任务头,得到视力变化预测类别以及视力矫正bcva数值。
14、第二方面,提供一种疗效预测装置,采用了如下所述的技术方案:
15、图像获取模块,用于获取治疗前oct图像、结构化临床信息以及治疗编辑指令;
16、潜在频域增强模块,用于对所述治疗前oct图像进行潜在频域增强,得到增强潜在表示特征;
17、图像块划分模块,用于对所述增强潜在表示特征进行图像块划分,得到图像特征数据;
18、临床特征提取模块,用于对所述结构化临床信息进行临床特征提取,得到临床特征数据;
19、轨迹特征数据构建模块,用于根据所述临床特征数据以及所述增强潜在表示特征构建治疗轨迹特征数据;
20、视觉语言编码模块,用于对所述治疗前oct图像以及所述治疗编辑指令进行视觉语言编码,得到视觉语言特征数据;
21、特征数据拼接模块,用于对所述视觉语言特征数据以及所述治疗轨迹特征数据进行拼接,得到条件特征数据;
22、数据输入模块,用于将所述图像特征数据、所述条件特征数据、流匹配中间潜在状态以及时间步输入至多模态扩散transformer进行训练;
23、隐藏状态获取模块,用于在时间步为零的条件下提取所述训练好的多模态扩散transformer的隐藏状态;
24、隐藏状态池化模块,用于对所述隐藏状态进行池化,得到中间语义特征数据;
25、治疗预测模块,用于将所述中间语义特征数据分别输入至分类任务头以及回归任务头,得到视力变化预测类别以及视力矫正bcva数值。
26、第三方面,提供一种计算机设备,采用了如下所述的技术方案:
27、包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如上所述的疗效预测方法的步骤。
28、第四方面,提供一种计算机可读存储介质,采用了如下所述的技术方案:
29、所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如上所述的疗效预测方法的步骤。
30、与现有技术相比,本申请实施例主要有以下有益效果:
31、以患者治疗前oct影像和多维结构化临床信息为输入,通过潜在频域增强、临床特征提取、医学治疗轨迹建模以及流匹配扩散transformer生成模型,形成患者特异性的治疗响应表征,并进一步从生成模型中间隐藏层提取具有临床预测价值的语义特征,用于预测治疗后视力变化类别及连续bcva数值。本申请能够为临床医生在抗vegf治疗前提供患者个体化的疗效参考,有助于识别可能获得不同治疗响应的患者,并为后续治疗方案制定及随访管理提供辅助信息。经济效益方面,该技术有望减少低收益治疗和不必要的重复治疗,降低医疗资源消耗,同时为医疗影像分析软件和智能辅助决策系统的开发提供新的技术支撑,促进相关产业链的发展与升级。通过提供更智能、更精准的疗效预测工具,医疗机构可优化资源配置,提升治疗效率,为患者提供更具成本效益的医疗服务。社会效益方面,本申请有助于推动糖尿病黄斑水肿诊疗从经验驱动向数据驱动和个体化预测方向转型,提升治疗精准度和患者生活质量,为精准医疗在眼科领域的落地应用提供实践范例。该技术的推广对提高糖尿病相关眼病的整体防治水平、减轻社会疾病负担具有积极意义。
1.一种疗效预测方法,其特征在于,包括下述步骤:
2.根据权利要求1所述的疗效预测方法,其特征在于,所述对所述治疗前oct图像进行图像编码处理,得到增强潜在表示特征的步骤,具体包括:
3.根据权利要求1所述的疗效预测方法,其特征在于,所述对所述结构化临床信息进行临床特征提取,得到临床特征数据的步骤,具体包括:
4.根据权利要求1所述的疗效预测方法,其特征在于,所述根据所述临床特征数据以及所述增强潜在表示特征构建治疗轨迹特征数据的步骤,具体包括:
5.根据权利要求1所述的疗效预测方法,其特征在于,在所述将所述图像特征数据、所述条件特征数据、流匹配中间潜在状态以及时间步输入至多模态扩散transformer进行训练的步骤之前,还包括:
6.根据权利要求1所述的疗效预测方法,其特征在于,在所述将所述图像特征数据、所述条件特征数据、流匹配中间潜在状态以及时间步输入至多模态扩散transformer进行训练的步骤之后,还包括:
7.根据权利要求1所述的疗效预测方法,其特征在于,所述将所述中间语义特征数据分别输入至分类任务头以及回归任务头,得到视力变化预测类别以及视力矫正bcva数值的步骤,具体包括:
8.一种疗效预测装置,其特征在于,包括:
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的疗效预测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的疗效预测方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com