一种基于图像识别的放疗影像重建方法

摘要: 本发明涉及放疗影像,尤其涉及一种基于图像识别的放疗影像重建方法。背景技术:1、随着精准放射治疗技术的快速发展,图像引导放射治疗已经成为消灭肿瘤、保障患者安全的标...
一种基于图像识别的放疗影像重建方法

本发明涉及放疗影像,尤其涉及一种基于图像识别的放疗影像重建方法。

背景技术:

1、随着精准放射治疗技术的快速发展,图像引导放射治疗已经成为消灭肿瘤、保障患者安全的标准临床手段。在放疗实施过程中,精确获取患者随呼吸或器官蠕动而变化的四维解剖结构影像,对于实时跟踪肿瘤靶区和保护周围正常组织至关重要。

2、在实际的动态放疗影像重建环境中,高质量影像的获取面临诸多挑战。出于严格限制患者额外x射线辐射剂量的临床伦理与安全考虑,放疗设备通常只能采集到高度稀疏且欠采样的多视角二维投影数据。传统的解析重建算法或迭代重建算法在处理这种稀疏视角的投影数据时,尤其是面对患者内部器官复杂的非刚性动态形变,往往会导致严重的运动伪影、条纹干扰以及解剖结构边缘的模糊。

3、近年来引入了基于神经网络的三维场景隐式重建技术来试图解决上述形变问题,但普遍存在计算复杂度极高、渲染耗时长的问题,极难满足放疗临床应用对时效性的苛刻要求,且在拟合复杂的大尺度器官非刚性形变时容易出现局部几何失真。

4、现有的主流动态医学影像重建机制通常被设计为全局一致性优化,在重建过程中将视场内的所有解剖结构均视为同等重要。其网络模型的权重更新完全依赖于全局的光栅化光度学误差或单一的像素级差异度量。完全脱离了放射治疗的物理与医学先验环境,无法顾及放疗场景下极度不均衡的精度需求。由于缺乏临床处方剂量分布的有效引导,现有的重建算法无法将有限的计算资源和网络注意力倾斜至核心的高辐射剂量区域,导致这些决定治疗成败的关键区域在重建时缺乏足够的细节保真度,极大地制约了放疗剂量的精准投递。

技术实现思路

1、本发明的一个目的在于提出一种基于图像识别的放疗影像重建方法,本发明能够实现极其精准的空间拓扑追踪,显著提升了四维影像重建的保真度与光栅化渲染帧率。

2、根据本发明实施例的一种基于图像识别的放疗影像重建方法,包括:

3、采集患者在放疗过程中的多视角稀疏x射线二维投影图像序列以及对应的三维放射剂量分布规划矩阵,形成放疗多模态原始数据集;

4、对放疗多模态原始数据集中的二维投影图像序列进行基于运动先验的稀疏点云重建,初始化规范空间下的三维高斯基元参数集合;

5、将放疗多模态原始数据集中的多视角稀疏x射线二维投影图像序列对应的时间戳特征输入至预设的形变场多层感知机网络中,生成从规范空间到实际观测空间的非刚性形变场偏移量;

6、利用非刚性形变场偏移量对三维高斯基元参数集合中的空间坐标、旋转张量及协方差缩放参数进行动态形变变换,得到当前时间戳对应的形变后动态三维高斯场景表达;

7、对放疗多模态原始数据集中的三维放射剂量分布规划矩阵进行空间梯度计算与靶区阈值分析,提取出对应于肿瘤靶区及危及器官的敏感空间坐标,构建三维空间剂量重要性先验权重图;

8、利用形变后动态三维高斯场景表达执行可微体渲染操作,生成预测的动态二维投影图像,并计算其与放疗多模态原始数据集中真实图像的光栅化渲染误差;

9、将三维空间剂量重要性先验权重图投影至二维成像平面,并与光栅化渲染误差进行逐像素的点乘加权操作,构建剂量分布引导的区域感知联合约束损失函数;

10、基于剂量分布引导的区域感知联合约束损失函数执行梯度反向传播,对三维高斯基元参数集合以及预设的形变场多层感知机网络的权重参数进行联合迭代优化,直至网络收敛,得到动态放疗高斯重建模型;

11、给定任意目标时间戳与任意目标观测视角,将其输入至动态放疗高斯重建模型中执行渲染,输出高保真的放疗患者四维解剖结构影像。

12、可选的,所述采集患者在放疗过程中的多视角稀疏x射线二维投影图像序列以及对应的三维放射剂量分布规划矩阵,形成放疗多模态原始数据集,包括:

13、控制放疗加速器机架旋转扫描患者靶区,采集未经处理的连续x射线透视投影原始数据流;

14、提取未经处理的连续x射线透视投影原始数据流的曝光时间与机架角度,构建投影空间几何位姿与时间戳映射字典;

15、基于投影空间几何位姿与时间戳映射字典,对未经处理的连续x射线透视投影原始数据流进行降采样与去噪,生成去噪后的多视角稀疏x射线二维投影图像序列;

16、解析放疗计划系统文件提取体素坐标与剂量值,构建初始连续三维放射剂量标量场;

17、将去噪后的多视角稀疏x射线二维投影图像序列与初始连续三维放射剂量标量场进行全局几何变换与对齐,形成放疗多模态原始数据集。

18、可选的,所述对放疗多模态原始数据集中的二维投影图像序列进行基于运动先验的稀疏点云重建,初始化规范空间下的三维高斯基元参数集合,包括:

19、对放疗多模态原始数据集中的二维投影图像进行角点特征提取,得到局部高维特征描述子集合;

20、对不同视角的局部高维特征描述子集合进行相似性匹配与极线过滤,构建全局二维特征点匹配对应关系无向图;

21、利用全局二维特征点匹配对应关系无向图执行多视图三角化计算,生成物理空间离散三维坐标点云;

22、为物理空间离散三维坐标点云中的每个坐标点分配高斯几何与光学参数,形成静态高斯几何与光学属性参数块;

23、将所有静态高斯几何与光学属性参数块进行全局拼接封装,建立规范空间下的三维高斯基元参数集合。

24、可选的,所述将放疗多模态原始数据集中的多视角稀疏x射线二维投影图像序列对应的时间戳特征输入至预设的形变场多层感知机网络中,生成从规范空间到实际观测空间的非刚性形变场偏移量,包括:

25、提取放疗多模态原始数据集的物理成像时间记录并进行极值映射,生成归一化连续时间动态变量;

26、对归一化连续时间动态变量执行多尺度正余弦映射展开,生成高频时间维度位置编码特征向量;

27、将规范空间下三维高斯基元参数集合的中心坐标与高频时间维度位置编码特征向量进行拼接,构建时空联合输入特征数据张量;

28、将时空联合输入特征数据张量输入形变场多层感知机网络提取隐含特征,生成网络深层隐含高维非线性特征表达张量;

29、利用三个独立全连接分支对网络深层隐含高维非线性特征表达张量降维映射并聚合,生成非刚性形变场偏移量。

30、可选的,所述利用非刚性形变场偏移量对三维高斯基元参数集合中的空间坐标、旋转张量及协方差缩放参数进行动态形变变换,得到当前时间戳对应的形变后动态三维高斯场景表达,包括:

31、将非刚性形变场偏移量中的平移预测值与三维高斯基元参数集合的原始坐标相加,获得动态三维高斯均值坐标位置向量;

32、将非刚性形变场偏移量中的缩放预测值经指数映射后与三维高斯基元参数集合的原始缩放参数相乘,获得动态三维协方差体积缩放特征向量;

33、将非刚性形变场偏移量中的旋转预测值与三维高斯基元参数集合的原始四元数相乘并归一化,获得动态旋转单位朝向四元数参数;

34、分离提取三维高斯基元参数集合中不受形变影响的球谐函数与不透明度参数,构建静态不变光学透射属性张量字典;

35、将动态三维高斯均值坐标位置向量、动态三维协方差体积缩放特征向量、动态旋转单位朝向四元数参数与静态不变光学透射属性张量字典进行拼接对齐,构建形变后动态三维高斯场景表达。

36、可选的,所述对放疗多模态原始数据集中的三维放射剂量分布规划矩阵进行空间梯度计算与靶区阈值分析,提取出对应于肿瘤靶区及危及器官的敏感空间坐标,构建三维空间剂量重要性先验权重图,包括:

37、对三维放射剂量分布规划矩阵沿三个正交方向执行中心差分计算,生成三维空间局部剂量物理梯度幅值分布标量矩阵;

38、提取吸收剂量绝对高于处方剂量高阈值的体素坐标,标记为核心高剂量重点敏感区二值化掩膜矩阵;

39、提取吸收剂量高于耐受剂量次高阈值的体素坐标并进行形态学滤波,标记为边缘危及器官次级敏感区二值化掩膜矩阵;

40、对核心高剂量重点敏感区二值化掩膜矩阵、边缘危及器官次级敏感区二值化掩膜矩阵及背景区域分别赋予不同权重并组合,构建敏感空间物理坐标医疗重要性分类索引张量;

41、将三维空间局部剂量物理梯度幅值分布标量矩阵归一化后与敏感空间物理坐标医疗重要性分类索引张量逐元素相乘,生成三维空间剂量重要性先验权重图。

42、可选的,所述利用形变后动态三维高斯场景表达执行可微体渲染操作,生成预测的动态二维投影图像,并计算其与放疗多模态原始数据集中真实图像的光栅化渲染误差,包括:

43、将形变后动态三维高斯场景表达的参数投影至二维像平面,计算二维高斯空间椭圆分布概率密度函数函数值;

44、结合二维高斯空间椭圆分布概率密度函数函数值向像平面发射虚拟射线进行离散化透射率与颜色积分计算,生成预测的动态二维光学投影图像;

45、根据时空索引从放疗多模态原始数据集中匹配提取相同状态下的真实放疗现场射线观测二维参考图像;

46、计算预测的动态二维光学投影图像与真实放疗现场射线观测二维参考图像的绝对偏差,生成像素级绝对灰度一阶差值特征矩阵;

47、计算预测的动态二维光学投影图像与真实放疗现场射线观测二维参考图像的局部视觉差异,生成高频局部结构相似度数值度量矩阵;

48、利用固定比例权重将像素级绝对灰度一阶差值特征矩阵与高频局部结构相似度数值度量矩阵进行全局加和,生成光栅化渲染误差。

49、可选的,所述将三维空间剂量重要性先验权重图投影至二维成像平面,并与光栅化渲染误差进行逐像素的点乘加权操作,构建剂量分布引导的区域感知联合约束损失函数,包括:

50、结合当前虚拟相机的内外参矩阵,构建前向空间射线物理投射数学映射算子;

51、利用前向空间射线物理投射数学映射算子对三维空间剂量重要性先验权重图执行沿射线深度的积分累加,生成二维像平面物理剂量敏感度分布投影图;

52、对二维像平面物理剂量敏感度分布投影图进行全局最大值整除处理,生成归一化二维像素级区域重要性系数调控矩阵;

53、对归一化二维像素级区域重要性系数调控矩阵进行插值缩放,生成与光栅化渲染误差尺寸等同的对齐特征分布图;

54、将光栅化渲染误差与对齐特征分布图执行逐像素的标量乘积,生成加权后临床敏感区域绝对误差增强约束图;

55、对加权后临床敏感区域绝对误差增强约束图的所有局部误差执行全局加法求和与平均化处理,构建剂量分布引导的区域感知联合约束损失函数。

56、可选的,所述基于剂量分布引导的区域感知联合约束损失函数执行梯度反向传播,对三维高斯基元参数集合以及预设的形变场多层感知机网络的权重参数进行联合迭代优化,直至网络收敛,得到动态放疗高斯重建模型,包括:

57、反向计算剂量分布引导的区域感知联合约束损失函数对所有可学习变量的偏导数,生成全局偏导数方向梯度张量矩阵;

58、将全局偏导数方向梯度张量矩阵输入优化器,计算一阶动量时间平滑估计值张量与二阶非中心梯度的方差时间平滑估计值张量;

59、结合一阶动量时间平滑估计值张量与二阶非中心梯度的方差时间平滑估计值张量及学习率策略,计算自适应参数迭代后向更新标量缩放步长;

60、依据自适应参数迭代后向更新标量缩放步长执行反向更新,并监控二维梯度以执行三维高斯基元的克隆或剔除操作,生成全新三维高斯参数状态集合;

61、循环执行正反向更新流程,直至全新三维高斯参数状态集合对应的损失函数收敛,固化参数输出动态放疗高斯重建模型。

62、可选的,所述给定任意目标时间戳与任意目标观测视角,将其输入至动态放疗高斯重建模型中执行渲染,输出高保真的放疗患者四维解剖结构影像,包括:

63、接收专家交互指令提取指定曝光时间与虚拟相机位姿参数,构建目标连续观测时空查询特征数据输入向量;

64、将目标连续观测时空查询特征数据输入向量中的时间参数输入动态放疗高斯重建模型进行推理,输出特定连续瞬态三维空间物理形变场非刚性偏移矩阵;

65、利用特定连续瞬态三维空间物理形变场非刚性偏移矩阵对静态高斯参数执行形变变换,生成目标时空节点瞬态高斯绝对物理场景分布特征表达数据块;

66、根据目标连续观测时空查询特征数据输入向量的相机位姿,对目标时空节点瞬态高斯绝对物理场景分布特征表达数据块执行可微体渲染,生成动态二维投影重建断层诊断切片

67、依据时间演进步长持续改变时间标量重复反应,利用视频压缩算法将时间序列数据封装,输出高保真的放疗患者四维解剖结构影像。

68、本发明的有益效果是:

69、本发明通过引入高频时间维度位置编码与形变场网络预测空间位置、协方差缩放和旋转张量三维偏移量的机制,能够解耦患者静态解剖结构与瞬态运动特征,精准推演靶区器官的动态物理形变。本发明通过将时间特征高维展开并预测高斯基元的动态仿射变换参数,配合底层显式的三维高斯点云结构,确保在患者产生复杂非刚性形变时能够实现极其精准的空间拓扑追踪,显著提升了四维影像重建的保真度与光栅化渲染帧率。

70、本发明通过对三维放射剂量分布规划矩阵进行空间局部梯度计算与靶区阈值分析构建三维先验权重图,并将其投影至二维像平面与光栅化渲染误差进行逐像素点乘加权操作,使网络在反向传播时能够将被动惩罚转化为主动聚焦。本发明通过引入物理医学先验,强制网络在极高处方剂量靶区、高风险危及器官以及剂量陡崖突变边缘分配指数级放大的梯度注意力,在有限算力下极致刻画核心临床敏感区域的结构锐度。

71、本发明通过在极度稀疏的多视角x射线投影下提取高维局部特征生成点云以初始化高斯基元,并监控二维视图梯度动态触发高斯基元的原位分裂克隆与强制内存剔除操作,实现了模型容量随解剖复杂度的自适应动态扩缩。本发明通过精准的稀疏极线几何先验赋予网络优异的初始空间定位基础,并依赖局部误差梯度驱动高斯基元在解剖复杂的高频误差区自动增殖分裂,在透明无效的空气背景区自动消亡,显著提升了算法在极端数据匮乏条件下的鲁棒性与表征极限。