医学多模态图像联合生成方法、系统、设备及存储介质

本发明属于医学图像处理与人工智能生成，具体涉及一种医学多模态图像联合生成方法、系统、设备及存储介质。

背景技术：

1、同一患者或受试者常由多个成像分支共同描述：不同分支可能反映不同物理性质，也可能来自不同视角、空间尺度、采样平面或时间状态。例如标准心脏磁共振检查通常同时包含长轴电影和覆盖心室的短轴电影堆栈，且数字医学图像中的图像位置、方向和像素间距共同定义像素到患者坐标系的映射，不同视图间可借助物理空间元数据建立确定的坐标关系。

2、现有的多模态图像生成方案存在以下不足：其一，多个模态由彼此独立的生成模型分别生成，缺少同一随机样本内的共同对象状态，不能自然保证同一合成受试者的跨视图对应；其二，将全部模态压缩为完全共享的表示，又会抹除各模态特有的纹理、视角、尺度、噪声和采样信息；其三，仅比较全局特征相似度无法表明不同模态在对应空间或语义部位是否描述同一结构；其四，分割掩膜条件式生成通常要求推理阶段输入真实结构标签，限制了使用场景；其五，若每一步均执行解码与结构损失计算，既产生高昂显存与时间开销，高噪声阶段不可靠的清洁图像估计还会破坏扩散训练；其六，确定性空间标定存在多次屏气、切面规划、局部运动等造成的非均匀残差，而完全自由的学习型映射又可能通过过度形变掩盖生成错误；其七，图像预处理后若丢失原始坐标和变换链，将无法正确建立跨模态对应位置。

3、因此，需要一种既能表达对象级共同状态、又能保留模态特异信息，并能利用已知空间或语义对应关系校正联合样本的生成方法。

技术实现思路

1、本发明提供了一种医学多模态图像联合生成方法、系统、设备及存储介质解决上述提到的技术问题，具体采用如下的技术方案：

2、根据本技术实施例的第一方面，提供了一种医学多模态图像联合生成方法，包含以下步骤：

3、获取同一患者或受试者的至少第一图像模态和第二图像模态，以及所述第一图像模态与所述第二图像模态之间的空间、时间和/或语义对应信息；

4、分别将各所述图像模态编码为相应的模态私有潜变量，并由至少两个所述图像模态共同构造至少一个跨模态共享潜变量；

5、将各所述模态私有潜变量和所述共享潜变量组织为附加有模态身份及可选有效性掩膜的联合潜变量，并在同一生成网络内学习所述联合潜变量的联合分布；

6、在训练阶段，从所述生成网络的预测构造清洁联合潜变量估计，将所述共享潜变量分别与各所述模态私有潜变量融合，并通过可微解码器解码得到多个生成模态图像；

7、将至少两个所述生成模态图像输入结构表征网络，所述结构表征网络的参数被固定但保留相对于输入的梯度，得到对应的结构表征；

8、根据所述空间、时间和/或语义对应信息，将第一生成模态的结构表征映射至第二生成模态或公共表示空间，所述映射包括确定性映射，或者包括由确定性映射提供全局锚定、并由受限学习型残余形变提供局部校正的级联映射；

9、根据映射后的结构表征、所述第二生成模态的结构表征以及可用的训练标签中的至少二者构建跨模态结构一致性损失，并将所述跨模态结构一致性损失的梯度经所述结构表征网络和所述可微解码器回传至所述生成网络；

10、训练完成后，从基础分布采样并解码，输出属于同一合成对象的多个相互关联的模态图像。

11、进一步地，所述跨模态共享潜变量通过共享查询、交叉注意力、池化或图聚合，在对应潜在位置对来自多个所述图像模态的有效模态token构造得到。

12、进一步地，所述联合潜变量的槽结构包括一个或多个第一模态私有槽、一个或多个其他模态私有槽以及至少一个共享槽；且所述有效性掩膜同时用于输入置零、注意力键屏蔽、输出置零和分支损失归一化。

13、进一步地，对存在顺序或空间关系的模态槽设置位置编码，并将所述位置编码用于共享潜变量的构造和/或解码时的融合。

14、进一步地，所述生成网络为潜空间扩散模型、扩散transformer、流匹配模型、整流流模型或一致性模型；当所述生成网络为扩散模型时，将所述生成网络输出的速度预测、噪声预测或清洁样本预测转换为清洁潜变量估计后，执行所述图像空间的结构约束。

15、进一步地，所述结构表征网络为器官或病灶分割网络、解剖关键点检测网络、轮廓提取网络、深度估计网络、符号距离场网络、解剖表面网络、组织识别网络或医学影像自监督特征网络。

16、进一步地，所述确定性映射通过从目标模态坐标到对象或公共坐标到源模态连续坐标的变换链生成重采样网格；优选地，采用目标视图体素到患者物理坐标到源视图连续体素的变换链，其中所述患者物理坐标由图像的标定矩阵确定。

17、进一步地，所述级联映射中，在确定性重采样之后，根据源模态投影结构、目标模态结构、覆盖信息和可选时间信息，预测残余位移场、b样条控制点或速度场，并将残余映射与确定性映射按规定方向复合；优选地，所述残余形变网络在真实配对结构上独立训练并在联合生成训练中参数固定，或者通过交替优化、停止梯度或独立目标限制所述残余形变网络不能仅依据生成一致性自由改变。

18、进一步地，对所述残余形变施加物理单位限幅、平滑约束、弯曲能约束、拓扑保持约束、负jacobian惩罚、逆一致性约束、时间连续性约束或周期闭合约束中的至少一种。

19、进一步地，同时保留所述确定性映射下的未校正一致性损失与所述级联映射后的一致性损失，并按固定权重或渐增权重组合，以防止局部形变完全替代全局标定。

20、进一步地，从参数固定的结构表征网络的中间层提取对应位置的多模态局部特征，将其投影至共同特征空间，并在有效覆盖和低不确定性区域计算局部特征距离或对比损失。

21、进一步地，将源模态图像中标记有效层位的有效层位掩膜，并使用与结构表征映射相同的重采样网格对所述体数据进行重采样，以覆盖率阈值生成损失掩膜，仅在有效覆盖区域内计算跨模态结构一致性损失。

22、进一步地，所述跨模态结构一致性损失包括生成—生成结构相似度损失、概率dice损失、l1损失、边界或关键点距离损失，以及映射后生成结构—真实目标结构监督损失中的一种或多种。

23、进一步地，所述跨模态结构一致性损失按训练轮次延迟启动并渐增；且仅对预设低噪声时间步、按步间隔、对有限病例和有限时间帧计算。

24、进一步地，训练阶段使用结构标签、教师网络或预训练结构表征网络形成损失，采样阶段不需要外部结构标签。

25、进一步地，将源图像标定、配准信息与裁剪、缩放或重排变换合成为处理后的跨模态坐标变换。

26、进一步地，所述图像模态包括不同医学成像机理、不同采集协议、不同成像序列、不同采集平面、不同空间尺度或不同时间相位形成的图像分支；所述第一图像模态为短轴电影磁共振图像，所述第二图像模态为长轴电影磁共振图像；所述跨模态共享潜变量通过在每个潜在时空位置对短轴层位token和长轴token执行交叉注意力构造。

27、根据本技术实施例的第二方面，提供了一种医学多模态图像联合生成系统，包括：

28、数据配对模块，用于获取同一患者或受试者的至少第一图像模态和第二图像模态，以及模态间的空间、时间和/或语义对应信息；

29、私有—共享编码模块，用于分别将各图像模态编码为相应的模态私有潜变量，并由至少两个图像模态共同构造至少一个跨模态共享潜变量，将各模态私有潜变量和共享潜变量组织为附加有模态身份及可选有效性掩膜的联合潜变量；

30、联合生成模块，用于在同一生成网络内学习所述联合潜变量的联合分布；

31、可微解码模块，用于在训练阶段从所述生成网络的预测构造清洁联合潜变量估计，将共享潜变量分别与各模态私有潜变量融合，并通过可微解码器解码得到多个生成模态图像；

32、结构表征模块，用于将至少两个生成模态图像输入参数固定但保留输入梯度的结构表征网络，得到对应的结构表征；

33、跨模态映射模块，用于根据模态间的空间、时间和/或语义对应信息，将第一生成模态的结构表征映射至第二生成模态或公共表示空间，所述映射包括确定性映射，或者包括由确定性映射提供全局锚定、并由受限学习型残余形变提供局部校正的级联映射；

34、损失控制模块，用于根据映射后的结构表征、第二生成模态的结构表征以及可用的训练标签中的至少二者构建跨模态结构一致性损失，并将梯度经结构表征网络和可微解码器回传至所述生成网络；

35、输出模块，用于在训练完成后从基础分布采样并解码，输出属于同一合成对象的多个相互关联的模态图像。

36、根据本技术实施例的第三方面，提供了一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，实现前述的所述的医学多模态图像联合生成方法。

37、根据本技术实施例的第四方面，提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现前述的医学多模态图像联合生成方法。

38、根据本技术实施例的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现前述的医学多模态图像联合生成方法。

39、本发明与现有技术相比，本发明具有以下有益效果：

40、1. 本发明把各模态私有变量和跨模态共享变量置于同一联合生成样本中，能够在保留模态身份和无效数据掩膜的同时建立跨模态信息交换路径。

41、2．本发明在训练期从生成图像提取结构表征并形成损失，标准采样不要求外部提供目标标签。与只比较无对应关系的全局特征相比，本发明依据空间、时间或语义对应信息比较相互对应的结构。

42、3. 本发明的级联映射利用确定性标定维持患者物理坐标和跨病例可解释性，再以受限残余场校正局部偏差。保留纯仿射损失、独立训练并冻结配准教师以及形变正则共同降低“通过形变掩盖生成错误”的风险；形变后的局部特征比较使共同信息的约束从无位置关系的全局相似扩展到具有明确对应位置的局部一致。

43、4. 本发明通过延迟启动、渐增权重、低噪声筛选、间隔计算、病例限制和帧抽样共同减少冻结解码器及分割器带来的附加计算，并避免在清洁潜变量估计过于不可靠时强行施加解剖监督。对照实验显示sax的fid和两种fvd均有所下降。