基于空间约束和标注校准的超声图像合成方法

本发明涉及人工智能、图像处理，尤其涉及一种基于空间约束和标注校准的超声图像合成方法。

背景技术：

1、超声因无创、成本较低且便于重复检查，已成为甲状腺结节筛查的重要影像手段。深度学习目标检测模型能够同时给出超声图像中结节的位置和类别，但其性能高度依赖规模充足、标注准确且类别分布合理的训练数据。受患者隐私、机构间数据壁垒以及标注成本等因素限制，高质量甲状腺超声数据难以大规模获取。

2、现有的翻转、缩放、裁剪等传统数据增强仅对既有样本进行几何变换，难以引入新的声学纹理和病理形态。基于生成对抗网络的图像合成方法容易受到训练不稳定、模式坍塌和细节失真的影响；扩散模型虽然提高了生成质量，但在甲状腺超声场景中，生成图像的细粒度纹理、整体清晰度以及结节边界的自然性仍有待提升。

3、除生成图像的质量外，合成病灶与预设标注之间的空间一致性也是影响合成数据可用性的关键因素。现有空间条件引导方法虽然能够对结节的生成区域进行一定约束，但在复杂的甲状腺超声场景中，实际生成的结节仍可能相对于预设边界框发生位置或范围偏移，导致合成图像内容与原始标注不一致。若直接利用此类样本训练目标检测模型，将引入带噪监督信号，影响模型的特征学习和定位性能，而针对合成后标注误差的自适应校准方法仍较为有限。因此，需要一种兼顾高保真图像生成、结节空间控制和合成标注自适应校准的技术方案。

技术实现思路

1、为了解决现有技术中存在的上述技术问题，本发明提出了一种基于空间约束和标注校准的甲状腺超声图像合成方法，其具体技术方案如下：

2、一种基于空间约束和标注校准的超声图像合成方法，包括：

3、步骤1，获取并预处理甲状腺超声图像数据集；

4、步骤2，利用甲状腺超声图像数据集训练文本条件潜在扩散模型，并采用lora对模型参数进行微调，使扩散模型学习甲状腺超声图像的特征，包括纹理、解剖结构、结节边界框以及良恶性病理语义；

5、步骤3，将结节边界框转换为空间掩膜，基于扩散模型的u-net噪声预测网络构建并训练一空间控制分支，所述空间控制分支提取空间掩膜的空间条件特征并逐层注入至扩散模型，以约束扩散模型生成结节位置、范围和类别受控的甲状腺超声合成图像；

6、步骤4，对甲状腺超声合成图像进行多几何视图变换和双门控标注校准，优化甲状腺超声合成图像中的结节边界框。

7、进一步地，所述甲状腺超声图像数据集的每个样本由四个元素形成成四元组，其中，为甲状腺超声图像；为诊断标签，表示良性，表示恶性；为与诊断标签对应的语义文本提示；为目标结节的真实边界框；所述预处理包括对图像进行尺寸调整、裁剪、归一化操作。

8、进一步地，所述文本条件潜在扩散模型还包括变分自编码器、双文本编码器；所述变分自编码器的编码器将输入图像映射为低维潜变量，解码器用于将潜变量恢复至图像空间；前向扩散过程按照预设方差序列向低维潜变量逐步加入高斯噪声；在任意时间步，可表示为：

9、

10、其中，信号保留系数，累计保留系数为从第1步至第步各信号保留系数的乘积：，为预设方差；表示服从标准正态分布；

11、所述双文本编码器将文本提示转换为条件嵌入，u-net噪声预测网络学习反向去噪过程。

12、进一步地，所述文本条件潜在扩散模型在训练过程中，通过最小化模型预测噪声与实际加入噪声之间的均方误差，并采用低秩lora方法对所述u-net噪声预测网络进行微调，使文本条件潜在扩散模型适应甲状腺超声图像的特征，训练使用的损失函数表达式为：

13、。

14、进一步地，所述空间控制分支包括掩膜编码器、controlnet网络；所述掩膜编码器将空间掩膜映射到与u-net中间特征相匹配的空间条件特征；所述controlnet网络将该空间条件特征注入文本条件潜在扩散模型；

15、在训练阶段，冻结预训练的文本条件潜在扩散模型u-net参数，仅优化空间控制分支参数，从而在保留超声生成先验的同时约束结节的位置、尺寸和类别；所述空间控制分支的训练目标为：

16、；

17、在推理阶段，输入固定的类别文本提示和由期望边界框形成的空间掩膜，执行反向去噪，得到位置受控的甲状腺超声合成图像，边界框同时作为该合成图像的候选检测标注。

18、进一步地，所述甲状腺超声图像和空间掩膜均转换为rgb并采用lanczos插值和中心裁剪；图像归一化至[-1，1]，掩膜保持在[0，1]。

19、进一步地，所述多几何视图变换具有为：对甲状腺超声合成图像进行水平翻转和缩放，得到视图集合，其中包括原始图像、水平翻转图像、缩放系数为0.8的图像以及缩放系数为1.2的图像。

20、进一步地，所述双门控标注校准具体包括：

21、利用预训练目标检测器分别对各几何视图进行推理，选择每个视图中置信度最高的预测边界框，并执行相应逆几何变换，将各预测框映射回原始图像坐标系，得到预测框集合；

22、根据预测框集合计算内部预测一致性，即计算各预测框公共交集面积与其联合并集面积之比：

23、

24、其中，越大，表示检测器对几何变换越稳健，原始视图预测框越适合作为标注校准参考；

25、计算外部空间对齐度，即计算原始视图预测框与初始期望边界框的iou值，用于量化原始视图参考预测框与期望边界框之间的偏移，表达式为：

26、

27、基于内部预测一致性和外部空间对齐度建立双门控函数，从而自适应确定标注校准系数。

28、进一步地，所述双门控函数包括：

29、预测可靠性权重采用随内部预测一致性增大而增大的sigmoid函数；

30、校准必要性权重采用随外部空间对齐度增大而减小的sigmoid函数：

31、两权重的函数表达式为：

32、

33、

34、、为斜率缩放参数，、为阈值参数；

35、将两个权重相乘得到样本自适应标注校准系数，由此，仅当预测框具有高内部一致性且初始边界框与预测框的外部对齐度低时，才触发强校准，得到最终的优化边界框，表达式为：

36、

37、而当检测器预测不稳定时，减小，优化框更多保留初始空间条件；

38、当初始框已经与生成结节对齐时，减小，避免过度校准；

39、当预测稳定且初始框明显漂移时，增大，优化框向预测框移动，从而在不同合成样本之间实现非线性、样本级自适应校准。

40、进一步地，将所述甲状腺超声合成图像、与诊断文本提示对应的诊断标签以及优化边界框组成合成检测样本；将所述合成检测样本与真实检测样本合并形成增强数据集，用于训练甲状腺结节目标检测模型。

41、本发明的有益效果：

42、1、提高超声合成图像的真实性及目标形态表征的准确性。

43、通过对大规模文本条件潜在扩散模型进行甲状腺超声领域适配，本发明能够学习超声纹理、组织层次和结节边界等细粒度特征，并利用类别文本提示维持良恶性语义。实验中，本方法取得fid（初始距离）为14.648、kid（核初始距离）为0.113±0.053和is（初始分数）为2.867±0.095；分类器对合成图像的平均准确率、f1值和auc分别达到95.52%、95.58%和99.11%。

44、2、降低合成图像中的边界框标签噪声。

45、comb以双门控方式确定每个样本的校准强度。该方式能够在需要时修正错位，又可在预测不可靠或初始框已对齐时抑制不必要的修改。消融实验中，合成数据未使用comb时rtmdet的map（平均精度均值）为83.4%，加入comb后提高到84.1%，高于仅使用真实数据时的82.2%。

46、3、提升数据利用效率、泛化能力和类别平衡能力。

47、将本方法生成的样本用于训练检测器，可减少对真实超声数据和人工标注的依赖。使用60%的真实训练数据并加入合成样本时，map达到82.7%，高于使用100%真实数据的82.2%；在10:1类别不平衡条件下，map由63.6%提高至72.6%。在独立tn3k测试集上，无需微调即可获得跨数据集的竞争性结果，表明合成样本能够增强检测模型的跨数据集泛化能力。