一种空间可控的多风格多视角X光安检图像生成方法

本发明涉及x光图像生成方法，特别是涉及一种空间可控的多风格多视角x光安检图像生成方法，属于人工智能领域。

背景技术：

1、近年来，基于x光安检图像的违禁品检测方法已广泛应用于机场、地铁和铁路等公共安全场景。然而，x光安检图像需要通过专用设备对真实物品进行扫描获取，存在数据采集成本高、违禁品样本稀少、类别分布不均衡以及不同扫描器成像风格差异明显等问题。与自然图像不同，x射线图像反映的是射线穿过物体后的能量衰减，其成像过程可表示为：

2、

3、其中，i表示射线穿过物体后得到的图像强度，表示没有物体遮挡时的入射射线强度，e表示自然指数的底数，-l表示物体对射线产生衰减，负号表示射线强度随衰减增加而降低，l表示所有物体产生的总衰减量，∑表示将多个物体的衰减量相加，m表示物体的编号，n表示物体总数，表示第m个物体产生的衰减量。因此，多个物体重叠时会产生透射衰减叠加，而不是自然图像中的前景遮挡背景。

4、随着生成式人工智能技术的发展，文本到图像扩散模型为补充x光安检训练数据提供了新的途径。现有图像生成方法主要面向自然图像，通过文本条件描述目标内容，并利用扩散模型逐步生成图像，难以同时表征x光图像特有的伪彩色成像风格、物质透射特征和多视角投影关系；另有部分方法以真实x光图像为背景，对指定区域进行局部编辑，但这类方法依赖真实x光背景，不能从随机噪声开始生成完整的行李场景。

5、针对上述问题，本发明提出一种空间可控的多风格多视角x光安检图像全图生成方法unixgen。本发明首次面向从随机噪声生成完整x光安检图像的技术路线，基于文生图扩散模型生成x光安检图像的全图，并实现对图像成像风格、扫描视角和目标空间位置的联合控制，从而区别于依赖真实x光背景的局部编辑方法。在x光安检图像生成和检测数据增强任务中表现出有效性，能够提升合成图像的风格真实性、空间可控性与下游检测可用性，是一种统一且高效的x光安检数据生成增强手段。

技术实现思路

1、本发明提出一种空间可控的多风格多视角x光安检图像生成方法unixgen。该方法以随机噪声作为生成起点，不依赖真实x光背景图进行局部修补，直接生成完整的行李场景，利用风格与视角条件建模、尺度感知训练和潜空间实例操控策略，生成多风格、多视角且带有检测标注的x光安检合成图像，从而缓解安检检测模型训练数据不足和标注成本较高的问题。

2、本发明提出的一种空间可控的多风格多视角x光安检图像生成方法，针对x光图像与自然图像在成像机制上的差异进行设计。自然图像通常表现物体表面的光照和遮挡关系，而x光图像表现射线穿过物体后的透射衰减，重叠物体的成像信息会沿射线路径叠加。因此，现有文生图模型直接用于x光图像时，容易出现伪彩色风格不一致、视角投影变形、目标缺失和重叠区域不真实等问题。传统方法将文生图扩散模型微调为x光图像生成模型，或以真实x光图像为背景进行局部编辑，与本发明方法不同，前者缺少针对x光成像特点的训练约束，后者依赖真实背景，不能从随机噪声生成完整场景。

3、本发明提出的一种统一训练与可控推理框架，通过在训练阶段对扫描器风格和扫描视角进行条件化表示，并将尺度感知权重引入扩散模型去噪损失，使模型在学习真实行李背景分布的同时更加关注小尺寸物品区域，减少小物品缺失和局部结构模糊；在推理阶段，利用模型内部注意力响应发现目标实例，并在噪声潜空间中对实例进行平移、旋转或缩放，同时针对x光图像中物体半透明重叠的特点进行融合处理。由于源实例掩码和空间变换参数已知，本发明能够同步推导生成图像中的边界框标注，使合成样本能够直接用于下游违禁品检测训练。该方法在不改变扩散模型主体生成流程的基础上，实现了生成质量、空间可控性和检测标注可用性的统一。因此，本发明具有显著的实际应用价值和推广前景，能够满足日益增长的安全与性能协同需求。

4、本发明提出的一种空间可控的多风格多视角x光安检图像生成方法，主要由4个模块组成，分别是：结构化文本提示模块、统一训练增强模块、注意力实例发现模块、潜空间操控与自动标注模块。

5、结构化文本提示模块：

6、该模块接收x光安检图像、扫描器风格信息、扫描视角信息和物品类别信息，并将上述信息按照统一格式组织为扩散模型能够接收的文本条件。对于多视角任务，扫描视角包括底部中心视角、底部右侧视角、顶部右侧视角和右侧视角，并使用视角标识区分不同投影关系；对于单视角数据，设置默认视角标识为底部中心视角，使不同数据来源能够在同一提示格式下训练。扫描器成像风格标识用于区分不同设备产生的伪彩色映射、对比度和图像外观。

7、统一训练增强模块：

8、该模块负责将扩散模型适配到x光安检图像领域。具体地，该模块通过文本反演学习扫描器风格标记和视角标记的嵌入向量，通过低秩适配lora对扩散模型注意力层进行参数高效适配，并根据目标检测框构建尺度感知权重图，以提升小尺寸违禁品和易遗漏物品区域的生成能力。公式表示为：

9、

10、其中，为第i个目标框面积占图像面积比例，表示第i个目标框，area表示目标框面积，h和w分别表示图像高度和宽度，为第i个目标区域的训练权重，为基础权重系数。目标面积越小，目标区域获得的训练权重越高，从而降低小尺寸违禁品在生成过程中的遗漏概率。尺度感知权重图进一步用于更新训练损失：

11、

12、其中，l为训练损失，e为平均运算，m为潜空间元素数量，p为位置，ε为真实噪声，为模型预测噪声，为第t步噪声潜变量，t为去噪时间步，τ为文本条件。该损失函数通过对目标区域提高权重，使模型在保持整体行李背景真实性的同时加强对小尺寸目标的学习。通过联合训练，使模型同时学习不同扫描器的伪彩色成像风格、不同视角下的投影关系以及物体结构。

13、注意力实例发现模块：

14、注意力实例发现模块在推理阶段提取目标物品对应的交叉注意力图和自注意力特征。首先根据目标物品的文本标记聚合注意力响应，再通过阈值分割获得前景区域，并对前景特征进行密度聚类，以区分同一类别下的不同目标实例；最后根据候选区域的平均注意力和最大注意力选择待操控实例。该过程不需要额外的实例分割网络或人工指定源目标位置。

15、潜空间操控与自动标注模块：

16、潜空间操控与自动标注模块在指定去噪时间步提取待操控实例的噪声潜变量块，并对其执行平移、旋转和缩放。由于x光安检图像具有物质半透明重叠的成像特点，即不同物体在投影方向上其x射线衰减效应会进行叠加，因此，当变换后的源实例与背景或其他实例在潜空间中出现重叠区域时，本模块采用一种基于能量融合的策略进行处理，而非简单的像素覆盖。融合公式如下：

17、

18、其中，为融合结果，和分别为源实例和背景潜变量，和为融合权重，p为潜空间位置，表示取正负号，平方根和上标2分别表示开平方和平方。潜变量的符号分量编码了物体的类别或结构属性，正负代表不同的物质基，而幅度分量编码了该物体的透射强度或密度信息，融合过程模拟了x光在重叠区域的衰减叠加原理。由于源实例掩码和空间变换参数已知，变换后的目标边界框可以自动计算并与生成图像同步输出。

19、通过以上技术方案，本发明具有如下优点：

20、（1）本发明从随机噪声开始生成完整的x光安检行李场景，不依赖真实x光背景图进行局部编辑或目标拼接，能够同时生成行李背景、违禁品和非违禁品等完整内容。通过在输入条件中加入扫描器成像风格和扫描视角信息，使同一模型能够生成具有不同伪彩色映射、对比度、成像外观和投影关系的x光安检图像，提高合成图像对不同扫描设备和不同安检场景的适应能力。

21、（2）本发明通过尺度感知训练方式提高小尺寸违禁品区域在扩散去噪过程中的训练权重，避免训练损失主要由大面积行李背景决定，使模型更加关注刀片、飞镖等面积较小且容易遗漏的目标。在保持整体行李布局、背景结构和x光成像风格真实性的同时，提高小尺寸违禁品的生成概率、轮廓完整性、边缘清晰度和局部结构稳定性，减少目标缺失、目标模糊和形状变形问题。

22、（3）本发明在扩散模型推理阶段发现目标实例，并在噪声潜空间中对目标执行平移、旋转和缩放，从而实现对目标位置、方向和尺寸的控制。针对x光图像中多个物体透射衰减叠加的特点，本发明在目标与已有物体发生重叠时对潜变量进行融合，避免采用自然图像中的前景覆盖背景方式，提高重叠区域的成像真实性和结构连续性。同时，利用目标掩码和空间变换参数自动生成变换后目标的边界框标注，无需人工重新标注即可获得图像与标注同步的训练样本，使生成数据能够直接用于违禁品检测模型训练，并可用于构造违禁品正样本、非违禁品负样本以及不同空间布局的增强样本。