一种跨域少样本视觉识别的数据增强方法及系统

本发明属于计算机视觉领域，更具体地，涉及一种跨域少样本视觉识别的数据增强方法及系统。

背景技术：

1、在实际应用中，许多视觉识别任务面向医疗影像、工业缺陷、遥感图像、水下目标等专家域场景。这类场景中的目标域数据通常获取成本高、标注难度大，且受隐私、安全、设备条件或专业知识限制，难以像通用自然图像数据集一样积累大量标注样本。跨域少样本目标检测通常采用在通用源域数据集上预训练的模型，并在目标域中仅使用每个类别少量标注样本进行微调。然而，目标域图像在成像方式、纹理分布、背景结构、目标形态以及类别语义等方面与通用源域图像存在显著差异，仅依赖少量目标域样本难以充分校正这种域差异，导致检测模型在目标域中的定位和分类性能不足。

2、为了缓解目标域标注样本不足的问题，数据增强是常用技术路径。传统数据增强方法包括翻转、旋转、亮度增强、mixup、复制粘贴等，这些方法通常围绕原始图像进行几何或像素级扰动，虽然较容易保持原有标注一致性，但引入的新语义、新背景和新外观变化有限，难以有效扩展目标域少样本数据的分布范围。特别是在跨域少样本检测场景中，模型不仅需要更多样的图像外观，还需要增强样本仍然保持可检测目标的位置、形状和类别一致性，传统增强方法难以同时满足上述要求。

3、随着扩散模型的发展，利用文本到图像或图像到图像扩散模型生成训练样本成为一种新的数据增强方式。但是，现有扩散模型多基于大规模通用图像分布训练，当其直接用于专家域少样本图像时，容易出现两类问题：其一，较强的扩散噪声会使目标域图像中的细粒度纹理、结构边界、成像特征等有效信息被破坏，导致生成样本偏离原目标域数据；其二，目标域类别可能并未包含在扩散模型的训练数据中，模型对未知前景类别的理解不足，容易生成类别不一致、目标形态异常或目标位置偏移的样本。对于目标检测任务而言，上述偏差会直接影响原标注框与生成图像中目标之间的一致性。

4、现有的da-fusion、diffusemix、sdedit、ip-adapter、controlnet以及检索增强生成方法等，虽然能够在一定程度上进行图像生成或语义编辑，但通常没有针对跨域少样本视觉识别中“保持目标域有效视觉信息、避免未知类别前景失真、沿用原始检测标注、过滤低质量生成样本”这些约束形成统一处理流程。但是，检索增强式方法通常需要从外部源域数据集中检索背景图像或组合素材，并依赖图像筛选、特征提取和特征匹配过程构造增强样本，该类方法对外部数据规模、检索质量和特征匹配开销存在依赖，且生成样本与目标域原始标注之间的一致性仍需额外保证。若仅增加生成样本数量而不控制噪声强度、生成区域和样本质量，增强样本可能引入新的噪声，进而降低目标域模型微调效果。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种跨域少样本视觉识别的数据增强方法及系统，由此解决现有数据增强方法在目标域样本稀缺且域差异较大时容易破坏目标域语义、生成样本质量不稳定、依赖外部检索库、增强样本难以直接沿用原标注以及对下游识别模型提升有限的问题。

2、为实现上述目的，按照本发明的第一方面，提供了一种跨域少样本视觉识别的数据增强方法，包括：

3、s1，获取目标域少样本支持集，所述目标域少样本支持集包括支持集图像及其目标标注信息，利用语义描述模型生成各支持集图像的语义描述文本；

4、s2，分别根据各支持集图像的目标标注信息生成对应的区域掩码，所述区域掩码包括前景区域掩码及背景区域掩码；

5、s3，将低强度定制噪声分别加入各支持集图像得到对应的低噪声图像；

6、s4，将各支持集图像的语义描述文本作为提示词，与与其对应的区域掩码及低噪声图像共同输入冻结的扩散模型得到背景修复样本；将各支持集图像的语义描述文本作为提示词，与与其对应的反向区域掩码、低噪声图像及目标类别信息共同输入冻结的扩散模型得到前景修复样本；将所述背景修复样本及前景修复样本作为候选增强样本，从中筛选出质量指标符合要求的样本作为有效增强样本，与所述目标域少样本支持集共同组成扩展支持集，并利用所述扩展支持集对目标域视觉识别模型进行微调。

7、按照本发明的第二方面，提供了一种跨域少样本视觉识别的数据增强系统，包括：

8、语义描述生成模块，用于利用语义描述模型生成目标域少样本支持集中各支持集图像的语义描述文本；其中，所述目标域少样本支持集包括支持集图像及其目标标注信息；

9、区域定位模块，用于分别根据各支持集图像的目标标注信息生成对应的区域掩码，所述区域掩码包括前景区域掩码及背景区域掩码；

10、定制噪声生成模块，用于将低强度定制噪声分别加入各支持集图像得到对应的低噪声图像；

11、选择性修复生成模块，用于将各支持集图像的语义描述文本作为提示词，与与其对应的区域掩码及低噪声图像共同输入冻结的扩散模型得到背景修复样本；将各支持集图像的语义描述文本作为提示词，与与其对应的反向区域掩码、低噪声图像及目标类别信息共同输入冻结的扩散模型得到前景修复样本；

12、质量筛选模块，用于将所述背景修复样本及前景修复样本作为候选增强样本，从中筛选出质量指标符合要求的样本作为有效增强样本，与所述目标域少样本支持集共同组成扩展支持集

13、目标域微调模块，用于利用所述扩展支持集对目标域视觉识别模型进行微调。

14、按照本发明的第三方面，提供了一种电子设备，包括：计算机可读存储介质和处理器；

15、所述计算机可读存储介质用于存储可执行指令；

16、所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。

17、按照本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行如第一方面所述的方法。

18、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

19、因此，需要一种能够面向跨域少样本视觉识别任务，不依赖外部检索库，直接基于目标域少样本支持集及其原始标注，在保留目标域原始图像结构和标注一致性的基础上，生成并筛选对下游模型有效的目标域增强样本的方法。

20、尤其适用于跨域少样本目标检测、跨域少样本目标分割以及其他目标域标注样本稀缺且与源域存在显著域差异的视觉识别任务。

21、（1）本发明通过低强度定制噪声控制扩散过程，能够在引入生成多样性的同时保留目标域图像中的关键结构和语义信息，缓解视觉域差异导致的生成失败问题。

22、（2）本发明通过区分前景区域和背景区域，并采用选择性扩散修复生成背景修复样本和前景修复样本，能够利用背景在跨域场景中更易迁移的特点，减少对未知前景类别直接生成的依赖。

23、（3）本发明通过预训练视觉识别网络计算候选增强样本的检测质量指标，并基于质量指标筛选有效增强样本，能够降低无效生成样本对下游模型微调的负面影响。

24、（4）本发明生成的增强样本可沿用原支持集图像的目标标注信息，减少重新标注成本，适合目标域标注数据稀缺的应用场景。

25、（5）本发明采用冻结的预训练扩散模型，不需要重新训练扩散模型，能够与现有扩散模型、目标检测模型或目标分割模型结合，具有较好的通用性和部署灵活性。

26、（6）本发明不依赖外部检索数据库或背景图像检索过程，能够直接基于目标域少样本支持集及其原始标注完成增强样本生成与筛选，降低对外部源域数据、检索质量和特征匹配流程的依赖。

27、（7）本发明通过低强度噪声和局部区域修复生成候选增强样本，能够避免完整扩散生成流程带来的较高计算开销，提高目标域增强样本生成效率。