一种基于轻量化扩散模型的人群计数图像增强方法及系统

本发明涉及图像数据处理，具体为一种基于轻量化扩散模型的人群计数图像增强方法及系统。

背景技术：

1、人群计数在城市安全监控、交通管理和公共空间调度等领域具有重要的应用需求。目前主流的人群计数方法高度依赖深度学习技术，其模型的预测精度直接受限于训练数据的数量与质量。然而，在实际的高密度人群场景中，获取包含精确个体位置和数量标注的真实图像成本极高，导致相关领域普遍面临高质量训练数据稀缺的问题。

2、为了缓解数据不足的限制，通常需要进行图像数据增强。传统的增强手段主要通过翻转、裁剪或颜色变换等操作来实现，这种方式无法产生具备新颖空间分布的人群结构，对模型泛化能力的提升作用有限。随着深度生成技术的发展，利用扩散模型生成虚拟数据成为一种新的途径。但是，直接将常规的生成模型应用于密集人群场景时，存在明显的局限性。一方面，在处理密集小目标时，生成网络容易发生特征粘连，导致生成的个体缺乏清晰的独立轮廓；另一方面，现有的条件生成机制难以实现目标点位标签与生成像素的精准空间对齐，导致生成图像的实际人数和位置分布偏离给定的引导条件，无法满足计数任务对标签一致性的严格要求。此外，现有方法缺乏针对生成图像质量的自动化核验闭环，低质量的生成样本混入训练集后，会引入额外的标签噪声，进而降低下游人群计数模型的实际应用性能。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于轻量化扩散模型的人群计数图像增强方法及系统，解决了现有图像生成方法在密集人群场景中容易产生目标特征粘连，且生成的像素特征与引导标签空间分布不一致，导致难以获取高质量增强数据来训练人群计数模型的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、本发明第一方面提供一种基于轻量化扩散模型的人群计数图像增强方法，包括以下步骤：

4、获取输入图像，通过轻量化扩散生成底座进行图像潜空间编码、前向加噪和反向去噪生成操作；

5、提取空间引导特征的双控制条件输入，通过多条件协同引导模块进行特征编码与多尺度交叉注意力融合，并执行编解码双向特征注入；

6、在反向扩散去噪过程中，执行迭代交叉注意力对齐操作，通过局部空间约束项驱动特征向预设坐标收敛；

7、利用预训练的语义评估器对生成图像进行量化评估，构建语义评估反馈闭环将偏差信号回传；

8、结合空间分布感知损失函数进行联合优化，计算总损失并执行参数更新；

9、在推理阶段执行批量人群图像生成与自动化质量核验，构建增强数据集。

10、优选的，所述通过轻量化扩散生成底座进行图像潜空间编码、前向加噪和反向去噪生成操作，具体包括：

11、使用变分自编码器的编码器将输入图像压缩到低维潜空间，得到初始潜变量；

12、向初始潜变量逐步添加高斯噪声，构建用于训练的噪声数据分布；

13、构建与目标场景关联的条件信息向量，去噪网络结合条件信息向量预测潜变量中的噪声项，执行反向扩散去噪过程；

14、通过变分自编码器的解码器将去噪后的潜变量恢复到图像空间。

15、优选的，所述构建与目标场景关联的条件信息向量，具体包括：

16、获取与目标场景关联的语义描述信息和场景属性数据；

17、使用文本条件编码器对语义描述文本进行特征提取输出文本语义特征，使用场景属性编码器对场景属性数据进行编码输出场景属性特征；

18、采用条件融合函数对文本语义特征与场景属性特征进行融合，得到整体条件向量。

19、优选的，所述通过多条件协同引导模块进行特征编码与多尺度交叉注意力融合，并执行编解码双向特征注入，具体包括：

20、提取目标点阵图与场景边缘轮廓图作为双控制条件输入；

21、通过双分支并行编码结构执行层级特征编码；

22、以点阵特征为查询，以轮廓特征为键和值，执行多尺度交叉注意力融合操作得到多尺度融合特征；

23、将多尺度融合特征以残差加法的形式双向注入去噪网络的编码器和解码器对应层级。

24、优选的，所述执行迭代交叉注意力对齐操作，具体包括：

25、将扩散模型的当前潜特征作为查询特征，将多条件协同引导模块输出的点阵引导特征作为键特征与值特征；

26、计算查询特征与键特征的相似度分布，并对值特征进行加权求和提取，完成单次交叉注意力特征提取操作；

27、将单次交叉注意力特征提取操作循环执行预设迭代次数，在每次更新时叠加当前潜特征、交叉注意力输出结果以及空间分布感知损失函数的梯度，完成循环迭代对齐操作。

28、优选的，所述利用预训练的语义评估器对生成图像进行量化评估，构建语义评估反馈闭环将偏差信号回传，具体包括：

29、将扩散模型生成的图像输入至冻结权重的语义评估器中，执行前向推理输出预测的目标计数值与目标中心点坐标集合；

30、将生成的中间潜特征与最终还原的像素图像同步输入至语义评估器，输出生成结果与引导标注之间的偏差信号；

31、将偏差信号通过梯度回传机制传递至迭代交叉注意力模块与多条件协同引导模块中。

32、优选的，所述结合空间分布感知损失函数进行联合优化，计算总损失并执行参数更新，具体包括：

33、提取去噪网络的预测噪声项与真实输入的高斯噪声，计算基础噪声预测损失；

34、计算计数一致性约束项、空间分布对齐约束项和微小目标保真约束项；

35、将基础噪声预测损失、计数一致性约束项、空间分布对齐约束项和微小目标保真约束项进行加权合并，得到空间分布感知总损失函数进行联合优化。

36、优选的，所述计算计数一致性约束项、空间分布对齐约束项和微小目标保真约束项，具体包括：

37、以语义评估器输出的预测计数值与真实计数值的绝对偏差计算计数一致性约束项；

38、通过自适应高斯核将预测点集与真实引导点集转换为连续密度图，以结构相似性指标计算空间分布对齐约束项；

39、基于引导点集提取局部邻域特征数据，计算生成图像与真实数据集中对应的局部目标区域像素特征的均方误差得到微小目标保真约束项。

40、优选的，所述在推理阶段执行批量人群图像生成与自动化质量核验，构建增强数据集，具体包括：

41、依据输入的空间引导特征与文本语义条件，批量生成待筛选的人群图像数据；

42、将批量生成的图像输入至预训练的语义评估器中，计算计数偏差并评估目标空间分布的对齐程度；

43、将所述计数偏差和对齐程度分别与预设的计数偏差阈值和对齐误差阈值进行比对，筛除超出对应阈值的生成样本，保留符合阈值限定的增强样本汇集形成增强数据集。

44、本发明第二方面提供一种基于轻量化扩散模型的人群计数图像增强系统，包括：

45、轻量化扩散生成模块，用于通过轻量化扩散生成底座进行图像潜空间编码、前向加噪和反向去噪生成操作；

46、多条件协同引导模块，用于进行特征编码与多尺度交叉注意力融合，并执行编解码双向特征注入；

47、迭代交叉注意力对齐模块，用于在反向扩散去噪过程中，执行迭代交叉注意力对齐操作；

48、语义评估反馈模块，用于对生成图像进行量化评估，构建语义评估反馈闭环将偏差信号回传；

49、空间分布感知损失计算模块，用于结合空间分布感知损失函数进行联合优化，计算总损失并执行参数更新；

50、样本筛选模块，用于在推理阶段执行批量人群图像生成与自动化质量核验，构建增强数据集。

51、本发明提供了一种基于轻量化扩散模型的人群计数图像增强方法及系统。具备以下有益效果：

52、1、本发明采用多条件协同引导机制，通过对目标点阵图和场景边缘轮廓图进行双分支并行编码与多尺度交叉注意力融合，并将融合后的特征双向注入到轻量化扩散生成底座的编解码器中。该结构在生成过程中同时提供了空间位置和轮廓边界的约束，避免了网络下采样阶段微小目标特征的丢失，从而提高了生成图像中人群分布与真实场景结构的对应准确度。

53、2、本发明在扩散模型的去噪网络中引入了迭代交叉注意力对齐操作，将模型的潜特征与点阵引导特征进行循环交叉注意力计算，并在每次更新时叠加局部空间约束的梯度。这种处理方式强制生成特征向预设的空间坐标收敛，减少了高密度人群场景下容易出现的目标像素粘连现象，提升了生成图像中微小个体的独立性和位置准确性。

54、3、本发明构建了语义评估反馈闭环，利用冻结权重的语义评估器对生成结果进行量化评估，结合计数一致性、空间分布对齐等多项损失函数联合优化生成模型，并在推理阶段依据评估器的输出自动筛除偏差过大的样本。该设计将下游计数任务的指标直接转化为生成过程的优化目标，无需人工筛选即可构建标签高度一致的增强数据集，最终提升了下游人群计数模型的预测精度。