模型优化方法、系统和电子设备与流程
本技术涉及数据处理，特别是涉及一种模型优化方法、系统和电子设备。
背景技术：
1、随着工业自动化与智能制造技术的发展，基于深度学习的表面缺陷检测技术在织物生产质量控制领域得到了广泛应用。相较于传统的人工目视检测和基于手工特征的机器视觉方法，深度学习检测器（包括基于卷积神经网络的目标检测器和基于transformer架构的端到端检测器）能够自动学习多层次纹理特征，在纯色织物和简单纹理背景下的缺陷检测任务中取得了较高的检测精度。然而，深度学习检测器的性能高度依赖于大规模、类别均衡且带有精确像素级或边界框级标注的训练数据，这要求在实际部署前投入大量资源进行数据采集和人工标注。
2、传统技术中，为缓解训练数据不足的问题，通常采用两类方法：一类是基于图像变换的常规数据增强方法，例如翻转、旋转、裁剪、色彩抖动等，该类方法仅在现有数据流形内进行插值，无法引入新的语义多样性；另一类是基于生成模型的合成增强方法，例如生成对抗网络和扩散模型，通过学习潜在数据分布来生成新的缺陷样本。其中，生成对抗网络已被用于织物缺陷图像的合成，扩散模型因其相对稳定的训练过程和较强的图像生成能力，近年来也被探索用于表面缺陷的少样本生成。此外，为应对数据长尾分布问题，还出现了代价敏感学习、重加权策略以及基于特征空间插值的过采样方法，试图通过算法层面的调整或数据层面的扩充来改善模型在不均衡数据上的表现。
3、然而，上述现有方法均存在一个共同的本质缺陷：生成式增强过程与目标检测器的学习状态相互独立，形成开环架构，无法在无需人为预设增强策略的情况下，使模型自主识别并针对性弥补自身在各类别上的学习不足。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种模型优化方法、系统和电子设备。
2、第一方面，本技术提供了一种模型优化方法，包括：
3、获取目标检测模型在验证数据集上的性能反馈信息；
4、根据性能反馈信息，确定目标检测模型在各预设类别上的学习困难度，并基于学习困难度，从各预设类别中确定至少一个困难类别；
5、根据各困难类别的学习困难度，确定各困难类别对应的合成数据量；
6、根据合成数据量，生成针对各困难类别的合成样本，合成样本携带有标注信息；
7、将合成样本与真实训练样本进行融合，利用融合后的样本对目标检测模型进行参数更新。
8、在其中一个实施例中，性能反馈信息包括目标检测模型在验证数据集上的预测结果；
9、根据性能反馈信息确定目标检测模型在各预设类别上的学习困难度，包括：
10、根据预测结果，统计各预设类别的误检信息，其中，误检信息包括漏检率和/或类间混淆率；
11、根据漏检率和/或类间混淆率，确定各预设类别的学习困难度。
12、在其中一个实施例中，根据漏检率和/或类间混淆率，确定各预设类别的学习困难度，包括：
13、基于漏检率确定总错误率，并基于类间混淆率确定类间混淆惩罚项；
14、基于各预设类别的总错误率与类间混淆惩罚项的加权和，确定各预设类别的学习困难度。
15、在其中一个实施例中，学习困难度按照以下公式确定：
16、
17、其中，表示类别c的学习困难度，表示类别c的正确检测比例，表示总错误率，表示真实类别c被预测为类别j的类间混淆率，表示类间混淆惩罚系数，c表示预设类别集合。
18、在其中一个实施例中，基于学习困难度，从各预设类别中确定至少一个困难类别，包括：
19、按照学习困难度从高到低对各预设类别进行排序；
20、将排序靠前预设数量的预设类别确定为困难类别；
21、或，将学习困难度超过预设阈值的预设类别确定为困难类别。
22、在其中一个实施例中，确定各困难类别对应的合成数据量，包括：
23、获取各困难类别在真实训练集中的真实样本数量；
24、根据真实样本数量，确定各困难类别的频次补偿量；
25、根据学习困难度，确定各困难类别的困难度补偿量；
26、根据频次补偿量与困难度补偿量的加权和，确定各困难类别的合成数据量。
27、在其中一个实施例中，确定各困难类别的合成数据量，包括：
28、基于预设参考数量与真实样本数量的差值，确定各困难类别的频次补偿量；其中，当真实样本数量大于或等于预设参考数量时，频次补偿量为零；
29、基于学习困难度与预设参考数量的乘积，确定各困难类别的困难度补偿量；
30、基于各困难类别的频次补偿量与困难度补偿量的加权和，确定各困难类别的合成数据量。
31、在其中一个实施例中，合成数据量按照以下公式确定：
32、
33、其中，表示类别c的合成数据量，表示预设参考数量，表示类别c的真实样本数量，表示类别c的归一化学习困难度，表示困难度补偿强度系数，表示困难类别的集合。
34、在其中一个实施例中，根据合成数据量，生成针对各困难类别的合成样本，包括：
35、获取背景图像及对应的空间约束信息；
36、将空间约束信息作为条件输入，控制预设生成模型在背景图像的指定区域内合成符合相应困难类别特征的样本内容；
37、根据空间约束信息，生成样本内容的标注信息。
38、在其中一个实施例中，空间约束信息包括其中至少一项信息：二值掩膜、语义分割图、关键点坐标、边界框坐标；
39、根据空间约束信息，生成样本内容的标注信息，包括：
40、对空间约束信息进行连通域分析，确定各连通域的边界信息；
41、根据各连通域的边界信息，生成对应的边界框标注；
42、或，根据空间约束信息，确定对应的边界框标注。
43、在其中一个实施例中，预设生成模型包括以下至少一个模型：扩散模型、生成对抗网络、变分自编码器、基于流的生成模型。
44、在其中一个实施例中，当空间约束信息为二值掩膜且预设生成模型为扩散模型时，将空间约束信息作为条件输入，控制预设生成模型在背景图像的指定区域内合成符合相应困难类别特征的样本内容，包括：
45、获取原始二值掩膜；
46、对原始二值掩膜进行膨胀处理，得到膨胀后的二值掩膜；
47、在扩散模型的去噪初始阶段，将膨胀后的二值掩膜作为空间约束信息，控制扩散模型在背景图像的指定区域内合成样本内容；
48、在扩散模型的去噪终止阶段，将原始二值掩膜作为空间约束信息，控制扩散模型在背景图像的指定区域内合成样本内容。
49、在其中一个实施例中，将合成样本与真实训练样本进行融合，利用融合后的样本对目标检测模型进行参数更新，包括：
50、在每一训练小批量中，分别从真实训练样本集和合成样本集中按照预设参与比例采样；
51、将采样的真实训练样本与合成样本拼接为当前训练小批量；
52、根据当前训练小批量，确定联合损失，以更新目标检测模型的参数。
53、其中一个实施例中，确定联合损失，包括：
54、基于当前训练小批量中的真实训练样本子集，确定真实训练样本子集的检测损失；
55、根据当前训练小批量中的合成样本子集，确定合成样本子集的检测损失；
56、基于真实训练样本子集的检测损失与合成样本子集的检测损失的加权和，确定联合损失；其中，各损失的权重基于当前训练小批量中相应样本的数量比例确定。
57、在其中一个实施例中，对目标检测模型进行参数更新，包括：
58、冻结目标检测模型的骨干网络参数或特征提取层参数，更新目标检测模型的检测头参数或分类层参数；
59、解冻目标检测模型的全部参数,以低于前一次更新过程的学习率对整个目标检测模型进行参数更新。
60、在其中一个实施例中，还包括：
61、在各训练轮次结束时，获取目标检测模型在验证数据集上的验证得分；
62、当验证得分优于历史最佳验证得分时，以当前训练轮次的目标检测模型更新模型检查点；
63、当验证得分连续预设轮次未超过历史最佳验证得分时，停止参数更新。
64、在其中一个实施例中，预设类别为织物缺陷类别，目标检测模型为织物缺陷检测模型。
65、第二方面，本技术还提供了一种模型优化系统，包括：
66、获取模块，用于获取目标检测模型在验证数据集上的性能反馈信息；
67、诊断模块，用于根据性能反馈信息，确定目标检测模型在各预设类别上的学习困难度，并基于学习困难度从各预设类别中确定至少一个困难类别；
68、配额分配模块，用于根据各困难类别的学习困难度，确定各困难类别对应的合成数据量；
69、合成模块，用于根据合成数据量，生成针对各困难类别的合成样本，合成样本携带有标注信息；
70、优化模块，用于将合成样本与真实训练样本进行融合，利用融合后的样本对目标检测模型进行参数更新。
71、第三方面，本技术还提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
72、本技术提供的模型优化方法、系统和电子设备，通过获取目标检测模型在验证数据集上的性能反馈信息，该性能反馈信息能够真实反映目标检测模型在当前状态下对各预设类别的实际学习效果；继而可以通过根据该性能反馈信息，确定目标检测模型在各预设类别上的学习困难度，并基于学习困难度从各预设类别中确定至少一个困难类别，由此可以实现对检测器学习瓶颈的精准定位，使得后续增强处理能够聚焦于检测器真正难以掌握的目标类别；进而可以根据各困难类别的学习困难度确定各困难类别对应的合成数据量，使得合成数据的规模与各困难类别的实际困难程度相匹配，学习困难度越高的类别可以获得越多的合成样本，从而可以实现合成资源的按需分配；通过根据合成数据量生成针对各困难类别的携带标注信息的合成样本，利用合成样本与真实训练样本融合后对目标检测模型进行参数更新，可以使得目标检测模型在参数更新过程中能够获得针对自身性能瓶颈的定向补充监督。如此，本技术可以实现目标检测模型参数更新过程与自身实际学习瓶颈的精准耦合，能够在无需人为预设增强策略的情况下，使模型自主识别并针对性弥补自身在各类别上的学习不足，从而可以提高目标检测模型在困难类别上的识别准确性和整体检测性能。