一种基于大模型的数据智能生产与模型自进化系统及方法与流程

本发明涉及人工智能与计算机视觉，更具体地说，它涉及一种基于大模型的数据智能生产与模型自进化系统及方法。

背景技术：

1、随着深度学习目标检测技术在各垂直领域的推广，轻量级检测模型因算力、内存与推理时延开销小而适合部署于资源受限的边缘设备，成为实际场景中实时检测的首选。然而，轻量级检测模型对陌生场景的识别与泛化能力有限，要在新领域获得可靠性能，高度依赖规模足够、覆盖目标场景的领域标注数据进行训练；而面向新领域从零构建标注数据集，人工标注成本高、周期长、专业门槛高，成为制约其快速落地的主要瓶颈。

2、另一方面，视觉大模型具备开放词汇零样本检测与跨场景泛化能力，可对无标签图像执行自动预标注，为降低标注成本提供了新途径；但其参数量庞大、推理开销高，难以直接部署于边缘设备，且自动预标注结果不可避免地存在错检、多检与漏检，未经复核纠正与质量净化难以直接用于训练。

3、现有技术缺乏一种将视觉大模型的泛化预标注能力与轻量模型的可部署性相结合、并以数据为纽带使二者协同进化的系统化机制，难以兼顾新场景数据的快速构建与模型在边缘设备的实时部署。因此，如何利用视觉大模型的泛化能力生产并纠正轻量检测模型训练所需的高质量领域标注数据集，进而训练可实时部署的轻量检测模型并使数据与模型协同进化，是本领域亟待解决的技术问题。

技术实现思路

1、本发明提供一种基于大模型的数据智能生产与模型自进化系统及方法，解决相关技术中轻量检测模型缺乏陌生场景识别能力而高度依赖大规模领域标注数据、面向新领域人工从零标注成本高周期长门槛高、视觉大模型难以直接部署于资源受限边缘设备且其自动预标注存在误检与漏检的技术问题。

2、本发明提供了一种基于大模型的数据智能生产与模型自进化方法，包括以下步骤：

3、s1，获取无标签原始图像，先采用领域适配的视觉教师大模型执行开放词汇零样本自动预标注，再经面向误检与漏检两个维度的多阶段质量净化与人机协同精校，输出领域标注数据集并据此划分独立测试集；

4、s2，以领域标注数据集为训练数据，根据其数据规模对视觉基座大模型择一执行全量训练、参数微调，得到领域专家大模型并将其回送以提升自动预标注的质量；

5、s3，针对边缘设备在算力、内存与实时性上的部署约束，利用领域标注数据集对从预置仓库选取的轻量级检测模型实施端到端的监督式迁移学习并施加部署导向的压缩优化，产出即用型轻量检测模型；

6、s4，在独立测试集之上对领域专家大模型与即用型轻量检测模型进行标准化性能评估与多维误差归因，按照归因结论将优化指令路由回数据生产环节和模型训练环节。

7、进一步的，所述s1中多阶段质量净化的误检维度处理包括：以第一预设置信度阈值剔除噪声预测，将置信度处于第一预设置信度阈值与第二预设置信度阈值之间者标记为待审核预标注、不低于第二预设置信度阈值者标记为高可信预标注；

8、对保留的检测框构建无向关系图，将交并比不低于预设聚类阈值的两框相连并经遍历划分为检测簇；簇内类别唯一时保留其中置信度最高的框，簇内类别冲突且最高置信度低于预设冲突裁决阈值时，取簇内各框的最小外接矩形作为代理边界框并连同冲突类别加入人工复核队列；完成簇内裁决后再执行非极大值抑制清除不同簇之间残余的重叠，输出精炼后的候选标注集合。

9、进一步的，所述s1中多阶段质量净化的漏检维度处理为，对检测器未输出保留预测框的盲区进行疑似漏检主动发现；所述疑似漏检主动发现采用人工复核、不同于所述视觉教师大模型的开源或闭源教师模型复核、低置信度区域筛查、部署回流样本分析、特征分布分析中的至少一种，并将确认的疑似漏检候选连同所涉类别提交人工复核。

10、进一步的，所述疑似漏检主动发现采用三路信号联合门控：第一路为类别条件化弱假设信号，基于视觉教师大模型在未输出保留预测框的位置上仍残留的、指向预设类别集合之一的类别条件化响应而成立，所述类别条件化响应以可访问内部结构的开源教师大模型跨模态融合层导出的类别对齐特征响应图和/或被置信度阈值截断而未予保留的低分提议池为来源；

11、第二路为视觉偏离信号，由固定的自监督视觉编码器提取各图像块局部特征后拟合的概率分布模型给出，于图像块特征相对该概率分布模型的偏离度超过由全量图像块偏离度的均值加上灵敏度系数与标准差之乘积所确定的阈值时成立；

12、第三路为类别原型匹配信号，于区域聚合特征与某一类别原型的余弦相似度不低于预设原型匹配阈值时成立，所述区域聚合特征取该区域覆盖的各图像块局部特征的均值，所述类别原型由本批经所述多阶段质量净化得到的、置信度不低于预设高可信阈值的预标注框覆盖区域的图像块局部特征按类别求均值自举构建，并在人机协同精校确认样本后以确认样本更新；

13、仅当某一空间区域三路信号同时成立且未被任何已保留的预标注框覆盖时，将其标记为疑似漏检候选并连同所涉类别提交人工复核。

14、进一步的，所述s1中，对自动预标注结果的复核纠正由人工专家、和/或不同于所述视觉教师大模型的开源教师大模型、闭源教师大模型执行，其中对可访问内部结构的开源教师大模型利用其检测框、类别结果及内部特征进行复核纠正，对仅通过接口调用、只返回检测框与类别结果的闭源教师大模型以其输出结果进行输入-输出式复核纠正；

15、所述人机协同精校通过图形化标注编辑器分层呈现高可信预标注、待审核预标注与人工复核队列三类对象，分别供批量确认、边界与类别修正以及重点判别与补全，精校后每个标注实例附带置信度层级与标注来源两项元信息，并记录经人工修正实例的边界相对原预标注框的调整幅度；从全量标注样本中按类别分层抽样划分独立测试集，使各类别在独立测试集中的分布与全量一致，独立测试集不参与训练而仅用于性能评估与误差分析。

16、进一步的，所述数据生产环节还包括数据生成增强：依据精校阶段的人工操作记录识别困难样本，困难样本包括被确认为真实目标的疑似漏检样本与边界调整幅度不低于预设调整阈值的修正样本；

17、对所识别的困难样本施加几何变换与光度变换进行定向扩增并维持类别间数量均衡；以及以标注框编码的条件掩码约束目标位置、以类别属性的语义嵌入控制目标类别进行生成式扩增，再以视觉教师大模型对合成样本在标注框范围内重新检测，剔除未检出一致目标的失效样本。

18、进一步的，将领域标注数据集及其生成过程信息绑定为版本化数据资产包并记录其版本谱系与各类别标注实例的数量统计；

19、数据资产包反馈至s2以对视觉基座大模型做定向优化得到领域专家大模型，再将领域专家大模型回送以更新自动预标注，形成数据质量提升与教师模型能力增强相互促进的正向反馈闭环，且闭环以领域标注数据集为纽带，不依赖在大模型与轻量级检测模型之间执行中间层特征对齐的知识蒸馏。

20、进一步的，所述部署导向的压缩优化在监督式迁移学习完成后执行：在量化感知训练中于前向传播插入伪量化算子，使权重与激活在训练阶段即模拟整型定点运算的数值截断；

21、对存储约束更严苛的场景，先按各卷积通道对输出激活的贡献度移除冗余通道做通道级结构化剪枝，并在剪枝后重做量化感知训练校准；对推理时延约束更紧的场景下调网络输入分辨率；所述量化感知训练与结构化剪枝单独使用或顺序组合，均以在目标边缘设备上实测单帧时延与峰值内存满足部署规格为收敛条件，据此输出即用型轻量检测模型。

22、进一步的，所述s4中在标准化性能评估后进行多维误差归因并据归因结论路由优化指令：将训练数据未覆盖的视觉分布所致漏检路由至数据采集与自动预标注环节，将已有标注的类别边界歧义所致混淆路由至人机协同精校环节，将训练数据目标空间分布偏斜所致系统性定位偏移路由至数据生成增强环节，将训练过程优化状态不佳路由至模型训练环节；

23、各维度的信号强度由该维度的统计量与支撑该统计量的样本数量共同确定；当仅有一个维度信号超过预设路由触发阈值时触发对应环节优化，当多个维度信号有效时按信号强度合并为综合优化指令或生成级联优化指令依序执行，当全部维度信号均低于预设路由触发阈值时生成结构化诊断报告交人工决策。

24、进一步的，一种基于大模型的数据智能生产与模型自进化系统，用于执行上述一种基于大模型的数据智能生产与模型自进化方法中的步骤，包括：

25、智能数据标注与质量自检模块，用于获取无标签原始图像，由经领域适配的视觉教师大模型执行开放词汇零样本自动预标注，再经人工专家和/或教师模型的复核纠正与面向误检、漏检的多阶段质量净化及人机协同精校，输出领域标注数据集并据此划分独立测试集；

26、视觉基座模型训练与调优模块，用于以领域标注数据集为训练数据，依其数据规模对视觉基座大模型择一执行全量训练、全参数微调或参数高效微调，得到领域专家大模型并将其回送以提升所述自动预标注的质量；

27、轻量模型迁移学习模块，用于针对边缘设备在算力、内存与实时性上的部署约束，利用领域标注数据集对从预置仓库选取的轻量级检测模型实施端到端的监督式迁移学习并施加部署导向的压缩优化，产出即用型轻量检测模型；

28、模型验证与闭环调度模块，用于在所述独立测试集之上对领域专家大模型与即用型轻量检测模型进行标准化性能评估与多维误差归因，依归因结论将优化指令路由回数据生产环节或模型训练环节，形成数据与模型协同进化的闭环。

29、本发明的有益效果在于：

30、以视觉教师大模型的开放词汇零样本预标注为起点，经人工专家、更强的开源教师大模型和/或闭源教师大模型的复核纠正与面向误检、漏检的多阶段质量净化，在无初始标注条件下高效产出高质量领域标注数据集，大幅降低新领域数据构建的人工成本与周期；其中对可访问内部结构的开源教师大模型与仅能通过接口调用的闭源教师大模型均可适配，纠正方式兼容内部特征利用与输入-输出式复核；

31、以高质量领域标注数据集为纽带建立数据生产与模型训练的正向反馈闭环，经困难样本定向增强、可选的生成式语义扩增与领域专家大模型迭代回送持续提升预标注质量，轻量检测模型经监督式迁移学习与量化感知训练等部署导向压缩可在边缘设备实时运行；模型验证环节依特征分布距离、类别混淆与空间偏移等多维误差归因将优化指令精准路由回数据生产或模型训练环节，全流程始终以数据集为纽带、不依赖大模型与轻量模型之间的中间层特征对齐式知识蒸馏，从而在无初始标注与部署受限条件下持续产出可部署的轻量检测模型。