一种离线环境下的视觉模型训推一体及误检过滤方法、系统、设备及介质与流程

本发明涉及人工智能领域，具体涉及一种离线环境下的视觉模型训推一体及误检过滤方法、系统、设备及介质。

背景技术：

1、本节中的陈述仅提供与本公开相关的背景信息，并且可能不构成现有技术。

2、随着计算机视觉技术的快速发展，视觉模型已广泛应用于安防监控、工业质检等多个领域。这类模型的常规应用通常依赖大量数据在云端进行训练，并在部署后通过实时推理完成目标场景的检测与告警。

3、然而，在涉密场所、无网络覆盖区域、野外工程等实际应用场景中，模型训练与推理无法依赖云端或联网算力资源，只能在本地离线环境下开展。在完全离线环境下，现有技术主要存在以下难以调和的技术矛盾：

4、（1）小模型部署的精度矛盾：离线环境下本地边缘计算设备的硬件算力有限，为了适配该算力，通常只能部署轻量级视觉小模型。但这必然牺牲检测精度，导致推理过程中产生大量误检（如光影变化引起的误报），极大增加了现场工作人员的复核负担。

5、（2）大模型的离线部署难题：高精度大模型具备更强的语义理解和容错能力，但其参数规模巨大、算力需求极高，难以在离线边缘环境下直接部署运行。现有技术中也缺乏将大模型与小模型进行高效协同以在本地过滤误检的解决方案。

6、（3）模型持续进化能力缺失：在离线且无网的环境下，研制单位无法实时收集真实场景的长尾样本并进行二次训练。视觉模型一旦部署即处于“静态”固化状态，其性能极易受现场场景变化（如季节更替、光照变迁）的影响而不断退化，无法实现生命周期内的持续优化更新。

技术实现思路

1、本发明的目的在于：针对目前离线环境下本地算力受限导致视觉小模型误检率高、大模型难以部署，且脱离网络后模型无法基于真实场景样本进行持续优化的技术问题，本发明提供了一种离线环境下的视觉模型训推一体及误检过滤方法、系统、设备及介质，采用“离线预置及多层级压缩适配”、“轻量级视觉小模型初筛与高精度大模型协同复判”、以及“基于用户反馈闭环触发的阈值化本地增量训练”的技术手段，实现了在完全无网离线环境下兼顾高检测精度与低推理延迟，并赋予模型脱网状态下利用本地新增样本进行自发迭代更新与持续进化的能力。

2、本发明的技术方案如下：

3、一种离线环境下的视觉模型训推一体及误检过滤方法，包括：

4、获取预置于所述本地离线环境中的离线部署包，所述离线部署包包括预置训练数据集、轻量级视觉小模型的初始权重和高精度大模型的初始权重；

5、基于所述预置训练数据集在本地分别对所述轻量级视觉小模型和所述高精度大模型进行微调训练及模型压缩操作，得到适配本地硬件算力的目标视觉小模型和目标大模型；

6、将离线环境下采集的实时视觉数据输入至所述目标视觉小模型中进行快速推理，输出初步检测结果，并将所述初步检测结果与对应的所述实时视觉数据进行关联绑定并存储；

7、将关联绑定的所述初步检测结果及对应的所述实时视觉数据同步输入至所述目标大模型中；通过所述目标大模型对所述初步检测结果进行复判以过滤误检信息，输出最终检测结果；

8、在用户终端可视化展示所述最终检测结果及关联的实时视觉数据，接收用户基于所述最终检测结果输入的反馈标注，将所述反馈标注与对应的样本数据进行关联存储，以持续积累构建用户增量样本集；

9、当所述用户增量样本集的数量达到设定阈值时，自动触发模型在线训练流程；融合所述用户增量样本集与所述预置训练数据集形成综合增量训练集，基于所述综合增量训练集采用增量训练策略对所述目标视觉小模型和所述目标大模型分别进行离线环境下的自迭代更新。

10、进一步地，基于所述预置训练数据集在本地分别对所述轻量级视觉小模型和所述高精度大模型进行微调训练及模型压缩操作，得到适配本地硬件算力的目标视觉小模型和目标大模型，包括：

11、在本地分别对所述轻量级视觉小模型和所述高精度大模型进行微调训练，并在训练过程中实施量化、蒸馏和剪枝中的至少一种多层级压缩操作，以降低模型参数规模和算力消耗；

12、利用预置于所述离线部署包中的测试数据集，对微调训练且压缩后的所述轻量级视觉小模型和所述高精度大模型进行精度与速度双阈值校验；

13、若所述双阈值校验通过，则将校验通过的模型作为所述目标视觉小模型和所述目标大模型；若未通过，则返回重新调整参数并再次进行微调训练。

14、进一步地，初步检测结果包括目标类型、目标位置、告警类型、告警位置和置信度信息。

15、进一步地，通过所述目标大模型对所述初步检测结果进行复判以过滤误检信息，输出最终检测结果，包括：

16、通过所述目标大模型利用语义理解与场景上下文分析能力，结合所述原始视觉数据中的周边环境和光照影响信息，对所述初步检测结果中的告警信息进行逐一复判；

17、识别并过滤所述初步检测结果中的误检信息，输出所述最终检测结果。

18、进一步地，接收用户基于所述最终检测结果输入的反馈标注，将所述反馈标注与对应的样本数据进行关联存储，以持续积累构建用户增量样本集，包括：

19、在所述用户终端的可视化交互界面上提供第一类反馈功能按钮和第二类反馈功能按钮；

20、响应于用户对所述第一类反馈功能按钮的触发操作，将对应的最终检测结果及关联的实时视觉数据标记为正样本；

21、响应于用户对所述第二类反馈功能按钮的触发操作，将对应的最终检测结果及关联的实时视觉数据标记为负样本；

22、将所述正样本和所述负样本进行关联存储，持续积累形成所述用户增量样本集。

23、进一步地，当所述用户增量样本集的数量达到设定阈值时，自动触发模型在线训练流程，包括：

24、当所述用户增量样本集中所述正样本的数量大于或等于第一设定数量阈值，且所述负样本的数量大于或等于第二设定数量阈值时，自动触发所述模型在线训练流程；

25、所述基于所述综合增量训练集采用增量训练策略对所述目标视觉小模型和所述目标大模型分别进行离线环境下的自迭代更新，包括：

26、基于所述综合增量训练集，分别对所述目标视觉小模型和所述目标大模型进行在线微调训练；

27、在微调训练过程中，保留模型已优化的核心参数，仅更新与所述综合增量训练集中的新增样本相关的权重参数，以完成自迭代更新。

28、进一步地，在对所述目标视觉小模型和所述目标大模型分别进行离线环境下的自迭代更新之后，所述方法还包括：

29、利用预置于所述离线部署包中的测试数据集对更新后的所述目标视觉小模型和所述目标大模型进行检测精度校验；

30、若校验后的检测精度提升值达到设定精度阈值，则自动替换原有的所述目标视觉小模型和所述目标大模型上线运行；

31、若校验后的检测精度提升值未达到所述设定精度阈值，则保留原有的所述目标视觉小模型和所述目标大模型，并等待所述用户增量样本集的数量再次积累达到所述设定阈值后重新触发自迭代更新。

32、本发明还提出了一种离线环境下的视觉模型训推一体及误检过滤系统，包括：

33、预置模块，用于获取预置于本地离线环境中的离线部署包，所述离线部署包包括预置训练数据集、轻量级视觉小模型的初始权重和高精度大模型的初始权重；

34、适配优化模块，用于基于所述预置训练数据集在本地分别对所述轻量级视觉小模型和所述高精度大模型进行微调训练及模型压缩操作，得到适配本地硬件算力的目标视觉小模型和目标大模型；

35、初步推理模块，用于将离线环境下采集的实时视觉数据输入至所述目标视觉小模型中进行快速推理，输出初步检测结果，并将所述初步检测结果与对应的所述实时视觉数据进行关联绑定并存储；

36、协同复判模块，用于将关联绑定的所述初步检测结果及对应的所述实时视觉数据同步输入至所述目标大模型中；通过所述目标大模型对所述初步检测结果进行复判以过滤误检信息，输出最终检测结果；

37、反馈交互模块，用于在用户终端可视化展示所述最终检测结果及关联的实时视觉数据，接收用户基于所述最终检测结果输入的反馈标注，将所述反馈标注与对应的样本数据进行关联存储，以持续积累构建用户增量样本集；

38、自迭代更新模块，用于当所述用户增量样本集的数量达到设定阈值时，自动触发模型在线训练流程；融合所述用户增量样本集与所述预置训练数据集形成综合增量训练集，基于所述综合增量训练集采用增量训练策略对所述目标视觉小模型和所述目标大模型分别进行离线环境下的自迭代更新。

39、本发明还提出了一种电子设备，包括：

40、至少一个处理器；以及与所述至少一个处理器通信连接的存储器；

41、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，使得所述至少一个处理器执行如上述的方法。

42、本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质用于存储指令，当所述指令被执行时，使如上述的方法被实现。

43、与现有的技术相比本发明的有益效果是：

44、1、兼顾推理效率与检测精度。创新性地构建了“轻量化小模型快速推理+高精度大模型精准复判”的协同处理架构。小模型负责全量数据的毫秒级初筛，大模型仅对初筛告警数据结合场景上下文进行定向纠错。既解决了小模型单独运行误检率高的问题，又突破了大模型全局推理带来的离线算力瓶颈，在严苛硬件条件下实现了效率与精度的双重保障。

45、2、突破离线环境下的持续迭代进化壁垒。设计了用户交互反馈机制与阈值触发的增量训练策略。无需任何外部互联网络，即可将真实的业务反馈转化为训练素材（正负样本），通过冻结核心参数、仅更新新增样本权重的增量学习方式，在本地完成了“推理-反馈-微调-部署”的全自闭环，有效应对场景漂移导致的性能衰减。

46、3、高度适配边缘离线硬件。系统方案从前端“云端离线部署包”的导入，到本地化实施的量化、蒸馏、剪枝等多层级模型压缩，以及严格的精度与速度双阈值准入校验，确保了无论在何种受限的算力平台上，目标模型都能精准适配并高效运行。

47、4、操作便捷，降低维护成本。通过系统终端可视化界面的“一键标注”设计，大幅降低了非ai专业值班人员的样本标注门槛，快速且低成本地积累高质量真实业务数据，持续滋养模型的自迭代生命周期。