一种零样本目标检测微调模型边缘计算实现方法及系统与流程
本申请涉及计算机视觉深度学习、边缘计算技术,尤其涉及一种零样本目标检测微调模型边缘计算实现方法及系统。
背景技术:
1、目前,基于边缘计算平台的零样本目标检测部署方案主要有以下两种:
2、(1)基于yolo-world模型的rk3588平台部署方案。该方案从官方网站下载yolo-world基础模型,将其转换为适用于rk3588人工智能芯片的rknn模型,之后直接部署在rk3588芯片上运行。
3、(2)基于qwen3 vl模型的rk3588平台部署方案。该方案一般从官方网站获取qwen3vl基础模型,将其视觉部分转换为rknn视觉模型、将大语言模型部分转换为rkllm大语言模型推理框架所支持的模型,然后将两部分模型共同部署于rk3588芯片上。
4、在具体应用中,上述现有方案在实际应用中暴露出明显不足,可归纳为:
5、yolo-world模型基于yolo和clip架构,模型参数量相对较小,所能容纳的视觉语义知识有限,导致在面对大量目标特别是军事领域特有目标时,模型缺乏对目标的认知能力,造成大量漏检和误检。
6、qwen3 vl模型虽然具有更广泛的知识,但其原生能力更侧重于图像理解与描述,精细目标检测能力偏弱,且缺乏对检测结果可信程度的细化甄别机制;同时,该模型的大语言模型输出具有较强的不确定性,导致检测结果不可控。此外,上述方案在部署后均为静态模型,无法利用推理过程中产生的高质量反馈数据对自身进行持续优化,难以针对特定任务逐步提升检测精度。
技术实现思路
1、本申请的目的在于提供一种零样本目标检测微调模型边缘计算平台部署技术及其实现方法,在资源受限的rk3588边缘计算平台上,通过微调qwen3 vl模型实现对大量目标的可靠认知与精准定位,保证输出结果稳定可控;并基于改造 clip 的置信度评估,有效剔除误检,在边缘端自动筛选高质量样本,通过回传服务器构建面向特定任务的高质量微调数据集,在服务器端实现模型的持续进化,再将更新模型推送至边缘平台,从而形成闭环自优化系统。
2、本申请实施例提供一种零样本目标检测微调模型边缘计算实现方法,包括:
3、在服务器端利用通用目标检测数据集自主构建大模型数据集对预训练的视觉-语言大模型进行指令微调,获得具备可控输出格式的专用微调模型;
4、将所述视觉-语言大模型的原始版本及所述任务专用微调模型分别进行模型拆分与格式转换,并部署至rk3588边缘计算平台,其中视觉编码器转换为rknn格式,大语言模型主干转换为rkllm格式;
5、利用所述专用微调模型响应用户输入的定位提示词,输出目标对象的边界框坐标。
6、本申请实施例还提出一种零样本目标检测微调模型的边缘计算系统,包括:
7、服务器端,配置为执行模型微调、数据集管理与模型更新推送;
8、边缘计算节点,其内置:
9、模型部署模块,用于存储并运行rknn格式的视觉编码器与rkllm格式的大语言模型;
10、clip校验模块,用于执行置信度评估;
11、通信模块,用于将高置信度样本上传至服务器端,并接收更新后的模型文件;
12、任务调度模块,用于执行前述的零样本目标检测微调模型边缘计
13、算实现方法。
14、本申请将零样本目标检测任务采用目标检测数据微调的qwen3 vl模型进行目标检测工作。将原始qwen3 vl模型与微调后的qwen3 vl模型各自按视觉部分与大语言部分分别转化为rknn模型和rkllm模型,并集成部署于rk3588边缘计算平台,实现在资源受限的rk3588边缘计算平台上,实现对大量目标的可靠认知与精准定位,保证输出结果的可控性,并且通过改进的clip模型对于目标检测结果二次判断,最终通过数据闭环实现模型的自我优化。
15、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
1.一种零样本目标检测微调模型边缘计算实现方法,其特征在于,包括:
2.如权利要求1所述的零样本目标检测微调模型边缘计算实现方法,其特征在于,还包括:
3.如权利要求1所述的零样本目标检测微调模型边缘计算实现方法,其特征在于,对预训练的视觉-语言大模型进行指令微调包括:
4.如权利要求3所述的零样本目标检测微调模型边缘计算实现方法,其特征在于,所述指令数据集中构造正样本外,还通过如下步骤同步构造负样本,以强化模型的误检抑制能力:
5.如权利要求1所述的零样本目标检测微调模型边缘计算实现方法,其特征在于,在推理过程中,若包含多个任务目标类别,则针对每一个类别分别构造独立的定位指令,依次调用专用微调模型进行多轮定位检测。。
6.如权利要求2所述的零样本目标检测微调模型边缘计算实现方法,其特征在于,利用去除softmax的clip模型对裁剪后的目标图像块与对应类别文本进行相似度计算,根据预设的阈值对检测结果进行二次判断处理包括:
7.如权利要求2所述的零样本目标检测微调模型边缘计算实现方法,其特征在于,闭环进化过程中,仅使用新回传的高置信度样本对专用微调模型进行增量微调。
8.一种零样本目标检测微调模型的边缘计算系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com