烟火检测大模型的训练方法及烟火检测方法与流程
本技术涉及林业监测和图像目标检测,特别是涉及一种烟火检测大模型的训练方法及烟火检测方法。
背景技术:
1、林业火灾监测是林业智能化管理中的关键环节。当前林区瞭望塔监控、无人机巡检、道路卡口监测和重点区域视频巡检等场景,普遍依赖可见光摄像设备完成对烟雾和明火目标的早期发现。随着深度学习技术的发展,烟火检测方法已从传统手工特征方法逐步发展到卷积神经网络检测方法、transformer检测方法以及多模态视觉理解方法,在一定程度上提高了复杂背景下的火情识别能力。
2、随着大模型参数量增长和跨模态理解能力的提升,视觉语言大模型(vlm,vision-language model)在图像理解、视觉问答、细粒度识别和统一生成建模方面展现出较强的泛化能力。相较于传统专用目标检测网络,视觉语言大模型可以通过统一的图像输入与文本输出机制,同时处理识别、定位、描述和推理任务。将大模型应用于林业烟火检测任务,有望在保持生成式表达能力的同时,兼顾烟雾和明火的目标定位与检测需求,并为后续的结果解释和告警联动提供统一的模型基础。
3、然而,当前视觉语言大模型在面向林业场景下的烟火检测任务时,大模型的感知能力通常未被充分激活,难以直接适配烟雾边界模糊、明火尺度小且易受背景干扰的检测需求。因此,亟需一种能够提高视觉语言大模型对烟火目标检测精度的模型训练方法。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提高视觉语言大模型对烟火目标检测精度的烟火检测大模型的训练方法及烟火检测方法。
2、第一方面,本技术提供了一种烟火检测大模型的训练方法,包括:
3、获取烟火样本图像对应的真实标注数据和预测概率分布数据;真实标注数据为指示烟火样本图像中至少一个真实烟火目标的真实坐标位置的标注词元序列;预测概率分布数据是根据烟火检测大模型对输入的烟火样本图像进行检测处理后得到的,预测概率分布数据包括烟火检测大模型在各输出序列位置对预设词表中词元的预测概率;
4、基于预测概率分布数据与真实标注数据之间的词元级差异,确定烟火检测大模型的交叉熵损失;
5、对真实标注数据所指示的真实烟火目标和预测概率分布数据所指示的预测烟火目标进行匹配处理,并基于相匹配的真实烟火目标和预测烟火目标之间的坐标位置的差异,确定烟火检测大模型的几何监督损失;
6、基于交叉熵损失和几何监督损失,对烟火检测大模型中的模型参数进行调整,得到训练好的烟火检测大模型。
7、在其中一个实施例中,对真实标注数据所指示的真实烟火目标和预测概率分布数据所指示的预测烟火目标进行匹配处理,并基于相匹配的真实烟火目标和预测烟火目标之间的坐标位置的差异,确定烟火检测大模型的几何监督损失,包括:
8、获取用于表示真实坐标位置的词元在标注词元序列中的坐标序列位置;
9、从预测概率分布数据的输出序列位置中确定与坐标序列位置相匹配的目标序列位置,并基于目标序列位置对应的预测概率确定至少一个预测烟火目标的预测坐标位置;
10、基于真实坐标位置和预测坐标位置,对至少一个真实烟火目标和至少一个预测烟火目标进行匹配处理,得到匹配结果;
11、基于匹配结果,确定相匹配的真实烟火目标和预测烟火目标之间的坐标位置的差异,得到几何监督损失。
12、在其中一个实施例中,基于真实坐标位置和预测坐标位置,对至少一个真实烟火目标和至少一个预测烟火目标进行匹配处理,得到匹配结果,包括:
13、基于真实坐标位置和预测坐标位置,计算每对真实烟火目标与预测烟火目标之间的几何差异代价;几何差异代价包括位置差异代价和重叠差异代价中的至少一种;位置差异代价用于表征真实烟火目标和预测烟火目标在坐标位置上的偏差程度;重叠差异代价用于表征真实烟火目标和预测烟火目标在区域重叠上的偏离程度;
14、基于每对真实烟火目标与预测烟火目标之间的几何差异代价,构建代价矩阵;
15、基于代价矩阵,以最小化总匹配代价为目标,确定真实烟火目标与预测烟火目标之间的最优匹配关系,得到匹配结果;总匹配代价为所选匹配关系下各对真实烟火目标与预测烟火目标的几何差异代价之和。
16、在其中一个实施例中,基于匹配结果,确定相匹配的真实烟火目标和预测烟火目标之间的坐标位置的差异,得到几何监督损失,包括:
17、基于匹配结果,确定相匹配的真实烟火目标与预测烟火目标之间的坐标数值差异,得到坐标回归损失;
18、基于匹配结果,确定相匹配的真实烟火目标与预测烟火目标之间的区域重叠差异,得到重叠度损失;
19、基于坐标回归损失和重叠度损失,确定几何监督损失。
20、在其中一个实施例中,基于预测概率分布数据与真实标注数据之间的词元级差异,确定烟火检测大模型的交叉熵损失,包括:
21、获取标注词元序列中各标注序列位置对应的标注词元;
22、获取预测概率分布数据中各输出序列位置对应的词元概率分布;标注序列位置与输出序列位置一一对应;
23、针对每个标注序列位置,根据标注序列位置对应的词元概率分布中标注词元的预测概率,计算标注序列位置的交叉熵损失;
24、结合各标注序列位置的交叉熵损失,得到烟火检测大模型的交叉熵损失。
25、在其中一个实施例中,在获取烟火样本图像对应的真实标注数据和预测概率分布数据之前,还包括:
26、获取烟火样本图像;
27、对烟火样本图像中的所有烟火目标进行标注,得到烟火目标的真实类别和真实坐标位置;
28、根据预设的序列格式,将真实类别和真实坐标位置组织为标注词元序列,以得到真实标注数据。
29、第二方面,本技术还提供了一种烟火检测方法,该方法包括:
30、获取待检测的烟火图像;
31、将待检测的烟火图像和烟火检测提示词,输入根据本技术第一方面提供的烟火检测大模型的训练方法训练得到的烟火检测大模型,获取烟火检测大模型答复的检测结果。
32、第三方面,本技术还提供了一种烟火检测大模型的训练装置,包括:
33、标注预测模块,用于获取烟火样本图像对应的真实标注数据和预测概率分布数据;真实标注数据为指示烟火样本图像中至少一个真实烟火目标的真实坐标位置的标注词元序列;预测概率分布数据是根据烟火检测大模型对输入的烟火样本图像进行检测处理后得到的,预测概率分布数据包括烟火检测大模型在各输出序列位置对预设词表中词元的预测概率;
34、词元损失模块,用于基于预测概率分布数据与真实标注数据之间的词元级差异,确定烟火检测大模型的交叉熵损失;
35、几何损失模块,用于对真实标注数据所指示的真实烟火目标和预测概率分布数据所指示的预测烟火目标进行匹配处理,并基于相匹配的真实烟火目标和预测烟火目标之间的坐标位置的差异,确定烟火检测大模型的几何监督损失;
36、参数调整模块,用于基于交叉熵损失和几何监督损失,对烟火检测大模型中的模型参数进行调整,得到训练好的烟火检测大模型。
37、第四方面,本技术还提供了一种烟火检测装置,该装置包括:
38、获取模块,用于获取待检测的烟火图像;
39、检测模块,用于将待检测的烟火图像和烟火检测提示词,输入根据本技术第一方面提供的烟火检测大模型的训练方法训练得到的烟火检测大模型,获取烟火检测大模型答复的检测结果。
40、第五方面,本技术还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现本技术第一方面提供的烟火检测大模型的训练方法或本技术第二方面提供的烟火检测方法的步骤。
41、第六方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本技术第一方面提供的烟火检测大模型的训练方法或本技术第二方面提供的烟火检测方法的步骤。
42、第七方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本技术第一方面提供的烟火检测大模型的训练方法或本技术第二方面提供的烟火检测方法的步骤。
43、上述烟火检测大模型的训练方法及烟火检测方法,通过将烟火样本图像对应的真实标注数据表示为包括真实烟火目标的真实坐标位置的词元序列,采用词元级的交叉熵损失通过监督学习使烟火检测大模型输出相应的结构化结果,本技术实施例的训练方式能够沿用生成式模型的既有训练协议,使得模型关注词元序列中的离散符号是否被正确生成。在此基础上,本技术进一步引入几何监督损失,在交叉熵损失关注词元级符号正确性的基础上,将监督信号延伸至连续空间位置中的几何质量,直接衡量预测坐标位置与真实坐标位置之间的数值偏差,通过使模型参数更新方向兼顾词元生成正确性与坐标位置的几何质量,特别适用于烟雾边界模糊、扩散形态不规则以及明火尺度较小且易受背景干扰的复杂林业场景,能够提高大模型对烟火目标的检测精度。
44、同时,自回归生成模型在输出同一类别中多个目标时,其输出顺序并不固定(例如,多个烟雾目标的输出顺序可能与标注顺序不一致),若直接按序列位置进行一一对应计算坐标损失,将导致监督错配问题,即用真实目标的坐标去约束预测目标的坐标,可能产生错误的梯度方向。本技术通过匹配处理,可以在真实烟火目标集合与预测烟火目标集合之间建立最优对应关系,确保相匹配的目标是同一物理目标,避免因目标顺序不一致而导致梯度错误的问题,使几何监督损失能够正确发挥空间定位约束作用。
45、此外,在生成式目标检测微调中,词元级的交叉熵损失的本质是离散符号级别的监督,且自回归生成中多个目标的输出顺序本身具有不确定性,若直接按序列位置与真实标注进行词元比对,顺序错位可能导致词元损失引入额外的惩罚(例如,标注词元序列中烟雾目标a在前、烟雾目标b在后,而模型输出时b在前、a在后,交叉熵损失可能会在对应的序列位置上将a的词元与b的词元进行比较,引入额外的顺序错位惩罚),而该交叉熵损失不具备先匹配再计算的能力。本技术实施例通过引入几何监督损失及其前置的匹配处理,使几何监督损失通过匹配机制规避顺序错位带来的梯度干扰,联合交叉熵损失和几何监督损失,两者协同作用,平衡交叉熵损失因顺序不固定导致的监督错配与额外惩罚,提升了模型训练的稳定性和最终检测性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com