车险事故照片分拣模型训练方法、系统、设备和存储介质与流程

本发明涉及图像处理与强化学习，尤其涉及一种车险事故照片分拣模型训练方法、系统、设备和存储介质。

背景技术：

1、车险事故照片的智能分拣是理赔定损自动化的关键环节。现有技术在处理该问题时存在明显不足：早期方法将人工分拣经验固化为规则，依赖预设字段对照片分类，但面对多车同色同品牌、证件与全景混杂等开放场景，规则覆盖能力不足，也无法为多模态大模型训练提供有效监督。单图分类或相似度聚类方法将每张照片独立处理，监督信号无法表达同车照片应归属同一集合的划分目标。整段json模仿式监督以标注全文为交叉熵目标，虽能学习输出格式，但对配对分组关系、场景边界判定及vin码等关键字段的幻觉问题缺乏稠密且可分项的优化信号。

2、在强化学习方面，现有方案多采用稀疏的整条对错奖励，仅在输出完全正确时给予正向反馈，梯度稀疏，对多车细粒度分组错误、场景边界偏差及字段幻觉纠正能力不足；部分多指标加权奖励未设置门控机制，各分项直接累加，导致结构非法或归属互斥严重的输出仍可能因某一指标偏高而获得较高总分，训练过程不稳定。

3、上述方法的根本缺陷在于训练任务形式与业务主目标不一致。业务核心需求是实现多车分组与证件场景分流，而现有训练方式采用单图分类或整段模仿，奖励信号与任务目标严重脱节。同时，现有技术缺少与多车集合划分对齐的稠密可验证奖励，对分组错误、场景边界错误及字段幻觉纠正效果不佳；在vin码和车牌等关键字段处理上，无证据时仍鼓励模型填写导致幻觉率高，有证据时又缺乏格式与一致性的分层约束。

4、因此，亟需提供一种技术方案解决上述问题。

技术实现思路

1、为解决上述技术问题，本发明提供了一种车险事故照片分拣模型训练方法、系统、设备和存储介质。

2、第一方面，本发明提供一种车险事故照片分拣模型训练方法，该方法的技术方案如下：

3、获取同一车险案件的多张事故照片及对应的监督信息，所述监督信息包含所述事故照片所属车辆组的真值分组和场景类照片标注；

4、将所述多张事故照片输入视觉语言模型，获取所述视觉语言模型输出的预测结果，所述预测结果包括预测车辆组和预测场景列表，每个预测车辆组包含归属于同一事故车辆的照片序号列表；

5、根据所述预测结果与所述监督信息计算门控系数，在所述预测结果无法解析为合法结构化数据时将所述门控系数设为零，在存在同一照片序号同时归属于所述预测车辆组和所述预测场景列表时将所述门控系数设为小于1的正数；

6、在所述门控系数不为零时，根据所述预测结果与所述监督信息计算多个分项得分；

7、将所述多个分项得分加权求和后与所述门控系数相乘，得到总奖励值，并以最大化所述总奖励值为目标更新所述视觉语言模型的参数，以使训练后的所述视觉语言模型用于对车险事故照片进行分拣。

8、本发明的一种车险事故照片分拣模型训练方法的有益效果如下：

9、本发明的方法通过将同一车险案件的多张照片输入视觉语言模型，输出包含预测车辆组与预测场景列表的结果，引入门控系数过滤非法输出及互斥归属，门控系数非零时计算分项得分并加权求和，总分与门控系数相乘得奖励值并最大化以更新参数，解决了训练任务形式与业务主目标不一致、稀疏奖励对细粒度分组错误纠正不足、缺乏门控导致结构非法或归属互斥严重的输出仍获高分的缺陷，提升了多车照片集合划分的准确性、场景边界判定的精确度及关键字段输出的可靠性，降低字段幻觉率。

10、在上述方案的基础上，本发明的一种车险事故照片分拣模型训练方法还可以做如下改进。

11、在一种可选的方式中，将所述多张事故照片输入所述视觉语言模型之前，还包括：

12、以不含证件类字段的结构化json作为监督标签对所述视觉语言模型进行监督微调，所述监督标签包含所述真值分组和所述场景类照片标注。

13、采用上述可选方式的有益效果为：进一步利用不含证件类字段的结构化json监督标签对视觉语言模型实施监督微调，使模型预先学习输出格式规范与分组规则，强化对车辆归属和场景类别的认知能力，为后续强化学习训练提供格式正确与字段准确的基础能力。

14、在一种可选的方式中，更新所述视觉语言模型的参数的步骤，包括：

15、对同一车险案件的多张事故照片采样至少两条候选预测结果，分别计算每条候选预测结果对应的所述总奖励值，在所述至少两条候选预测结果之间比较所述总奖励值的相对大小后更新所述视觉语言模型的参数。

16、采用上述可选方式的有益效果为：进一步通过采样至少两条候选预测结果并对比总奖励值相对大小来更新模型参数，使模型能够识别不同输出质量的差异，从对比中学习更优的分组策略，避免单一样本梯度更新带来的偏差，增强训练过程的稳定性与分组策略的优化效果。

17、在一种可选的方式中，所述多个分项得分包括格式合法性得分、覆盖合法性得分、归属互斥得分、成对分组得分、证件类补集得分、场景归属得分、车辆识别代号得分、车牌得分和车辆数得分。

18、采用上述可选方式的有益效果为：进一步将奖励信号细化为格式、覆盖、互斥、配对、补集、场景、车辆识别代号、车牌及车辆数九项得分，使优化目标与业务需求紧密对应，模型在多个维度上同时获得可量化的反馈，进而提高照片分拣结果与监督信息的一致性。

19、在一种可选的方式中，所述总奖励值的计算公式为：

20、

21、其中，为所述总奖励值，为所述门控系数，为所述格式合法性得分，为所述覆盖合法性得分，为所述归属互斥得分，为所述成对分组得分，为所述证件类补集得分，为所述场景归属得分，为所述车辆识别代号得分，为所述车牌得分，为所述车辆数得分，、、、、、、、、分别为各分项得分对应的权重，所述成对分组得分的权重最高。

22、采用上述可选方式的有益效果为：进一步在加权求和时赋予成对分组得分最高权重，使训练目标聚焦于同车照片配对关系的准确性，强化模型对车辆归属边界的判断能力，引导模型优先保障多车事故场景中照片分组的正确性。

23、在一种可选的方式中，计算所述成对分组得分的步骤，包括：

24、根据所述监督信息中的所述真值分组构造真值同车照片对集合，根据所述预测结果中的所述预测车辆组构造预测同车照片对集合，比较所述真值同车照片对集合与所述预测同车照片对集合的重合程度，根据重合程度确定所述成对分组得分，重合程度越高则所述成对分组得分越高；

25、其中，所述真值同车照片对集合中的每个真值同车照片对由属于同一车辆组的两张照片构成，所述预测同车照片对集合中的每个预测同车照片对由同一预测车辆组内的两张照片构成。

26、采用上述可选方式的有益效果为：进一步通过比较真值同车照片对集合与预测同车照片对集合的重合程度来确定成对分组得分，将集合划分质量转化为可量化的配对指标，使模型在照片级别的归属关系上获得明确的优化指导，提升分组判断的准确度。

27、在一种可选的方式中，计算所述场景归属得分的步骤，包括：

28、比较所述监督信息中场景类照片标注与所述预测场景列表的一致性，根据一致性确定所述场景归属得分，在所述监督信息中标注为场景类照片且所述照片归属于所述预测车辆组时额外扣分，扣分后得到所述场景归属得分；

29、计算所述车辆识别代号得分和所述车牌得分的步骤，包括：

30、将所述预测车辆组与所述监督信息中的真值车辆组进行匹配，逐车比较匹配后的所述预测车辆组中的车辆识别代号和车牌与所述监督信息中对应字段的一致性，根据一致性分别确定所述车辆识别代号得分和所述车牌得分，在所述预测车辆组中的车辆识别代号或车牌为空且所述监督信息中对应字段也为空时的得分，高于在所述预测车辆组中的车辆识别代号或车牌非空且所述监督信息中对应字段为空时的得分。

31、采用上述可选方式的有益效果为：进一步在场景类照片被错误归入车辆组时施加额外惩罚，避免场景与车辆归属混淆，同时对无证据时留空关键字段给予更高奖励，抑制模型凭空生成车辆识别代号或车牌，降低字段幻觉风险。

32、第二方面，本发明提供一种车险事故照片分拣模型训练系统，该系统的技术方案如下：

33、获取模块，用于获取同一车险案件的多张事故照片及对应的监督信息，所述监督信息包含所述事故照片所属车辆组的真值分组和场景类照片标注；

34、预测模块，用于将所述多张事故照片输入视觉语言模型，获取所述视觉语言模型输出的预测结果，所述预测结果包括预测车辆组和预测场景列表，每个预测车辆组包含归属于同一事故车辆的照片序号列表；

35、处理模块，用于根据所述预测结果与所述监督信息计算门控系数，在所述预测结果无法解析为合法结构化数据时将所述门控系数设为零，在存在同一照片序号同时归属于所述预测车辆组和所述预测场景列表时将所述门控系数设为小于1的正数；

36、计算模块，用于在所述门控系数不为零时，根据所述预测结果与所述监督信息计算多个分项得分；

37、更新模块，用于将所述多个分项得分加权求和后与所述门控系数相乘，得到总奖励值，并以最大化所述总奖励值为目标更新所述视觉语言模型的参数，以使训练后的所述视觉语言模型用于对车险事故照片进行分拣。

38、本发明的一种车险事故照片分拣模型训练系统的有益效果如下：

39、本发明的系统通过将同一车险案件的多张照片输入视觉语言模型，输出包含预测车辆组与预测场景列表的结果，引入门控系数过滤非法输出及互斥归属，门控系数非零时计算分项得分并加权求和，总分与门控系数相乘得奖励值并最大化以更新参数，解决了训练任务形式与业务主目标不一致、稀疏奖励对细粒度分组错误纠正不足、缺乏门控导致结构非法或归属互斥严重的输出仍获高分的缺陷，提升了多车照片集合划分的准确性、场景边界判定的精确度及关键字段输出的可靠性，降低字段幻觉率。

40、第三方面，本发明的一种电子设备的技术方案如下：

41、包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现如本发明的车险事故照片分拣模型训练方法的步骤。

42、第四方面，本发明提供的一种计算机可读存储介质的技术方案如下：

43、计算机可读存储介质中存储有指令，当计算机可读存储介质读取所述指令时，使所述计算机可读存储介质执行如本发明的车险事故照片分拣模型训练方法的步骤。

44、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。