目标环境识别模型训练方法、装置、电子设备及存储介质与流程

本技术涉及模型训练，尤其涉及一种目标环境识别模型训练方法、装置、电子设备及存储介质。

背景技术：

1、随着外卖、电商等互联网平台中商铺图像数据的不断积累，基于商铺的门头、大堂、堂食区域等不同视角的环境图像，对商铺所处环境及环境属性进行自动识别的需求不断提升。在实际应用中，不同商铺的地理位置、堂食条件等环境特征存在较大差异，若对商铺环境识别不准确，容易导致商铺环境分类结果与实际情况不符，进而影响后续的商铺筛选、分类及展示。现有环境图像处理方式多依赖人工筛查或规则校验，不仅成本较高、效率有限，而且难以对大规模存量数据及持续新增图像数据进行稳定、全面的处理，进而导致环境图像识别的全面性和可靠性较低。

技术实现思路

1、本技术实施例提供了一种目标环境识别模型训练方法、装置、电子设备及存储介质，能够提高图像识别的全面性和可靠性。上述技术方案如下：

2、第一方面，本技术实施例提供了一种目标环境识别模型训练方法，包括：

3、获取多个目标对象对应的多个目标环境图像集，上述多个目标对象中各目标对象对应的目标环境图像集包括从多个视角获取的多个目标对象环境图像；

4、通过预设的多个识别模型分别对上述各目标环境图像集进行特征识别，得到上述各目标环境图像集对应的多个候选环境标签信息，其中，上述多个识别模型具有不同的模型配置；

5、基于预设评估维度，对上述各目标环境图像集对应的多个候选环境标签信息进行评估处理，得到对应的标签评估结果，其中，上述预设评估维度至少包括模型一致性和跨图证据一致性，上述跨图证据一致性用于表征同一目标对象对应的多个目标对象环境图像针对同一标签的识别结果之间的一致程度；

6、基于上述标签评估结果对上述多个候选环境标签信息进行标签确定处理，得到上述各目标环境图像集对应的目标分项环境标签信息；

7、基于预设分层环境标签树，对上述目标分项环境标签信息进行关联处理，得到上述各目标环境图像集对应的目标整体环境标签信息；

8、根据上述目标分项环境标签信息和上述目标整体环境标签信息，确定上述各目标环境图像集对应的伪标签，并将具有上述伪标签的目标环境图像集加入预设的有标签训练集，得到目标环境图像训练集；

9、基于上述目标环境图像训练集对预设多模态模型进行监督微调训练，得到目标环境识别模型。

10、在一种可能的实现方式中，上述预设评估维度还包括以下至少一种：标签组合一致性、图像质量以及历史数据稳定性；

11、在上述预设评估维度包括上述模型一致性的情况下，上述标签评估结果包括上述各候选环境标签信息对应的模型一致性分数；

12、在上述预设评估维度包括上述跨图证据一致性的情况下，上述标签评估结果包括上述各候选环境标签信息对应的跨图证据一致性分数；

13、在上述预设评估维度包括上述标签组合一致性的情况下，上述标签评估结果包括上述各候选环境标签信息对应的标签组合一致性分数；

14、在上述预设评估维度包括上述图像质量的情况下，上述标签评估结果包括上述各候选环境标签信息对应的图像质量分数；

15、在上述预设评估维度包括上述历史数据稳定性的情况下，上述标签评估结果包括上述各候选环境标签信息对应的历史数据稳定性分数。

16、在一种可能的实现方式中，上述基于上述标签评估结果对上述多个候选环境标签信息进行标签确定处理，得到上述各目标环境图像集对应的目标分项环境标签信息，包括：

17、基于预设标签筛选条件以及上述标签评估结果，对上述多个候选环境标签信息进行筛选，将满足上述预设标签筛选条件的候选环境标签信息确定为第一类候选环境标签信息，并将不满足上述预设标签筛选条件的候选环境标签信息确定为第二类候选环境标签信息；

18、基于上述第一类候选环境标签信息，确定对应的目标环境图像集的目标分项环境标签信息；

19、在上述目标环境图像集对应的多个候选环境标签信息中存在上述第二类候选环境标签信息的情况下，基于上述目标环境图像集对应的多个候选环境标签信息，确定上述目标环境图像集对应的标签差异信息；

20、在上述标签差异信息满足预设复核条件的情况下，将上述目标环境图像集确定为待复核图像集，并获取上述待复核图像集对应的复核分项环境标签信息；

21、基于上述复核分项环境标签信息，确定上述待复核图像集对应的目标分项环境标签信息。

22、在一种可能的实现方式中，上述基于上述目标环境图像集对应的多个候选环境标签信息，确定上述目标环境图像集对应的标签差异信息，包括：

23、对上述目标环境图像集对应的多个候选环境标签信息进行标准化处理，得到多个标准候选环境标签信息；

24、确定上述多个标准候选环境标签信息中各标准候选环境标签信息对应的识别模型数量，并确定对应的识别模型数量最大的目标标准候选环境标签信息；

25、基于上述目标标准候选环境标签信息对应的识别模型数量与上述多个识别模型的总数量，确定上述目标环境图像集对应的模型分歧度，并将上述模型分歧度确定为上述标签差异信息；

26、上述在上述标签差异信息满足预设复核条件的情况下，将上述目标环境图像集确定为待复核图像集，包括：

27、在上述模型分歧度大于或等于预设分歧度阈值的情况下，将上述目标环境图像集确定为上述待复核图像集。

28、在一种可能的实现方式中，上述基于预设分层环境标签树，对上述目标分项环境标签信息进行关联处理，得到上述各目标环境图像集对应的目标整体环境标签信息，包括：

29、基于预设分层环境标签树，确定上述目标分项环境标签信息对应的标签层级信息；

30、基于上述标签层级信息以及上述预设分层环境标签树中不同环境标签之间的关联关系，对上述目标分项环境标签信息进行组合处理，得到上述各目标环境图像集对应的多个候选整体环境标签信息；

31、基于上述预设分层环境标签树中不同环境标签之间的优先级关系，对上述多个候选整体环境标签信息进行筛选处理，得到上述各目标环境图像集对应的目标整体环境标签信息。

32、在一种可能的实现方式中，上述目标环境图像集包括多个按照预设顺序排列的目标对象环境图像；

33、上述获取多个目标对象对应的多个目标环境图像集，包括：

34、获取多个目标对象中各目标对象对应的原始环境图像集；

35、对各上述原始环境图像集中包括的多个原始对象环境图像进行图像预处理，得到多个目标对象环境图像；

36、基于预设顺序对上述多个目标对象环境图像进行排序处理，得到上述各目标对象对应的目标环境图像集。

37、在一种可能的实现方式中，上述基于上述目标环境图像训练集对预设多模态模型进行监督微调训练，得到目标环境识别模型，包括：

38、构造预设提示词模板，上述预设提示词模板用于指示上述预设多模态模型基于目标环境图像集进行标签预测；

39、将上述目标环境图像训练集中的各目标环境图像集和上述预设提示词模板输入上述预设多模态模型，得到对应的识别输出结果；

40、基于上述识别输出结果和上述各目标环境图像集对应的训练标签信息，确定监督微调训练损失；

41、基于上述监督微调训练损失对上述预设多模态模型进行参数更新，得到上述目标环境识别模型。

42、第二方面，本技术实施例提供了一种目标环境识别模型推理方法，包括：

43、获取目标商家对应的目标商家环境图像集；

44、将上述目标商家环境图像集输入至目标环境识别模型，得到上述目标环境识别模型输出的目标对象环境识别结果，上述目标对象环境识别结果用于表征上述目标商家对应的店铺对象的环境类别和对应的分项环境属性；其中，上述目标环境识别模型是由如第一方面或第一方面提供的任一种可能的实现方式中的目标环境识别模型训练方法进行模型训练生成的识别模型。

45、第三方面，本技术实施例提供了一种目标环境识别模型训练装置，包括：

46、第一获取模块，用于获取多个目标对象对应的多个目标环境图像集，上述多个目标对象中各目标对象对应的目标环境图像集包括从多个视角获取的多个目标对象环境图像；

47、识别模块，用于通过预设的多个识别模型分别对上述各目标环境图像集进行特征识别，得到上述各目标环境图像集对应的多个候选环境标签信息，其中，上述多个识别模型具有不同的模型配置；

48、评估模块，用于基于预设评估维度，对上述各目标环境图像集对应的多个候选环境标签信息进行评估处理，得到对应的标签评估结果，其中，上述预设评估维度至少包括模型一致性和跨图证据一致性，上述跨图证据一致性用于表征同一目标对象对应的多个目标对象环境图像针对同一标签的识别结果之间的一致程度；

49、第一确定模块，用于基于上述标签评估结果对上述多个候选环境标签信息进行标签确定处理，得到上述各目标环境图像集对应的目标分项环境标签信息；

50、关联模块，用于基于预设分层环境标签树，对上述目标分项环境标签信息进行关联处理，得到上述各目标环境图像集对应的目标整体环境标签信息；

51、第二确定模块，用于根据上述目标分项环境标签信息和上述目标整体环境标签信息，确定上述各目标环境图像集对应的伪标签，并将具有上述伪标签的目标环境图像集加入预设的有标签训练集，得到目标环境图像训练集；

52、训练模块，用于基于上述目标环境图像训练集对预设多模态模型进行监督微调训练，得到目标环境识别模型。

53、第四方面，本技术实施例提供了一种目标环境识别模型推理装置，包括：

54、第二获取模块，用于获取目标商家对应的目标商家环境图像集；

55、推理模块，用于将上述目标商家环境图像集输入至目标环境识别模型，得到上述目标环境识别模型输出的目标对象环境识别结果，上述目标对象环境识别结果用于表征上述目标商家对应的店铺对象的环境类别和对应的分项环境属性；

56、其中，上述目标环境识别模型是由如第一方面或第一方面提供的任一种可能的实现方式中的目标环境识别模型训练方法进行模型训练生成的识别模型。

57、第五方面，本技术实施例提供了一种电子设备，包括：处理器及存储器；

58、上述存储器存储有计算机程序，上述计算机程序适于由上述处理器加载并执行本技术实施例第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤，或者，上述计算机程序适于由上述处理器加载并执行本技术实施例第二方面提供的方法的步骤。

59、第六方面，本技术实施例提供了一种计算机存储介质，上述计算机存储介质存储有多条指令，上述指令适于由处理器加载并执行本技术实施例第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤，或者，上述指令适于由处理器加载并执行本技术实施例第二方面提供的方法的步骤。

60、第七方面，本技术实施例提供了一种包含指令的计算机程序产品，当上述计算机程序产品在计算机或处理器上运行时，使得上述计算机或上述处理器执行本技术实施例第一方面或第二方面提供的方法。

61、本技术实施例中，通过获取多个目标对象对应的多个目标环境图像集，其中，多个目标对象中各目标对象对应的目标环境图像集包括从多个视角获取的多个目标对象环境图像，使目标环境图像集能够从不同视角表征目标对象的环境特征，从而降低单一图像因视角受限、局部遮挡或环境信息不完整而导致的环境特征表征不足；随后通过预设的多个识别模型分别对上述各目标环境图像集进行特征识别，得到上述各目标环境图像集对应的多个候选环境标签信息，其中，上述多个识别模型具有不同的模型配置；并且，基于预设评估维度，对上述各目标环境图像集对应的多个候选环境标签信息进行评估处理，得到对应的标签评估结果，其中，上述预设评估维度至少包括模型一致性和跨图证据一致性，上述跨图证据一致性用于表征同一目标对象对应的多个目标对象环境图像针对同一标签的识别结果之间的一致程度，使环境标签的确定同时结合不同识别模型之间的识别一致情况以及同一目标对象的多视角图像之间的证据一致情况，从而降低单一识别模型或单张环境图像产生的偶然识别结果对标签确定过程的影响，提高目标分项环境标签信息的准确性和可靠性；进而，基于上述标签评估结果对上述多个候选环境标签信息进行标签确定处理，得到上述各目标环境图像集对应的目标分项环境标签信息；在此基础上，基于预设分层环境标签树，对上述目标分项环境标签信息进行关联处理，得到上述各目标环境图像集对应的目标整体环境标签信息，该目标整体环境标签信息能够综合表征目标对象的整体环境特征，从而提高环境标签结果的完整性和一致性；进一步地，根据上述目标分项环境标签信息和上述目标整体环境标签信息，确定上述各目标环境图像集对应的伪标签，并将具有上述伪标签的目标环境图像集加入预设的有标签训练集，得到目标环境图像训练集；从而基于上述目标环境图像训练集对预设多模态模型进行监督微调训练，得到目标环境识别模型，使预设多模态模型能够学习多视角环境图像与多层次环境标签之间的映射关系，在减少对大规模人工标注数据依赖的同时，提高目标环境识别模型对目标对象环境特征进行识别的准确性、可靠性和全面性。