语义标签驱动的汽车素材打标方法与流程

摘要: 本发明涉及汽车素材打标,具体涉及语义标签驱动的汽车素材打标方法。背景技术:1、随着汽车营销、车型管理、素材审核和内容分发业务的发展,汽车图片、视频、连载画报图集...
语义标签驱动的汽车素材打标方法与流程

本发明涉及汽车素材打标,具体涉及语义标签驱动的汽车素材打标方法。

背景技术:

1、随着汽车营销、车型管理、素材审核和内容分发业务的发展,汽车图片、视频、连载画报图集、营销图片、车辆局部特写、内饰素材以及包含车外特效的素材数量快速增加。为了便于素材检索、内容审核、车型匹配、营销投放和资产管理,通常需要对汽车素材进行标签化处理,例如标注品牌、车系、车型、年款、颜色、车身部件、内饰部件、拍摄场景、营销风格以及素材内容类型等标签。

2、现有汽车素材打标方式通常依赖人工标注、简单关键词匹配、单一图像分类模型或基于规则的标签判断方法。人工标注处理效率低、标注成本高,且不同标注人员对局部部件、拍摄角度、营销风格等标签的理解容易存在差异,难以满足大规模汽车素材快速入库和精细化管理的需求。基于关键词或元数据的打标方式主要依赖文件名、备注信息、任务字段或业务系统字段,难以充分识别图片或视频中的真实视觉内容;而单一图像分类模型通常侧重于整图级别的视觉识别,难以同时兼顾车辆实例、局部区域、关键帧、镜头片段、文本信息以及业务标签之间的语义约束。

3、因此,亟需一种语义标签驱动的汽车素材打标方法来解决上述问题。

技术实现思路

1、本发明的目的在于提供语义标签驱动的汽车素材打标方法:对汽车素材进行准确、稳定且可解释的自动打标,提高汽车素材打标的准确性、适用性和可复核性。

2、本发明的目的可以通过以下技术方案实现:

3、语义标签驱动的汽车素材打标方法,其特征在于,方法包括:

4、获取待打标汽车素材并进行预处理,其中,待打标汽车素材包括素材视觉信息和文本元数据;

5、基于素材视觉信息和文本元数据构建包含标签节点和标签间语义关系的汽车语义标签图谱,并为标签节点配置含标签维度、默认作用范围、可观测对象和关键词的标签属性记录;

6、基于汽车语义标签图谱生成标签的语义标签探针,根据素材视觉信息、文本元数据和语义标签探针确定初始语义证据分数,并基于初始语义证据分数按标签间语义关系对标签进行图谱传播,得到标签的图谱语义置信度;

7、对素材视觉信息中的图像内容进行区域划分,得到若干个候选区域,计算各个候选区域的区域支持表征系数,聚合所有候选区域的区域支持表征系数得到标签的区域语义支持值;

8、计算标签的素材质量可信表征值,并基于标签的图谱语义置信度、区域语义支持值和素材质量可信表征值确定标签的输出状态,并基于标签属性记录绑定标签作用范围,得到待打标汽车素材的打标结果。

9、进一步地,预处理包括:对待打标汽车素材进行视觉规范化处理、质量检测、文本区域识别、关键帧抽取以及关联元数据读取。

10、进一步地,基于素材视觉信息和文本元数据构建包含标签节点和标签间语义关系的汽车语义标签图谱包括:

11、依据历史标注样本、标签属性记录、业务规则和标签语义关联确定标签间语义关系,其中,标签间语义关系包括标签节点之间的共现关系、互斥关系和层级关系;并在确定标签间语义关系时引入标签作用范围的相容性,以使标签关系与素材整体、车辆实例、局部区域、关键帧或镜头片段相对应。

12、进一步地,确定标签间语义关系时计算标签作用范围的相容度包括:

13、对于任意两个标签,当任意两个标签均对应图像中的局部区域时,基于标签作用区域面积计算得到作用范围相容度;当任意两个标签均为全图级标签、素材级标签或同一镜头片段内的标签时,标签作用范围的相容度为1,当任意两个标签分别属于不同车辆实例,且二者所属标签维度需要在同一车辆实例内判断时,标签作用范围的相容度为0。

14、进一步地,确定标签间语义关系包括:

15、计算任意两个标签的共现关系强度,基于共现关系强度来确定标签之间的共现关系;

16、基于任意两个标签的基础互斥强度和有效互斥强度来确定标签之间的互斥关系;

17、计算任意两个标签的层级关系得分,基于层级关系得分来确定标签之间的层级关系。

18、进一步地,根据素材视觉信息、文本元数据和语义标签探针确定初始语义证据分数包括:

19、根据素材视觉信息提取得到素材视觉特征,并确定素材视觉特征与语义标签探针之间的匹配关系;确定文本元数据与标签关键词之间的匹配关系;基于语义标签探针确定素材关联的车型数据库、业务词库或项目词库与候选标签之间的命中关系,并基于素材视觉特征与语义标签探针之间的匹配关系、文本元数据与标签关键词之间的匹配关系和命中关系确定初始语义证据分数。

20、进一步地,计算各个候选区域的区域支持表征系数包括:

21、计算各个候选区域的区域权重和部件匹配度,基于各个候选区域的区域权重和部件匹配度计算得到各个候选区域的区域支持表征系数。

22、进一步地,计算各个候选区域的区域权重包括:

23、基于候选区域的像素面积计算候选区域的面积占比;

24、基于候选区域的中心点坐标计算候选区域的中心度;

25、按照拉普拉斯方差计算候选区域的模糊度;

26、基于候选区域的面积占比、中心度和模糊度计算得到候选区域的区域权重。

27、进一步地,基于标签的图谱语义置信度、区域语义支持值和素材质量可信表征值确定标签的输出状态包括:

28、基于标签的图谱语义置信度、区域语义支持值和素材质量可信表征值计算标签的联合语义置信度,当联合语义置信度大于预设联合语义置信度阈值时,确定该标签为输出标签,若联合语义置信度小于或等于预设联合语义置信度阈值时,确定该标签为候选待定标签。

29、相比于现有方案,本发明实现的有益效果:

30、本发明通过构建汽车语义标签图谱,将品牌、车系、车型、年款、颜色、外部部件、内饰部件、拍摄场景、营销风格和素材内容等候选标签组织为具有共现关系、互斥关系和层级关系的图谱结构,使标签之间的语义关联能够参与标签判断过程。能够减少孤立识别标签造成的漏标、误标、冲突标签并存以及上位标签缺失等问题,提高标签结果的整体一致性。

31、本发明针对单张图片、视频、图集、营销图片、车辆局部特写、多车辆复杂场景等不同汽车素材,综合利用视觉内容、文本元数据、业务规则、标签间语义关系和局部区域信息,对汽车素材进行准确、稳定且可解释的自动打标。

32、本发明在标签判断过程中区分素材整体、车辆实例、局部区域、文本区域、关键帧、镜头片段和视频整体等不同作用范围,避免因简单素材级判断造成标签误删或冲突误判;以及在输出标签结果的同时给出标签作用范围和证据来源,从而提高汽车素材打标的准确性、适用性和可复核性。

1.语义标签驱动的汽车素材打标方法,其特征在于,方法包括:

2.根据权利要求1所述的语义标签驱动的汽车素材打标方法,其特征在于,预处理包括:对待打标汽车素材进行视觉规范化处理、质量检测、文本区域识别、关键帧抽取以及关联元数据读取。

3.根据权利要求1所述的语义标签驱动的汽车素材打标方法,其特征在于,基于素材视觉信息和文本元数据构建包含标签节点和标签间语义关系的汽车语义标签图谱包括:

4.根据权利要求3所述的语义标签驱动的汽车素材打标方法,其特征在于,确定标签间语义关系时计算标签作用范围的相容度包括:

5.根据权利要求3所述的语义标签驱动的汽车素材打标方法,其特征在于,确定标签间语义关系包括:

6.根据权利要求1所述的语义标签驱动的汽车素材打标方法,其特征在于,根据素材视觉信息、文本元数据和语义标签探针确定初始语义证据分数包括:

7.根据权利要求1所述的语义标签驱动的汽车素材打标方法,其特征在于,计算各个候选区域的区域支持表征系数包括:

8.根据权利要求7所述的语义标签驱动的汽车素材打标方法,其特征在于,计算各个候选区域的区域权重包括:

9.根据权利要求1所述的语义标签驱动的汽车素材打标方法,其特征在于,基于标签的图谱语义置信度、区域语义支持值和素材质量可信表征值确定标签的输出状态包括: