数据标注方法、装置、设备及存储介质与流程

摘要: 本公开涉及数据处理,具体而言,涉及一种数据标注方法、装置、设备及存储介质。背景技术:1、随着对于高质量标注数据需求的持续增长,各类数据标注平台被广泛应用。在进行...
数据标注方法、装置、设备及存储介质与流程

本公开涉及数据处理,具体而言,涉及一种数据标注方法、装置、设备及存储介质。

背景技术:

1、随着对于高质量标注数据需求的持续增长,各类数据标注平台被广泛应用。在进行数据标注时,数据标注平台可以针对不同模态的数据采用不同的标注方式,还具备进行任务分发、结果保存、结果审校等功能。

2、在进行数据标注时,通常仅围绕项目、任务或者文件本身进行标注处理,例如仅依赖项目、任务或者文件本身呈现的数据,根据人工经验进行标注,标注效率较低。

技术实现思路

1、本公开实施例至少提供一种数据标注方法、装置、设备及存储介质,基于已进行标注的标注数据生成预设图元,在用户进行数据标注的过程中可以综合结构索引和内容索引对预设图元进行混合检索,以辅助用户的标注处理,提升标注效率。

2、具体地,本技术是通过如下技术方案实现的:

3、本公开实施例提供了一种数据标注方法,所述方法包括:

4、在用户通过标注界面进行数据标注的过程中,响应于检测到检索触发事件,确定所述检索触发事件对应的检索数据以及所述检索数据对应的查询信息;

5、获取图元库;所述图元库存储有多个预设图元,所述预设图元基于已进行标注的标注数据生成,所述预设图元关联有对应的结构索引和内容索引,所述结构索引包括组织编号、权限范围、标签编码以及标签路径,所述内容索引包括说明文本、属性文本、标签名称、媒体类型、地理位置以及内容向量;

6、基于所述查询信息以及各个所述预设图元的结构索引在所述图元库中进行检索,得到多个候选图元;

7、基于所述检索数据、所述查询信息以及各个所述候选图元的内容索引在多个候选图元中进行检索,得到多个参考图元;

8、在所述标注界面中展示所述多个参考图元,并在检测到所述用户从多个参考图元中选择目标图元时,基于所述目标图元的标签名称、标签路径、说明文本以及属性文本,生成所述检索数据对应的标注参考信息,以及将所述目标图元对应的第一标注控件结构转换为与所述检索数据匹配的第二标注控件结构;所述标注参考信息和所述第二标注控件结构用于辅助所述用户对所述检索数据进行标注处理。

9、一种可选的实施方式中,所述基于所述检索数据、所述查询信息以及各个所述候选图元的内容索引在多个候选图元中进行检索,得到多个参考图元,包括:

10、基于所述查询信息、以及各个所述候选图元的内容索引,按照所述说明文本、所述属性文本、所述标签名称和所述媒体类型,在多个候选图元中进行检索,得到多个第一备选图元;

11、基于所述查询信息以及各个所述候选图元的内容索引,按照所述地理位置,在多个候选图元中进行检索,得到多个第二备选图元;

12、对所述检索数据进行内容编码,生成查询向量,基于所述查询向量以及各个所述候选图元的内容索引,按照所述内容向量,在多个候选图元中进行检索,得到多个第三备选图元;

13、基于多个第一备选图元、多个第二备选图元以及多个第三备选图元,确定多个参考图元。

14、一种可选的实施方式中,所述地理位置包括经纬度坐标、地址描述文本和地理编码;

15、所述基于所述查询信息以及各个所述候选图元的内容索引,按照所述地理位置,在多个候选图元中进行检索,得到多个第二备选图元,包括:

16、基于所述查询信息以及各个所述候选图元的内容索引,按照所述经纬度坐标对多个候选图元进行位置比对,得到位置匹配的多个候选图元;

17、基于所述查询信息以及各个所述候选图元的内容索引,按照所述地址描述文本对位置匹配的多个候选图元进行语义比对,得到语义匹配的多个候选图元;

18、基于所述查询信息以及各个所述候选图元的内容索引,按照所述地理编码对语义匹配的多个候选图元进行语义比对,得到层级匹配的多个候选图元;

19、基于层级匹配的多个候选图元,确定多个第二备选图元。

20、一种可选的实施方式中,所述在所述标注界面中展示所述多个参考图元,包括:

21、针对每个所述参考图元,确定所述参考图元对应的标签匹配度、文本相似度、图元质量、时间衰减因子、引用热度、空间距离权重和向量相似度;

22、基于所述参考图元对应的标签匹配度、文本相似度、图元质量、时间衰减因子、引用热度、空间距离权重和向量相似度,确定所述参考图元的综合评分;

23、按照所述综合评分降序排列的顺序,在所述标注界面中展示所述多个参考图元。

24、一种可选的实施方式中,所述将所述目标图元对应的第一标注控件结构转换为与所述检索数据匹配的第二标注控件结构,包括:

25、在所述目标图元为图片图元的情况下,将所述目标图元对应的第一标注控件结构指示的坐标转换为与所述检索数据的尺寸匹配的坐标,基于与所述检索数据的尺寸匹配的坐标,生成与所述检索数据匹配的第二标注控件结构;

26、在所述目标图元为文本图元的情况下,基于所述目标图元与所述检索数据的文本匹配结果,确定起止字符偏移,基于所述目标图元对应的第一标注控件结构以及所述起止字符偏移,生成与所述检索数据匹配的第二标注控件结构;

27、在所述目标图元为音视频图元的情况下,基于采样率、帧率和时间轴偏移,将所述目标图元对应的第一标注控件结构指示的起止时间转换为与所述检索数据对应的时间段匹配的起止时间,基于与所述检索数据对应的时间段匹配的起止时间,生成与所述检索数据匹配的第二标注控件结构;

28、在所述目标图元为点云图元的情况下,基于所述目标图元对应的第一标注控件结构以及坐标系标定参数,生成与所述检索数据匹配的第二标注控件结构。

29、一种可选的实施方式中,所述内容向量通过以下步骤生成:

30、根据所述预设图元对应的标注数据的媒体类型,对所述预设图元对应的标注数据进行特征提取,得到模态特征向量;

31、基于所述预设图元对应的标签编码和标签路径,生成标签路径向量;

32、基于所述模态特征向量和所述标签路径向量,生成所述内容向量。

33、一种可选的实施方式中,所述方法还包括:

34、在检测到产生已进行标注的标注数据的情况下,确定所述标注数据对应的审校状态,并生成所述标注数据对应的预设图元;

35、确定所述预设图元对应的审校通过率、引用热度、一致性评分、修正反馈评分和时间有效性评分;

36、基于所述预设图元对应的审校通过率、引用热度、一致性评分、修正反馈评分和时间有效性评分,确定所述预设图元的图元质量;

37、在所述审校状态为已通过、且所述图元质量大于图元质量阈值的情况下,将所述预设图元添加至所述图元库。

38、根据本技术的第二方面,本公开实施例还提供一种数据标注装置,所述装置包括:

39、检索触发模块,用于在用户通过标注界面进行数据标注的过程中,响应于检测到检索触发事件,确定所述检索触发事件对应的检索数据以及所述检索数据对应的查询信息;

40、图元库获取模块,用于获取图元库;所述图元库存储有多个预设图元,所述预设图元基于已进行标注的标注数据生成,所述预设图元关联有对应的结构索引和内容索引,所述结构索引包括组织编号、权限范围、标签编码以及标签路径,所述内容索引包括说明文本、属性文本、标签名称、媒体类型、地理位置以及内容向量;

41、候选图元检索模块,用于基于所述查询信息以及各个所述预设图元的结构索引在所述图元库中进行检索,得到多个候选图元;

42、参考图元检索模块,用于基于所述检索数据、所述查询信息以及各个所述候选图元的内容索引在多个候选图元中进行检索,得到多个参考图元;

43、图元展示模块,用于在所述标注界面中展示所述多个参考图元,并在检测到所述用户从多个参考图元中选择目标图元时,基于所述目标图元的标签名称、标签路径、说明文本以及属性文本,生成所述检索数据对应的标注参考信息,以及将所述目标图元对应的第一标注控件结构转换为与所述检索数据匹配的第二标注控件结构;所述标注参考信息和所述第二标注控件结构用于辅助所述用户对所述检索数据进行标注处理。

44、根据本技术的第三方面,提供了一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面所述的数据标注方法的步骤。

45、根据本技术的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时执行上述第一方面所述的数据标注方法的步骤。

46、本公开实施例提供的数据标注方法、装置、设备及存储介质,预先将已进行标注的标注数据转换为携带有结构索引和内容索引的预设图元,在用户进行数据标注的过程中,当检测到检索触发事件时,可以基于检索数据和查询信息,按照结构索引和内容索引进行混合检索,对检索得到的参考图元进行展示,并根据用户选择的目标图元进行复用,生成检索数据对应的标注参考信息和标注控件结构,减少用户手动调整标注控件结构的操作频次,辅助用户的标注处理,有效提升标注效率;并且,通过参考图元的展示,有助于使得不同标注人员对于同一标签体系的理解和执行趋向一致,减少因主观判断导致的标注偏差,保障组织级标签使用的一致性,提升标注质量。

47、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。

48、为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。