一种用于AI标注的测试云平台和AI标注测试方法与流程

一种用于ai标注的测试云平台和ai标注测试方法
技术领域
1.本发明涉及软件测试领域，更具体地，涉及一种用于ai标注的测试云平台和ai标注测试方法。


背景技术：

2.如今随着智能网联汽车行业的迅速发展，其大数据处理也正处于方兴未艾的阶段，而ai标注便是其中举足轻重的一环。
3.标注出的大量的数据集合会被应用于ai训练，而ai训练通过分析标注结果且经过大量算法得到计算函数，从而让标注对象及其运动轨迹和速度等数字化，最终实现自动驾驶。
4.所以说，数据标注作为数据处理的环节，其功能的完整性和实用性是至关重要的，而其合理有效的测试方法便是保障质量的关键。
5.目前，对图片数据的标注过程和质检过程均为人工操作，随着海量数据的来临，人工操作方式工作量大，耗时长。


技术实现要素：

6.本发明针对现有技术中存在的技术问题，提供一种用于ai标注的测试云平台和ai标注测试方法。
7.根据本发明的第一方面，提供了一种用于ai标注的测试云平台，所述测试云平台包括数据存储模块、标注模块、质检模块和仲裁模块；数据存储模块，用于存储采集的图片数据，所述图片数据为通过车载摄像头或传感器拍摄的车辆行驶过程中的场景信息；标注模块，用于对图片数据中的特定对象进行标注，将标注结果传输给所述质检模块；质检模块，用于对所述标注结果进行质检，并向所述标注模块返回质检结果，以便标注模块根据所述质检结果确定是否向所述仲裁模块提交仲裁请求；仲裁模块，用于对所述标注模块提交的仲裁请求仲裁所述质检结果。
8.在上述技术方案的基础上，本发明还可以作出如下改进。
9.可选的，所述图片数据为图像图片和/或点云图片，所述特定对象为图片数据中的车辆、车道线或人脸。
10.可选的，所述标注模块，用于对图片数据中的特定对象进行标注，将标注结果传输给所述质检模块，包括：对图片数据中的每一个特定对象所对应的目标框以及对应的标签属性对应标注，将标注后的图片数据、目标框和对应的标签属性传输给所述质检模块。
11.可选的，所述质检模块，用于对所述标注结果进行质检，并向所述标注模块返回质检结果，包括：对所述标注模块传输的标注后的图片数据、目标框和对应的标签属性进行质检，将质检通过结果或质检不通过结果返回给所述标注模块，其中，所述质检不通过结果中包括质检不通过的原因。
12.可选的，以便所述标注模块根据所述质检结果确定是否向所述仲裁模块提交仲裁
请求，包括：当所述标注模块接收到质检通过结果时，将标注结果进行交付；当所述标注模块接收到质检不通过结果时，对相应的标注结果进行修改，重新提交给所述质检模块，或者将质检不通过结果提交给所述仲裁模块请求仲裁。
13.可选的，所述仲裁模块，用于对所述标注模块提交的仲裁请求仲裁所述质检结果，包括：所述仲裁模块对提交的仲裁请求仲裁所述质检结果，将仲裁后的仲裁结果发送给所述标注模块，以便所述标注模块根据仲裁结果确定重新修改所述标注结果或交付所述标注结果。
14.根据本发明的第二方面，提供一种ai标注测试方法，包括：在测试云平台上存储采集的图片数据，所述图片数据为通过车载摄像头或传感器拍摄的车辆行驶过程中的场景信息；对图片数据中的特定对象进行标注，生成标注结果；对所述标注结果进行质检，返回质检结果；根据所述质检结果确定是否对所述质检结果提交仲裁请求；根据提交的仲裁请求对所述质检结果进行仲裁。
15.可选的，所述对所述标注结果进行质检，返回质检结果，包括：对所述标注结果进行质检，返回质检通过结果或质检不通过结果，其中，所述质检不通过结果中包括质检不通过的原因。
16.可选的，所述根据所述质检结果确定是否对所述质检结果提交仲裁请求，包括：当接收到质检通过结果时，将标注结果进行交付；当接收到质检不通过结果时，对相应的标注结果进行修改，重新提交质检，或者将质检不通过结果提交仲裁。
17.根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现ai标注测试方法的步骤。
18.根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现ai标注测试方法的步骤。
19.本发明提供的一种用于ai标注的测试云平台和ai标注测试方法，在测试云平台上执行对图片数据的标注、对标注结果的之间和仲裁，实现在云平台上的全自动化测试，测试流程清晰易懂，相比人工测试方式，更能保证测试的全面性和条理性。
附图说明
20.图1为本发明提供的一种用于ai标注的测试云平台结构示意图；
21.图2为本发明提供的一种ai标注测试方法流程图；
22.图3为本发明提供的一种ai标注测试方法的整体流程图；
23.图4为本发明提供的一种可能的电子设备的硬件结构示意图；
24.图5为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
25.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
26.图1为本发明提供的一种用于ai标注的测试云平台，测试云平台包括数据存储模块、标注模块、质检模块和仲裁模块。
27.其中，数据存储模块，用于存储采集的图片数据，图片数据为通过车载摄像头或传
感器拍摄的车辆行驶过程中的场景信息；标注模块，用于对图片数据中的特定对象进行标注，将标注结果传输给所述质检模块；质检模块，用于对所述标注结果进行质检，并向所述标注模块返回质检结果，以便标注模块根据所述质检结果确定是否向仲裁模块提交仲裁请求；仲裁模块，用于对所述标注模块提交的仲裁请求仲裁所述质检结果。
28.可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种能够在云平台上实现全自动化测试的ai标注质检流程，对于车辆在行驶过程中，通过车载摄像头或者传感器拍摄车辆行驶过程中的场景信息，得到对应的图片数据。在云平台上对图片数据中的目标对象进行标注，对标注结果进行质检，根据质检结果确定是提交交付，还是修改标注结果或者将质检结果提交仲裁，直到完成每一个标注任务的测试流程。
29.本发明可实现云平台上对ai标注的全自动化测试，测试流程清晰易懂，相比人工测试方式，更能保证测试的全面性和条理性。
30.在一种可能的实施例方式中，图片数据为图像图片和/或点云图片，特定对象为图片数据中的车辆、车道线或人脸。
31.可以理解的是，汽车数据标注就是指将车载摄像头或传感器如点云得到的数据收集到云端，然后在云平台上将特定对象标注出来。要标注的数据集合一般是捕捉到的图像图片或雷达打点的点云图片，而标注任务就是在这些图片上标注出车辆、车道线或人脸等。
32.具体的，主要是对图片数据中的每一个特定对象所对应的目标框以及对应的标签属性对应标注，将标注后的图片数据、目标框和对应的标签属性传输给质检模块。
33.比如，对于图片数据中的车辆，将图片汇总的车辆利用目标框将其框出来，并且标注该车辆的车牌号，其车牌号码可以配置字符串类型；再比如，对于图片数据中的车道线，可以将车道线标识出来，然后对车道线的类型进行标注，并将标注的结果发送给质检模块。
34.在一种可能的实施例方式中，质检模块，用于对所述标注结果进行质检，并向所述标注模块返回质检结果，包括：对标注模块传输的标注后的图片数据、目标框和对应的标签属性进行质检，将质检通过结果或质检不通过结果返回给所述标注模块，其中，所述质检不通过结果中包括质检不通过的原因。
35.可以理解的是，质检模块接收到质检请求时，对标注结果进行质检，具体的，主要是质检图片数据中的标注是否正确，包括目标框的框选是否正确，标签属性的标注是否正确，且将质检结果返回给标注模块，质检结果有质检通过结果和质检不通过结果，其中，如果质检结果为质检不通过结果，在向标注模块返回质检不通过结果时，还需要返回质检不通过的原因，比比如，目标框的框选不正确，标签属性的标注不正确或者不合格等，以便相关人员通过标注模块查看质检不通过的原因，对其进行修改。
36.在一种可能的实施例方式中，以便标注模块根据所述质检结果确定是否向所述仲裁模块提交仲裁请求，包括：当标注模块接收到质检通过结果时，将标注结果进行交付；当标注模块接收到质检不通过结果时，对相应的标注结果进行修改，重新提交给所述质检模块，或者将质检不通过结果提交给所述仲裁模块请求仲裁。
37.可以理解的是，当标注模块接收到质检模块返回的质检通过结果时，那么标注模块直接将标注结果进行交付；如果标注模块接收到质检模块返回的质检不通过结果时，根据其中质检不通过的原因，决定是对标注结果进行修改还是申请仲裁。如果是对标注结果进行修改，那么将修改后的标注结果重新提交质检；如果选择进行冲裁，则将原来的标注结
果提交仲裁。
38.在一种可能的实施例方式中，所述仲裁模块，用于对所述标注模块提交的仲裁请求仲裁所述质检结果，包括：仲裁模块对提交的仲裁请求仲裁所述质检结果，将仲裁后的仲裁结果发送给所述标注模块，以便所述标注模块根据仲裁结果确定重新修改所述标注结果或交付所述标注结果。
39.可以理解的是，当仲裁模块接收到标注模块发送的仲裁请求时，对提交的标注结果进行仲裁，仲裁结果也分为仲裁通过和仲裁不通过，当仲裁通过后，标注模块将标注结果提交交付；如果仲裁不通过，则标注模块重新修改标注结果，重新提交质检。
40.参见图2，提供了本发明实施例的一种ai标注测试方法，包括：s1，在测试云平台上存储采集的图片数据，图片数据为通过车载摄像头或传感器拍摄的车辆行驶过程中的场景信息；s2，对图片数据中的特定对象进行标注，生成标注结果；s3，对标注结果进行质检，返回质检结果；s4，根据质检结果确定是否对所述质检结果提交仲裁请求；s5，根据提交的仲裁请求对质检结果进行仲裁。
41.其中，图片数据为图像图片和/或点云图片，特定对象为图片数据中的车辆、车道线或人脸。具体为，对图片数据中的每一个特定对象所对应的目标框以及对应的标签属性对应标注，形成标注结果。
42.其中，步骤s3中对标注结果进行质检，返回质检结果，包括：对标注结果进行质检，返回质检通过结果或质检不通过结果，其中，所述质检不通过结果中包括质检不通过的原因。
43.其中，步骤s4中根据质检结果确定是否对所述质检结果提交仲裁请求，包括：当接收到质检通过结果时，将标注结果进行交付；当接收到质检不通过结果时，对相应的标注结果进行修改，重新提交质检，或者将质检不通过结果提交仲裁。
44.可以理解的是，本发明实施例提供的ai标注测试方法与上述各实施例提供的用于ai标注的测试云平台相对应，ai标注测试方法的相关技术特征可参考前述各实施例的用于ai标注的测试云平台的相关技术特征，在此不再重复说明。
45.参见图3，为ai标注测试方法的整体流程图，对于图片数据的标注、质检和仲裁，都有相关的人员执行操作的，分别为标注员、质检员和仲裁员，这三类人员可通过各自的账号登录云平台，标注员创建标注任务，对图片数据中的特定对象进行标注，将标注结果提交质检，质检员登录云平台，对各个图片数据的标注结果进行质检，并向标注员返回质检结果，标注员根据质检员返回的质检结果，确定是修改标注结果重新提交质检还是基于原始的标注结果提交仲裁请求。仲裁员登录云平台，对所有的仲裁请求进行仲裁，并向标注员返回仲裁结果。对海量图片数据的标注、质检和仲裁均是在云平台上进行，整个流程更加清晰易懂，也能保证测试的全面性和条理性。
46.请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提了一种电子设备400，包括存储器410、处理器420及存储在存储器410上并可在处理器420上运行的计算机程序411，处理器420执行计算机程序411时实现以下步骤：在测试云平台上存储采集的图片数据，所述图片数据为通过车载摄像头或传感器拍摄的车辆行驶过程中的场景信息；对图片数据中的特定对象进行标注，生成标注结果；对标注结果进行质检，返回质检结果；根据质检结果确定是否对质检结果提交仲裁请求；根据提交的仲裁
请求对质检结果进行仲裁。
47.请参阅图5，图5为本发明提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质500，其上存储有计算机程序511，该计算机程序511被处理器执行时实现如下步骤：在测试云平台上存储采集的图片数据，所述图片数据为通过车载摄像头或传感器拍摄的车辆行驶过程中的场景信息；对图片数据中的特定对象进行标注，生成标注结果；对标注结果进行质检，返回质检结果；根据质检结果确定是否对质检结果提交仲裁请求；根据提交的仲裁请求对质检结果进行仲裁。
48.本发明实施例提供的一种用于ai标注的测试云平台及ai标注测试方法，在测试云平台上执行对图片数据的标注、对标注结果的之间和仲裁，实现在云平台上的全自动化测试，测试流程清晰易懂，相比人工测试方式，更能保证测试的全面性和条理性。
49.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
50.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
51.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
52.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
53.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
54.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
55.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。