用于为对象的标注分配数值的计算机实现的方法和系统与流程

1.本发明涉及一种用于为在图像数据、视频数据和/或点云数据中识别的至少一个对象的标注分配数值的计算机实现的方法。
2.此外，本发明还涉及一种用于为在图像数据、视频数据和/或点云数据中识别的至少一个对象的标注分配数值的系统。
3.本发明还涉及一种计算机程序。


背景技术：

4.计算机视觉模型，即用于在图像数据、视频数据和/或点云数据中识别对象的算法是借助训练数据学习的。为了能够可靠地识别图像数据、视频数据和/或点云数据中的对象，通常对相关对象在视觉上和/或概念上进行标注。
5.上述对象的分类传统上由标注者使用适合的软件工具手动完成。在用于自动驾驶的计算机视觉模型领域中，图像标注通常借助所谓的边界框来完成。借此例如可标记或标注车辆、交通标志和其它环境对象。
6.计算机视觉基金会的标题为“interactive full image segmentation by considering all region combined”的cvpr出版物公开了一种软件应用程序，所述软件应用程序在标注特定图像对象的极值点时能够对全图像分割进行预测，即把整个图像细分为其中包含的各个对象。
7.该软件应用程序还具有以下特征：在错误地预测图像分割的某些区域的情况下，标注者可借助图形用户工具对图像分割进行修改，这些修改随后可由软件应用程序实现。
8.但上述方法的一个共同之处在于总是存在很高的标注工作量，因为为了有效地训练计算机视觉模型，需要大量的训练数据及其标注，这导致了人员和成本方面的高花费。
9.因此，需要改进用于标注图像数据、视频数据和/或点云数据中的对象的现有方法和系统，从而能够对特定对象进行简化、更有效且更低成本的标注。因此，本发明的任务是提出一种计算机实现的方法、系统和计算机程序，其能够对图像数据、视频数据和/或点云数据中的特定对象进行简化、更有效且更低成本的标注。


技术实现要素：

10.根据本发明，所述任务通过根据专利权利要求1的用于为在图像数据、视频数据和/或点云数据中识别的至少一个对象的标注分配数值的计算机实现的方法、根据权利要求14的用于为在图像数据、视频数据和/或点云数据中识别的至少一个对象的标注分配数值的系统和根据权利要求15的计算机程序来解决。
11.本发明涉及一种用于为在图像数据、视频数据和/或点云数据中识别的至少一个对象的标注分配数值的计算机实现的方法。
12.所述方法包括识别和标注接收到的图像数据、视频数据和/或点云数据中的所述至少一个对象，所述识别和/或标注至少部分地自动执行。
13.所述方法还包括计算所述至少一个对象的标注的数值，该数值至少部分地根据视觉标注的尺寸相对于所述至少一个对象的尺寸的一致程度和/或所述至少一个对象的概念标识符与所述至少一个对象的一致性和/或检测所述至少一个对象的至少一个传感器的概念标识符与所述至少一个传感器的一致性来计算。
14.所述方法还包括将计算出的数值分配给所述至少一个对象。
15.本发明还涉及一种用于为在图像数据、视频数据和/或点云数据中识别的至少一个对象的标注分配数值的系统。
16.所述系统包括用于识别和标注接收到的图像数据、视频数据和/或点云数据中的至少一个对象的装置，所述识别和/或标注可至少部分地自动执行。
17.所述系统还包括用于计算所述至少一个对象的标注的数值的装置，该数值可至少部分地根据视觉标注的尺寸相对于所述至少一个对象的尺寸的一致程度和/或所述至少一个对象的概念标识符与所述至少一个对象的一致性和/或检测所述至少一个对象的至少一个传感器的概念标识符与所述至少一个传感器的一致性来计算。
18.所述系统还包括用于将计算出的数值分配给所述至少一个对象的装置。
19.本发明还涉及一种具有程序代码的计算机程序，用于当计算机程序在计算机上运行时执行根据本发明的方法。
20.一方面，本发明的一个想法是能够至少部分地自动识别和标注图像数据、视频数据和/或点云数据中的对象。由此可节省到现在为止特别是在用于自动驾驶的计算机视觉模型领域中手动进行的工作的大量时间和处理耗费。
21.另一方面，本发明的一个想法是与云计算领域中通常的按使用付费的计费模型相反，根据预定技术参数的实现、即根据视觉标注的准确性和/或至少一个概念标注的正确分配来计算计费或定价。
22.本发明的其它实施方式是其它从属权利要求和下述参考附图的说明的技术方案。
23.根据本发明的一个方面，所述方法还包括：所述至少一个对象的概念标识符包括对象的至少一个属性并且检测所述至少一个对象的所述至少一个传感器的概念标识符包括所述至少一个传感器的属性。
24.由此，除了视觉标注之外，可在分配对象的一个或多个属性和/或命名传感器的范围内对相关对象进行更准确的分类。
25.根据本发明的另一方面，所述方法还包括：所述视觉标注包括自动定位和绘制围绕对象的边界元件，该边界元件由二维边界框形成或者尤其是在lidar图像数据和/或雷达图像数据的情况下由三维边界框形成。
26.基于围绕相关对象的相应边界框的自动定位和绘制，可以对图像数据、视频数据和/或点云数据中包含的对象进行精确且高效、即减少处理时间的标注。
27.根据本发明的另一方面，所述方法还包括：分配给对象的所述至少一个属性具有至少一个对象类别，第一对象类别包括机动车并且第一对象子类包括轿车、卡车、货车、公共汽车、建筑工地车辆、轨道车辆和/或拖车悬挂装置，并且第二对象类别包括人并且第二对象子类包括人的性别、身高和/或年龄。
28.此外，与相关计算机视觉模型有关的其它对象，如交通标志、建筑物等也可以进行分类。通过将对象分类为对象类别和对象子类，一方面可对相关对象进行精确分类而且还
可以对对象的预期行为进行预测。
29.根据本发明的另一方面，所述方法还包括：分配给检测图像数据、视频数据和/或点云数据的传感器的所述至少一个属性包括至少一个传感器类别，第一传感器类别包括图像传感器并且第一传感器子类包括图像传感器在承载装置上、尤其是在检测车辆上的位置和定向，并且第二传感器类别包括lidar传感器并且第三传感器类别包括雷达传感器。
30.由于知道图像传感器相对于检测到的对象的位置和定向，因此也可以有利的方式对对象进行更准确的分类。
31.根据本发明的另一方面，所述方法还包括：所述第一传感器子类包括设置在承载装置、尤其是检测车辆前部中央的广角摄像机、设置在前部中央的窄角摄像机、设置在左前方的摄像机、设置在右前方的摄像机、设置在左后方的摄像机、设置在右后方的摄像机和/或设置在后部中央的广角摄像机。
32.因此可以有利的方式360
°
检测周围的交通状况，包括移动的和静止的对象。
33.根据本发明的另一方面，所述方法还包括：图像数据、视频数据和/或点云数据中的所述至少一个对象的识别和视觉标注手动地、尤其是由用户手动执行，并且对象的所述至少一个属性的分配和/或检测所述至少一个对象的所述至少一个传感器的所述至少一个属性的分配自动执行。
34.因此，如果由用户手动执行图像数据、视频数据和/或点云数据中的所述至少一个对象的识别和视觉标注步骤并且在此基础上为对象自动分配属性和/或自动命名检测图像数据、视频数据和/或点云数据的传感器，则也可以有利的方式使用根据本发明的方法。
35.根据本发明的另一方面，所述方法还包括：由用户检查所述视觉标注的尺寸相对于所述至少一个对象的尺寸的一致程度和/或所述至少一个对象的概念标识符与所述至少一个对象的一致性和/或检测所述至少一个对象的所述至少一个传感器的概念标识符与所述至少一个传感器的一致性。
36.因此，可以有利的方式实现视觉标注的尽可能高的准确性和/或概念标注的正确性。在自动视觉和概念标注的计算机实现的方法的高效率或有效性下，仅存在相对较少的通过用户后处理的额外工作。
37.根据本发明的另一方面，所述方法还包括：如果边界元件的尺寸基本上相应于被标注对象的尺寸、尤其是外部尺寸，则所述视觉标注的尺寸相对于所述至少一个对象的尺寸的一致程度被评估为足够的。
38.因此，可以有利的方式提供用于确定视觉标注的准确性的客观评估标准。
39.根据本发明的另一方面，所述方法还包括：当执行所述至少一个视觉标注和/或分配对象的所述至少一个属性和/或传感器的所述至少一个属性时，创建具有对于计算标注的数值所需的信息、尤其是至少一个自动执行的动作的信息的交易数据记录并将交易数据记录存储在交易数据存储器中。
40.所执行的每个单独的动作因此以有利的方式存储在交易数据记录中，即存储它是否是视觉和/或概念标注以及概念标注是否包括对象属性和/或传感器属性的分配。
41.根据本发明的另一方面，所述方法还包括：由用户对对象的标注做出的修改、尤其是视觉标注的修改和/或对象的所述至少一个属性和/或所述至少一个检测图像数据、视频数据和/或点云数据的传感器的属性的修改被记录在对象的交易数据记录中或与对象的交
易数据记录关联的交易数据记录中并存储在交易数据存储器中。
42.因此，除了由计算机实现的方法自动执行的标注步骤之外，还可在交易数据记录中记录是否以及在何种程度上对相关对象的标注进行了修改。然后，这样的交易数据记录构成了对所执行的动作进行定价的基础。
43.根据本发明的另一方面，所述方法还包括：所述标注的数值形成标注的价格，包含在交易数据记录中的、与所执行的动作相关的每个条目由评估模块在使用定价方案的情况下定价。因此可以有利的方式对所执行的动作进行精确定价。
44.根据本发明的另一方面，所述方法还包括：所述评估模块从所述至少一个尤其是自动执行的标注的所述至少一个条目的数值形成第一总和，并且如果交易数据记录具有由用户做出的修改的至少一个条目，则评估模块从用户做出的修改的至少一个条目的数值形成第二总和，并且从第一总和中减去第二总和以计算标注的数值、尤其是价格。
45.因此，根据本发明的方法以有利的方式根据特定的技术参数、即视觉标注的准确性和概念标注的正确分配对所执行的相关对象的标注进行定价并且能够对所提供的服务进行对应的、与成功相关的计费。
46.本文描述的方法的特征也可应用于计算机视觉模型以外的场景，如不同环境中的人员识别。
附图说明
47.为了更好地理解本发明及其优点，现在结合附图参考以下说明。
48.在下文中借助在附图的示意图中示出的示例性实施方式详细阐述本发明。附图如下：
49.图1示出根据本发明一种优选实施方式的用于为在图像数据、视频数据和/或点云数据中识别的至少一个对象的标注分配数值的方法的流程图；
50.图2示出根据本发明一种优选实施方式对图像数据、视频数据和/或点云数据中的对象进行标注的示意图；
51.图3示出根据本发明一种优选实施方式对图像数据、视频数据和/或点云数据中的对象进行标注的示意图；
52.图4示出根据本发明一种优选实施方式的多个对象属性的框图；
53.图5示出根据本发明一种优选实施方式的多个传感器属性的框图；和
54.图6示出根据本发明一种优选实施方式的用于为在图像数据、视频数据和/或点云数据中识别的至少一个对象的标注分配数值的系统的示意图。
55.除非另有说明，否则相同的附图标记表示附图中的相同元件。
具体实施方式
56.图1示出根据本发明一种优选实施方式的用于为在图像数据、视频数据和/或点云数据中识别的至少一个对象的标注分配数值的方法的流程图。
57.该方法包括识别s1和标注s2接收到的图像数据、视频数据和/或点云数据12中的所述至少一个对象14a、14b。所述识别s1和/或标注s2在此至少部分地自动执行。
58.作为对此的替代方案，图像数据、视频数据和/或点云数据中的所述至少一个对象
14a、14b的识别s1和视觉标注10a、s3可手动执行，即由用户执行。
59.该方法还包括计算s3所述至少一个对象14a、14b的标注10a、10b的数值。该数值在此相应于待对标注10a、10b计费的价格。
60.所述数值至少部分地根据视觉标注10a的尺寸34a、34b相对于所述至少一个对象14a、14b的尺寸36a、36b的一致程度和/或所述至少一个对象14a、14b的概念标识符与所述至少一个对象14a、14b的一致性和/或检测所述至少一个对象14a、14b的至少一个传感器16a、16b的概念标识符10c与所述至少一个传感器16a、16b的一致性来计算。
61.视觉标注10a的尺寸34a、34b相对于所述至少一个对象的尺寸36a、36b的一致程度意味着：视觉标注、如边界框相对于对象就其尺寸和位置而言被正确设定。
62.因此，边界框相对于对象既不太小也不太大并且还相对于对象被正确定位和/或定向。
63.所述至少一个对象14a、14b的概念标识符10b与所述至少一个对象14a、14b的一致性意味着：图像内容与概念内容一致，即在图像数据、视频数据和/或点云数据中检测到的轿车在概念上也被正确命名为轿车。
64.检测所述至少一个对象14a、14b的所述至少一个传感器16a、16b的概念标识符10c与所述至少一个传感器16a、16b的一致性意味着：用于获取图像数据、视频数据和/或点云数据的一个或多个相关传感器被正确命名。
65.因此，例如如果图像数据、视频数据和/或点云数据是在使用设置在前部中央的广角摄像机32a和设置在左前方的摄像机32c的情况下获得的，则这些摄像机应在概念上被正确命名或被正确地与图像数据、视频数据和/或点云数据相关联。
66.此外，所述方法还包括将计算出的数值分配s4给所述至少一个对象14a、14b。
67.还规定，自动地，优选在使用机器学习算法，如人工神经网络的情况下执行所述至少一个对象的识别s1和标注s2。
68.标注s2包括视觉标注10a和将预定数量的属性10b1分配给所述至少一个对象14a、14b和/或将至少一个检测图像数据、视频数据和/或点云数据12的传感器16a、16b的命名10b2分配给对象14a、14b。
69.图2示出根据本发明优选实施方式对图像数据、视频数据和/或点云数据中的对象进行标注的示意图。
70.视觉标注10a包括自动定位和绘制围绕对象14a、14b的边界元件18a。在本图示中，边界元件18a由二维边界框18a形成。
71.由用户检查视觉标注10a的准确性。
72.如果视觉标注10a满足用户定义的、尺度相关的要求，尤其是如果边界元件18a、18b的尺寸34a、34b基本上相应于被标注对象14a、14b的外部尺寸36a、36b，则视觉标注10a在此被评估为准确的。
73.自动定位和绘制相应的、围绕相关对象14a、14b的边界框18a的目的是使标注在图像数据、视频数据和/或点云数据12中的对象14a、14b的过程完全自动化，从而消除了由用户进行后处理的需要。
74.因此，可实现对包含在图像数据、视频数据和/或点云数据中的对象的精确、高效且成本降低的标注。
75.图3示出根据本发明优选实施方式对图像数据、视频数据和/或点云数据中的对象进行标注的示意图。
76.视觉标注10a包括自动定位和绘制围绕对象14a、14b的边界元件18b。
77.在本示例中，边界元件18b由3d边界框18b形成。本图示是图像和/或视频数据12。此外，3d边界框也特别适合于lidar图像数据和/或雷达图像数据，即点云数据。
78.图4示出根据本发明优选实施方式的多个对象属性的框图。
79.分配给对象(图4中未示出)的预定数量的属性10b1具有至少一个对象类别。
80.第一对象类别22a包括机动车22a1。第一对象子类22b包括轿车22b1、卡车22b2、货车22b3、公共汽车22b4、建筑工地车辆22b5、轨道车辆22b6和/或拖车悬挂装置22b7。
81.第二对象类别24a包括人24a1。第二对象子类24b包括人24a1的性别24b1、身高24b2和/或年龄24b3。在此由用户检查所述至少一个属性10b1到对象的正确分配。
82.图5示出根据本发明优选实施方式的多个传感器属性的框图。
83.概念标识符10c涉及检测所述至少一个对象的所述至少一个传感器16a、16b。
84.分配给检测图像数据、视频数据和/或点云数据12的传感器16a、16b的预定数量的属性10b2具有至少一个传感器类别。第一传感器类别26a具有图像传感器16a。
85.第一传感器子类26b包括图像传感器16a在检测车辆28上的位置和定向。第二传感器类别30包括lidar传感器并且第三传感器类别31包括雷达传感器16c。
86.作为检测车辆28的替代方案，传感器16a、16b例如可设置在固定的承载装置上，如建筑物和/或交通标志上。
87.此外，作为替代方案，传感器16a、16b例如可设置在轨道车辆和/或飞机上。
88.当传感器16a、16b设置在建筑物上时，如停车楼中，可通过传感器检测停放、驶入和/或驶出的机动车。
89.当传感器16a、16b设置在交通标志上，如交通信号灯和/或交通控制系统的显示面板上时，可通过传感器检测经过的机动车。
90.第一传感器子类26b包括设置在检测车辆28前部中央的广角摄相机32a、设置在前部中央的窄角摄相机32b、设置在左前方的摄相机32c、设置在右前方的摄相机32d、设置在左后方的摄像机32e、设置在右后方的摄像机32f和/或设置在后部中央的广角摄像机32g。
91.作为替代方案，根据本发明的计算机实现的方法例如可以为至少一个在音频数据、尤其是语音数据、和/或结构化数据中识别的对象的标注分配数值。
92.图6示出根据本发明优选实施方式的用于为在图像数据、视频数据和/或点云数据中识别的至少一个对象的标注分配数值的系统的示意图。
93.该系统包括用于识别和标注接收到的图像数据、视频数据和/或点云数据12中的所述至少一个对象14a、14b的装置52、54，所述识别和/或标注可至少部分地自动执行。
94.该系统还包括用于计算所述至少一个对象14a、14b的标注10a、10b的数值的装置56。
95.数值在此可至少部分地根据视觉标注10a的尺寸34a、34b相对于所述至少一个对象14a、14b的尺寸36a、36b的一致程度和/或所述至少一个对象14a、14b的概念标识符10b与所述至少一个对象14a、14b的一致性和/或检测所述至少一个对象的至少一个传感器16a、16b的概念标识符10c与所述至少一个传感器16a、16b的一致性来计算。
96.该系统还包括用于将计算出的数值分配给所述至少一个对象14a、14b的装置58。
97.当执行所述至少一个视觉标注和/或分配对象的所述至少一个属性和/或命名所述至少一个检测图像数据、视频数据和/或点云数据的传感器时，创建具有对于计算标注价格所需的信息，尤其是至少一个自动执行的动作(的信息)的交易数据记录38并将其存储在交易数据存储器40中。
98.在每次新标注一个对象时，创建相应的交易数据记录38a并通过推送消息p将其发送到交易网关39，交易数据记录38a从交易网关39被转发到交易数据存储器40并存储在其中。
99.由用户对对象的标注做出的修改42a、42b，尤其是视觉标注的修改42a和/或对象的所述至少一个属性和/或所述至少一个检测图像数据、视频数据和/或点云数据的传感器的属性的修改42b在此被记录在对象的交易数据记录38中或者作为替代方案被记录在与对象14a、14b的交易数据记录38相关的交易数据记录38中并存储在交易数据存储器40中。
100.包含在交易数据记录38中、与所执行的动作相关的每个条目38a、38b由评估模块44在使用定价方案46的情况下定价。评估模块44从所述至少一个自动执行的标注的所述至少一个条目38a的价格求得第一总和48。
101.如果交易数据记录38具有用户做出的修改42a、42b的至少一个条目38b，则评估模块44从用户做出的修改42a、42b的所述至少一个条目38b的价格求得第二总和50。然后从第一总和48中减去第二总和50，以便计算标注的价格。
102.作为替代方案，条目38a和条目38b可存储在两个彼此分开的交易数据记录38中，所述交易数据记录38这样彼此关联，使得可使用两个交易数据记录38的条目38a、38b来计算标注的价格。
103.如果交易数据记录没有修改，则第一总数48对价格确定是决定性的。影响所执行动作的定价的另一个因素是订阅模块45，它包含为相关客户存储的条件，如定价方案46的折扣。
104.尽管这里已经说明和描述了特定实施方式，但技术人员将理解存在多种替代和/或等效实施方式。应注意，所述一个或多个示例性实施例仅是示例，并不旨在以任何方式限制范围、适用性或配置。
105.相反，前面的概述和详细说明将为技术人员提供便利指导，以实现至少一种示例性实施方式，同时可理解的是，可在不偏离所附权利要求及其法律等效物的范围的情况下对元件的功能范围和布置进行各种修改。
106.一般而言，本技术旨在涵盖本文所阐述的实施方式的修改、调整或变化。