用于安全相关分类任务的图像分类和所属训练的制作方法

1.本发明涉及图像数据在其内容方面的自动分类，例如用于车辆的至少部分自动驾驶。


背景技术：

2.人类驾驶员在道路交通中驾驶车辆所需的信息中约90%是视觉信息。因此，对于至少部分自动驾驶车辆而言，无论模态如何，在内容上准确分析在监控车辆周围环境期间记录的图像数据是绝对必要的。对于驾驶任务特别重要的是根据图像数据包含哪些交通相关对象对图像数据进行分类，所述交通相关对象例如是其他交通参与者、车道标记、障碍物和交通标志。
3.人工神经网络用于处理这种复杂性。例如，这种神经网络可以由多个一个接一个地连接的层组成，其中通过使用卷积核和下采样显著降低了任务的维度。此外，这种神经网络的特点是数据是大规模并行处理的。gb 2 454 857 b给出了一种方法的示例，其中借助自学习神经网络将显微镜图像按照其包含哪些对象来进行分类。
4.对于神经网络和其他可训练分类器的安全技术评估，重要的是可以在多大程度上解释和理解它们的行为。


技术实现要素：

5.在本发明的范围内，开发了一种基于学习图像数据和所属标签来训练图像数据分类器的方法。除了静态图像和来自电影或图像序列的帧（单个图像）之外，术语“图像数据”尤其还包括这样的电影和图像序列。完整的电影或完整的图像序列包含有关图像内容动态变化的附加信息。单个图像缺乏这种动态质量。这种动态质量重要的事实与人们相对于静态图像内容优先感知移动或闪烁的图像内容的事实是一致的。
6.标签分别包含对预给定分类的一个或多个类的分配。例如，类可以表示在学习图像数据中可见的对象。在交通状况的图像数据中，这些对象尤其可以是行人、其他车辆、车道边界、交通标志和其他与交通相关的对象。
7.对于学习图像数据的一些数据集或理想情况下所有数据集，分别提供空间解析的相关图。这些相关图说明相应学习图像数据的哪些空间区域对于评估这些学习图像数据中表示的状况的相关性。学习图像数据的数据集可以是例如静态图像或来自电影或图像序列的帧。然而，学习图像数据的数据集也可以是电影或图像序列。这样，例如在电影或图像序列的过程中某个空间区域的动态变化可能已经成为该空间区域被归类为特别相关的诱因。
8.在最简单的情况下，相关性可以用二进制说明（例如0 = 不相关，1 = 相关），但也可以用任何分级来表达图像数据中的空间区域彼此的相对优先级。
9.学习模板根据学习图像数据的数据集和所属的相关图来确定。在这些学习模板中，根据相关图的局部相关性越高，来自学习图像数据的信息就越强烈地表现出来。为此目的，其局部相关性低于预给定阈值的空间区域例如可以在学习模板中被渐隐、模糊或以其
他方式变得不可识别。
10.学习模板被输送给分类器。然后分类器将学习模板映射到对一个或多个类的分配。现在对表征分类器行为的参数进行优化，目的是使这些分配与从中得出学习模板的学习图像数据的标签一致。
11.如果分类器例如包含人工神经网络knn，或者是knn，则可训练参数例如可以包括以下权重，利用所述权重将神经元或其他处理单元的输入加权地换算成对相应神经元或相应处理单元的激活。
12.空间解析的相关图可以来自任何来源。例如，该相关图可以与标签一起作为关于学习图像数据的附加信息一起提供。然而，例如也可以从其他经训练的knn中调用空间解析的相关图。这意味着可以专门针对以下提问来训练这个其他的knn：图像数据的哪些空间区域在哪种情况下需要特别注意，而不管图像数据的这些空间区域中究竟包含什么。
13.认识到，在训练期间考虑相关图可以使分类器的行为明显更好地理解和解释。对分配给某些类（例如对象类型）起决定性作用的那些图像像素的“热图”的分析过去已经表明，某些类的判断通常是基于根本不属于相应对象的图像像素进行的。通过考虑相关图，至少部分地抑制了这种行为。
14.对于处理交通情况的图像数据的分类器，这种效应尤其明显。通常，这里检测车辆周围环境的大立体角。然而，在每种情况下，大多只有来自这个立体角的一小部分的信息实际上与驾驶任务的处理相关。如果不是这样，目前始终只能朝一个方向看的人就没有机会胜任驾驶任务。通过考虑相关图，抑制了经由分类器的识别“包括”与实际交通情况不同的图像区域的趋势。
15.同时，训练也更有效且更快，因为分类器不必再学习区分重要和不重要。例如，因此可以在识别相关图像区域的knn和然后研究这些图像区域的对象内容的分类器之间进行分工。总的来说，这比承担这两项任务的整体分类器更容易训练。
16.本发明还涉及一种用于用经训练的分类器对图像数据进行分类的方法。如上所述，除了静态图像之外，这些图像数据尤其还可以包括具有动态附加信息的整个图像序列或电影。
17.在该方法的范围内，提供空间解析的相关图，其说明图像数据的哪些空间区域对于评估该图像数据中表示的状况的相关性。根据图像数据和空间解析的相关图确定模板，在该模板中根据相关图的局部相关性越高，来自图像数据的信息就越强烈地表现出来。该学习模板被输送给分类器并由分类器映射到对预给定分类的一个或多个类的分配。
18.类似于训练，在此其局部相关性低于预给定阈值的区域例如可以被渐隐、模糊或以其他方式变得不可识别。
19.仅考虑先前识别为相关的图像区域抑制了先前已经提到的将图像数据的分类绑定到根本不是当前相关交通状况的一部分的对象的趋势。然而，与此同时，仅考虑先前识别为相关的图像区域也可以压缩在车辆内传输的数据。例如，如果在车辆中和车辆上安装了多个摄像头，则可以在相应摄像头附近创建信息强烈减少的模板。然后，该模板可以通过为整个车辆供电的总线系统转发给中央分类器，该中央分类器从整体上评估交通状况。于是，该传输所需的带宽更小。
20.今天的大多数车辆都配备了can总线或其他总线系统，多个其他车辆系统连接到
该其他总线系统。这种总线系统使所有连接的参与者能够相互通信。与早期的各两个相互通信的参与者之间的专用电缆树相比，这节省了大量的布线耗费。然而，这样做的代价是所连接的参与者必须共享总线系统的带宽。通常，目前总是只能一个参与者进行发送。如果现在整个车辆周围环境用多个传感器（例如高分辨率摄像头）进行监控，则产生大的数据量，这些大的数据量可能不再能够完全通过总线系统传输。即使是“高速”can总线也只有1 mbit/s的最大带宽，这对于全高清视频数据流来说已经是过低的。但是，现在通过在通过总线系统传输之前形成模板来显著减少信息量并且因此数据被有损压缩，带宽也就足以传输从多个摄像头获得的并且以相同方式减少的数据。
21.当使用分类器对图像数据进行分类时，也可以从经训练的knn中调用图像数据的至少一个数据集的空间解析的相关图，类似于训练分类器。
22.本发明还涉及一种用于测量图像数据（或学习图像数据）的具体数据集的空间解析的相关图的方法。该空间解析的相关图可用于例如训练分类器、形成要由分类器处理的模板或用于训练确定图像数据的空间解析的相关图的knn。
23.在该方法中，图像数据被呈现给至少一个测试人员。测试人员获得从他的视角感知图像数据的相关内容的任务，并且如果他已经这样做了，则进行输入。在呈现图像数据期间，监控测试人员关注图像数据的哪些空间区域。
24.响应于测试人员的输入，即他已经感知到图像数据的相关内容，检测测试人员先前关注的该图像数据的空间区域。因此确定图像数据的哪些空间区域对于测试人员识别图像数据的内容起决定性作用。
25.在此可以可选地检查测试人员是否不仅相信他已经识别出图像数据的内容，而且实际上已经正确地识别了图像数据的内容。因此，例如不仅可以请求关于测试人员已经感知到图像数据的相关内容的输入，而且可以询问测试人员在他看来究竟识别了什么。可以将这个问题的答案与预先已知的标签进行比较，以确定图像数据中实际包含哪些对象。例如，当测试人员输入他已经感知到图像数据的相关内容时，可以结束呈现（即例如图像或电影被渐隐），并且可以呈现多个对象名称，测试人员必须从中选择正确的。然后，当被问到时没有提到正确的对象或至少不是正确的对象类（例如“狗”或“动物”作为“哈士奇”的上层类）时，例如可以丢弃测试人员关于已经感知到相关内容的输入。
26.在相关图中提高了测试人员所关注的那些区域的局部相关性。例如，这尤其也可以发生在多个测试人员的协作中。例如，从每个测试人员对图像数据的观察，可以使用投票机制来聚合关于图像数据的哪些空间区域被平均感知为相关的信息。
27.图像数据的被测试人员所关注的那些空间区域不一定仅取决于图像数据本身，而是还可能受到对该测试人员所提出的任务的影响。例如，在车辆中，当乘客正在寻找停车位、邮箱或特定商店期间，驾驶员可能忙于驾驶任务。即，如果例如测量车辆至少部分自动驾驶的相关图，则应使用车辆驾驶员而不是乘客作为测试人员。
28.在特别有利的设计方案中，记录测试人的头部姿势、眼睛位置和/或眼睛运动。然后可以从头部姿势、眼睛位置和/或眼睛运动分析测试人员关注的区域。这是一个很难被测试人员有意识地影响的指标。同时，车辆驾驶员通常恰恰通过头部姿势（例如扭头观察）、眼睛位置和/或眼睛运动来控制他从交通情况中选择他认为重要的内容。其他动作受到驾驶员座椅上安全带的限制。
29.替代地或与此相结合，在另一个有利的设计方案中，图像数据的不同子区域可以依次对测试人员可见。然后可以将图像数据的在测试人员输入时可见的那些子区域评估为测试人员所关注的那些区域。这不需要任何特殊硬件来识别测试人员正在看什么。
30.特别地，例如可以将图像数据的同一数据集呈现给多个测试人员。例如，随后可以向这些测试人员呈现图像数据的连续变为可见子区域的不同序列。这可以包括改变连续变为可见子区域的顺序，和/或向一些测试人员呈现不向其他测试人员呈现的子区域。平均而言，然后通过这些测试人员做出关于图像数据的哪些子区域例如对于交通状况的评估是相关的代表性结论。
31.此外，空间解析的相关图以及生成此类相关图的knn还可用于检查车辆驾驶员或机器操作员当前是否正在关注那些恰恰对安全重要的事情。
32.因此，本发明还涉及一种用于监控和/或控制车辆驾驶员或机器操作员的注意力的方法。在该方法中，所驾驶的车辆或被操作的机器所处的情况的图像数据由至少一个传感器检测。对于该图像数据，从经训练的人工神经网络knn中调用空间解析的相关图。该空间解析的相关性图说明图像数据的哪些区域对于评估该图像数据中表示的状况的相关性。
33.基于该相关图向车辆驾驶员或机器操作员输出信息和/或警告。例如，无论车辆驾驶员或机器操作员当前的实际行为如何，他都可以始终被告知，从安全技术角度来看，他当前状况的哪些方面恰恰特别重要。如果在与车辆驾驶员或机器操作员的实际行为进行比较时，发现他正在关注当前重要方面之外的其他事情，则可以通过警告告知他这一点。
34.这背后的想法是，在学习驾驶时，人类驾驶员面临的最大挑战之一是在交通情况的信息洪流中将重要的与不重要的分开。始终重复存在以下状况，在这种状况下，驾驶学员将注意力完全集中在一个方面，而驾驶教练必须指出其他方面实际上更重要。
35.此外，例如在市中心，商店或路边的广告可以吸引很多注意力。广告通常以这样的方式呈现，即某些“勾引点”，例如低价，放置在前景中，并且也可以由经过的车辆读取。但是，价格随后标有指示条件的星号，并且阅读这些小写的条件的尝试可能剥夺对交通状况的极大关注。
36.例如，可以向车辆驾驶员或机器操作员呈现该状况与对图像数据的至少一个空间区域的指示的叠加，该至少一个空间区域的局部相关性如相关图所证明的那样超过预给定的阈值。为此目的，例如在挡风玻璃上的平视显示器中或车辆驾驶员或机器操作员佩戴的数据眼镜中，可以通过淡入边框或类似指示突出显示当前特别相关的状况区域。
37.在另一个特别有利的设计方案中，记录车辆驾驶员或机器操作员的头部姿势、眼睛位置和/或眼睛运动。从头部姿势、眼睛位置和/或眼睛运动，分析车辆驾驶员或机器操作员主要观察状况的哪一部分。
38.检查状况的这部分在多大程度上与图像数据的至少一个空间区域一致，该至少一个空间区域的局部相关性如相关图所证明的那样超过预给定的阈值。响应于查明主要观察的状况部分与图像数据的被识别为特别相关的空间区域不一致，操控对于车辆驾驶员或机器操作员可感知的光学、声学和/或触觉警告装置。
39.除了所描述的广告示例外，还有许多其他状况，其中正是异常事情和非预期事情突然引起注意力。例如，在操作打孔机时，地板上的钞票可能突然出现在视野中，因为同事丢失了它。然后操作员首先盯着这张钞票，而不是观察机器的工作区域并且特别是注意双
手都在危险区域之外。这可以通过与相关图的比较来识别，在该相关图中该危险区域被专门归类为特别相关的。
40.该方法尤其可以完全或部分地由计算机实现。因此，本发明还涉及一种具有机器可读指令的计算机程序，当在一台或多台计算机上执行该指令时，该指令使一台或多台计算机升级为上述设备和/或促使一台或多台计算机执行上述方法之一。从这个意义上说，同样能够执行机器可读指令的车辆控制设备和技术设备的嵌入式系统也可以被视为计算机。
41.同样，本发明还涉及机器可读数据载体和/或具有计算机程序的下载产品。下载产品是可以通过数据网络传输的数字产品，即可以由数据网络的用户下载的数字产品，其例如可以在在线商店中提供用于立即下载。
42.此外，计算机可以配备计算机程序、机器可读数据载体或下载产品。
43.改进本发明的其他措施在下面连同根据附图对本发明的优选实施例的描述更详细地示出。
附图说明
44.其中：图1示出用于训练分类器1的方法100的实施例；图2示出对图像数据2进行分类的方法200的实施例；图3示出从图像数据2示例性产生用于分类的模板23；图4示出用于测量相关图12、22的方法300的实施例；图5示出用于监控和/或控制车辆驾驶员或机器操作员40的注意力的方法400的实施例。
具体实施方式
45.图1是用于训练图像数据2的分类器1的方法100的实施例的示意流程图。在步骤110中，为学习图像数据11分别提供空间解析的相关图12，其中这些相关图12根据块111例如可以从经过相应训练的knn中调用。在步骤120中，从学习图像数据11和所属的相关图12中确定学习模板13，在所述模板中根据相关图12的局部相关性越高，来自学习图像数据11的信息就局部越强烈地表现出来。在这种情况下，特别地，根据块121，其局部相关性低于预给定阈值的空间区域可以被渐隐、模糊或以其他方式变得不可识别。
46.在步骤130中，学习模板13被输送给分类器1并且映射到对一个或多个类3a-3c的分配。在步骤140中，表征分类器1的行为的参数15被优化，目的是使由分类器1所提供的类3a-3c与从中得出学习模板13的学习图像数据11的标签14一致。这种优化可以持续到任何终止标准。参数15的完全训练的状态由附图标记15*表示。
47.图2是用于对图像数据2进行分类的方法200的实施例的示意性流程图。在步骤205中，图像数据2可以可选地由车辆携带的至少一个传感器记录。在步骤210中，为图像数据2提供空间解析的相关图22，其中该相关图22特别是例如可以根据块211从knn中调用。在步骤220中，类似于步骤120，确定模板23，在该模板中根据相关图22的局部相关性越高，来自图像数据2的信息就越强烈地表现出来。
48.模板23在步骤230中被输送给分类器1，其中根据块231，例如特别是只有与图像数
据2相比在数据上大大减少的模板23可以经由具有传感器的车辆的总线系统传递，但并不传递图像数据2本身。在步骤240中，模板23由分类器1映射到对预给定分类的类3a-3c的所寻求分配。
49.图3示例性示出了可以如何将图像数据2转换为模板23。在此作为静态图像呈现的图像数据2示出了具有道路25、迎面而来的车辆26和交通标志27的交通状况。附加地，在道路左侧边缘可以看到广告牌28。相关图22将道路25、车辆26以及右车道边缘评估为相关的，要观察的交通标志、例如标志27位于该右车道边缘处。因此，该区域在用于分类的模板23中没有改变，而广告牌28的细节被渐隐。
50.图4是用于测量图像数据2、11的相关图12、22的方法300的实施例的示意流程图。在步骤310中，将图像数据2、11呈现给至少一个测试人员4。同时，监控测试人员4关注图像数据2、11的哪些空间区域2a、11a。
51.响应于测试人员4关于他已经感知到图像数据2、11的相关内容的输入41，在步骤320中检测测试人员4先前所关注的空间区域2a、11a。在步骤330中，提高相关图12、22中这些区域2a、11a的局部相关性。
52.在框310内，示例示出了关于可以如何确定对区域2a、11a的关注的两种可能性。这些可能性可以单独使用或组合使用。
53.根据块311，可以记录测试人员4的头部姿势42a、眼睛位置42b和/或眼睛运动42c。根据块312，然后可以从头部姿势42a、眼睛位置42b和/或眼睛运动42c分析图像数据2、11的由测试人员4所关注的区域2a、11a。
54.根据块313，可以连续地使图像数据2、11的不同子区域对测试人员4可见，直到测试人4识别图像数据2、11并进行输入41。在此特别地，根据块313a，可以将图像数据2、11的同一数据集呈现给多个测试人员4。可以向这些测试人员4呈现图像数据2、11的相继变为可见的子区域的不同序列。
55.根据块314，图像数据2、11的在测试人员4的输入41时可见的那些子区域可以被评估为测试人员4所关注的那些区域2a、11a。
56.在步骤330中，提高相关图12、22中所确定的区域2a、11a的局部相关性，其中特别地，例如可以使用针对多个测试人员4的投票机制。
57.图5是用于监控和/或控制车辆驾驶员或机器操作员40的注意力的方法400的实施例的示意流程图。在步骤410中，利用至少一个传感器检测所驾驶的车辆或被操作的机器所处的状况的图像数据2。在步骤420中，针对该图像数据2，从经训练的人工神经网络knn中调用空间解析的相关图22。在步骤430中，基于该相关图22向车辆驾驶员或机器操作员40输出信息和/或警告6。
58.在框430内，说明了关于可以如何生成信息和/或警告6的两种可能性。这些可能性可以单独使用或组合使用。
59.根据块431，可以向车辆驾驶员或机器操作员40呈现所述状况与对至少一个图像区域的指示的叠加，该至少一个空间区域的局部相关性如相关图所证明的那样超过预给定的阈值。
60.根据块432，可以记录车辆驾驶员或机器操作员40的头部姿势42a、眼睛位置42b和/或眼睛运动42c。由此可以在块433中分析车辆驾驶员或机器操作员40主要观察到所述
状况的哪个部分7。在块434中，可以检查状况的这部分7在多大程度上与图像数据的至少一个空间区域一致，该至少一个空间区域的局部相关性如相关图22所证明的那样超过预给定的阈值。如果状况的该部分7与图像数据的所述空间区域不一致（真值0），则可以操控对于车辆驾驶员或机器操作员40可感知的光学、声学和/或触觉警告装置。