检测用于检查图像分析系统的图像材料的方法、在该方法中使用的装置和交通工具以及计算机程序与流程

检测用于检查图像分析系统的图像材料的方法、在该方法中使用的装置和交通工具以及计算机程序
1.本发明涉及从驾驶员辅助系统到自动驾驶的交通工具的技术领域。本发明尤其涉及一种用于检测用于检查图像分析系统的图像材料的方法。本发明同样涉及一种在该方法中使用的装置和交通工具以及一种计算机程序。
2.目前将大量工作投入在之后应实现自动驾驶的技术上。在此，第一种方法是引入不同的驾驶员辅助系统，以分担驾驶员的确定的任务。驾驶员辅助系统的示例包括盲点警告辅助、紧急制动辅助、泊车辅助、转弯辅助、车道保持辅助、速度调控辅助等。进一步的开发阶段可以在于将多个辅助系统进行结合。驾驶员在此并没有完全免去其任务，而是使得驾驶员能够随时对交通工具进行控制。此外，驾驶员还担负监控功能。
3.因此，可以认为在不久的将来在系统方面通过使用更新的技术(车对车通信、使用数据库、后端连接、云服务、服务器的使用、交通工具传感装置等)提供有关在本交通工具的可见的和遮挡的/不可见的环境中的对象(尤其是交通工具)的全面的信息。在交通工具传感装置的领域中尤其是如下能够实现环境观测的部件：与无线电探测和测距相对应的radar设备、与光学探测和测距相对应的lidar设备(主要用于距离检测/警告的领域)以及针对对象识别领域的具有相应的图像处理的摄像头。此外列举的是超声波和红外传感器。有关环境的数据因此可以被考虑用作系统侧驾驶建议、警告等的基础。例如可以考虑据此显示/警告周围的其他交通工具希望朝何方向(可能沿自身轨迹)转弯。交通标志识别也被认为是一种对确定法律上的框架条件重要的应用情况。
4.车对车通信在自动驾驶中也发挥着重要作用。与此同时，对应于如长期演进的lte或者5g的移动无线通信系统也已开发出来，所述移动无线通信系统也支持车对车通信。作为备选，基于wlan技术的系统可供交通工具的直接通信使用，特别是基于wlan p的系统。术语“自动驾驶”有时在文献中不同地使用。
5.因此，为了澄清该术语这里插入以下阐述。自动驾驶(有时也称为自主驾驶、自动化驾驶或无人驾驶)是指交通工具、移动机器人和无人驾驶的运输系统的在很大程度上自主的行进运动。术语“自动驾驶”具有不同的等级。在确定的层面上，如果尚有驾驶员位于交通工具内，该驾驶员有时还仅采取对自动驾驶过程的监控时，则也涉及自动驾驶。在欧洲，各个交通部门(在德国，联邦公路研究所参与其中)共同合作并定义了以下自主性级别。
6.级别0：“仅驾驶员进行驾驶(driver only)”，驾驶员自身进行驾驶、转向、加速、制动等。
7.级别1：确定的辅助系统对于交通工具条件提供帮助(其中，距离调节系统——自动巡航控制(automatic cruise control，acc))。
8.级别2：部分自动化，其中，自动泊车、车道保持功能、一般的纵向导引、加速、制动等通过辅助系统完成(其中，交通堵塞助理)。
9.级别3：高度自动化。驾驶员不必持续地监测系统。交通工具自主地进行触发转向灯、变换车道、保持车道等功能。驾驶员可以投入其他事物，然而要求驾驶员在必要时在系统的预警时间之内采取控制。这种形式的自主性在高速公路上在技术上是可行的。立法者
正在努力实现3级的交通工具。已经为此建立了法律上的框架条件。
10.级别4：完全自动化。持续地由系统承担交通工具的导引控制。如果系统不能再处理驾驶任务，则可以要求驾驶员接管导引控制。
11.级别5：不需要驾驶员。除了确定目的地和启动系统之外不需要人为干预。
12.从等级3开始的自动化的驾驶功能为驾驶员分担了控制交通工具的责任。由德国汽车工业联合会(vda)发布了类似的不同自主性级别，该自主性级别同样可以使用。
13.鉴于当前朝着更高的自主程度发展，然而其中大量交通工具仍像之前那样由驾驶员控制，可以认为相应的额外信息在中期已能用于手动导引的交通工具，而非只有在长期才能用于高度自动化的系统。
14.在此，针对驾驶员-交通工具交互面临的问题在于，所述信息能够如何显示，才能由此形成对人类驾驶员的真正的附加值，而且人类驾驶员还能够快速、相对直观地找到所提供的信息。在此领域的以下技术方案在此在现有技术中是已知的。
15.在汽车领域的展望在于，本交通工具的风挡玻璃能播放虚拟元素，以便实现对驾驶员而言的优点。所使用的是所谓的“增强现实”技术(ar)或“混合现实”(mr)技术。所对应的德文术语“erweiterten”或者“gemischten”则较为少见。在此，真实环境用虚拟元素丰富。这具有多种优点：由于透过风挡玻璃观察时示出大量相关的信息，因此不必看向下方与风挡玻璃不同的显示器。因此驾驶员不必将其视线从车道上移开。此外，通过虚拟元素在真实环境中的位置精确的定位，驾驶员方面在认知上的耗费可能会减少，因为不必解释在单独的显示器上的图像。在自动驾驶方面同样可以产生附加值。在这方面参考c.a.wiesner、m.ruf d.sirim和g.klinker在2017年ieee混合和增强现实国际研讨会上的文章“3d-frc：depiction of the future road course in the head-up-display”所述文章中详细地阐述了这些优势。
16.由于目前技术措施相应有限，可以认为在中期，交通工具中无法找到能完整地播放的风挡玻璃。当前在交通工具中使用平视显示器(head-up display)。所述平视显示器具有的优点在于，hud的图像靠近真实环境地显示。所述显示器实际上是投影单元，所述投影单元将图像投影在风挡玻璃上。然而在驾驶员看来所述图像则根据模块的结构类型处于交通工具之前不超过15米的数米之处。
17.所述“图像”在此组成如下：与其说是虚拟显示器，不如说是进入虚拟世界中的“钥匙孔”。所述虚拟的环境理论上架构在真实的世界上，并且包含虚拟对象，所述虚拟对象在行驶中对驾驶员进行辅助和信息告知。hud的有限的显示面导致仅能够看到其中的局部。通过hud的显示面使人看到虚拟世界的局部。由于该虚拟环境补充了真实环境，在此情况下也被称为“混合现实”。
18.迄今已知的“增强现实”显示(ar显示)的巨大优点在于，直接在环境内或者作为环境的一部分示出相应的显示内容。相对容易想到的示例大多数涉及导航领域。传统的导航显示(在传统的hud中)通常示出示意图(例如向右直角延伸的箭头作为符号表示应当在下一时机应向右转弯)，而ar显示提供明显更高效的可能性。由于所述显示可以作为“环境的一部分”示出，能够为用户实现极其快速且直观的解释。驾驶员以及更高级别的自动驾驶功能必须能够寄期望于首先正确地检测到对象。如果由此得出附加信息，则应将其显出在图像中的正确位置。
19.因此必要的是，图像检测系统的正确功能至少在测试运行得到证实。然而这也可以设置用于正常运行。公共交通在此是非常复杂的，涉及的移动的交通参与者如此之多，以至于可能产生遮挡。其他问题为由于各种天气条件(例如雾、雨、雪等)、逆光、黑暗和其他因素对视线的限制。
20.由专利文献us 2016/0170414 a1已知一种用于交通标志识别的基于交通工具的系统。在此使用环境传感器如lidar传感器、radar传感器和摄像头。还通过gps检测交通工具的位置。所识别的交通标志连同其位置向外部报告并且在那里输入数据库中。
21.由专利文献us 2017/0069206 a1已知一种用于检查交通信号识别的基于交通工具的系统。在此同样使用环境传感器如lidar传感器、radar传感器和摄像头。所识别的交通标志同样连同其位置向外部报告并且在那里输入数据库中。为了查出错误识别，建议了各种检查措施，包括专业人员的人工目视检查、通过“众包”的目视检查、计算机辅助分析和统计分析。
22.由专利文献us 2018/0260639 a1已知一种用于交通标志识别的基于交通工具的系统和方法。所识别的交通标志连同其位置被存储到图像处理单元中。
23.由专利文献us 2008/0239078 a1已知，在交通工具中用于观察周围环境的摄像头的视频图像中显示具有从交通工具中的其他传感器导出的附加信息的所识别的对象。
24.由专利文献us 2018/0012082 a1已知一种用于图像分析的方法，其中，由安装在交通工具上的摄像头拍摄图像序列。在图像分析系统中包含对象识别模块。定义边界框作为用于突出显示所识别的对象的边界。
25.由专利文献us 2018/0201227 a1已知一种交通工具环境监视系统，其中，通过摄像头监视交通工具环境。交通工具还包括用于显示由摄像头拍摄的视频图像的显示单元。设置有图像分析单元，其监视图像数据看在环境中是否存在移动的外部的对象。此外，控制装置被这样编程，使得该控制装置基于交通工具附近的条件确定威胁评估值，并且如果所述威胁评估值大于第一阈值则将图像数据上传到外部的服务器。
26.已知的解决方案具有不同的缺陷。这在本发明的范畴内是已知的。在目前已知的用于驾驶员辅助领域的图像检测方法中存在的问题是，所述图像检测方法的正确功能在运行期间未被检查或仅不充分地被检查。因此可能产生错误识别或者甚至对对象的错误分类。
27.因此需要进一步改进对基于交通工具的图像检测系统的检查，尤其是需要在错误识别的情况下能够进行事后检查的检查方法。
28.本发明所要解决的技术问题在于，寻求这种手段。作为后续检查的前提条件的对图像数据的存档的耗费也应该保持得较低。所述技术问题通过按照权利要求1的用于检测用于检查图像分析系统的图像材料的方法、根据权利要求9和14所述的用于在所述方法中应用的装置和交通工具以及按照权利要求15所述的计算机程序解决。
29.从属权利要求包含根据对所述措施的以下描述的、本发明的有利扩展方案和改进。
30.在申请人的另一专利申请中展示了能够如何借助用于由环境传感器拍摄的图像的环形存储器并且考虑交通工具的里程计数据仅将确定的图像局部用于将数据记录/传输到后端以减少所需的数据量。
31.按照本发明的一个方面，在用于检测用于检查图像分析系统的图像材料的方法中检查由图像分析系统在时间或位置方面是否正确进行了对象识别。如果是，则无需保留图像数据用于事后的分析。然而如果在时间或者位置方面的分析中识别到超出容许范围的误差，则在步骤中确定应当对哪些图像或者图像局部部分进行存档以进行更准确的检查，并且进行这些确定的图像或者图像局部部分的存档。所述方法提供的优点在于，在运行期间能够检查提供安全方面重要数据的图像分析系统，其中，用于检查的存储耗费较低。该方法可以特别有利地用于测试仍处于开发阶段的图像分析系统。然而所述方法也可以有利地用于批量产品中。有利的是，能够在安装的图像分析系统上进行事后的改进。
32.该解决方案尤其适用于静态的对象，如交通指示牌等。然而，恰恰是在自动驾驶方面也需要识别记录的图像中的运动的对象。然而，相应的图像分析算法更容易出错。为了能够改进算法，同样需要在错误检测的情况下进行事后的检查。因此，在基于交通工具的图像检测系统的检查中还需要进一步的改进。
33.为了使这些也能够针对动态对象实现，在本发明的一个方面中，针对识别出偏差的移动的对象计算或者获得轨迹。未来，配备自动驾驶功能的交通工具将自行计算用于交通工具自身运动的轨迹。所述交通工具随即能够借助交通工具直接通信装置将这些计算出的轨迹传递给周围的交通工具。由此能够在观察者交通工具中估计当对象还没有被对象识别装置识别时，对象应该处于的位置。然后通过反向计算确定对事后的分析有利的图像和图像局部部分。本发明还规定，由此确定的图像局部部分由记录的图像提取的并且仅在必要的范围内被存档。这是在使用交通工具的里程计数据和位置数据以及相关动态对象的轨迹的情况下实现的。所述动态对象通常是其它交通参与者。为了仍能够调取事后确定的图像或者图像局部部分需要用于图像数据的环形存储器，所述环形存储器的大小(即最大的存储时长)在必要时根据功能并且在必要时根据行驶速度来设计。
34.所述方法提供的优点在于，在运行期间能够检查提供安全方面重要数据的图像分析系统，其中，用于检查的存储耗费较低。该方法可以特别有利地用于测试仍处于开发阶段的图像分析系统。然而所述方法也可以有利地用于批量产品中。这是有利的，以便在安装的图像分析系统上进行事后的改进或者以便能够确定在摄像头或者传感器处是否存在未校准的情况，以至于需要对交通工具进行维护。
35.在此有利的是，借助轨迹进行反向计算，以便计算多个在其中运动对象可能可见的图像或图像局部部分，尽管对象识别未能识别到所述图像或图像局部部分中的运动对象。
36.此外有利的是，将对象识别算法用于图像分析，并且其中，为了检查是否在时间或位置方面正确地进行了对象识别，确定在与所识别的对象的哪种距离处进行了对象识别，其中，确定标准识别距离，该标准识别距离说明对象识别算法应该从哪个距离起提供对象识别。如果实际识别到对象的距离与标准识别距离有偏差，则将从标准识别距离到实际的对象识别距离拍摄的图像或图像部分进行存档，以便进行更精确的检查。
37.在扩展的实施方式中可以规定，在交通工具中就已经对存在问题的图像数据进行第一次分析。这里如可以如下进行，即确定其他对象在此期间对所述对象的遮挡是否能够解释错误识别。这在公共道路交通中以多种方式发生，例如公共汽车或卡车遮挡交通标志。在这种情况下，可以解释错误识别，并且在必要时不存档数据或仅存档减少的数据集(例
如，仅在第一次成功进行对象识别之前的几秒钟)。
38.本发明可以特别有利地用于测试交通工具中的图像分析系统。所述交通工具现在配备了成像的环境检测传感器、例如摄像头、lidar或者radar传感器。通过所述成像的环境检测传感器检测交通标志、前方行驶的交通工具和其它交通参与者、交叉路口、转弯位置、坑洼等。这种交通工具还配备了位置检测系统。通过所确定的交通工具位置能够检查图像识别是否存在偏差。在最简单的情况下，当交通工具经过对象的位置时，所述交通工具检测所识别的对象本身的位置。由此能够计算出交通工具和对象之间的距离。在另一种实施方式中，能够从高度精确的地图中获取对象的位置。在另一种变型方案中，所述位置可以基于交通工具的位置估计。
39.卫星导航和/或里程计适用于确定交通工具和对象的位置数据。这种卫星导航系统的通用术语是gnss，它代表全球导航卫星系统(global navigation satellite system)。现有的卫星导航系统有全球定位系统(gps)、伽利略、glonass(globalnaja nawigazionnaja sputnikowaja sistema)或者北斗。
40.在一种实施方式中，由反向计算确定出的图像或图像局部部分被发送给外部的存档位置。这具有的优点为，仅须对存在问题的图像进行存档。在外部的位置中进行存档的优势在于不必先在交通工具中存档图像。本来就应该在外部的位置中由专家完成分析，这些专家随即也能够对图像分析系统进行改进。
41.在另一个变型方案中，从标准识别距离到对象识别距离所记录的或者通过反向计算确定的图像或者图像局部部分被存档在布置在交通工具中的存储单元中。相应的存储器为此必须设置在交通工具中。存档的图像之后能够由专家读取。这可以在到修理厂时完成。另一有利的变型方案为，当交通工具回到车主的居住地时，将临时存储在交通工具中的图像传输给外部的位置。现代化的交通工具都配备了wlan。如果所述交通工具现在登录到车主的个人wlan网络中，则能够以高数据速率传输存档的图像数据。这与通过移动无线通信系统直接传输(交通工具在行驶时登录到所述移动无线通信系统中)相比具有的优点为，车主的花费更少并且移动无线网络的负载较小。移动无线网络的容量通过多种其它的应用被充分利用。
42.替选地，可以规定，其它图像或图像局部部分被存档，以便扩展检查的可能性。在此有利的是，从标准识别距离到对象识别距离拍摄的图像或图像局部部分以高质量存档，并且所述其它图像或者其它图像局部部分以较低质量存档。以这种方式，可以将用于存档其他图像或者图像局部部分的存储耗费以及传输耗费保持得较低。
43.此外，还有一种有利的变型方案为，根据以下环境参数中的一个或多个确定待存档的图像局部部分的大小和/或待存档的图像/图像局部部分的记录时期：
[0044]-交通工具和/或对象的位置的确定的准确性
[0045]-时刻，尤其是白天/黑夜的区分
[0046]-天气情况
[0047]-交通情况
[0048]-路面状况
[0049]
这在当环境条件并非始终相同时始终是有利的。在实践中，环境条件实际上总是不断变化的。如果总是存档相同数量的图像或者图像局部部分，则很容易随着环境条件的
变化而错过重要场景并且无法找到问题的原因。
[0050]
对于在根据前述权利要求之一的方法中使用的装置有利的是，该装置具有图像产生装置、计算装置和存储装置。计算装置在此设计为，所述计算装置能够对图像产生装置提供的图像进行对象识别。计算装置还具有的任务是，确定是否在时间上或者位置上正确地进行了对象识别。为此，计算装置可以设计为，使得当检测到在以标准识别距离进行对象识别时超出容许范围的偏差时确定哪些图像或图像部分应当被存档以便进行更精确的检查，并发出指令用于存档这些确定出的图像或图像部分。此外有利的是，计算装置设计用于计算运动对象的轨迹并且根据所计算的轨迹确定待存档的图像或图像局部部分。通过使用轨迹能够更好地界定待存档的图像或者图像局部部分，从而降低用于存档的耗费。
[0051]
在一种特别有利的变型方案中，该装置附加地具有通信模块并且该通信模块设计用于在收到用于存档所确定出的图像或图像局部部分的指令之后将这些所确定出的图像或图像局部部分发送到外部的存档位置。外部的存档位置可以是图像分析系统或者交通工具制造商的计算中心。
[0052]
此外，建议下述变型方案，其中，所述装置具有存储装置，并且所述存储装置设计用于在收到用于存档所确定出的图像或图像局部部分的指令之后存储这些所确定出的图像或图像局部部分。对于这种变型方案，在交通工具中进行存档，直到数据被读取。如上所述，可以在修理厂进行读取，或者可以在返回时通过家庭wlan网络将数据传输给外部的存档位置。
[0053]
对于数据在交通工具方面的暂存有利的是，存储装置设计为环形存储器，其中，在存储器溢出的情况下，最旧的先前存储的图像或者图像局部部分被新的图像或者图像局部部分覆盖。
[0054]
视频摄像头或者lidar传感器或者radar传感器可以有利地用作图像产生装置。对于用于无线通信的接口有利的是，使用根据ieee 802.11标准族的标准的通信系统wlan的其中至少一个通信系统或者使用根据3gpp标准的lte或5g移动无线电通信系统的接口。
[0055]
对于在该方法中使用的交通工具而言有利的是，该交通工具配备有与所建议的装置对应的装置。
[0056]
针对根据本发明的方法所述的相应优点也适用于计算机程序，所述计算机程序用于在计算装置中执行以便根据本发明的方法执行用于检测图像材料的步骤。
[0057]
本发明的实施例在附图中示出并且根据附图详细阐述。
[0058]
在附图中：
[0059]
图1示出交通工具的典型座舱；
[0060]
图2示出了在交通工具中设置用于外部通信的不同的通信可能性的原理图；
[0061]
图3示出交通工具的车载电子器件的框图；
[0062]
图4示出了第一行驶情况的第一视图，以便阐述在检查交通工具的图像分析系统的功能时的问题；
[0063]
图5示出了第一行驶情况的第二视图，其中，所述第二视图示出了更早的时间点的行驶情况，并且
[0064]
图6示出了用于检测用于检查图像分析系统在第一行驶情况中的功能的图像材料的程序的流程图；
[0065]
图7示出了第二行驶情况的第一视图，以便阐述在检查交通工具的图像分析系统的功能时的问题；
[0066]
图8示出了第二行驶情况的第二视图，其中，所述第二视图示出了更早的时间点的第二行驶情况，并且
[0067]
图9示出了用于检测用于检查图像分析系统在第二行驶情况中的功能的图像材料的程序的流程图；
[0068]
图10示出了用于存档图像材料的图像质量根据环境条件的变化的视图；
[0069]
图11示出了用于存档图像材料的记录时长根据环境条件的变化的视图；
[0070]
此说明阐明了按照本发明的公开内容的原理。由此不言而喻的是，本领域的技术人员能够设计不同的布置结构，这些布置结构在此尽管没有明确描述，但是体现了根据本发明的公开内容的原理并且也应当在本公开的范围内受到保护。
[0071]
图1示出交通工具10的典型座舱。所示的是轿车。然而所为交通工具10同样也可以考虑其它交通工具。所述其它交通工具例如是：公共汽车、商用车、尤其是载货车、农业机械、建筑机械、轨道交通工具等。本发明通常可以用于陆上交通工具、轨道交通工具、船舶和飞行器。
[0072]
在座舱中示出了信息娱乐系统的两个显示单元。所述显示单元是安设在中控台中的触摸敏感的显示屏30和安设在仪表盘中的组合仪表110。在行驶时中控台不处于驾驶员的视野中。因此额外信息在行驶过程中不显现在显示单元30上。
[0073]
在此，触摸敏感式的显示屏30尤其用于操作交通工具10的功能。借此例如可以控制交通工具10的收音机、导航系统、已存储音乐的播放和/或空调设备、其他电子设备或其他舒适性功能或应用。总之通常提及“信息娱乐系统”。在机动车、尤其是轿车中的信息娱乐系统表示车载收音机、导航系统、免提装置、驾驶员辅助系统和中央操作单元中的其他功能的总和。术语“信息娱乐”是一个合成词，其由信息和娱乐(unterhaltung)两个词组成。为了操作信息娱乐系统，主要使用触摸敏感的显示屏30(“touchscreen(触摸屏)”)，其中，显示屏30尤其被交通工具10的驾驶员、然而也被交通工具10的副驾驶清楚地看到并操作。此外，还可以在显示屏30下方在输入单元50中布置机械的操作元件、例如按键、旋转调节件或其组合，例如按压旋转调节件。通常也可以通过信息娱乐系统的部件实现方向盘操作。该单元并未单独示出，而示出为输入单元50的一部分。
[0074]
图1还示出平视显示器20。平视显示器20在交通工具10中以驾驶员的视线为出发点被安置在仪表板区域中的组合仪表110后方。所述平视显示器是图像投影单元。通过在风挡玻璃上的投影使得额外信息显现在驾驶员的视野中。所述额外信息被显示得就像其被投影在交通工具10前7-15m距离处的投影面21上一样。但是穿过该投影面21仍能看到真实的世界。利用显现的额外信息形成一定程度虚拟的环境。所述虚拟的环境理论上架构在真实的世界上，并且包含虚拟对象，所述虚拟对象在行驶中对驾驶员进行辅助和信息告知。然而仅在风挡玻璃的一部分上进行投影，从而额外信息不能在驾驶员的视野中任意布置。这种显示方式也作为“增强现实”已知。
[0075]
图2示出了用于借助移动无线通信技术进行交通工具通信的系统构造。交通工具10配备有带有相应的天线单元的车载通信模块160，使得所述交通工具能够参与各种类型的交通工具通信v2v和v2x。图1示出了，交通工具10能够与移动无线提供商的移动无线基站
210进行通信。
[0076]
这种基站210可以是lte(长期演进)移动无线提供商的enodeb基站。基站210和相应的设备是具有多个移动无线单元的无线电通信网络的一部分，其中，每个单元由基站210服务。
[0077]
基站210定位在交通工具10所行驶的主要道路附近。在lte术语中，移动终端设备对应于用户设备ue，该用户设备使用户能够访问网络服务，其中，用户通过无线电接口与utran或演进型utran连接。这种用户设备通常对应于智能手机。这种移动终端设备由交通工具10内的乘客使用。交通工具10附加地分别装备有车载通信模块160。该车载通信模块160对应于lte通信模块，交通工具10能够通过所述lte通信模块接收移动数据(下行链路)并且在上行方向发送这些数据(上行链路)。该车载通信模块160还可以配备有wlan p模块，以便能够参与ad-hoc-v2x通信模式。新的第5代移动无线电系统也支持v2v和v2x通信。相应的无线电接口在那里被称为pc5接口。对于lte移动无线通信系统，lte的演进型umts陆地无线接入网络e-utran由多个enodeb组成，所述多个enodeb提供e-utra用户级(pdcp/rlc/mac/phy)和控制级(rrc)。enodeb通过所谓的x2接口相互连接。enodeb还通过所谓的s1接口与epc(evolved packet core，演进分组核心)200连接。
[0078]
图2基于该一般的架构示出了，基站210通过s1接口与epc200连接，并且epc200与互联网300连接。后端服务器320同样与互联网300连接，交通工具10可以向该后端服务器发送消息并且从该后端服务器接收消息。在此处考虑的情况下，后端服务器320可以安设在交通工具制造商的计算中心中。最后，还示出了道路基础设施站310。该道路基础设施站例如可以通过道路侧的单元表明，在专业术语中，这些道路侧的单元通常称为路侧单元(road side unit，rsu)310。为了简化实施，认为所有部件都分配了互联网地址、通常是ipv6形式的地址，以便能够相应地路由在部件之间传输的包、信息。所提到的不同接口都是标准化的。对此可参考相应的已公开的lte技术规范。
[0079]
图3示意性地示出了车载电子器件200的框图，交通工具10的信息娱乐系统也属于所述车载电子器件。触摸敏感的显示单元30、计算装置40、输入单元50和存储器60用于操作信息娱乐系统。显示单元30不仅包括用于显示变化的图形信息的显示面，还包括布置在所述显示面上的、用于由用户输入指令的操作表面(触敏层)。其可以设计为lcd触摸屏显示器。
[0080]
显示单元30通过数据线路70与计算装置40相连。数据线路可以按照lvds标准设计，所述lvds相当于低压差分信号(low voltage differential signalling)。显示单元30通过数据线路70从计算装置40接收用于控制触摸屏30的显示面的控制数据。而且通过触摸屏30输入的指令也经由数据线路70传递至计算装置40。附图标记50表示输入单元。属于所述输入单元的是已经提到过的操作元件、例如按键、旋转调节件、滑动调节件或旋转按压调节件，操作人员能够借助所述操作元件通过菜单引导完成输入。“输入”通常被理解为调用被选出的菜单选项，此外还被理解为参数的改变、功能的开启和关闭等。
[0081]
存储装置60通过数据线路80与计算装置40相连。在存储器60中存储了具有多个象形图和/符号的象形图目录和/或符号目录，用于附加信息的可能的显现。
[0082]
信息娱乐系统的其他部件：摄像头150、收音机140、导航设备130、电话120和组合仪表110通过数据总线100与用于操作信息娱乐系统的装置连接。考虑将符合iso标准
11898-2的can总线的高速变型方案作为数据总线100。作为备选，例如还可以使用基于以太网技术的总线系统、例如broadr-reach(车载以太网)技术。通过光波导体实现数据传递的总线系统也是可用的。示例有most(多媒体定向系统传输)总线或d2b总线(国家数字总线)。还将交通工具测量单元170连接到数据总线100上。该交通工具测量单元170用于检测交通工具的运动、尤其是检测交通工具的加速度。所述交通工具检测单元可以设计为传统的imu单元(对应于inertial measurement unit)。在imu单元中通常有加速度传感器和转动速率传感器、例如激光陀螺仪或者磁力计陀螺仪。交通工具测量单元170可以视为交通工具10的里程计的部件。然而在此还包括轮转速传感器。
[0083]
在此还提到，摄像头150可以设计为传统的视频摄像头。在此情况下，该摄像头记录25个全图像/s，这在隔行扫描模式(interlace-aufnahmemodus)中相当于50个半图像/s。作为备选也可以使用特殊摄像头，所述特殊摄像头拍摄更多个图像/s，以便提高在对象快速运动时的对象识别的精确度，或者记录在可见光以外的光谱中的光。可以使用多个摄像头进行环境观测。此外，还补充或备选地使用已经提到过的radar或lidar系统152和154，以便实施或扩展环境观测。为了向内和向外的无线通信，交通工具10如已经提到的那样配备了通信模块160。
[0084]
摄像头150主要用于对象识别。应当识别的典型的对象为交通标志、前方行驶的/周围的/停放的交通工具和其他交通参与者、交叉路口、转弯位置、坑洼等。当识别出具有潜在意义的对象时，可以通过信息娱乐系统输出信息。通常例如会显现用于所识别交通标志的符号。当对象构成危险时，则也可以显现警告。通过hud20直接将信息投影到驾驶员的视野中。构成危险的对象例如是下述情况，即对由摄像头150提供的图像的图像分析表明有交通工具正在从右侧接近交叉路口，而交通工具同样也正朝着该交叉路口移动。图像分析在计算单元40中进行。在此可以使用已知的算法用于对象识别。结果是在交通工具的位置处显现危险符号。所述显现在此由此实现，即危险符号的显现不会遮挡交通工具，因为否则驾驶员无法准确的识别危险存在于哪里。
[0085]
对象识别算法由计算单元40执行。每秒能够分析多少图像取决于该计算单元的效率。用于自动驾驶的功能通常处于不同的阶段：在感知阶段，不同的环境传感器的数据被处理并汇集到高性能平台上。此外，交通工具必须基于其gnss位置在高精度的数字地图上定位。将数据用于生成三维的环境模型，并提供有关动态和静态对象以及交通工具周围的空地(对象列表)的信息。在确定的条件下，gnss位置的精度是不够的。因此也将交通工具中的里程计数据用于改善位置确定的准确性。
[0086]
附图标记181表示发动机控制设备。附图标记182对应于esp控制设备并且附图标记183表示传动装置控制设备。在交通工具中还可以存在其它控制设备、例如(对于具有能够电调节的阻尼器的交通工具)附加的行驶动力学控制设备、气囊控制设备等。全部属于驱动系类别的这些控制设备的联网通常使用can总线系统(控制器局域网)104实现，该can总线系统被标准化为iso标准、主要为iso 11898-1。对于机动车中的不应当再仅与各个单独的控制设备连接的不同传感器171至173而言同样规定，所述传感器与总线系统104连接并且所述传感器的传感器数据通过总线向各个单独的控制设备传输。机动车中的传感器例如是轮转速感器、转向角传感器、加速度传感器、转动速率传感器、轮胎压力传感器、距离传感器、爆震传感器、空气质量传感器等。尤其是轮转速传感器和转向角传感器属于交通工具里
程计。加速度传感器和转动速率传感器也可以直接与交通工具测量单元170连接。
[0087]
图4和图5示出第一方面中的图像分析系统的在交通工具中使用的原理性的工作原理。所示出的是由交通工具10的前置摄像头150拍摄的摄像头图像。所选择的是交通标志识别的示例。图4示出了与交通标志15距离较近的摄像头图像。图5示出了与交通标志15距离较远的摄像头图像。所涉及的是表示用于显示绝对禁止超车的交通标志15。针对交通标志识别系统的设计规定，当交通工具10在标准条件下接近交通标志15时，应在距交通标志80m的标准识别距离处进行识别。图4示出了接近至20m的距离的情况下的摄像头图像。图5示出了交通工具10与交通标志15尚距离40m的情况。图像分析表明，在距离40m处才进行交通标志识别。图像分析系统的检查功能确定在所给出的条件下交通标志识别进行得过迟。检查功能随即进行测试，通过所述测试对拍摄的图像进行预分析。由此如所示的那样得出在摄像头图像中能够看到前方行驶的载货车13。如图5所示，能够看到交通标志15紧邻地位于载货车13右边。检查功能由此得出结论，交通标志15在更远的距离会被载货车遮挡。因此，从80m的距离到进行真正的交通标志识别的40m的距离上拍摄的图像以较低质量存档。
[0088]
图4和图5也用于解释其它错误识别情况。在40m的距离处先识别出适用于卡车的限制性禁止超车的交通标志15。在与交通标志15相距20m的距离处才识别出，所述交通标志是绝对禁止超车的交通标志15。在这种情况下，检查功能作出下述反应：所拍摄的摄像头图像的被标记为存储的区域17在待存档的图像中以高质量被存档。图像的其余的部分以较低的质量被记录。这适用于所有从40m的距离到20m的距离上拍摄的图像。
[0089]
图6示出了用于实现检查功能的程序的流程图。程序的这种变型方案是针对所述第二变型方案进行考虑的，在所述第二变型方案中，最初错误地识别了交通标志，并且在交通工具进一步接近时才正确地识别交通标志。附图标记310表示程序开始。在程序步骤312中执行用于交通标志识别的算法。所述算法为对象识别算法，该对象识别算法能够根据存储在表格中的图样进行图样识别。所有有效的交通标志都是已知的并且所述交通标志的图样可以存储在表格中。通常，通过卷积运算改进图像识别，其中将拍摄的图像与已知的图样进行卷积运算。这种算法对技术人员是已知的并且可供使用。在以此方式识别到交通标志时，也确定并且存储相对于交通标志的识别距离。
[0090]
在程序步骤314中检查交通标志识别是否符合标准。在所观察的情况中，由于两个原因，交通标志识别是错误的。首先，识别不是在与交通标志15距离80m的标准识别距离中进行的。此外，最初识别为限制性禁止超车，而这随着进一步的接近被修正为绝对禁止超车。如果在该程序步骤中确定了符合标准的交通标志识别，则不需要存档图像以供检查，并且程序在步骤322结束。然而在所观察的情况中，识别到错误的交通标志识别。那么以程序步骤316继续进行程序。在程序步骤316中对多个有问题的图像进行计算。由于与标准识别距离存在偏差，可以如下进行计算。在40m的距离处进行第一次识别。在20m的距离处才实现正确的识别。因此关注从80m的标准识别距离到20m的距离的图像。
[0091]
在程序步骤316中附加地检查是否能够解释错误识别。在此通过图像分析确定载货车13行驶在前方并且该载货车可能遮挡交通标志15直到进行第一次识别。由此得出结论，即从80m到40m的距离范围内的图像对于事后的检查不太重要。因此以较低的质量存储这些图像。
[0092]
在程序步骤318中进行对有问题的图像局部部分的计算。在进行交通标志识别的
情况下，将交通标志15周围的在图4和图5中被标记的图像局部部分选择为重要的。因此，在40m到20m的距离范围内选择该图像局部具有高图像质量。
[0093]
然后在程序步骤320中将有问题的图像和有问题的图像局部部分从存储器60传输给通信模块160，并且所述通信模块160通过移动无线电将这些图像数据发送到后端服务器320。所述图像数据在那里被存档。存档的图像之后在计算中心中由专家或者通过机器由人工智能进行分析。所述检查的目的在于，识别图像分析系统的可能的问题。检查的结果能够用于改进分析算法。在理想情况下，改进的分析算法能够通过ota下载(over the air，空中下载)传输回交通工具10中并且在那里安装。然而也可以得出的是，通过检查确定由摄像头150的错误校准产生的系统性的错误。在这种情况下，可以给交通工具10发送消息以通知驾驶员其应当去往修理厂。程序在程序步骤322中终止。
[0094]
在图7中示出了交通工具向优先行驶的道路移动的情况。在驶入优先行驶的道路之前不久，才通过分析摄像头图像和/或分析来自雷达和激光雷达传感器154、152的数据识别具有优先通行权的交叉行驶的交通工具12。自主驾驶的交通工具10因此必须强烈制动。对于交通工具乘员而言由于需要特别强烈地制动而产生了不舒适的情况。恰恰是对于自动驾驶的交通工具应当避免这种制动过程，以便给交通工具乘员一种安全感。至少在测试阶段由车载电子器件将此事件分类为不期望的。相同的情况可能在正常运行中、即在测试阶段之后发生。为此存在多种可行性。第一种可行性为，当确定的加速度值被超过时进行这种分类。另一种可行性为，当在驾驶员/乘员状态识别方面观察到乘员或者驾驶员的负面的表达时进行所述分类。另一种可行性为，当低于直到进行对象识别(在所述情况下为从右侧接近的交通工具)的确定的最小距离时进行分类。
[0095]
为了减少待存储的图像数据的数据量，应当仅存储/传输来自环形缓存器的其中可能已经存在该对象的图像局部部分。
[0096]
图8示出了针对与图7相同的行驶情况的在更早的时间点的摄像头图像。从右侧接近的交通工具12距离交叉位置尚且较远。图8甚至示出了下述时间点的摄像头图像，在该时间点中，交通工具12还根本没有被对象识别识别为接近的交通工具。这可能具有不同的原因。交通工具距离尚且较远并且对象识别算法通过存在的图像信息尚未识别该交通工具。交通工具12被其它对象(例如树或者灌木丛)遮挡。
[0097]
之所以这么迟地识别接近的交通工具12的原因应当通过事后的分析进行确定。为此，确定所记录的摄像头图像以及必要时其他成像传感器的所记录的图像，这些图像应当被存档以用于事后的分析。待存档的数据量在此应当尽可能地被降低。
[0098]
以下借助图9阐述这如何进行。图9示出了用于在本发明的第二方面实现检查功能的程序的流程图。附图标记340表示程序开始。所述程序始终在当识别到危险情况时才启动，在所述危险情况中动态对象过迟地被识别。在程序步骤342中对过迟地识别的动态对象的轨迹进行估计。这如下进行：在进行识别对象的时间点中，在使用观察者交通工具10的不同传感器数据的情况下由多个相继的视频图像确定所识别的对象的当前的速度和加速度。由此并且在必要时添加由定位系统130的地图已知的路段几何形状的情况下估计所识别的对象的轨迹。结合对交通工具自身运动的估计，能够由此在针对过去的时间点记录的图像数据中确定下述图像局部部分14，(此时尚未被识别的)对象应当位于所述图像局部部分中。该图像部分14也被称为边界框。可以认为边界框在更早的时间点比在过去不久的时间
点更大。边界框的大小一方面由进行识别的时间点的对象参数(例如大小)的影响，但也由所述识别的不确定性、对象轨迹中可能的替代方案、已知的传感器错误/不准确度和经验确定的因素的影响。
[0099]
在程序步骤344中，估计的轨迹被用于进行反向计算，以确定多个有问题的图像，通过这些有问题的图像检查为什么无法在其中识别接近的交通工具12。观察者交通工具10和接近的交通工具12之间的距离在此也被顾及到。如果该距离超过预设的极限，则不需要存档其它先前的图像。对于各种环境监测传感器而言分别已知下述距离，直到该距离都还能够识别期望的对象。然后以程序步骤346继续进行程序。在程序步骤346中对多个有问题的图像进行计算。
[0100]
在程序步骤348中针对多个有问题的图像计算相应的边界框。这也在顾及到估计的轨迹的情况下进行。
[0101]
在另一个变型方案中，同样在步骤344和/或346中确定是否可能是由于相关对象被其他可能正确识别的对象(其他交通工具、由导航数据已知的房屋/墙壁、噪音防护墙、树木、灌木丛、森林)遮挡导致未识别。在这种情况下，可能未传输图像。由于猜测的对象轨迹表明相关的对象在较早的时间点尚未处于相机区域中，因此能够限制有问题图像的时间段。
[0102]
然后在程序步骤348中将有问题的图像局部部分14从存储装置60的环形存储器60传输给通信模块160，并且所述通信模块160通过移动无线电将这些图像数据发送给后端服务器320。所述图像数据在那里被存档。存档的图像之后在计算中心中由专家或者通过机器由人工智能进行分析。所述检查的目的在于，识别图像分析系统的可能的问题。检查的结果能够用于改进分析算法。在理想情况下，改进的分析算法能够通过ota下载(over the air，空中下载)传输回交通工具10中并且在那里安装。然而也可以得出的是，通过检查确定由摄像头150的错误校准产生的系统性的错误。在这种情况下，可以给交通工具10发送消息以通知驾驶员其应当去往修理厂。程序在程序步骤350中终止。
[0103]
待存档的图像的数量和重量可能被不同的因素影响。除了已经介绍的情况尤其还列举下述影响因素：
[0104]
天气情况
[0105]
在恶劣的天气条件下，视线受到严重限制。这可能会达到根本无法再进行对象识别的程度。然而其它的环境检测传感器radar传感器和lidar传感器在此能够提供更好的结果。在任何情况下都可以规定，在恶劣的天气条件下，待存档的图像或者图像局部部分的数量被限制，因为无法从标准识别距离检测到相应的对象。
[0106]
位置精确性
[0107]
基于gnss信号和里程计信号的定位精确性也可能取决于天气。然而该定位精确性也可能取决于其它影响因素。作为示例列举的是交通工具所运动的环境。在城市中，卫星信号的接收会受到过多的房屋建筑物的限制。在越野行驶时也可能出现这种情况。卫星信号在森林中可能会被减弱。在山区，由于地质构造的原因也可能会产生较差的接收。因此在这种情况中建议记录更多的图像或图像部分。随即更有可能的是，尽管定位不准确但仍记录了相关路线段。
[0108]
路面状况
[0109]
路面状况同样可能具有类似的影响。在石块路面上存在强烈振动，从而记录的图像可能会模糊。在由于冰、雪或雨而打滑时，由驱动打滑调控装置确定摩擦系数的估计值。如果打滑程度相应较大，则里程计数据不再可靠并且应将这种影响像由于位置不准确造成的影响那样考虑在内。
[0110]
时刻
[0111]
图像质量显然会显著地随着一天中的时间变化。在此应当至少区分白天和黑夜。在夜间，优先记录radar或lidar传感器的数据，而不是摄像头图像数据。
[0112]
交通状况
[0113]
在此可以区分交通工具是在城市交通、高速公路、还是州内道路等中行驶。在城市交通中，准确地检测交通指示牌特别重要。在此可能提高待记录的图像的数量。而在高速公路上堵车时则可能减少待记录的图像的数量。
[0114]
待存档的图像或者图像局部部分14暂存在交通工具10中。为此可以使用存储器60。在实际的实施中在存储器60中设置环形存储器。该环形存储器被这样管理，使得将新拍摄的图像先后依次地写入环形存储器的空闲存储区域中。当到达空闲存储区域的末端时，将环形存储器的已被写入的部分覆盖。通过将分配的存储区域作为环形存储器进行管理，存储器的最旧的部分总是会被覆盖。图像或者图像局部部分14可以以未压缩或者压缩的方式被存储。然而适宜的是，使用无损的压缩方法，由此不会丢失任何重要的图像内容。作为无损压缩方法的示例所列举的是ffmpeg编解码器。图像数据以相应的文件格式被存储。在此考虑不同的数据存储器格式。作为示例所列举的是为汽车行业开发的adtf格式和tiff格式。其它用于存储图像和声音数据的存储器格式有mpeg、ogg、音频视频转换(audio video interleave)、divx、quicktime、matroska等。如果在驾驶期间将图像传输到后端服务器320，则将环形存储器设计用于20秒的记录时长就足够了。可以在交通工具中设置单独的存储器，图像在所述存储器中存档。在此例如提供usb硬盘，可以将其移除以便将其与用于分析所存档图像的计算机连接。
[0115]
图10还示出了能够通过降低图像质量来减少待存档的数据量的效果。从上到下显示了针对不同图像质量的图像数据的量、即分辨率为1920
×
1080像素的全高清、分辨率为640
×
480像素的标清和分辨率为352
×
288像素的vcd。
[0116]
图11则示出了图像或图像部分17的数量根据位置精度或天气条件等的变化的影响。如果由于位置不准确而将记录持续期增加到160m的距离，则相应地产生两倍的用于存档的数据。在减少至40m的距离时相应地仅需存储一半。
[0117]
在此提及的示例以及条件性的表达不应当理解为局限在这些所具体引用的示例中。针对示例本领域技术人员应注意，在此所述的框图示出示例性电路装置的设计图。以类似方式应注意的是，所示流程图、状态转化图、伪代码和类似多种不同变型方案都用于对过程进行显示，所述过程主要存储在计算机可读的介质中并且由此能够通过计算机或处理器实施。在权利要求中所述的对象尤其可以是人。
[0118]
应该理解的是，建议的方法和所配属的设备能够以硬件、软件、固件、专用处理器或其组合的不同方式被实施。专用处理器可以包括专用集成电路(asic)、精简指令集计算机(risc)和/或现场可编程门阵列(fpga)。所建议的方法和装置优选被实施为硬件和软件的组合。该软件优选作为应用程序安装在程序存储装置上。通常涉及基于计算机平台的机
器，所述计算机平台具有硬件、例如一个或多个中央处理器单元(cpu)、随机存取存储器(ram)和一个或多个输入/输入(i/o)接口。在计算机平台上通常也安装有操作系统。在此所述的多种过程和功能可以使应用程序的一部分，或者是由运行系统实施的部分。
[0119]
本公开并不局限于上述实施例。对于本领域技术人员存在基于他们的专业知识以及属于本公开内容所考虑的各种适配和修改的空间。
[0120]
本发明还在实施例中细致地阐述在车辆中应用的示例。在此还可以援引在飞机或直升飞机中的应用可能性，例如着陆方案或搜救任务。
[0121]
本发明还可用于远程控制设备如无人机、机器人，在这些远程控制设备中图像分析非常重要。其它可能的用途涉及智能手机、平板电脑、个人助理或数据眼镜。
[0122]
附图标记列表
[0123]
10
ꢀꢀꢀꢀꢀꢀ
观察者交通工具
[0124]
12
ꢀꢀꢀꢀꢀꢀ
接近的交通工具
[0125]
13
ꢀꢀꢀꢀꢀꢀ
前方行驶的交通工具
[0126]
14
ꢀꢀꢀꢀꢀꢀ
重要的第一图像局部部分
[0127]
15
ꢀꢀꢀꢀꢀꢀ
交通指示牌
[0128]
17
ꢀꢀꢀꢀꢀꢀ
重要的第二图像局部部分
[0129]
20
ꢀꢀꢀꢀꢀꢀ
平视显示器
[0130]
30
ꢀꢀꢀꢀꢀꢀ
触摸敏感的显示单元
[0131]
40
ꢀꢀꢀꢀꢀꢀ
计算单元
[0132]
50
ꢀꢀꢀꢀꢀꢀ
输入单元
[0133]
60
ꢀꢀꢀꢀꢀꢀ
存储单元
[0134]
70
ꢀꢀꢀꢀꢀ
用于显示单元的数据线路
[0135]
80
ꢀꢀꢀꢀꢀ
用于存储单元的数据线路
[0136]
90
ꢀꢀꢀꢀꢀ
用于输入单元的数据线路
[0137]
100
ꢀꢀꢀꢀ
数据总线
[0138]
110
ꢀꢀꢀꢀ
组合仪表
[0139]
120
ꢀꢀꢀꢀ
电话
[0140]
130
ꢀꢀꢀꢀ
导航设备
[0141]
140
ꢀꢀꢀꢀ
收音机
[0142]
142
ꢀꢀꢀꢀ
入口
[0143]
144
ꢀꢀꢀꢀ
车载诊断接口
[0144]
150
ꢀꢀꢀꢀ
摄像头
[0145]
160
ꢀꢀꢀꢀ
通信模块
[0146]
170
ꢀꢀꢀꢀ
交通工具测量单元
[0147]
181
ꢀꢀꢀꢀ
传感器1
[0148]
172
ꢀꢀꢀꢀ
传感器2
[0149]
173
ꢀꢀꢀꢀ
传感器3
[0150]
180
ꢀꢀꢀꢀ
用于自动的驾驶功能的控制单元
[0151]
181
ꢀꢀꢀꢀ
发动机控制设备
[0152]
182
ꢀꢀꢀꢀ
esp控制设备
[0153]
183
ꢀꢀꢀꢀ
传动装置控制器
[0154]
200
ꢀꢀꢀꢀ
演进分组核心
[0155]
210
ꢀꢀꢀꢀ
基站
[0156]
300
ꢀꢀꢀꢀ
互联网
[0157]
310
ꢀꢀꢀꢀ
路侧单元
[0158]
320
ꢀꢀꢀꢀ
后端服务器
[0159]
330-[0160]
336
ꢀꢀꢀꢀ
第一计算机程序的不同程序步骤
[0161]
340-[0162]
350
ꢀꢀꢀꢀ
第二计算机程序的不同程序步骤
[0163]
uu
ꢀꢀꢀꢀꢀ
用于ue和enodeb之间通信的空中接口
[0164]
pc5
ꢀꢀꢀꢀ
用于直接交通工具通信的空中接口