用于求出在对象探测中至少一个对象建议的可预测性的方法与流程
本发明涉及一种用于求出在对象探测中至少一个对象建议的可预测性的方法。此外,本发明涉及一种用于此目的的计算机程序、设备以及存储介质。
背景技术:
1、在快速发展的自动驾驶领域中,深度学习技术处于前沿,所述深度学习技术使车辆实现:以日益增加的自主性在复杂环境中导航。这种进步的核心是基于相机的系统,所述系统被分配诸如对象探测和语义分割的任务,以精确地解读环境。然而,这些自主系统的应用取决于一个关键因素:安全性。为了确保安全性,需要全面了解机器学习模型的状态及其决策过程。
2、在实现所述安全性水平时最大的挑战之一是量化不确定性。至关重要的是:机器学习模型识别并报告:其何时对其决策不够确信,特别是在确定对象的存在时。用于评估所述不确定性的传统方法,如熵值或集成方法,其范围是有限的。它们主要涉及真阳性(tp)和假阳性(fp)预测,并且仅关注于机器学习模型做出预测且存在相应基本真理的场景。然而,所述方法并未考虑假阴性(fn)情况,在所述情况中对象存在,但机器学习模型未识别到所述对象,由此在不确定性量化中形成空白。
3、在自动驾驶和计算机视觉领域中,对象探测模型内不确定性估计的概念已成为关键的研究焦点。传统上,不确定性量化过程依赖于机器学习模型预测对象存在的能力,其中包括但不限于使用了诸如熵和蒙特卡洛dropout的方法。所述统计方法旨在:测量机器学习模型预测的置信度水平。标题为“active domain adaptation with false negativeprediction for object detection”的工作对所述领域做出了贡献,其中提出一种用于不确定性估计的方案。这通过如下方式拓展了常规的边界:即研究由机器学习模型预测的对象数量与通过基本真像数据验证的实际对象数量之间的差异。所述方案为在识别并纳入假阴性结果进入不确定性分析框架中方面的一种转变。
4、尽管在对象探测模型中的不确定性估计的技术方面取得了进步,但根据现有技术的当前方法仍具有显著限制。最大的限制在于,机器学习模型依赖其做出对象预测的场景,这天然地排除了假阴性结果的情况——即图像中存在对象但未被机器学习模型识别的情况。而“active domain adaptation with false negative prediction for objectdetection”中提出的方法侧重于预测对象总数与实际对象总数之间的差异。所述方案并未提供对机器学习模型在图像内特定区域中预测能力的详细评估。因此,在用于全面评估机器学习模型性能的当前方法中存在空白,特别是在鉴别和量化机器学习模型在探测图像特定区域中的对象方面的局限性。
技术实现思路
1、本发明的主题是一种具有权利要求1的特征的方法、一种具有权利要求8的特征的计算机程序、一种具有权利要求9的特征的设备以及一种具有权利要求10的特征的计算机可读存储介质。本发明的其他特征和细节从相应的从属权利要求、说明书以及附图中得出。在此,结合根据本发明的方法所描述的特征和细节当然也适用于根据本发明的计算机程序、根据本发明的设备以及根据本发明的计算机可读存储介质,并且分别反之亦然,使得关于本发明的公开始终也能实现相互引用。
2、本发明的主题特别是一种用于求出在对象探测中至少一个对象建议的可预测性的方法,其中,可预测性量化了对象存在于至少一个对象建议的限界框内的概率,包括:
3、-提供图像,其中,图像源自技术系统、特别是车辆的至少一个传感器(例如相机传感器、雷达传感器、激光雷达传感器或热成像传感器)的检测,
4、-提取图像的特征,
5、-基于提取的特征生成至少一个对象建议,其中,至少一个对象建议包括限界框(英文:bounding box),所述限界框描述了图像内预期包括对象的区域,
6、-求出用于至少一个对象建议的可预测性,特别是求出可预测性的值,例如百分比说明或介于0和1之间的值。
7、这具有的优点是:评估对象探测的可靠性,并且例如在具有高不可预见性,即特别是具有低可预测性的情况下能够做出反应。通过量化可预测性,可以更透明地评估对象探测并做出相应决策,例如是否可以信赖该对象探测并且自动化控制是可行的,或者是否更应激活通过驾驶员进行的手动控制。
8、特征的提取优选地被设计为,使得从传感器数据——例如相机、雷达或激光雷达数据——导出特征性的特征代表,所述特征代表例如适用于后续的对象探测或分类。提取的特征例如描述了在传感器数据中代表的所检测到的对象的结构性或上下文特性。特征的提取特别地以数据驱动方式进行,例如通过机器学习模型,特别是(深度)卷积网络,并且能够基于在先训练过程中求出的机器学习模型参数。
9、此外,在本发明的范围内可选地可能的是,所述方法还包括:
10、-将每个对象建议的所求出的可预测性与定义的阈值(例如50%或0.5或甚至0)进行比较,
11、-根据比较结果执行至少一个措施。
12、这具有的优点是:能够鉴别高风险情况并引入相应的措施。通过确认阈值,可以单独地定义:从何种程度的不可预见性或可预测性起需要进行反应。这实现了主动式且以安全为导向的处理方式。还可以设想:为不同的措施分别单独定义阈值。
13、在本发明中有利地可以规定,技术系统是车辆,并且至少一个措施选自:
14、-发起车辆的自动控制,例如当可预测性达到足够的程度时,即超过定义的阈值,则进行常规的自动控制,或者当可预测性低于定义的阈值时,则进行例如自动制动的应急措施,
15、-发起从车辆的自动控制到车辆的手动控制的转变,特别是当可预测性低于定义的阈值时,
16、-发起在车辆中输出警告消息,特别是当可预测性低于定义的阈值时。
17、由此,车辆能够根据情况对对象探测的可预测性做出反应。这实现了车辆的主动行为,所述主动行为能够提高道路交通中的安全性。通过发起自动控制,当可预测性高时,车辆能够自主应对情况,或者在必要时,当可预测性低时自动引入应急措施。在高不可预见性或低可预测性的情况下,转变到手动控制能够及时让驾驶员参与对车辆的控制。输出警告消息例如能够通知驾驶员潜在危险,所述潜在危险能够存在于具有低可预测性的区域中。
18、可选地可以设想,所述方法还包括:
19、-基于图像的提取的特征执行对象探测,
20、-基于对对象探测结果的分析和至少一个生成的对象建议在图像中的位置,确定至少一个生成的对象建议的相应的相关性,特别是关于当前驾驶情况的相关性,
21、其中,至少一个措施还根据至少一个生成的对象建议的所确定的相应相关性来执行。例如,当至少一个生成的对象建议在行驶方向上位于车辆前方且可能发生碰撞时,能够存在相关性。还可以设想,至少一个生成的对象建议朝向车辆运动,使得可能发生碰撞。以这种方式,能够提供有针对性且依赖于情况的方案。考虑相关性,特别是对于当前驾驶情况的相关性实现:避免不必要的干预并高效利用资源。根据对象建议的相关性动态适配措施,提高了系统的准确性和有效性。这有助于车辆的安全性和可靠性。
22、在本发明的范围内有利地可以规定,所述方法还包括:
23、-确定至少一个生成的对象建议的限界框的不确定性,
24、其中,至少一个措施还根据至少一个生成的对象建议的限界框的所确定的不确定性来执行。由此,能够评估对象探测的准确性,并根据所述评估采取至少一个措施。适配于相应的不确定性实现了动态反应。
25、在另一可能性中可以规定,对象建议的生成使用区域提议网络(region proposalnetwork)执行,并且至少一个对象建议是与类别无关的。区域提议网络(rpn)可以是机器视觉领域中的对象探测系统中的元件,例如在所谓的二阶段探测器(如faster r-cnn)中。在此,其特别是一种神经网络,所述神经网络能够从图像中提取可能存在对象的潜在区域。在本发明的范围内,所述区域特别称为对象建议(英文region proposals)。首先,根据本发明,相应的输入图像可以通过卷积网络,特别是卷积神经网络(例如resnet)引导,以提取特征或生成特征图(英文feature-map)。然后,小型网络(例如3×3滤波器)可以作为滑动窗口(英文sliding window)在所述特征图上滑动。对于所述滑动窗口的每个位置,可以使用多个预定义尺寸和长宽比的所谓的锚框(英文anchor boxes),其能够用作可能对象的参考框架。随后,可以对锚框的锚点坐标执行微调以更精确地进行定位。rpn能够通过如下方式替代用于区域生成的传统方法(诸如选择性搜索):即rpn能够直接且有效地在深度神经网络内学习并集成所述任务。因此,rpn特别确保了快速、可学习且图像自适应的对象建议生成。
26、还能够可行是,可预测性的求出使用经训练的机器学习模型执行,其中,机器学习模型在训练框架内被训练,所述训练至少包括以下步骤:
27、-提供训练数据,其中,训练数据包括各个图像,其中,分别至少一个限界框与各个图像相关联,其中,限界框的至少一部分包括对象的表示,其中,分别将注释与限界框相关联,所述注释说明相应的限界框是否包括对象的表示,
28、-使用机器学习模型预测对象存在于限界框内的概率,
29、-基于相应的注释检查相应的限界框是否包括对象的表示并且是否正确预测对象存在于预测的框架内,
30、-基于检查结果适配机器学习模型的参数。
31、因此,通过训练机器学习模型特别是学习了:量化对象存在于限界框内的概率。所述能力实现:求出对象建议的可预测性,进而及早识别潜在危险情况。
32、可能的是,根据本发明的方法在车辆中使用。车辆例如可以构成为机动车和/或乘用车和/或至少部分自动化的/自主的车辆。车辆可以具有车辆装置,例如用于提供自主驾驶功能和/或驾驶员辅助系统。车辆装置可以构成用于至少部分自动地控制和/或加速和/或制动和/或转向车辆。
33、在本发明的方法的范围中可用于对象探测的机器学习模型,特别是为对象探测而训练。在此,该训练可以设置用于:借助于训练数据集来训练机器学习模型,以对图像数据(例如数字图像)基于图像点和/或像素,特别是像素值,优选(图像数据的)边缘或像素属性进行分类,特别是图像分类。图像数据或数字图像例如可以源自通过优选车辆并且特别优选是在(车辆)行驶期间的相机环境和/或车辆环境的至少一个传感器、优选至少一个相机的记录。记录例如通过车辆的至少一个相机是可能的。在此,该分类可以设置用于:识别通过图像数据或数字图像所描绘的环境中的对象和/或检测交通场景。
34、该分类可以设置用于各种技术应用。一个示例是在车辆中的应用。基于分类,特别是基于至少一个分类结果,例如可以发起和/或执行至少一个控制动作,优选用于车辆或其他技术系统的控制动作。
35、分类结果可以包括以下结果中的至少一个和/或特定于以下结果中的至少一个:对象的类别、对象的鉴别、对象和/或障碍物的位置(例如在行驶方向上或行驶方向旁边)、障碍物的存在、对交通场景的描述、危险警报、对象数量、车道标记的类型和/或位置和/或车道边界、交通信号设施的位置和/或状态、车道的位置等。
36、基于分类结果,可以发起和/或执行用于车辆的至少一个控制动作。控制动作可以包括以下中的至少一个:制动、转向、加速、超车机动、紧急制动、激活报警设施、激活危险警告灯设施、激活转向指示器、灯控制等。
37、通过分类,例如可以识别障碍物,无论其是直接位于行驶方向上还是在其旁边。根据定位(例如根据预期的车辆轨迹),可以发起相应的控制动作,如减速或避让。
38、例如,如果分类得出障碍物位于行驶方向上和/或可能发生碰撞,还可以引入制动。也可以设想:基于分类识别车道和/或车道边界,以通过控制动作至少部分自动地将车辆在车道上移动。
39、“分类”和“图像分类”也可以包括“对象探测”或“图像中的对象探测”。这特别可理解为:在图像某些区域中是否存在对象的分类。此外,术语“分类”和“图像分类”也可以涉及“语义分割”,特别是以逐像素分类的形式。
40、相应地,从训练中可以产生至少一个经训练的机器学习模型,所述机器学习模型可用于分类和/或对象探测。例如可以在车辆中设有该使用进而推理。输入数据的数据点例如可以是或基于图像数据的像素,以便因此基于像素对数据点执行分类和/或对象探测。输入数据可以包括传感器数据和/或图像数据,所述传感器数据和/或图像数据至少部分地源自借助传感器(优选相机传感器)进行的检测,和/或所述传感器数据和/或图像数据至少部分地被合成,即特别是模拟传感器的真实数据。具体地,可以规定,通过图像数据的图像点的值,优选像素值,来代表传感器和/或车辆的环境和/或交通场景。可以设置基于所述值的分类,优选图像分类和/或对象探测。这例如实现:探测交通场景的对象。图像数据例如可以是雷达传感器和/或超声波传感器和/或lidar传感器和/或热成像相机的图像。相应地,图像也可以构成为雷达图像和/或超声波图像和/或热图像和/或激光雷达图像。
41、同样地,本发明的主题是一种计算机程序,特别是计算机程序产品,包括指令,当通过至少一个计算机执行计算机程序时,所述指令使该计算机执行根据本发明的方法。由此,根据本发明的计算机程序带来已关于根据本发明的方法详细描述的相同的优点。
42、同样地,本发明的主题是一种用于数据处理的设备,所述设备设计用于:执行根据本发明的方法。作为该设备,例如可以设有至少一个计算机,所述计算机执行根据本发明的计算机程序。计算机可以具有至少一个处理器用于执行计算机程序。还可以设有非易失性数据存储器,在所述数据存储器中存储计算机程序,并且通过处理器可以从所述数据存储器中读取计算机程序以执行。
43、同样地,本发明的主题可以是一种计算机可读存储介质,所述计算机可读存储介质具有根据本发明的计算机程序和/或包括指令,在通过至少一个计算机执行时,所述指令使该计算机执行根据本发明的方法。存储介质例如构成为诸如硬盘和/或非易失性存储器和/或存储卡的数据存储器。存储介质例如可以集成在计算机中。
44、此外,根据本发明的方法也可以构成为计算机实施的方法。替代地或附加地,所公开的方法步骤中的至少一个可以是计算机实施的和/或自动地执行。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com