利用事件检测的车辆记录系统的制作方法

利用事件检测的车辆记录系统
1.相关申请的交叉引用
2.本技术主张于2019年5月3日提交的第62/842560号美国临时申请的权益，该申请通过本文的引用而并入其整体。


背景技术：

3.本技术涉及车辆监测，更具体地涉及用于基于潜在的即将发生的车辆事故来记录车辆数据集的方法和装置。
4.保险和其他安全相关成本是商用车队运营商支付的最大成本之一。商用车队运营商有兴趣了解车辆事故，例如车辆意外事故和未遂车辆意外事故、以及导致此类事件的不安全驾驶员行为，这可以为操作不佳的驾驶员提供采取适当行动的机会。然而，记录车辆外部的持续视频馈送可以提供无数小时的连续镜头，这些连续镜头必须经过审查以确定感兴趣的实际相关部分，从而进一步增加成本并降低审查人员的效率。


技术实现要素：

5.根据本公开示例的用于车辆的记录系统包括多个接近传感器以及至少一个车辆操作传感器，所述接近传感器被配置为获得指示车辆与外部物体之间的距离的数据，所述车辆操作传感器被配置为获得指示驾驶员正如何操作车辆的数据。控制器被配置为获取当前监测周期的输入数据并利用预测引擎来确定输入数据是否满足与潜在的即将发生的车辆事故相对应的标准集，该输入数据包括来自多个接近传感器和至少一个车辆操作传感器的数据。基于输入数据满足标准集，该控制器被配置为开始将来自当前监测周期和后续监测周期的输入数据保存在数据集中。基于输入数据不满足标准集，该控制器被配置为删除当前监测周期的输入数据。
6.在任一前述实施例的又一实施例中，多个接近传感器包括能够操作以记录车辆外部环境的图像的车辆外部相机，并且作为开始保存输入数据的一部分，控制器被配置为开始将来自车辆外部相机的图像保存在数据集中。
7.在任一前述实施例的又一实施例中，控制器被配置为基于退出事件的发生完成数据集并且停止向数据集添加输入。
8.在任一前述实施例的又一实施例中，被满足的标准集基于一个或多个第一参数，退出事件基于与一个或多个第一参数不同的一个或多个第二参数。
9.在任一前述实施例的又一实施例中，预定义标准集指示车辆与特定一个外部物体之间即将发生的碰撞或碰撞未遂，以及即将发生的翻车或险些翻车中的一个或多个。
10.在任一前述实施例的又一实施例中，退出事件包括经过预定义时间量以及车辆与特定一个外部物体之间的距离超过预定义距离阈值中的一个或多个。
11.在任一前述实施例的又一实施例中，控制器被配置为在退出事件之后将数据集提供给后处理引擎，并利用后处理引擎来确定潜在的即将发生的车辆事故是否已发生。
12.在任一前述实施例的又一实施例中，控制器被配置为基于后处理引擎指示未发生
潜在的即将发生的车辆事故来删除数据集。
13.在任一前述实施例的又一实施例中，控制器被配置为基于后处理引擎指示潜在的即将发生的车辆事故已发生，将数据集传输到审查者以确认车辆事故。基于审查者确认发生了车辆事故，控制器被配置为将数据集保存在数据集储存库中以供将来参考。基于审查者指示未发生车辆事故，控制器被配置为删除数据集并将该数据集用作神经网络的训练数据。
14.在任一前述实施例的又一实施例中，驾驶员监测系统包括控制器局域网络(can)总线，其中控制器被配置为通过can总线与多个接近传感器、至少一个车辆操作传感器、或多个接近传感器和至少一个车辆操作传感器进行通信。
15.在任一前述实施例的又一实施例中，至少一个车辆操作传感器包括加速度传感器、转向角传感器、制动传感器和陀螺仪中的一个或多个。
16.在任一前述实施例的又一实施例中，多个接近传感器具有以下类型传感器中的一个或多个：激光雷达、无线电雷达、超声波传感器和相机。
17.在任一前述实施例的又一实施例中，控制器被配置为基于来自车辆乘员的请求开始将来自当前监测周期和后续监测周期的输入数据保存在数据集中。
18.根据本公开示例的记录车辆数据的方法包括获取当前监测周期的输入数据，该输入数据包括来自多个接近传感器的指示车辆与外部物体之间距离的数据，以及来自至少一个车辆操作传感器的指示驾驶员正如何操作车辆的数据。预测引擎用于确定输入数据是否满足与潜在的即将发生的车辆事故相对应的标准集。基于输入数据满足标准集，开始将来自当前监测周期和后续监测周期的输入数据保存在数据集中。基于输入数据不满足标准集，删除当前监测周期的输入数据。
19.在任一前述实施例的又一实施例中，开始保存输入数据包括开始保存来自车辆外部相机的车辆外部环境的图像。
20.任一前述实施例的又一实施例包括基于退出事件的发生完成数据集和停止向数据集添加输入数据。
21.在任一前述实施例的又一实施例中，被满足的标准集基于一个或多个第一参数，退出事件基于与一个或多个第一参数不同的一个或多个第二参数。
22.在任一前述实施例的又一实施例中，预定义标准集指示车辆与特定一个外部物体之间即将发生的碰撞或碰撞未遂，以及即将发生的翻车或险些翻车中的一个或多个。
23.在任一前述实施例的又一实施例中，退出事件包括经过预定义时间量以及车辆与特定一个外部物体之间的距离超过预定义距离阈值中的一个或多个。
24.在任一前述实施例的又一实施例中，该方法包括在退出事件之后将数据集提供给后处理引擎，并利用后处理引擎来确定潜在的即将发生的车辆事故是否已发生。
25.在任一前述实施例的又一实施例中，该方法包括基于来自后处理引擎指示未发生潜在的即将发生的车辆事故的指示来删除数据集。
26.在任一前述实施例的又一实施例中，该方法包括基于后处理引擎指示潜在的即将发生的车辆事故已发生将数据集用作神经网络的训练数据。
27.在任一前述实施例的又一实施例中，该方法包括基于后处理引擎指示潜在的即将发生的车辆事故已发生，将数据集传输到审查者以确认车辆事故，基于审查者指示确认发
生了车辆事故，将数据集保存在数据集储存库中以供将来参考，并基于审查者指示未发生车辆事故而删除数据集。
附图说明
28.图1示意性地示出了示例车队管理系统。
29.图2示意性地示出了车辆的示例记录系统的部件。
30.图3示意性地示出了车辆的示例传感器位置。
31.图4示意性地示出了可以在图2的记录系统中使用的电子控制器。
32.图5是记录车辆数据的示例方法的流程图。
33.前述段落、权利要求或以下说明和附图的实施例、示例和替代方案，包括它们的各个方面或各自的单独特征中的任何一个，可以被独立地或以任何组合的方式被采用。结合一个实施例描述的特征适用于所有实施例，除非这些特征不兼容。
具体实施方式
34.图1示意性地示出了示例车队管理系统10，示例车队管理系统10包括车辆14a
‑
n的车队12，车辆14a
‑
n能够操作以通过广域网(“wan”)16(例如因特网)与车队管理者22进行通信。车辆14能够操作以记录和传输数据集23，该数据集23包括指示车辆14与外部物体之间距离的数据，并且包括指示驾驶员正在如何操作车辆14的数据。车辆14a
‑
n能够操作以通过将数据集23传输到车队管理者的计算机20和/或通过将数据集23传输到车队管理服务器18来与车队管理者22进行通信。在图1的示例中，车辆14是卡车，但是可以理解的是可以使用其他商用车辆，例如厢式送货车等。
35.图2示意性地示出了设置在每个车辆14中的示例车辆记录系统24的部件。在图2的示例中，车辆记录系统24包括可操作地连接到远程信息处理(telematics)模块32的电子控制单元(ecu)30、多个接近传感器34和多个车辆操作传感器36。
36.远程信息处理模块32包括能够操作以通过wan 16进行通信和传输数据集23的无线收发器。在一个示例中，远程信息处理模块32被配置为使用预定义的协议标准，例如802.11标准中的一个或多个和/或一种或多种蜂窝标准(例如，gsm、cdma、lte等)。
37.接近传感器34被配置为记录关于车辆14外部环境的数据，该数据指示车辆14与外部物体(例如其他车辆、行人、骑自行车者等)之间的距离。可以使用该数据推断车辆14和外部物体的相对速度。在图2的示例中，接近传感器34包括能够操作以记录车辆外部环境图像的多个外部相机38、无线电探测和测距(“无线电雷达(radar)”)传感器40、光探测和测距(“激光雷达(lidar)”)传感器42和超声波传感器44。ecu 30能够操作以基于从接近传感器34接收的数据执行物体检测，以确定车辆14与周围物体的接近程度和/或车辆14正在以多快的速度接近或驶离检测到的物体。
38.多个车辆操作传感器36能够操作以记录指示驾驶员正在如何操作车辆14的数据。在图2的示例中，车辆操作传感器36包括转向角传感器46、制动传感器48、加速度传感器50和陀螺仪52。转向角传感器46被配置为检测异常转向事件，例如可能表示急转弯(swerving)的快速方向盘角度变化。制动传感器48能够操作以检测传输到车辆制动系统的控制信号。加速度传感器50能够操作以检测车辆14加速度的变化，例如快速加速和/或快速
减速(例如，紧急制动事件)，并且还能够操作以检测车辆14速度。在一个示例中，加速度传感器50包括车辆14的速度计(未示出)或与车辆14的速度计(未示出)通信。陀螺仪52能够操作以检测车辆倾斜，例如围绕急转弯和/或快速转弯。
39.在图2的示例中，ecu 30通过车辆数据总线54能够操作地连接到部件32
‑
52，车辆数据总线54可以是例如控制器局域网络(“can”)总线。当然，图2仅是一个示例，可以理解的是，除了车辆数据总线54之外，ecu还可以通过其他连接方式连接到部件32
‑
52中的某些部件，也可以理解可以使用其他数量的接近传感器34和车辆操作传感器36(例如，省略超声波传感器44和/或陀螺仪52)。
40.ecu 30能够操作以检测车辆14外部的物体，并且基于来自接近传感器34的数据，可选地还结合来自车辆操作传感器36的数据来确定车辆14接近这些物体的相对速度。例如，ecu 30可以基于车辆14和外部物体之间的接近速度以及车辆14和外部物体之间的接近距离来预测潜在的即将发生的车辆事故(例如，车辆意外事故，诸如碰撞和翻车、以及此类事故的未遂意外事故)。
41.图3示意性地示出了示例车辆14和接近传感器34a
‑
f(例如外部相机38)的示例位置。每个接近传感器34a
‑
f具有相关联的检测范围，如图3中的54a
‑
f示意性所示。如图所示，检测范围54d与检测范围54b和54f重叠，检测范围54e与检测范围54c和54f重叠。使用外部相机接近传感器38的示例，接近传感器34a
‑
f可以用于在潜在的即将发生的车辆事故之前车辆14周围环境的视频捕获。当然，图3中所示的接近传感器位置仅是示例，可以理解可以使用其他传感器位置。传感器位置可以结合高级驾驶员辅助系统(adas)要求或甚至自动驾驶车辆要求来定义，并且在某些情况下可以由这两种系统使用。在一个示例中，传感器34b
‑
c是来自斯通里奇公司(stoneridge,inc.)的mirroreye相机监测系统的一部分。
42.图4示意性地示出了ecu 30的示例实施方式。如图4所示，ecu 30包括能够操作地连接到存储器62和通信接口64的处理器60。处理器60包括一个或多个处理电路，例如微处理器、微控制器、专用集成电路(asic)等。通信接口64提供ecu 30和其他部件之间的通信(例如，到车辆数据总线54的有线连接)。
43.存储器62可以包括一种或多种类型的存储器，例如只读存储器(rom)、随机存取存储器、高速缓存存储器、闪存设备、光存储设备等。在图4的示例中，存储器62存储多个标准集66、预测引擎68和后处理引擎70。
44.每个标准集66描述了与潜在的即将发生的车辆事故对应的情况，例如潜在的车辆14意外事故(例如，碰撞或翻车)或车辆事故的未遂意外事故。车辆14的潜在碰撞可以是与另一辆车或非车辆物体(例如，树、建筑物、行人等)的碰撞。标准集66可以包括不同类型的意外事故和未遂意外事故的场景，例如正面碰撞、背面碰撞和/或侧面碰撞。
45.一个标准集66可以基于附近车辆在预定义距离内尾随车辆14，以及车辆14在预定义时间窗口内经历与预定义减速量对应的紧急制动，从而增加与附近车辆发生背面碰撞的可能性，而包括潜在的即将发生的车辆事故。
46.在另一示例标准集66中，如果车辆14距离物体(例如，另一辆车)30英尺但仅以每小时5英里的相对速度接近物体，则这不对应于潜在的即将发生的车辆事故。然而，如果车辆14距离物体20英尺并且正朝着物体加速或者正以超过预定义阈值的速度接近物体，这确实对应于潜在的即将发生的车辆事故。如本文所用，“接近物体”是指车辆14和物体的相对
运动(例如，车辆14和物体朝向彼此移动，或者车辆14和物体中的一个固定而另一个接近固定的一方)。
47.在涉及翻车的另一示例标准集66中，潜在的即将发生的车辆事故对应于陀螺仪52指示车辆倾斜角高于预定义阈值，连同加速度传感器50指示车辆14速度超过预定义阈值和转向角传感器46指示超过预定义阈值的方向盘角度阈值。
48.在另一示例标准集66中，潜在的即将发生的车辆事故对应于以下三种相互关联发生的事件：(1)车辆14通过前置相机检测到其正在跟随的车辆的刹车灯，(2)车辆14的传感器，例如雷达40，指示两辆车之间的距离小于“警告”距离阈值，并且(3)ecu 30确定车辆之间的相对速度高于“警告”速度阈值。
49.在另一示例标准集66中，潜在的即将发生的车辆事故对应于在车辆14的预定义距离内的附近车辆的快速移动，“快速移动”对应于在车道上穿行的附近车辆，其通过附近车辆方向的快速变化而被检测到。在一个示例中，“快速变化”是基于车辆14和附近车辆之间的距离波动来确定的。可选地，标准集66还可以包括超过速度阈值的车辆之间的相对速度。
50.预测引擎68从接近传感器34和车辆操作传感器36接收输入数据，并确定给定监测周期的输入数据是否满足任何标准集66。如果ecu 30检测到给定监测周期的数据不满足任何标准集66，则ecu 30可以丢弃数据。然而，如果ecu 30检测到给定监测周期的数据确实满足任一标准集66，表明可能即将发生车辆事故，则ecu 30能够操作以开始将来自当前监测周期和后续监测周期的输入数据保存到数据集中以用于进一步分析(例如，由车队管理者22进行分析)。在一个示例中，预测引擎68包括神经网络并且利用神经网络来确定车辆事故是否即将发生。在另一示例中，预测引擎68使用预定义逻辑，例如若则(if
‑
then)语句和/或梯形逻辑，而不使用神经网络来进行确定。
51.后处理引擎70接收完整的数据集并分析该数据集以确定即将发生的车辆事故是否已发生。在一个示例中，后处理引擎70利用其自身的神经网络来进行分析，该神经网络与预测引擎68是分开的。在一个示例中，后处理引擎70使用预定义逻辑，例如若则(if
‑
then)语句和/或梯形逻辑，而不使用神经网络来进行确定。
52.例如，后处理引擎70可以使其检测部分地基于车辆14是否在即将发生的车辆事故被预测要发生之后的预定义时间段内靠边停车(因为这样的靠边停车可能发生在碰撞之后)。
53.后处理引擎70可以使其确定基于车辆14与其预测碰撞的外部物体之间的距离是否小于预定值以及该距离随后是否增长到超过安全跟随距离阈值。例如，如果车辆14距离物体20英尺，并正以每小时70英里的相对速度接近物体，但距离从未小于5英尺，然后距离开始超过100英尺，则后处理引擎70可以确定既没有发生意外事故也没有发生未遂意外事故。在一个示例中，用于构成未遂意外事故的阈值可以根据车队管理者的偏好进行定制。
54.作为另一示例，如果陀螺仪52指示车辆14倾斜超过预定义倾斜角度但随后恢复直立，则后处理引擎70可以确定车辆没有翻滚。这是否构成未遂事故可以基于车队管理者的偏好来确定，因为不同的车队对于未遂意外事故的判定可能具有不同的容忍度。
55.基于来自车辆接近传感器34和车辆操作传感器36的一组输入数据，后处理引擎70确定是否发生了令人感兴趣的事故并且哪些事件的视频应该被保存/传输。例如，附近的车辆在道路上穿梭可能是一个潜在的问题并触发记录。在车辆记录系统24确定已经发生指示
事故已经过去的退出条件之后，例如在道路上穿梭的附近车辆已经经过车辆14并且不再“靠近”车辆14，后处理引擎70将输入数据与一组规则或神经网络进行比较，以确定视频是否实际捕捉到感兴趣的事故(例如，意外事故或未遂意外事故)。如果后处理引擎70确定视频捕捉了感兴趣的事故，则后处理引擎70可以触发视频的保存或传输(或保存和传输)，如果可能，包括确定为什么该事故是一件令人感兴趣事件背后的推理。
56.图5是使用车辆记录系统24来记录车辆14数据的示例方法100的流程图。ecu 30从接近传感器34和车辆操作传感器36获得当前监测周期的输入数据(步骤102)。在一个示例中，当前监测周期是指几秒或更短数量级的当前采样周期。ecu 30利用预测引擎68来确定输入数据是否满足与潜在的即将发生的车辆事故相对应的标准集66之一(步骤104)。在一个示例中，步骤104包括预测引擎68利用上述预定义逻辑或可选神经网络。如果没有标准集66被满足(步骤106的“否”)，则ecu 30删除当前监测周期的输入数据(步骤107)，并继续监测后续监测周期的输入数据(步骤102)。
57.然而，如果标准集66之一被满足(步骤106的“是”)，这构成了“进入条件”，则ecu 30开始将来自当前监测周期和用于后续监测周期的输入数据保存到数据集23中(步骤108)。“开始保存”是指ecu 30从短期存储(例如，可以包括ram存储器的输入缓冲器)中获取来自传感器34、36的数据，并保存数据用于长期存储(例如，存储器62的非ram部分)，其中数据被保存以供审查者(例如，车队管理者22)传输和/或最终下载。保存的数据包括已经被记录并用于检测潜在的即将发生的车辆事故的输入数据，并且还可以可选地包括来自传感器34、36的附加传入数据(例如，直到检测到退出事件)。因此，可以在获得整个数据集之前触发在步骤108中开始保存传感器数据。
58.在一个示例中，短期存储被新传入的传感器数据(例如，在滚动缓冲器中)自动丢弃和/或覆盖，而长期存储不会被新传入的传感器数据自动丢弃和/或覆盖(例如，直到其被传输和/或下载)。
59.ecu 30分析当前在数据集23中的输入数据以确定是否发生了“退出事件”，表明令人感兴趣的事件已经过去(步骤110)。一些示例退出事件可以包括经过预定义的时间量、检测到碰撞或检测到两个被认为将要碰撞的物体现在彼此相距预定义的距离。其他示例退出事件可以包括车辆14从预测会与其发生事故的物体转向到不同的道路(例如，在拐角处)，或驶入出口坡道，从而结束与附近物体的相互作用。因此，标准集66包括一个或多个第一参数(例如，其他车辆被激活的刹车灯、车辆倾斜角、车辆速度)，并且退出事件基于一个或多个第二参数(例如，时间的流逝、物体背离)，在一些示例中一个或多个第二参数不同于所述一个或多个第一参数。
60.如果没有检测到退出事件(步骤110的“否”)，则ecu 30继续收集数据并分析不断增长的数据集23以发现退出事件的发生。
61.如果检测到退出事件(步骤110的“是”)，则ecu 30停止向数据集23添加新数据，完成数据集23的保存，并将数据集23提供给后处理引擎70(步骤112)。后处理引擎70分析数据集23以确定车辆事故是否实际发生(步骤114)。在一个示例中，步骤114包括后处理引擎70利用上述预定义逻辑或可选神经网络。如果后处理引擎70确定没有发生事故(步骤114的“否”)，则ecu 30删除数据集23(步骤116)。
62.然而，如果后处理引擎70确定确实发生了车辆事故(步骤114的“是”)，则ecu 30将
数据集23传输给审查者，例如车队管理者22(步骤118)。审查者分析数据集23以确定事故是否发生(步骤120)。一个示例，这包括审查者仅分析数据集23的图像部分(例如，一系列静止照片或视频馈送)。
63.如果审查者指示没有发生车辆事故(步骤120的“否”)，则数据集23被用作预测引擎68的神经网络和/或后处理引擎70的神经网络的训练数据(步骤122)，并且删除数据集23(步骤116)。在一个示例中，预测引擎68和/或后处理引擎70的神经网络可以由审查者(例如，车队管理者22)以空中(over the air)方式训练/更新以反映最新的训练数据。
64.如果审阅者确实确认事故的发生(步骤120的“是”)，则数据集23被保存以供将来参考并且可选地还用作预测引擎68和/或后处理引擎70的神经网络的训练数据(步骤124)(例如，以如上所述的空中方式)。在一个示例中，步骤124包括将数据集23保存在车队管理服务器18中的车辆事故数据集的储存库中，数据集23可用于驾驶员指令，和/或在需要数据集23作为与车辆事故有关的证据的情况下(例如在确定车辆事故中谁有过错时)用作证据。
65.通过检测车辆接近传感器34和车辆操作传感器36数据有用的最相关时间，ecu 30能够操作以显著减少审查者审查车辆数据所花费的时间。
66.可以提供的可选特征是其中通过请求ecu 30开始保存来自传感器34、36的数据的数据集，车辆14的乘员(例如，驾驶员)可以基于他们的期望触发数据集的记录。这可以提供不与标准集66之一对应的值得注意的事件的记录(例如，仅涉及第三方车辆而不涉及车辆14的车辆意外事故)和/或可以提供虽然最终会满足一个或多个标准集66，但尚未满足任何标准集66的事件的记录(例如，某人驾驶不规律)。乘员请求的记录可以通过后续的乘员请求和/或通过检测到退出事件而被终止(见步骤110)。
67.虽然现有技术系统已经提出利用有限持续时间的滚动视频缓冲器，但这规定了严格的最大记录长度。在一个示例中，记录系统24可以实现记录包括视频馈送的数据集，所述视频馈送具有不受这种滚动缓冲器约束的任意时间跨度。此外，根据车队运营商的要求，车辆记录系统24是高度可定制的。例如，某些车队12对于什么构成即将发生的车辆事故可以使用不同的标准。此外，作为另一示例，某些车队12可能希望省略后处理引擎70并直接进行到将数据集23传输给审查者。
68.尽管已经公开了示例实施例，但是本领域技术人员将认识到某些修改将落入本公开的范围内。为此，应研究以下权利要求书以确定本公开的范围和内容。