检测车辆中的对象并获得对象信息的系统、装置和方法与流程

检测车辆中的对象并获得对象信息的系统、装置和方法
1.交叉引用
2.本技术要求2019年2月17日提交的标题为“检测车辆中的对象并获得对象信息的系统、装置和方法(system,device,and methods for detecting and obtaining information on objects in a vehicle)”(代理人案号gr002/usp)的第62/806,840号的美国临时申请优先权，所述美国临时申请以全文引用的方式并入本文中。
技术领域
3.在本发明的一些实施例中，本发明涉及获得关于场景中的对象的信息，并且更具体地说，但非排他地，涉及检测隐藏对象并获得关于所述隐藏对象的信息，所述隐藏对象例如车辆座舱中的乘员设置。
4.援引并入
5.本说明书中提及的所有公开、专利以及专利申请都以引用的方式并入本文中，其引用的程度如同每个单独的公开、专利或专利申请经特定并且单独地指示以引用的方式并入一般。


背景技术：

6.包含运动和/或位置检测的对象检测是极具挑战性的任务，因此投入了大量研究来开发和部署用于准确地检测和分类场景中存在的对象的工具、算法和方法。
7.具体地说，车辆座舱内驱动器和乘客感测需要高度的准确性，尤其需要与安全相关的应用，例如安全带提醒装置(sbr)、例如用于安全气囊抑制的离位指示(oop)，以及用于警示驾驶员的驾驶员监测系统(dms)。另外，当今的高级驾驶员辅助系统(adas)和自主汽车需要关于车辆座舱中驾驶员和乘客的精确信息。
8.此外，为了达到高度的准确性，对车辆座舱中的一个或多个对象的标识有时适用于可能不易标识的对象，例如被例如车辆座椅等车辆单元中的一个或多个阻挡的隐藏对象。另外，关于对象的所需信息不仅适用于对象自身，而且还适用于所述对象在乘客室中的位置和/或定向。例如，后向儿童座椅是与前向儿童座椅不同的对象，而离位的成人可以是与正常就座的成人不同的对象。例如，如图1a所示，车辆100的后内部区段120被前排驾驶员座椅111和前排乘客座椅130阻挡，并且因此例如后座椅的隐藏区域可能无法被监测到，特别是当在后座椅中，例如乘客125的乘客倾斜在座椅位置之外，使得他或她被例如座椅或头枕等其它对象遮挡。在此类情况下，常规监测方法将无法标识乘客和/或乘客的身体和面部，所述常规监测方法主要基于安装在车辆中的需要与成像目标成视线的传感器，例如定位在车辆前镜附近的传感器。
9.例如，目前使用的一些解决方案包含在汽车前部，例如在车辆座舱前镜上方或下方安装监测系统。在许多情况下，这些监测系统的视场有限，使得可靠性水平较低，因为座舱型汽车中例如后座椅和其它区段等许多隐藏区域被前座椅或其它障碍物阻挡，并且因此，可能无法通过监测系统查看以及被检测到。
10.另外，在例如车辆乘客被部分遮盖的情况下，现有监测系统检测通常有限。此外，这些监测系统还可能例如在一个或多个乘客倾斜在座椅位置之外或身体部位侵入相邻座椅的情况下错误地检测乘客的非标准位置。
11.此外，现有监测系统需要大量且昂贵的处理资源，并且训练监测系统和处理单元所需的处理时间通常很长，从而引起资源损耗。
12.其它现有解决方案包含将数个传感器嵌入车辆座舱中的各种位置，例如嵌入汽车座舱的后区段中(例如，嵌入车辆的舱顶以及车门中)，这在至少一些方面可能不太理想。这些现有系统需要使用许多传感器，因此体积大、复杂、难以装在车辆中，并且传感器光学件需要比理想情况下更高程度的对准。
13.鉴于上述情况，用于感测和检测车辆内部的对象的改进的监测系统、装置和方法将是有益的，其克服了现有检测的至少一些上述缺陷。理想地，此类系统将是紧凑的，与例如车辆系统和单元等其它装置和系统集成，足够坚固且成本低，便于最终用户感测对象，使用方便。


技术实现要素：

14.本公开的实施例改进了感测、检测隐藏对象并获得关于所述隐藏对象的信息，所述隐藏对象例如车辆座舱中的乘员设置。根据第一实施例，提供一种用于检测具有内部乘客室的车辆中的乘坐状态的方法，所述方法包括：使用至少一个处理器来进行以下操作：分析所述内部乘客室的数据以得到所述车辆的当前乘坐状态的至少一个概率；分析所述内部乘客室的额外数据以得到所述车辆的所述乘坐状态的预测概率，其中所述预测概率中的每个概率与将所述当前乘坐状态改变为不同乘坐状态的概率相关；将所述当前乘坐状态的所述当前至少一个概率与所述乘坐状态的所述预测概率组合以得到所述车辆的更新后乘坐状态的更新后概率；基于所述车辆的更新后乘坐状态的所述更新后概率而确定所述当前乘坐状态；基于确定的乘坐状态而生成输出以控制一个或多个装置或应用程序。
15.在许多实施例中，所述车辆的当前乘坐状态的所述至少一个概率呈概率向量的形式，并且所述车辆的所述乘坐状态的所述预测概率呈矩阵的形式。
16.在许多实施例中，所述矩阵是马尔可夫(markov)矩阵。
17.在许多实施例中，所述概率向量乘以所述矩阵以得到所述车辆的更新后乘坐状态的所述更新后概率。
18.在许多实施例中，所述数据包括所述内部乘客室的至少一个图像，所述至少一个图像由安装在所述车辆中的至少一个感测装置捕获。
19.在许多实施例中，使用深度神经网络(dnn)来分析所述至少一个图像以确定所述当前乘坐状态。
20.在许多实施例中，基于所述乘坐状态的所述预测概率和当前乘坐状态的所述至少一个概率的加权平均值而估计所述更新后乘坐状态。
21.在许多实施例中，使用无限脉冲响应(iir)滤波器来测量所述加权平均值。
22.在许多实施例中，从以下中的一个或多个获得所述额外数据：所述车辆中的可能移动的先验知识；所述内部乘客室的2d或3d图像；rf图像；一个或多个对象的已标识振动；已标识微振动；散斑图案分析。
23.在许多实施例中，所述额外数据包括以下中的一个或多个：车辆速度；车辆加速度；档位；燃料和/或车辆单元状态；车门状态；车窗状态；哪扇车门或车窗是关闭或打开的；与车辆座椅相关的信息；安全带状态、空调状态；车辆内部温度水平、与多媒体相关的信息；面部检测数据；运动检测数据；深度图。
24.在许多实施例中，一个或多个装置或应用程序是所述车辆的一个或多个装置或应用程序。
25.在许多实施例中，由包括具有多个模态的传感器的监测系统获得所述额外数据。
26.在许多实施例中，所述监测系统安装在所述车辆的控制板或仪表板或舱顶中。
27.在许多实施例中，确定的乘坐状态进一步包括标识所述车辆中的乘客总数目或已标识乘客的位置。
28.在许多实施例中，位置标识进一步包括标识乘客是坐直还是侧身还是前倾。
29.在许多实施例中，持续地更新所述车辆的所述乘坐状态的所述预测概率。
30.根据第二实施例，提供一种用于检测具有内部乘客室的车辆中的乘坐状态的系统，所述系统包括：监测系统，其包括至少一个感测装置，所述感测装置被配置成捕获所述车辆的内部乘客室的图像；以及至少一个处理器，其与所述监测系统通信，其中所述至少一个处理器被配置成进行以下操作：分析所述内部乘客室的所述已捕获的图像以得到所述车辆的当前乘坐状态的至少一个概率；
31.分析所述内部乘客室的额外数据以得到所述车辆的所述乘坐状态的预测概率，其中所述预测概率中的每个概率与将所述当前乘坐状态改变为不同乘坐状态的概率相关；将所述当前乘坐状态的所述当前至少一个概率与所述乘坐状态的所述预测概率组合以得到所述车辆的更新后乘坐状态的更新后概率；基于所述车辆的更新后乘坐状态的所述更新后概率而确定所述当前乘坐状态；基于确定的乘坐状态而生成输出以控制一个或多个装置或应用程序。
32.在许多实施例中，所述额外数据包括以下中的一个或多个：先验知识；光流。
33.在许多实施例中，所述先验知识可以包含以下中的一个或多个：车辆速度；车辆加速度；档位；燃料和/或车辆单元状态；车门状态；车窗状态；哪扇车门或车窗是关闭或打开的；与车辆座椅相关的信息；安全带状态、空调状态；车辆内部温度水平、关于多媒体的信息。
34.在许多实施例中，所述监测系统包括照明源。
35.在许多实施例中，所述监测系统被配置成在所述内部乘客室处检测至少一个乘员。
36.在许多实施例中，所述监测系统进一步被配置成检测所述至少一个乘员的面部；运动；姿态中的一个或多个。
37.在许多实施例中，所述监测装置包括不同类型的多个感测装置。
38.在许多实施例中，所述多个感测装置选自以下组成的组：射频(rf)传感器；面部检测器；运动检测器；超声波传感器、声传感器、压力传感器、热检测器。
39.在许多实施例中，所述一个或多个装置或应用程序是所述车辆的一个或多个装置或应用程序，并且选自以下组成的组：一个或多个报警器；车辆安全气囊；hvac(供热通风与空气调节)系统；车辆音响系统；车辆的电子稳定控制(esc)；信息娱乐系统；车辆安全系统；
安全带提醒装置(sbr)系统；离位指示(oop)系统；驾驶员监测系统(dms)；高级驾驶员辅助系统(adas)。
40.在许多实施例中，所述输出是被配置成操作以下动作中的一个或多个的输出信号：指示一个或多个乘员的安全状况；根据所述更新后乘坐状态调节车辆系统以激活报警器，从而指示已乘坐而未系安全带；在离位时抑制安全气囊；优化所述车辆音响系统；优化所述车辆的电子稳定控制(esc)；检测锁定车辆中的乘员并自动打开车窗或车门中的一个或多个；调整一个或多个多媒体系统；检测进入和/或尝试进入车辆座舱的闯入者；验证所述驾驶员是清醒的并全神贯注地驾驶所述车辆。
41.根据第三实施例，提供一种存储计算机程序指令的非瞬态计算机可读存储介质，所述计算机程序指令在由计算机处理器执行时使所述处理器执行以下步骤：接收车辆的内部乘客室的感觉数据，其中所述感觉数据由一个或多个感测装置捕获；接收所述内部乘客室的额外数据，其中所述额外数据包括与车辆状态或车辆单元状态相关的信息；分析所接收的感觉数据和所接收的额外数据以提取关于所述一个或多个对象或所述内部乘客室的详细信息；融合提取的详细信息以得到最佳决策模型，所述最佳决策模型被配置成考虑所述详细信息的可靠性。
42.在许多实施例中，所述提取的详细信息包括车辆乘坐状态或关于车辆中的一个或多个感兴趣对象或者所述对象/或区域的部分的细节中的一个或多个。
43.在许多实施例中，由所述车辆感测装置或其它传感器获得所述额外数据。
44.在许多实施例中，所述提取的详细信息包括具有不同模态的多个数据输入，并且所述融合包括融合所述多个数据输入以得到一个或多个预测乘坐状态概率的随机模型，以及基于预测乘坐状态概率而随时间持续地更新当前状态概率。
45.根据第四实施例，提供一种用于测量车辆座舱中的一个或多个对象的实际长度的方法，所述方法包括：由至少一个图像传感器获得所述车辆座舱的一个或多个图像；
46.由至少一个处理器分析获得的一个或多个图像以标识所述车辆座舱中的一个或多个对象；使用一个或多个神经网络以像素为单位估计所述获得的一个或多个图像中的已标识对象的长度；测量所述已标识对象与所述至少一个图像传感器的距离，或比较所述一个或多个已标识对象到所述车辆中的已知对象的距离以得到所述一个或多个对象的长度的实际测量值。
47.在许多实施例中，一个或多个对象是一个或多个人。
48.在许多实施例中，测量的长度包括所述一个或多个人的身高和体宽。
49.在许多实施例中，基于测量的身高和体宽而测量所述一个或多个人的体重。
50.在许多实施例中，使用一个或多个神经网络来测量所述一个或多个人的身体部分。
51.根据第五实施例，提供一种用于监测婴儿座椅并获得关于车辆座舱中的所述婴儿座椅的信息的方法，所述方法包括：标识所述车辆座舱处的婴儿座椅；使用监测系统来监测所述婴儿座椅或所述婴儿座椅周围的区域，以得到关于所述婴儿座椅或所述婴儿座椅周围的所述区域的数据；
52.分析所述数据以标识抱着婴儿的一个或多个人的移动，并分析包含所述一个或多个人将所述婴儿放置并锁定在所述婴儿座椅上所花费的测量时间的数据；基于分析数据而
确定所述婴儿的存在。
53.在许多实施例中，使用融合算法来分析所述数据。
54.在许多实施例中，所述方法进一步包括报告或显示所述婴儿的位置或方位。
55.根据第六实施例，提供一种用于检测具有内部乘客室的车辆中的一个或多个对象的存在的系统，所述系统包括：
56.监测系统，其被配置成监测所述车辆的内部乘客室处的区域和对象，所述监测系统包括：一个或多个感测装置；一个或多个处理器，所述一个或多个处理器被配置成进行以下操作：接收所述内部乘客室的感觉数据，其中所述感觉数据是由所述一个或多个感测装置捕获的；
57.接收所述内部乘客室的额外数据，其中所述额外数据是由所述车辆传感器获得的；分析所接收的感觉数据和所接收的额外数据以提取关于所述一个或多个对象和/或所述内部乘客室的详细信息；融合提取的详细信息以得到考虑所述详细信息的可靠性的最佳决策。
58.在许多实施例中，所述详细信息包括所述车辆的当前乘坐状态的至少一个概率，并且其中所述融合包括将当前乘坐状态的所述至少一个概率与所述乘坐状态的预测概率组合以得到所述车辆的更新后乘坐状态的更新后概率。
59.在许多实施例中，所述方法包括基于确定的乘坐状态而生成输出以控制所述车辆的一个或多个装置或应用程序。
60.在许多实施例中，一个或多个对象位于所述乘客室中的后区段中。
61.在许多实施例中，所述监测系统安装在所述车辆的控制板或仪表板或舱顶中，从而获得关于位于所述车辆的所述乘客室中的所述后区段中的所述一个或多个对象的信息。
62.在许多实施例中，其中所述详细信息包含以下中的一个或多个：所述车辆中的一个或多个座椅被乘坐的概率的估计，和/或所述车辆中的乘客总数目，和/或已标识乘客的位置。
63.在许多实施例中，位置标识进一步包括标识乘客是坐直还是侧身还是前倾。
64.在许多实施例中，其中所述感觉数据包括以下中的一个或多个：
65.所述内部乘客室的2d或3d图像；rf图像；一个或多个对象的已标识振动；已标识微振动；散斑图案分析。
66.在许多实施例中，其中所述额外数据包括以下中的一个或多个：
67.车辆速度；车辆加速度；档位；燃料和/或车辆单元状态；车门状态；车窗状态；哪扇车门或车窗是关闭或打开的；与车辆座椅相关的信息；安全带状态、空调状态；车辆内部温度水平、与多媒体相关的信息。
68.在许多实施例中，其中所述多个不同感测装置包括2d成像装置和/或3d成像装置和/或rf成像装置和/或振动传感器中的一个或多个。
69.在许多实施例中，其中所述车辆传感器选自以下组成的组：
70.车辆发动机传感器；座椅传感器；车门传感器；座椅扣传感器；汽车稳定性传感器；车窗传感器。
71.根据第七实施例，提供一种用于检测具有内部乘客室的车辆中乘员的数目的方法，所述方法包括：使用至少一个处理器来进行以下操作：获得包含所述乘员的一个或多个
图像的数据；
72.对所述一个或多个图像应用一个或多个姿态检测算法，以分别针对所述乘员中的每一个或者一个或多个乘员得到一个或多个骨架模型；
73.基于一个或多个骨架模型而生成预测模型以检测所述车辆中乘员的所述数目。
74.在许多实施例中，所述一个或多个图像包括二维(2d)图像，并且其中所述一个或多个骨架模型是2d骨架模型。
75.在许多实施例中，获得的数据包括两个或更多个图像，并且其中所述两个或更多个图像包括所述内部乘客室的二维(2d)图像和三维(3d)图像，并且其中所述处理器被配置成进行以下操作：分析所述3d图像以生成所述乘员的一个或多个深度图表示；将所述深度图表示与生成的深度图表示组合以得到所述乘员的一个或多个3d骨架模型；以及分析所述一个或多个3d骨架模型以检测所述车辆中乘员的所述数目。
76.在许多实施例中，所述处理器被配置成基于预定义筛选准则而分析所述骨架模型以去除无效的骨架模型。
77.在许多实施例中，所述分析所述一个或多个骨架模型以检测所述车辆中乘员的所述数目包括将生成的骨架模型插入到所述预测模型，所述预测模型被配置成在时间(t)基于当前和先前(t
‑
1)的乘坐测量值而估计乘员的所述数目。
78.在许多实施例中，所述预测模型是融合算法。
79.在许多实施例中，所述融合算法包括组合两种或更多种类型的数据输入。
80.在许多实施例中，所述两种或更多种类型的数据输入包含所述一个或多个骨架模型以及光流数据或面部检测数据中的一个或多个。
81.在许多实施例中，所述预测模型是随机模型。
82.在许多实施例中，所述随机模型呈马尔可夫链或马尔可夫矩阵的形式。
83.在许多实施例中，所述车辆的当前乘坐状态的所述至少一个概率呈概率向量的形式，并且所述车辆的所述乘坐状态的所述预测概率呈矩阵的形式。
84.在许多实施例中，所述处理器进一步被配置成进行以下操作：分析所述内部乘客室的额外数据以得到所述车辆的所述乘坐状态的预测概率，其中所述预测概率中的每个概率与将所述当前乘坐状态改变为不同乘坐状态的概率相关；将所述当前乘坐状态的所述当前至少一个概率与所述乘坐状态的所述预测概率组合以得到所述车辆的更新后乘坐状态的更新后概率；基于所述车辆的更新后乘坐状态的所述更新后概率而确定所述当前乘坐状态；以及
85.基于确定的乘坐状态而生成输出以控制一个或多个装置或应用程序。
86.在许多实施例中，所述车辆的当前乘坐状态的所述至少一个概率呈概率向量的形式，并且所述车辆的所述乘坐状态的所述预测概率呈矩阵的形式。
87.在许多实施例中，所述概率向量乘以所述矩阵以得到所述车辆的更新后乘坐状态的所述更新后概率。
88.在许多实施例中，从以下中的一个或多个获得所述额外数据：所述车辆中的可能移动的先验知识；所述内部乘客室的2d或3d图像；rf图像；一个或多个对象的已标识振动；已标识微振动；散斑图案分析。
89.根据第八实施例，提供一种用于检测具有内部乘客室的车辆中乘员的数目的方
法，所述方法包括：使用至少一个处理器来进行以下操作：获得包含所述乘员的两个或更多个图像的数据；应用一个或多个面部检测或面部识别算法以标识所述乘员；分析所述乘员的所述标识以检测所述车辆中乘员的所述数目。
附图说明
90.通过参考以下阐述了说明性实施例的详细描述和附图，将获得对本公开的特征和优点的更好理解，在所述实施例中使用了本公开的原理。
91.图1a示出了根据现有技术的车辆的内部区段的示意图，其中可能无法监测到后座椅：
92.图1b是根据本公开的一些实施例的车辆的侧视图，其示出了包括车辆单元和监测系统的乘客舱，所述监测系统被配置成监测车辆内部的区域和对象以检测一个或多个对象或乘客的存在，并且任选地确定对象的类型和/或对象的位置，和/或确定对象的另一属性或特性；
93.图2a是示出根据本公开的一些实施例的标识例如车辆座舱中的隐藏对象等对象并且提供关于已标识对象的信息的步骤的流程图；
94.图2b示出了根据本公开的一些实施例的包括监测系统的车辆的更详细框图；
95.图3是根据本公开的一些实施例的用于监测车辆中的区域或对象的方法的高级示意性流程图；并且
96.图4示出了根据本公开的一些实施例的用于监测车辆中的乘客室的内部的方法的流程图，并且更具体地说，示出了用于在短或长的时间段内无法标识乘客的情况下标识车辆中的乘客的位置和/或方位和/或数目的方法的流程图；
97.图5a是根据本公开的一些实施例的车辆的侧视图，其示出了包含后排乘客座椅上的后向婴儿座椅以及车辆内部监测系统的乘客室或乘客容器(passenger container)；
98.图5b示出了根据本公开的一些实施例的用于标识位于车辆后区段中的婴儿座椅并且在婴儿或儿童被忘在婴儿座椅处的情况下进行警示的方法的流程图；
99.图6a示出了根据本公开的一些实施例的融合方法的流程图；
100.图6b示出了根据本公开的一些实施例的用于组合预测状态与当前车辆乘坐状态的融合处理分析算法的实例；
101.图6c示出了根据本公开的一些实施例的可用于组合额外信息以得到更新后状态和车辆乘坐状态的更新后概率参数的更新算法的实例；
102.图7示出了根据本公开的一些实施例的呈现仅基于单一检测方法的先前方法和系统与包含融合多种检测方法的本发明方法和系统之间的比较的两个视频图像；
103.图8a示出了根据一些实施例的用于测量车辆座舱中的对象的高度和/或重量的方法的流程图；
104.图8b示出了根据本公开的一些实施例的由神经网络标识的乘客骨架；
105.图9a是示出根据实施例的检测乘坐状态的步骤的流程图，所述步骤包含标识对象，例如车辆座舱中的隐藏对象，以及在一些情况下使用3d骨架模型来提供关于已标识对象的信息；并且
106.图9b是示出根据实施例的检测乘坐状态的步骤的流程图，所述步骤包含标识对
象，例如车辆座舱中的隐藏对象，以及在一些情况下使用3d骨架模型来提供关于已标识对象的信息。
具体实施方式
107.在以下描述中，将描述本发明的各个方面。出于解释的目的，阐述具体细节以便提供对本发明的透彻理解。对于本领域技术人员显而易见的是，存在细节不同而不影响其基本性质的本发明的其它实施例。因此，本发明不受附图中示出且在说明书中描述的内容的限制，而是仅如所附权利要求中所指示的，其中适当范围仅由对所述权利要求的最宽泛的解释来确定。
108.本文公开的配置可以用许多方式中的一种或多种组合，以改进监测和检测方法、系统和装置。本文公开的配置的一个或多个部件可以用多种方式彼此组合。
109.根据实施例，提供了用于监测区域以标识车辆内例如不在视线中的，例如对于定位在车辆中的监测系统不可见的一个或多个对象的装置、系统和方法。在一些情况下，对象可以位于车辆中的隐藏区域处，例如，对象可以位于车辆后区段(例如，车辆座舱)处，和/或位于驾驶员后方的乘客室中的一个或多个空间处，或位于车辆后座椅处(例如，位于七座或更多座的车辆中的第二排、第三排或最后一排)。所述方法和系统可以标识并确定已标识对象是乘员、乘员的形状和/或姿态和/或位置。所述方法和系统可以包含检测车辆中的对象的存在和/或位置。
110.根据另外的实施例，提供了用于通过例如从不同的多个来源获得包含各种车辆信息的多个数据输入来确定乘坐状态和/或检测车辆中的一个或多个对象以生成相干且稳定的预测模块的装置、系统和方法。预测模块被配置和启用以基于多个数据输入并使用一个或多个概率模型来持续地，例如实时地更新乘坐状态。通过使用逻辑回归方法和/或神经网络和/或启发式规则集，可以融合包含各种信息的多个数据输入，以优化融合过程在对象检测率和误报率方面的性能。
111.在一些情况下，装置、系统和方法包含融合例如具有不同模态或类型的多个数据输入，以及分析融合的数据以得到一个或多个预测乘坐状态概率的随机模型(例如，马尔可夫链)，并基于预测乘坐状态概率而随时间持续地更新当前状态概率(例如，概率向量)。
112.在一些情况下，如本文所描述的系统和方法包含被配置成监测乘客室内部的车辆处的区域和对象的监测系统。监测系统可以包含可与一个或多个处理器通信的一个或多个感测装置。处理器被配置成：接收内部乘客室的感觉数据并分析所述感觉数据以确定车辆的内部乘客室的基础乘坐状态的至少一个概率因子，所述概率因子例如呈概率向量形式；接收所述内部乘客室的额外数据；分析所接收的额外数据以得到随机模型(例如，马尔可夫链)，所述随机模型包括从一个乘坐状态改变为另一乘坐状态的概率；基于随机模型而估计预测乘坐状态；以及通过组合预测乘坐状态与基础乘坐状态来确定更新后乘坐状态。
113.根据另外的实施例，提供一种用于检测具有内部乘客室的车辆中的乘坐状态的装置、系统和方法，所述方法包括：使用至少一个处理器来进行以下操作：分析所述内部乘客室的数据以得到所述车辆的当前乘坐状态的至少一个概率；分析所述内部乘客室的额外数据以得到所述车辆的所述乘坐状态的预测概率，其中所述预测概率中的每个概率与将所述当前乘坐状态改变为不同乘坐状态的概率相关；将所述当前乘坐状态的所述当前至少一个
概率与所述乘坐状态的所述预测概率组合以得到所述车辆的更新后乘坐状态的更新后概率；基于所述车辆的更新后乘坐状态的所述更新后概率而确定所述当前乘坐状态；基于确定的乘坐状态而生成输出以控制装置。
114.根据实施例，方法和系统包含基于额外数据而随时间持续地更新乘坐状态。
115.如本文所使用，相似字符指代相似元素。
116.有利地，根据实施例的方法和系统提供高能效以及短的处理和获取时间。
117.在阐述本发明的详细说明书之前，阐述下文将使用的某些术语的定义可能是有帮助的。
118.如本文所使用，术语“光”涵盖具有电磁波谱的紫外部分、可见部分或红外部分中的一个或多个中的波长的电磁辐射。
119.如本文所使用，“标识”或“估计”通常意指确定对象属于特定集合或类别。取决于系统的目的，类别可以包含例如后向婴儿座椅、包含人类乘员，或未坐在后向婴儿座椅中的人类乘员，或在某一身高或体重范围内的人。
120.车辆中的“对象”或座椅的“占用物品”或“乘员”可以是例如人或动物等活体乘员、例如植物等另一活体有机体，或例如一箱或一袋杂物或者空儿童座椅等无生命对象。
[0121]“确定乘坐”或“检测乘坐”可以包含检测乘员和/或监测整个空间中的一个或多个乘员，例如，对乘员计数、跟踪乘员、确定乘员在空间中的位置等。
[0122]
如本文所使用，车辆的“后座”或“后座椅”通常将意指驾驶员所坐的前座椅后方的任何座椅。因此，在小型货车或存在多于两排座椅的其它大型车辆中，驾驶员后方的每排座椅被视为后座，并且因此，此类车辆中可存在多于一个“后座”。前座椅后方的空间包含任何数目的此类后座，以及任何行李箱空间或其它后区域，例如存在于旅行车中。
[0123]“图像”或“光学图像”通常将意指使用包含x射线、紫外线、视觉、红外线、射频(rf)的电磁辐射获得的任何类型的图像。
[0124]
如本文所使用，“车辆”包含可通过其自身的电力或使用来自另一车辆的动力来移动的任何容器。其包含但不限于汽车、卡车、铁路车、船舶、飞机、拖车、船运集装箱、驳船等。
[0125]
用于乘员的“离位”通常意指乘员，无论是驾驶员还是乘客，在乘员保护设备(例如，安全气囊)展开之前足够靠近此乘员保护设备，使得他或她可能因展开事件本身而受到比事故更严重的伤害。这还可意指乘员未适当地定位以实现安全气囊展开的有益约束效果。对于定位成过于靠近安全气囊的乘员，当乘员的头部或胸部距离安全气囊模块展开门的距离超过例如约5英寸的一定距离时，通常会发生这种情况。应抑制安全气囊展开的实际距离取决于安全气囊模块的设计，并且乘客安全气囊的实际距离通常比驾驶员安全气囊的实际距离更远。
[0126]“动态离位”是指车辆乘员(驾驶员或乘客)在事故发生前的时间点处于适当位置，但在安全气囊展开之前由于碰撞前制动或使车辆在碰撞前减速的其它动作而变得离位(即，过于靠近安全气囊模块，使得他或她可能因安全气囊展开而受伤或死亡)的情况。
[0127]
如本文所使用，“换能器”或“收发器”通常将意指发射器和接收器的组合。在一些情况下，同一装置将同时充当发射器和接收器，而在其它情况下，将使用彼此邻近的两个单独装置。在一些情况下，不使用发射器，并且在这种情况下，换能器将仅意指接收器。换能器包含例如电容、电感、超声波、电磁(天线、ccd、cmos阵列)、电场、重量测量或感测装置。在一
些情况下，换能器将是单独地、以线性或某一其它适当形状的阵列起作用的单个像素。在一些情况下，换能器可包括两个部分，例如电容器板或电场传感器天线。有时，一个天线或板将与数个其它天线或板通信，并且因此，出于本文的目的，换能器将被广义地定义为在大多数情况下指电容器板或场传感器天线中的任一个，并且在一些其它情况下，一对此类板或天线将包括通过使用所述术语的上下文确定的换能器。
[0128]
出于本文的目的，“神经网络”被定义为包含所有此类学习系统，包含蜂窝神经网络、支持向量机和其它基于内核的学习系统和方法、细胞自动机以及学习的所有其它图案识别方法和系统。如本文所使用，“组合神经网络”通常将适用于两个或更多个神经网络的任何组合，如最广泛定义的，所述神经网络连接在一起或分析所有输入数据或其一部分。“神经网络”也可定义为一个系统，其中将待处理的数据分离成离散值，然后在至少双阶段过程中对离散值进行操作和组合，并且其中在每个阶段对数据执行的运算对于每个离散值通常是不同的，并且至少通过训练过程来确定所执行的运算。所执行的运算通常是通过特定系数或权重和通过不同运算进行的乘法，因此在此实例中意指针对每个离散值使用不同的权重。
[0129]“波传感器”或“波换能器”通常是感测超声波或电磁波的任何装置。电磁波传感器例如包含感测从紫外线下至几赫兹的电磁波谱的任何部分的装置。传感器可以包含用于感测可见波和/或红外波、毫米波和微波雷达的阵列，以及电容或电场和/或磁场监测传感器，所述传感器依赖于占用空间的对象的介电常数并且还依赖于如下文定义的波所表示的场的时间变化，以确定状态变化。
[0130]“ccd”通常将定义为包含所有装置，包含cmos阵列、aps阵列、焦平面阵列、qwip阵列或等效物、人造视网膜，特别是hdrc阵列，其能够将包含红外线、可见光和紫外光的光频率转换成电信号。用于本文公开的许多应用的特定ccd阵列实施在一侧小于两厘米的单个芯片上。使来自ccd阵列的数据数字化并将其串行地发送到包含微处理器的电子电路以分析数字化的数据。为了使需要存储的数据量最小化，在从ccd阵列接收到图像数据时对所述图像数据进行初始处理，如本文其它地方更详细地论述的。在一些情况下，一些图像处理可以在例如kage等人的上述人造视网膜制品中所描述的芯片上进行。
[0131]
如本文所使用，“传感器”可以是单个接收器，或两个换能器(发射器和接收器)的组合，或可以传输和接收的一个换能器。
[0132]
如本文所使用，“光流”或“光学流”可以是由观察者与场景之间的相对运动产生的视觉场景中的对象、表面和边缘的表观运动的图案。
[0133]
如本文所使用，车辆的“部分”通常包含车辆的任何部件、传感器、系统或子系统，例如转向系统、制动系统、油门系统、导航系统、安全气囊系统、安全带卷收器、安全气囊充气阀、安全气囊充气控制器和安全气囊排气阀，以及下文在“部件”和“传感器”的定义中列出的那些部分。
[0134]
如本文所使用，“传感器系统”通常包含下文在“传感器”的定义中列出的任何传感器，以及检测、感测或测量某物的任何类型的部件或部件的组件。
[0135]
现在参考附图，图1b是根据实施例的车辆105的侧视图，其示出了乘客舱100，所述乘客舱包括车辆100单元、例如传感器112、114、116、118等一个或多个传感器和监测系统110，所述监测系统被配置成监测车辆100内部的区域和对象以检测例如驾驶员101或乘客
102等一个或多个对象(例如，乘员)的存在，并且任选地确定对象的类型和/或对象的位置和/或对象的定向和/或对象的姿态，和/或确定对象的另一属性或特性。根据一个实施例，传感器112、114、116、118可以是嵌入车辆100中的各种位置中的现有车辆传感器中的一个或多个。例如，传感器112可以是车辆的行李箱传感器，传感器114可以是座椅传感器或安全带传感器，传感器116可以是车窗或车门传感器，传感器118可以是车辆发动机传感器。在其它实施例中，可以包含不同和/或额外的传感器，例如波传感器。
[0136]
根据一些实施例，监测系统110可以被安置和/或安装和/或集成和/或嵌入在车辆中，特别是车辆座舱100中，使得场景是座舱内部，并且存在于座舱中的对象可以包含例如一个或多个车辆乘员(例如，驾驶员、乘客、宠物等)、与座舱相关联的一个或多个对象(例如，座椅、车门、车窗、头枕、扶手等)、与车辆乘员中的一个或多个相关联的物品(例如，婴儿座椅、宠物笼、公文包、玩具等)等。
[0137]
具体地说，监测系统110被配置成监测不在视线中和/或不在监测系统110的直接高低线中的区域和对象，例如位于车辆座舱的例如后座等后区段处的隐藏区域和对象。隐藏对象和区域可以包含例如被前排乘客座椅的头枕104部分阻挡的婴儿座椅、靠在后座椅上的乘客、儿童或箱子等，所述婴儿座椅例如放在后座椅中的后向婴儿座椅103。根据实施例，监测系统和方法被配置成标识被监测对象的一个或多个属性。例如，监测系统110可以确定对象存在于座椅上，确定对象的类型，例如对象是儿童座椅，和/或确定对象的姿态和定向，例如儿童座椅是后向的，和/或确定对象是靠在后座椅上的乘客。监测系统110还可标识对象及其状态，例如，对象的类型或性质(获得关于对象是什么的信息)，例如，对象是喝醉了或睡着了并且相对于安全气囊离位的成人、被乘坐的后向儿童座椅、被乘坐的前向儿童座椅、未被乘坐的后向儿童座椅、未被乘坐的前向儿童座椅、儿童、狗、一袋杂物等。
[0138]
根据一些实施例，监测系统110被配置成估计一个或多个乘员的体重、身高、年龄和性别。
[0139]
根据一些实施例，系统和方法被配置成生成输出，例如输出信号，以基于例如乘坐状态等测量和确定的数据而控制车辆的一个或多个装置或系统。例如，在一些情况下，监测系统110被配置成为了安全(例如，防盗)以及为了方便(汽车系统的个性化)而标识特定的人。例如，如果标识的乘员是车辆的驾驶员，则车辆的音频系统接口或显示器可以包含与驾驶员兼容的控制按钮，而如果标识的乘员是车辆的乘客，则音频系统接口或显示器可以包含与标识乘客兼容的控制按钮。在一些情况下，监测系统110被配置成根据检测到的姿态调节车辆的系统。更具体地说，根据实施例，(例如，实时地)基于车辆的测量和确定的乘坐状态，系统110被配置成生成输出，例如输出信号，例如以激活车辆装置/单元子单元中的一个或多个。例如，已激活的一个或多个车辆装置可以是报警器(例如，听觉、视觉或其它形式)，其指示已乘坐而未系安全带和/或验证在车辆座舱中检测到的每个车辆乘员(例如，驾驶员、乘客)恰当地系上了安全带；和/或在离位时抑制安全气囊；和/或控制车辆的hvac(供热通风与空气调节)系统；和/或优化车辆音响系统；和/或根据车辆中的乘员分布来优化车辆的电子稳定控制(esc)；和/或检测被锁车辆中的乘员，并相应地自动打开一个或多个车窗(例如，在车辆温度过高或超过预定阈值的情况下)和/或激活声音警报和/或自动地将消息发送给紧急部队或车辆所有者。
[0140]
根据一些实施例，监测系统110可以通信,或可以包含信息娱乐系统和/或应用程
序，所述信息娱乐系统和/或应用程序被配置成根据座舱中由监测系统110检测到的车辆乘员的计数，特别是根据车辆乘员在座舱内的位置，例如前座椅、后座椅、右侧座椅、左侧座椅等来调整一个或多个多媒体系统。在另一实例中，监测系统110可以通信，或可以包含车辆安全系统和/或应用程序，所述车辆安全系统和/或应用程序可以检测进入和/或尝试进入座舱的闯入者。
[0141]
根据一些实施例，监测系统110可以分析获得的数据以验证驾驶员是清醒的并全神贯注地驾驶车辆。
[0142]
根据一些实施例，监测系统110可以包含例如不同类型的一个或多个传感器，例如2d成像装置和/或3d成像装置和/或rf成像装置和/或振动传感器(微振动)等等，以捕获车辆座舱的感觉数据。具体地说，2d成像装置可以例如从不同角度捕获车辆座舱的图像(例如，2d图像，或以大约390nm
‑
750nm和/或在近红外(nir)(例如，大约750nm
‑
1400nm)或红外(例如，大约750nm
‑
1mm)部分和/或近紫外(nuv)中的波长捕获的图像)，并生成座舱的视觉图像(例如，2d视频图像)。替代地或组合地，3d成像装置被配置成生成座舱的深度图。替代地或组合地，监测系统可以使用一个或多个振动传感器来检测座舱中一个或多个对象的振动(例如，微振动)，和/或分析已捕获的2d或3d图像以标识对象的振动(例如，微振动)。
[0143]
根据一个实施例，监测系统110可以进一步包含加速度计。
[0144]
根据另一实施例，监测系统110可以进一步包含面部检测器传感器。
[0145]
在一些情况下，监测系统110可以与例如传感器112、114、116和118等一个或多个车辆现有传感器通信，以捕获并接收关于车辆系统单元状态和/或车辆中的对象的额外感觉数据。在一些情况下，车辆传感器可以是车辆发动机传感器、座椅传感器、车门传感器、安全带传感器、汽车稳定性传感器、车窗传感器等中的一个或多个。例如，在一些情况下，监测系统110可以从车辆的控制器局域网(can总线)接收一个或多个信号以标识哪一个安全带已系好和/或哪扇车门被打开/关闭。
[0146]
如果检测到乘客具有高概率，则在安全带已锁定之后，可以假设乘客在安全带打开之前一直在他的座椅上。
[0147]
根据一个实施例，监测系统传感器和或车辆传感器可以与计算单元通信，所述计算单元包括一个或多个处理器，所述一个或多个处理器被配置成接收由监测装置传感器和/或车辆传感器捕获的感觉数据，并根据计算机视觉和机器学习算法中的一个或多个分析数据以检测一个或多个对象的存在，例如隐藏对象或乘客，并确定对象类型、对象位置、对象定向、对象状态和/或确定对象的另一属性或特性，如下文将示出。
[0148]
根据一些实施例，一个或多个处理器被配置成组合用于监测和检测对象的不同检测装置和方法。检测方法和装置可以包含以下中的一个或多个：人体检测方法和装置；和/或面部检测方法和装置；和/或光流方法；和/或运动检测方法和装置；和/或跟踪器方法和装置；和/或体积检测方法和装置等。在一些情况下，检测方法可基于从例如深度测量传感器和/或加速度计等一个或多个传感器接收的数据。
[0149]
例如，在操作中，包含例如从面部检测器接收的已标识乘客面部的信息可以与包含一般乘客检测输入的信息融合，并且进一步与包含例如从体积检测器接收的检测体积输入和/或基于从深度传感器接收的输入的信息融合。融合信息用于生成一个或多个预测乘坐状态概率的随机模型(例如，马尔可夫链)，所述随机模型用于增加正确标识一个或多个
乘客或对象的概率和/或避免错误检测。
[0150]
在另一实例中，包含车辆中例如由运动检测器和/或加速度计标识的一个或多个对象或乘客的已标识运动输入的信息可以与如上所述的信息融合，所述信息包含例如已标识的乘客面部、一般乘客的身体检测，并且进一步包含这些乘客的检测体积。根据实施例，融合信息用于区分例如乘客或宠物等有生命对象与例如箱或婴儿座椅等无生命对象。虽然乘客和宠物可以在其座椅上或在座椅之间移动，但无生命对象不会移动，除非存在强加速度、减速或车辆正在急转弯。加速度计可用于检测这些特定场景。在一些情况下，深度传感器可用于区分三维世界中主体的真实(例如，实际)移动与由于二维图像中的照明变化而引起的阴影移动。深度传感器有可能通过计算到对象或座椅的距离或座椅内部的体积来区分被乘坐的座椅和空座椅。深度传感器还可用于分割图像的部分并区分前座椅中的乘客与后座椅中的乘客，例如区分前座椅中的乘客伸展的手与后座椅中在二维图像中可能呈现在类似位置处的乘客。
[0151]
在一些情况下，监测系统安装在车辆的控制板或仪表板或舱顶中。
[0152]
在一些情况下，监测系统110包含感测模块和控制模块(例如，控制板250)。这两个模块可以位于同一包中，或者可以分成两个不同的物理模块。作为实例，对于分离配置，感测模块可以位于汽车的舱顶中，而控制模块可以位于控制板后方。这两个模块通过通信线路连接和/或可以例如通过例如usb连接之类的专用连接、无线连接或本领域已知的任何连接进行电通信和/或无线通信。
[0153]
在一个实施例中，监测系统110连接到车辆的电源。在替代实施例中，系统110包括电池，任选地可充电电池，其使得即使在车辆断电时也可以工作。这种设计将使系统即使在事故期间车辆电源发生故障时也能继续工作。在另一实施例中，电池可从汽车的电池或汽车的交流发电机充电。
[0154]
监测系统110还可以配备有或连接到撞击传感器，所述撞击传感器被配置成检测即将发生的碰撞。此类撞击传感器的非限制性实例是存在于汽车中并且负责安全气囊展开的撞击传感器。在这种配置中，撞击的通知通过来自撞击传感器的电子信号传送到系统110。电子信号可以直接传送或通过例如车辆的can总线接口的通信系统传送。在一些情况下，撞击传感器可以是或可以包含在如本文关于图1a所提及的cas中。
[0155]
替代地或组合地，监测系统110配备有内置式撞击传感器，例如加速度计。当检测到高于某个阈值的加速度(或更确切地说是减速)时，系统110认为提供了撞击信号，并且很快就会发生碰撞。
[0156]
图2a是示出根据一个实施例的检测乘坐状态的步骤的流程图296，所述步骤包含标识对象，例如车辆座舱中的隐藏对象，以及在一些情况下提供关于已标识对象的信息。如图2a所示，监测系统210包含：一个或多个照明器，例如照明器274，其将具有特定照明图案(例如，光斑或条纹或其它图案)的结构光(例如，光束217)提供到例如位于车辆座舱100中的后区段处的对象271和272；以及一个或多个传感器，例如传感器276，其被配置并启用以捕获一个或多个反射图案光束，例如光束217'，并生成对象271和272和/或车辆座舱100的一个或多个图像。
[0157]
在一些情况下，照明器274被配置成例如在一个或多个光谱中在场景上投射结构光图案。根据一些实施例，照明器274可包括光源，例如相干光源，例如激光器等，其被配置
成发射相干光以使得结构光图案是相干结构光图案。
[0158]
根据一些实施例，光源可以是被配置成以特定光图案将光投射到场景中的单模激光源。例如，光可被成形为一个或多个光斑。因此，将在反射光斑图像以及反射散斑中获得深度数据，例如距离，如下文将详细解释的。
[0159]
在一些情况下，照明源可以包含用于生成例如光斑图案等图案的一个或多个光学元件。例如，这可通过使用一个或多个光学元件来实现，所述光学元件例如被配置成将单个激光光斑分割成多个光斑的衍射光学元件(doe)。例如点、线、形状和/或它们的组合之类的其它图案可被投射在场景上。在一些情况下，照明单元不包含doe。
[0160]
特别地，照明源可被控制成以数个空间或二维图案产生或发射光。照明可采取电磁能的各种各样的波长或波长范围中的任一者的形式。例如，照明可包含在电磁波谱的光学范围或部分中的波长的电磁能，所述波长包含人类可见范围或部分(例如，约390nm
‑
750nm)中的波长以及/或者电磁波谱的近红外(nir)(例如，约750nm
‑
1400nm)或红外(例如，约750nm
‑
1mm)部分和/或近紫外(nuv)(例如，约400nm
‑
300nm)或紫外(例如，约400nm
‑
122nm)部分中的波长。特定波长是示例性的，而不意在限制。可以采用电磁能的其它波长。在一些情况下，照明源432波长可以是830nm或840nm或850nm或940nm中的任一者。
[0161]
根据一个实施例，成像装置可以是连续波调制(cwm)tof成像装置。tof成像装置可以包含换能器或传感器，例如cmos或ccd传感器。例如，传感器可以包含光敏或光响应元件的二维阵列，例如光电二极管的二维阵列或电荷耦合装置的二维阵列(其中传感器的每个像素测量光从照明器行进(到对象且返回到焦平面阵列)所花费的时间)。根据一个实施例，tof传感器可以是与照明源一起使用的vga640
×
480像素传感器，所述照明源生成以75mhz调制的波长为950nm的光束(形成2m范围)，然而，可以使用不同范围中的其它类型的照明源和传感器。根据实施例，调制可涉及正弦波振荡，以便提取调制的相位，并因此提取深度数据。
[0162]
根据一些实施例，成像装置可以包含鱼眼镜头和安装点的特殊几何结构。鱼眼镜头可以是超广角镜头，其产生旨在创建宽全景或半球形图像的强视频失真。
[0163]
根据一个实施例，监测系统210可以包含一个或多个处理器，例如处理器252。处理器252可以与其它内部或外部装置和/或其它内部或外部处理器进行有线或无线通信。例如，来自处理器252的输出可以触发处理器252内的过程，或者可以被传输到另一处理器或装置以激活其它处理器或装置的过程。
[0164]
根据另一实施例，处理器252可以在监测系统210外部，并且可以嵌入于车辆中，或可以是车辆的处理单元或计算单元的一部分。
[0165]
替代地或组合地，监测系统210可以包含rf(射频)传输
‑
接收单元275，包含例如：rf传输
‑
接收单元275，例如rf收发器，其被配置成使用rf天线275'来生成rf光束(例如，rf光束213和215)并且将其导向对象271和272，并且接收反射的rf光束213'和215'以提供车辆座舱100和/或对象271和272的rf图像。将包含例如rf信号和反射图案图像的已捕获的图像提供到处理器252，以生成车辆座舱100和/或对象271和272的深度图表示291和2d/3d分割。
[0166]
在一个实施例中，处理器252可以指示照明器265和/或rf传输
‑
接收单元275对车辆座舱中的特定区域进行照明。
[0167]
根据一个实施例，监测系统可以包含例如一个或多个超声波传感器和/或定向麦克风之类的声音传感器269，所述声音传感器被配置并启用以检测人的存在和/或活力迹象，以定位例如正在说话的人的嘴并生成数据输入以检测车辆中一个或多个对象的位置。根据一些实施例，处理器252可以进一步接收和/或生成额外数据279，包含例如由车辆传感器273捕获的关于车辆状态278、速度和加速度277的信息。感觉数据282和额外数据279由处理器252分析。
[0168]
根据一些实施例，使用多种计算机视觉和机器学习算法来分析包含感觉数据282和额外数据279的信息。这些可以包含但不限于：神经网络，例如用于检测人的一个或多个卷积神经网络；专门检测面部、手、躯干和其它身体部位的网络；可以基于2d和3d图像而分割图像并且具体地分割图像中的乘客的网络；可以计算对象和人的体积的算法；以及可以确定汽车的某一区域中是否存在运动的算法。
[0169]
分析输出281包含关于对象(例如，对象271和272)和车辆座舱的多种类型的数据，例如关于乘员和/或例如一箱或一袋杂物或者空儿童座椅等无生命对象的信息。具体地说，在一些情况下，数据281可以包含：与对象289的检测到的身体部位相关的数据，和/或与对象288的运动相关的数据，和/或与对象287的体积相关的数据，和/或与车辆座舱中的乘坐状态相关的基于深度学习286的数据。
[0170]
根据一些实施例，多种类型的数据可以包含深度数据290，所述深度数据包含例如由传感器276获得的一个或多个深度图像。深度数据可以具体用于检测乘客的身体部位，并且对图像中的身体或身体部位进行分割。在一些情况下，深度数据还可以用于确定人员的姿态，例如直立地坐着、向侧边倾斜或侧向倾斜。
[0171]
根据一些实施例，多种类型的数据可以包含数据的先验知识292。
[0172]
先验知识数据的非限制性实例可以包含：关于例如车门/车窗/安全带等车辆单元的信息(例如，安全带状态)，和/或关于车辆中的对象(例如，驾驶员或乘客)的先验信息，和/或规则或假设，例如与车辆中的对象和/或车辆单元相关的物理假设，例如与车辆内部的移动概率相关的座椅转换规则，例如以排除乘坐预测中不太可能发生的变化或替代地确认车辆乘坐状态的预期变化。物理假设的具体实例可以包含驾驶员座椅在驾驶车辆(非自主车辆)中被乘坐的高概率和/或乘客可能在预定的短时间内移动到后座之一或在单个帧中从一个座椅移动到另一个座椅的低概率。
[0173]
在以下步骤293中，融合多种类型的数据以在步骤294处确定输出数据，所述输出数据包含例如座椅乘坐数目和/或关于例如对象271和272等对象(例如，驾驶员或乘客)的信息中的一个或多个。关于对象的检测到的输出信息可以包含位置、定向和属性中的一个或多个(例如，乘客是坐直、侧身还是前倾)。例如，信息可以包含标识一个或多个乘客，例如在例如车辆后区段等车辆隐藏区段处的完整的身体或身体部分，例如面部或手。
[0174]
根据一个实施例，通过融合算法融合多种类型的数据，所述融合算法输出最佳决策，所述最佳决策考虑一个或多个或每个数据输入(例如，对象288的运动，和/或对象287的体积，和/或基于深度学习286、面部检测290、先验知识292的乘坐状态)的可靠性。
[0175]
具体地说，融合算法包含分析已融合的数据以得到预测模型，一个或多个预测乘坐状态概率的随机预测模型(例如马尔可夫链，例如呈马尔可夫矩阵的形式)。预测模型用于随时间持续地更新一个或多个当前乘坐状态的概率(例如，概率向量)，以得到更新后乘
坐状态，例如实时地确定对象271和272的位置和/或车辆座舱中对象的数目。在一些情况下，通过使用例如无限脉冲响应(iir)滤波器等线性时不变(lti)方法对所述状态的不确定性进行加权来组合预测状态和当前状态。一旦检测到身体或身体部位，就在步骤294处跟踪对象。例如，可以使用例如相关跟踪器和边缘跟踪器之类的常规跟踪器在2d图像或深度图像中跟踪对象。在一些情况下，融合数据可以是或可以包含预测模型。下文关于图6a、6b和6c描述融合算法的详细描述。
[0176]
根据一个实施例，基于确定的乘坐状态，处理器252可以在步骤295处输出可以用于提供信息和/或用于控制车辆中的装置、单元或应用程序的数据或信号，所述装置、单元或应用程序可以是远程的或与车辆成一体，例如，如报警器、警报或灯光之类的电子装置可以在离位时进行警示，并相应地激活乘员保护设备(例如，安全气囊)，可以根据被监测系统标识为激活装置和/或其它装置的人的已标识乘客或驾驶员配置车辆娱乐。根据实施例，相关装置或单元可以由信号输出控制，例如被激活或调制。
[0177]
在一些情况下，输出信号可以包含安全带提醒(sbr)、例如用于安全气囊抑制的离位指示(oop)以及用于警示驾驶员的驾驶员监测系统(dms)。参考图1b描述由系统或处理器252提供的其它类型的数据和/或信号。
[0178]
替代地或组合地，一旦使用一个或多个神经网络标识对象，就训练神经网络以输出数个点，例如对应于特定身体部位或骨架线的预定义数目的点。在接下来的步骤处，可以使用常规跟踪算法，例如卡尔曼(kalman)滤波器来及时跟踪这些点和线。需要强调的是，即使跟踪丢失，例如当身体的整个或部分被遮挡，即被前座椅遮挡时，跟踪器也可以估计这些点的位置。
[0179]
根据一些实施例，可以使用计算机视觉算法和/或神经网络检测乘客的身体部位，所述计算机视觉算法和/或神经网络被训练以检测例如人体轮廓的人员，例如完整的人体和/或特定的人体部位。具体地说，可以通过众所周知的检测或识别方法检测人员的面部。此类方法的非限制性实例包含viola
‑
jones算法或ssd神经网络。身体部位可以由神经网络检测，所述神经网络被专门训练以检测身体姿态。此类方法的非限制性实例包含openpose或openpose plus方法。
[0180]
图2b示出了车辆座舱100的更详细框图。值得注意的是，车辆座舱100可以包含比图2b所示的部件更多或更少的部件。例如，车辆座舱100可以包含例如usb接口或wi
‑
fi等有线或无线系统接口，这些接口用于连接监测系统110和车辆计算单元205与例如车辆系统202
‑
208等车辆系统200、例如车辆传感器212
‑
218等车辆传感器201、座椅位置232
‑
238和对应座椅传感器232'
‑
238'中的一个或多个。图2b的硬件架构表示代表性车辆的一个实施例，所述代表性车辆包括监测系统110，所述监测系统被配置成自动监测并标识车辆中例如隐藏对象之类的对象和区域。在这方面，图2b中的车辆还实施了一种方法，所述方法用于即使在由于瞬时能见度较差或错误检测而可能无法标识对象和/或乘客的情况下也能监测对象和/或乘客以标识对象和/或乘客的属性。标识可以基于例如实时地从例如嵌入监测系统110中的专用传感器和嵌入车辆100中各种位置的现有车辆传感器之类的车辆中各种类型的传感器接收的各种类型的信息。下文将结合图3
‑
5描述所述方法的示例性实施例。
[0181]
如图2b所示，车辆座舱100包含控制车辆的系统和传感器的车辆计算单元205和包含控制板250的监测系统110，所述控制板控制监测系统110，并且可以与例如车辆计算单元
205和车辆系统200之类的车辆单元和系统进行通信。在一些情况下，监测系统110的控制板250可以包含在计算单元205中。车辆100还包括乘客座椅位置232
‑
238，其包含驾驶员的座椅位置232、前排乘客座椅位置234，以及左右后排乘客座椅位置236和238。尽管出于说明的目的，在图2b中示出四个座椅位置，但是本发明并不受限于此，并且可以容纳车辆内任何布置中的任意数目的座椅。在一个实施方案中，每个乘客座椅位置具有针对座椅舒适度的自动可调整设置，包含但不限于座椅高度调整、前后调整位置、座椅靠背角度调整。每个乘客座椅位置还可以包含分别可单独配置的一个或多个传感器232'
‑
238'，其用于控制乘客的座椅和车窗，以及任选地而定地针对加热、冷却、通风方向和音频/视频控制台的环境控制。在一些情况下，乘客可能具有通信装置242
‑
248，每个乘客位置处有一个通信装置，指示车辆100中的每个乘客都携带通信装置。尽管图2b所示的示例性实施例示出携带通信装置的每个乘客，但各种实施方案设想并非所有乘客都需要携带装置。实际上，车辆中根本不需要任何通信装置。
[0182]
根据一个实施例，监测系统110可以包含具有不同模态的多个传感器。例如，监测系统110可以包含振动传感器241和/或加速度传感器242和/或3d传感器243和/或rf传感器244和/或摄像机245，例如2d相机和/或其它类型的传感器，例如超声波传感器、声传感器(例如，麦克风)、压力传感器、热检测器等。
[0183]
在一些情况下，监测系统110可以包含用于映射由形成于车辆表面上的每个光斑产生的散斑场的图像传感器246，以及光源249，例如适于投射例如车辆座舱上的多束图案之类的结构光图案的相干光源。根据实施例，例如处理器252之类的处理器被配置成处理由图像传感器接收的散斑场信息，并且导出表面振动信息以标识座舱中的一个或多个对象，包含例如一个或多个检测到的对象的运动和微振动。
[0184]
投射的结构光图案可以由多个漫射光元素构成，例如，点、线、形状和/或其组合可以由场景中存在的一个或多个对象反射，并且由集成在监测系统110中的图像传感器246捕获。
[0185]
根据一些实施例，控制单元250可以经由一个或多个有线连接而连接到车辆系统202
‑
208、车辆传感器110、监测系统传感器、座椅232
‑
238和/或座椅传感器232'
‑
238'中的一个或多个。替代地，控制单元250可以通过无线接口经由无线连接单元252连接到车辆系统202
‑
208、车辆传感器110、监测系统传感器、座椅232
‑
238和/或座椅传感器232'
‑
238'。无线连接252可以是任何无线连接，包含但不限于wifi(ieee 802.11x)、蓝牙或其它已知的无线协议和/或。
[0186]
根据实施例，计算单元205还优选地以可控方式连接到车辆系统202
‑
208、车辆传感器110、监测系统传感器、座椅232
‑
238和/或座椅传感器232'
‑
238'。车辆系统222
‑
228可以通过如图2所示的有线连接进行连接，或通过其它手段连接。
[0187]
车辆系统可以包含但不限于发动机调整系统、发动机限制系统、车灯、空调、多媒体、gps/导航系统等。
[0188]
控制板250可以包括处理器252、存储器254和通信电路系统256中的一个或多个。控制板250的部件可以被配置成传输、存储和/或分析已捕获的感觉数据，如本文更详细地描述。
[0189]
控制板250还可以连接到用户界面260。用户界面260可以包含输入装置261、输出
装置263和被配置成允许用户与控制板250交互的软件例程。此类输入和输出装置分别包含但不限于显示器268、扬声器266、键盘264、方向键、方向旋钮、麦克风265、触摸屏262等。
[0190]
麦克风265有助于捕获声音(例如，语音命令)并将已捕获的声音转换成电信号。在一些情况下，电信号可以由与各种应用程序介接的车载计算机使用。
[0191]
处理器252可以包括有形介质，所述有形介质包括计算机程序指令；例如，处理器可以包括数字信号处理单元，所述数字信号处理单元可以被配置成使用多种类型的检测方法来分析和融合例如从各种传感器接收的感觉数据之类的数据。在一些情况下，已处理的数据输出可以接着传输到通信电路系统256，所述通信电路系统可以包括数据加密/传输部件，例如bluetooth
tm
。一旦加密，数据输出就可以经由例如蓝牙传输到车辆计算单元和/或车辆用户界面，并且可以进一步呈现给车辆上的驾驶员。替代地或组合地，可以将输出数据传输到监测单元接口。
[0192]
图3是根据一些实施例的用于监测车辆中的区域或对象的方法300的高级示意性流程图。例如，所述方法可以包含例如实时地确定已乘坐在车辆座舱中，并且具体地标识一个或多个对象的存在、对象类型(例如，感兴趣对象，即成人、婴儿、婴儿座椅、箱子)、场景中乘员的数目、姿态、定向等。更具体地说，所述方法可以进一步标识对象是婴儿并且婴儿是醒着的和/或婴儿安全带被松开。方法300的一些阶段可以至少部分地由至少一个计算机处理器，例如由处理器252和/或车辆计算单元205进行。可以提供相应的计算机程序产品，其包括计算机可读存储介质，所述计算机可读存储介质具有随其体现的计算机可读程序，并且被配置成进行方法300的相关阶段。在其它实施例中，所述方法包含与结合图3描述的步骤不同或额外的步骤。另外，在各种实施例中，所述方法的步骤可以按与结合图3描述的次序不同的次序来执行。
[0193]
在步骤310处，例如在处理器252和/或车辆计算单元205处接收数据，例如感觉数据，包含例如分别由多个不同感测装置捕获的车辆座舱的多个图像。在一些情况下，多个图像可以由例如包含在监测系统中的一个或多个传感器捕获，所述监测系统例如图1b、2a和2b所示的监测系统110。一个或多个传感器可以是2d成像装置和/或3d成像装置和/或rf成像器和/或振动传感器(微振动)等中的一个或多个。
[0194]
在一些情况下，数据可以包含车辆中的一个或多个对象的已标识振动。
[0195]
在一些情况下，数据可以包含使用例如散斑图案检测算法从已捕获的多个图像提取的已标识微振动。关于用于检测微振动的散斑图案分析的另外细节可见于2015年12月27日提交的标题为“用于检测表面振动的系统和方法(system and method for detecting surface vibrations)”的第pct/il2015/051255号国际申请(公开案wo2016/103271)，以及国际申请日为2019年12月01日的标题为“使用飞行时间(tof)成像装置进行微振动数据提取的系统、装置及方法(systems,devices and methods for micro
‑
vibration data extraction using a time of flight(tof)imaging device)”的第pct/il2019/051317号国际申请，和国际申请日为2019年12月28日的标题为“用于车辆碰撞后支持的系统、装置和方法(systems,devices and methods for vehicle post
‑
crash suppor)”的第pct/il2019/051422号国际申请，这些申请的内容以全文引用的方式并入本文中。
[0196]
在步骤320处，例如从车辆传感器或单元或从其它装置或单元接收额外数据，包含例如先验知识等信息和/或与车辆状态和/或条件相关的信息。在一些情况下，根据实施例，
可以在处理器252和/或车辆计算单元205处接收额外数据。额外数据可以包含车辆速度、加速度、档位、燃料和/或车辆单元状态，包含例如车门和车窗是否打开/关闭和/或哪扇车门或车窗关闭或打开等信息，和/或与车辆座椅或相关座椅单元相关的信息，例如安全带状态、空调和车辆内部温度、多媒体等。此信息可以例如直接由车辆传感器获得，所述车辆传感器例如车门传感器、车窗传感器、座椅传感器、发动机和多媒体。在一些情况下，所述信息可以经由车辆计算单元或经由外部装置获得。
[0197]
在步骤330处，例如由处理器252分析获得的数据以提取关于一个或多个对象和/或内部乘客室的详细信息，所述数据包含感觉数据以及与车辆状态和/或条件相关的额外数据。根据一些实施例，提取的信息可以包含乘坐状态和/或关于一个或多个感兴趣对象和/或车辆中的对象/或区域的部分的细节。例如，分析可以包含标识车辆座舱中的乘客的一个或多个身体部位，例如乘客的面部、手、躯干和/或其它身体部位。
[0198]
在一些情况下，使用计算机视觉和机器学习算法中的一个或多个来执行分析。这些可以包含但不限于神经网络，例如被配置成检测例如车辆座舱中的一个或多个人等对象的卷积神经网络检测算法。
[0199]
替代地或组合地，计算机视觉和机器学习算法可以包含被配置成专门检测车辆乘客的面部、手、躯干和其它身体部位的神经网络检测算法。
[0200]
替代地或组合地，计算机视觉和机器学习算法可以包含被配置成分割车辆座舱的多个图像并且具体地基于例如2d和3d图像而分割多个图像中的乘客的神经网络检测算法。例如，计算机视觉和机器学习算法可以包含将3d数据与空车辆3d数据进行比较。在一些情况下，可以通过例如语义分割神经网络的分割算法来获得分割。替代地或组合地，计算机视觉和机器学习算法可以包含使用神经网络训练来分割例如乘员的对象。
[0201]
替代地或组合地，计算机视觉和机器学习算法可以包含被配置成计算检测到的对象的体积的神经网络检测算法。
[0202]
替代地或组合地，计算机视觉和机器学习算法可以包含非神经网络检测算法，例如经典计算机视觉算法，其被配置成使用例如光流法来分析数据并确定车辆中的特定区中是否存在一个或多个对象的运动。此类分析可以基于例如光流算法，例如lucas kanade算法或块匹配算法，例如用于视频压缩算法(例如，mpeg)中的运动估计的算法。
[0203]
在步骤340处，融合分析数据的输出，包含例如车辆中的对象和/或区域的已标识部分和/或已标识运动和/或图像分割，和/或车辆中的对象的测量体积和基于例如面部检测器的额外数据分析信息和/或身体姿态模型和/或加速度计信号和/或来自车辆的例如车门和安全带状态等信号，以得到考虑获得的信息的可靠性的最佳(例如，最有可能的)决策。根据实施例，最佳决策可定义为在对象(例如，乘员)检测率与误报率之间的优化方面具有最高概率的决策和/或具有最低成本的决策。
[0204]
根据一些实施例，融合过程包含使用融合算法来组合两种或更多种类型的数据输入，例如面部检测数据、光流数据和/或先验知识。
[0205]
根据实施例，通过融合算法融合获得的各种数据输入以确定例如某一座椅被乘客乘坐的概率。例如，如果在某一座椅处检测到乘员面部的概率较高并且座椅的安全带已系好，则算法可以按极高的置信度推断出所述座椅中存在乘客。此外，即使例如由于视场较差或有限而在未来帧中未检测到乘客，融合算法的状态机也能记住所述座椅中存在乘客，只
要安全带未打开即可。
[0206]
需要强调的是，根据实施例，可以使用包含数据融合的不同组合的各种融合组合。下文关于图6a、6b和6c描述融合算法的详细描述。
[0207]
在步骤350处，提供融合过程的一个或多个输出。此步骤可以包含例如输出车辆中的一个或多个座椅被乘坐的概率的估计，和/或车辆中的乘客总数目，和/或已标识乘客的位置，例如乘客是坐直还是侧身还是前倾。
[0208]
在步骤360处，可以基于已标识对象而输出和/或传输一个或多个信号以激活一个或多个装置或系统，例如车辆装置/单元/应用程序。
[0209]
根据实施例，用于监测车辆中的隐藏对象和区域的系统和方法可以包含基于从监测装置和/或一个或多个车辆传感器接收到的输入而跟踪车辆中乘客的数目。另外，所述系统和方法包含跟踪检测到的乘客的移动(例如，从他们进入车辆的时刻起)，并基于从车辆的一个或多个传感器接收到的已标识乘客数目及其移动而确定乘客的位置，例如乘客前倾、乘客躺在后座椅上。
[0210]
具体地说，根据一些实施例，融合可以输出以下标识中的一个或多个：(i)确定车辆中的对象(例如，乘客)数目，(ii)确定对象(例如乘客)的位置，(iii)确定对象的位置和/或定向。具体地说，例如，a)确定后座中的对象的存在和位置，b)确定后座中的儿童座椅的存在、位置和定向，(iii)监测乘员头部的后方，(iv)监测乘员的位置，(v)监测乘员膝盖的位置，(vi)监测乘员相对于安全气囊的位置，(vii)测量乘员的身高，以及如本文其它地方所描述的其它监测功能，(viii)监测乘员的体重，(ix)监测身体姿态，并且具体地说，正常坐姿之外的姿态，(x)监测在窗外的身体部位，(xi)监测乘员的头部方向，(xii)监测一个或多个乘员的凝视方向。
[0211]
图4示出了根据实施例的用于监测车辆中的乘客室的内部的方法的流程图400，并且更具体地说，示出了用于由于内部车辆可见度限制(例如阻挡障碍物(例如，前座椅)或乘客移动)而使得在短或长的时间段内无法标识乘客的情况下标识车辆中的乘客的位置和/或方位和/或定向和/或数目的方法的流程图。在其它实施例中，所述方法包含与结合图4描述的步骤不同或额外的步骤。另外，在各种实施例中，所述方法的步骤可以按与结合图4描述的次序不同的次序来执行。
[0212]
在步骤410处，例如在监测系统110的处理单元处，从各种传感器(例如嵌入车辆中的传感器)和/或从监测系统(例如监测系统110)的传感器接收一个或多个输入(例如，感觉数据)。输入可以包含包括例如由车辆的传感器获得的感觉数据的信息。具体地说，输入可以包含车辆座舱的2d或3d图像，所述图像例如由一个或多个2d和3d成像装置从不同角度捕获。
[0213]
在一些情况下，输入还可以包含与车辆和/或车辆单元状态和/或条件相关的数据，例如车辆速度、加速度、档位、空调和车辆内部温度等。在一些情况下，输入可以包含车门和车窗是否打开/关闭，和/或何时被打开和/或关闭，和/或被关闭或打开的次数，以及哪一扇车门或车窗被关闭或打开。在一些情况下，输入可以包含与车辆座椅或座椅单元相关的信息，例如安全带状态。此信息可以例如直接由车辆传感器获得，所述车辆传感器例如车门传感器、车窗传感器、座椅传感器、发动机和多媒体。在一些情况下，所述信息可以经由车辆计算单元获得。在一些情况下，数据可以包含车辆中的一个或多个对象的已标识振动。在
一些情况下，数据可以包含使用例如散斑图案检测算法从已捕获的多个图像提取的已标识微振动。
[0214]
在步骤420处，例如由处理单元分析包含各种类型的数据的获得的信息，以对车辆中的乘客的数目和/或方位和/或位置进行检测和/或计数。例如，分析可以包含(例如，实时地)对车辆中乘客的数目进行检测和计数。根据一些实施例，分析可以包含使用已知图像检测或识别算法来处理一个或多个图像，例如2d和/或3d和/或rf图像，以标识车辆中的乘客。标识输出可以包含例如已标识乘客的移动和/或结构。可以进一步使用融合算法将提取的检测结果与例如从车辆传感器获得的额外信息融合，以例如实时地得到车辆中的对象(例如，乘客)的准确数目和/或位置。
[0215]
额外信息可以包含例如从车辆的传感器接收的输入，包含例如使用哪些和/或何时使用车辆系统或单元中的一个或多个的信息。
[0216]
根据一个实施例，通过融合算法融合多种类型的数据，所述融合算法输出考虑每个数据输入的可靠性的最佳决策。具体地说，融合算法包含分析已融合的数据以得到一个或多个预测乘坐状态概率的随机预测模型(例如马尔可夫链，例如呈马尔可夫矩阵的形式)。预测模型用于随时间持续地更新一个或多个当前乘坐状态的概率(例如，概率向量)，以得到更新后乘坐状态，例如实时地确定对象的位置和/或车辆座舱中对象的数目。在一些情况下，通过使用例如无限脉冲响应(iir)滤波器等线性时不变(lti)方法对所述状态的不确定性进行加权来组合预测状态和当前状态。一旦检测到身体或身体部位，就跟踪对象。例如，可以使用例如相关跟踪器和边缘跟踪器之类的常规跟踪器在2d图像或深度图像中跟踪对象。下文关于图6a、6b和6c描述融合算法的详细描述。
[0217]
在步骤430处，例如从乘客进入车辆的时刻起，跟踪乘客在车辆中的移动。在一些情况下，移动跟踪过程包含例如持续地和/或实时地从车辆传感器和/或车辆单元接收关于车辆单元状态的信息，例如车窗、车门、空调、多媒体激活等。因此，尤其是在可能暂时无法检测到车辆中的一个或多个乘客的情况下，基于各种指示(例如，乘客数目，和车门/车窗/多媒体/空调状态)，方位和/或定向和/或位置(例如，哪些车辆座椅被乘坐)和/或处于多个车辆乘坐位置和/或坐姿的乘客的数目。例如，所述方法可以标识后座椅中的乘客正在前倾并被前座椅遮挡。
[0218]
具体地说，根据一个实施例识，如果以高可靠性标识了乘客数目并且车门被打开，并且如果方法和系统在跟踪过程中确定某一乘客的身体向前并向下移动，则系统可以确定所述乘客正在前倾，如本文将详细解释。
[0219]
在步骤440处，可以作出二元决策，确定是否标识乘员和/或确定车辆中的已标识乘客数目。如果标识了乘员，则在步骤442处，监测方法继续进行并跟踪车辆中乘员的数目，例如在步骤420处示出。如果例如由于乘客移动和/或由于被前座椅遮挡而未标识乘客中的一个或多个，则在步骤444处，可关于车门或者车辆的其它单元或装置作出二元决策。如果标识出车门均未打开，则在步骤450处，提供乘员之一改变了其位置(例如，倾斜和/或弯曲)的标识。在一些情况下，所述方法可以包含记忆“遗漏乘员”(例如，倾斜的乘客)。任选地或组合地，所述方法可以持续地跟踪车辆处的隐藏区域以标识一个或多个“遗漏乘客”的位置和方位，直到所述乘客例如被监测系统或车辆传感器中的一个标识为止。如果标识出车门中的一个或多个打开，则在步骤460处，可关于车辆中的更新后乘客数目并任选地关于所述
乘客的当前方位和/或位置作出二元决策。如果车辆乘客中的一个或多个离开车辆，则在步骤462处，乘客计数器减一，并且任选地，监测系统停止跟踪已标识乘客。如果标识出没有乘客离开车辆，则所述过程继续进行到步骤450，并且提供乘客之一改变了其位置(例如，倾斜和/或弯曲)的标识。
[0220]
图6a示出了根据实施例的图2a的融合方法293的流程图，所述融合方法被配置并启用以接收来自多个来源的输入数据并将其组合到相干且稳定的预测模块内以提供信息，例如准确的车辆乘坐信息，包含例如车辆中的座椅乘坐数目。可以使用监测系统110或510或例如处理器252等一个或多个处理器来实施方法293。然而，方法293还可以由具有其它配置的系统或方法或处理器实施，所述系统例如包括单个传感器的系统。
[0221]
在步骤605处，提供例如呈概率向量形式的初始数据，包含例如与车辆乘坐当前状态相关的所有可能的就座或乘坐状态的概率。
[0222]
具体地说，概率向量的位置(例如，索引)表示离散随机变量的可能结果，其中
‘1’
表示座椅已乘坐，
‘0’
表示座椅未乘坐，并且向量提供所述随机变量的概率质量函数。
[0223]
根据一个实施例，概率向量初始化是基于输出数据，例如初始输出数据602，其包含例如由一个或多个传感器捕获并由一个或多个处理器分析的车辆乘坐情况。例如，初始输出数据602可以包含基于例如由例如摄像机245的传感器捕获的一个或多个图像的车辆乘坐情况的所得深度神经网络(dnn)输出分析。图6b示出了五座车辆的初始输出数据602和概率向量的实例。输出数据602可以呈表680的形式，所述表包含五个车座中的每一个的测量dnn乘坐概率输出，例如，对于驾驶员座椅(ds)为0.1，对于乘客座椅为0.7，对于右后方座椅(rr)为0.01，对于中后方座椅(rm)为0.99，并且对于左后方座椅(rl)为0.01。因此，基于dnn输出表680，启动状态表，其包括所有可能的就座或乘坐状态的概率向量682。另外，例如基于所提供的输出数据602，针对概率向量的每个时隙测量并获得不确定性参数608。
[0224]
在步骤610处，根据实施例，使用包含时间演进分析过程(例如，与预测状态车辆乘坐的概率相关)的融合处理分析算法来更新当前状态乘坐情况(例如，由概率向量680和不确定度参数608表示的初始状态)和当前状态乘坐情况的不确定度参数(例如，1/概率)，并且例如持续地和/或实时地组合数据输入615以得到更新后的状态(例如，时间演进乘坐状态618)和更新后的不确定性(例如，时间演进不确定性参数616)。换句话说，如步骤610所示的融合过程包含接收包括不同的多个信息的数据输入615，以及基于数据输入615而生成预测概率模型以智能地考虑和更新当前乘坐状态。
[0225]
例如，基于数据输入615(例如，第一数据)随时间持续地更新车辆概率乘坐状态(例如，概率向量682)，所述数据输入包含例如车辆的先验知识或数据。因此，可以根据每个预测状态的更新后不确定性对所述预测状态进行加权。
[0226]
数据输入615的非限制性实例可以包含：光流数据，其可以包括对车辆的图像像素分析(例如，dnn分析或nn分析，例如afaik光流)以提供座舱乘坐情况；和/或先验知识；和/或对象的运动指示，例如座椅之间的一个或多个乘客移动的运动。先验知识的非限制性实例可以包含：关于车辆单元状态的信息，例如车门/车窗/安全带状态和/或关于车辆中对象和/或乘客的先验信息，和/或规则或假设，例如与车辆内部移动可能性相关的物理假设或座椅转换规则，例如以排除乘坐情况预测中不太可能发生的变化或替代地确认车辆乘坐状态的预期变化。物理假设的具体实例可以包含驾驶员座椅在驾驶车辆(非自主车辆)中被乘
坐的高概率和/或乘客可能在预定的短时间内移动到后座之一或在单个帧中从一个座椅移动到另一个座椅的低概率。物理假设的另一具体实例可以是，一旦汽车行驶并且车门关闭，乘员数目就不会改变。这可防止乘员丢失，即使他/她被传感器暂时隐藏。这还防止了在汽车内部移动的对象(例如，外套等)时出现错误检测。
[0227]
在步骤620处，基于额外数据输入625和更新后测量不确定性参数627，通过如图6c所示的更新算法613持续地更新更新后状态618和不确定性参数616，以得到更新后状态628和车辆乘坐状态的更新后概率参数626。根据一个实施例，步骤620的更新过程包含将额外数据输入625和不确定性参数627与当前乘坐状态组合，以得到更新后状态628和车辆乘坐状态的更新后不确定性参数626。
[0228]
根据实施例，融合方法293回路闭合，因为初始状态605(例如，概率向量)和不确定性参数608根据更新后座椅状态628和更新后不确定性626相应地并持续地更新。
[0229]
图6b示出了根据实施例的612融合处理分析算法的实例，所述算法用于组合车辆乘坐的预测状态与当前状态以得到车辆的准确乘坐状态,如在步骤610处所执行。算法612可以包含形成矩阵，例如马尔可夫矩阵684，其包含基于所接收的数据615(例如，可能移动和/或光流的先验知识)而改变/更新车辆的乘坐状态的概率的表示。具体地说，对于五座车辆，生成32
×
32矩阵，其中矩阵时隙中的每一个表示每个车辆状态基于所接收的数据615而在时间上改变为不同状态的概率。因此，矩阵684乘以当前状态(例如，概率向量686)以得到车辆乘坐的更新(时间演进)概率向量688。
[0230]
例如，包含所有车辆安全带都已系好的指示的数据降低了乘客之一离开车辆的概率。因此，尽管一个或多个乘客，例如车辆后座中的乘客在数个图像中始终不可见，但乘客之一离开车辆的测量概率参数将较低，并且因此，车辆乘坐情况不会变化。
[0231]
更具体地说，在dnn分析首先基于例如一个或多个已捕获图像而标识出五座车辆中的所有五个座椅都被乘坐并且所接收的先验知识包含来自车辆传感器的车门均未打开和/或所有安全带均已系好的信息的情况下，状态变化的概率很低，并且因此矩阵684将为单位矩阵，并且因此新的当前状态等于当前状态。在标识出运动的情况下，概率可以升高，并且矩阵对角线可以是0.9，并且将相应地更新新的状态。
[0232]
图6c示出了更新算法613的实例，所述算法可用于组合额外信息以得到更新后状态628和车辆乘坐状态的更新后概率参数626，如在步骤620处所执行和上文关于图6a所示出。根据一个实施例，算法613包含通过将预测状态和当前状态(例如，由其不确定性加权)的输入组合到更新后状态来更新乘坐状态628和不确定性参数626。在一些情况下，使用线性时不变(lti)方法，并且具体地使用无限脉冲响应(iir)滤波器来计算当前状态与更新后状态之间的加权平均值。因此，考虑每个额外输入，然而随着时间演进，历史输入权重呈指数性下降，并且其权重不太重要，而新输入权重更重要。
[0233]
根据实施例，更新算法613被配置成丢弃包含高不确定性的输入数据，因为最终此数据不应影响和改变当前状态。
[0234]
根据一个实施例，更新公式如下：
[0235]
(1)更新后状态＝1
‑
增益
×
当前状态 增益
×
新状态
[0236]
(2)更新后不确定性＝(1
‑
增益)
×
状态不确定性
[0237]
其中：
[0238]
增益＝状态不确定性/(测量不确定性 状态不确定性)
[0239]
例如，在新测量的测量不确定性为零(例如，新的测量状态的确定性为100％)并且当前状态的状态不确定性为一的情况下。测量的增益为一。因此，更新后状态等于新状态，并且当前状态将被丢弃。
[0240]
根据一个实施例，测量不确定性水平是基于测量的std(系统测试描述)，并且替代地或组合地基于当前测量的熵。例如，高std会引起高不确定性，然而熵水平可能会影响总测量不确定性。
[0241]
图7示出了呈现先前方法和系统与本发明方法和系统之间的比较的两个视频图像702和704，所述先前方法和系统仅基于单一检测方法，例如dnn(例如，图像702)，本发明方法和系统包含融合多种检测方法，例如dnn和面部检测方法(例如，图像704)以标识对象，例如车辆中的乘员。如图所示，在车辆座舱的后座处，人710通过两种检测方法进行标识，并且由矩形712和714标记为已标识乘客(例如，以黄色标记)。然而，当乘客将手移动到左侧座椅时，先前方法错误地将手标识为人(例如，以黄色矩形716标记)并将座椅标识为已乘坐，而本发明正确地将座椅标识为未乘坐(例如，标记为蓝色矩形718)。
[0242]
乘客身高或体重测量
[0243]
根据另一实施例，提供了用于估计车辆中的对象的一个或多个可测量特性的方法和系统，所述可测量特性例如乘员的身高；和/或体重或质量；和/或乘员身体部分尺寸，例如腿长或臂长或者腿宽或臂宽；和/或头部直径；和/或肤色和其它特性。例如，所述系统和方法可以首先标识乘客的位置，然后在乘客被标识为坐直的情况下测量他们的身高，或调整对任何其它位置的估计。
[0244]
图8a示出了根据一些实施例的用于测量车辆座舱中的对象的长度(例如，高度和/或宽度)和/或重量的方法的流程图800。对象可以是例如乘员，例如车辆的乘客或驾驶员。在其它实施例中，所述方法包含与结合图8a描述的步骤不同或额外的步骤。另外，在各种实施例中，所述方法的步骤可以按与结合图8a描述的次序不同的次序来执行。
[0245]
在步骤810处，使用例如监测系统110或210和/或例如图2a或2b所示的图像传感器等一个或多个传感器来获得一个或多个图像，例如车辆座舱的2d或3d图像。在步骤820处，使用一个或多个处理器，例如处理器252来分析一个或多个图像，以标识一个或多个对象，例如车辆座舱中的乘员和/或箱子(例如，手提箱)。在步骤830处，估计一个或多个已标识对象或对象部分的高度和/或宽度。在一些情况下，使用计算机视觉方法和/或神经网络来估计一个或多个已标识对象的高度和/或宽度。具体地说，在一些情况下，已标识对象是一个或多个人，可以通过检测和测量获得的图像中的人的主体部分来估计一个或多个已标识人的高度。例如，可以通过以下操作来估计人的上部(例如，头部和躯干)的宽度和长度：在获得的图像中标识人的顶部的位置，例如人的边缘，例如乘员头部的顶部，以及将所述位置与人躯干的位置进行比较，以得到乘员身体上部(例如，头部和躯干)例如以像素为单位的长度测量值。
[0246]
在一些情况下，方法800可以包含估计坐直的乘员(例如，乘客和/或驾驶员)的身高和身宽，或通过估计乘客的姿态，例如乘客是前倾还是侧身，来补偿不同姿态。在此类情况下，身高和身宽估计可以基于一个或多个几何模型，或基于对与传感器相距不同距离并以不同姿态坐着的一个或多个乘员的数个获得的图像(例如，1、2、3、10、20、30、100或更多
个图像)训练神经网络。例如，如图8b所示，所述方法可以包含在一个或多个获得的图像中，例如在图像881中标识人880，例如坐在车辆的前座椅处的乘客或驾驶员。所述方法可以进一步使用神经网络来标识已标识人的姿态并估计人880的身体部位的长度。例如，神经网络可以通过标识数个点(例如，关键点891
‑
896)并用例如线897和898的数个线连接这些点来估计人880的身体部位的位置，以根据这些点创建骨架模型。可以根据此类骨架模型获取身体部位的长度或面积的测量值，所述骨架模型例如肩部的宽度(例如，在点891与893之间)、髋部的宽度(在点894与895之间)或躯干的高度(在点893与895之间)。人体姿态估计方法和骨架模型的非限制实例可以包含：alexander toshev、christian szegedy的《deeppose：经由深度神经网络的人体姿态估计(deeppose:human pose estimation via deep neural networks)》，2014年ieee计算机视觉与模式识别会议(cvpr)，第1653
‑
1660页；或由zhe cao、tomas simon、shih
‑
en
‑
wei、yaser sheikh的使用部分亲和场进行实时多人2d姿态估计(realtime multi
‑
person 2d pose estimation using part affinity fields)，这些文献以全文引用的方式并入本文中。
[0247]
在步骤840处，通过使用例如一个或多个范围传感器等范围估计方法和系统来测量已标识对象(例如，乘员)与传感器(例如，监测系统)的距离，可以将例如身体部位或上部测量(例如，头部和躯干)等像素测量从图像像素估计转换成实际测量单元，例如公制长度测量，例如以厘米为单位(例如，以厘米为单位的距离)。例如，神经网络可以接收输入，包含从范围传感器获得的到已标识对象乘客的距离的估计，或者根据图像本身估计所述距离。
[0248]
替代地或组合地，可以将图像坐标中的距离测量值与车辆座舱中例如乘客座椅等一个或多个已知和/或已标识对象的距离测量值进行比较。在此类配置中，可能不需要测量或估计到乘员的距离。
[0249]
在已标识对象是一个或多个人的情况下，在步骤850处，可以基于例如高度和/或宽度估计和/或根据从3d成像器(例如，3d传感器284)获得的高度和宽度估计而获得已标识人的重量(和/或质量)估计，所述成像器将范围输出到图像中的每个像素或样本。用于估计重量的几何模型可以包含例如以下等式：
[0250]
重量＝常数
×
(高度
×
宽度)^1.5或
[0251]
重量＝常数
×
高度
×
宽度
×
深度。
[0252]
替代地或组合地，可以将2d图像或3d图像或这两者的组合输入到神经网络，所述神经网络可以被训练以根据这些图像估计已标识对象的重量。在这两种情况下，训练会话可以包含改进估计，以便减少将估计值与高度和重量的地面真值进行比较的成本函数。
[0253]
婴儿座椅监测
[0254]
根据一些实施例，例如，当将后向婴儿座椅放置在车辆后座椅中时，安装在车辆前区段处的相机可能无法监测和标识婴儿座椅中是否存在婴儿，并且当婴儿被忘在锁定的车辆中时，也可能无法可靠地设置警报或通知婴儿父母或车辆驾驶员。根据实施例，提供了被配置成用于检测车辆中的个体的存在的系统、装置和方法，即使系统的成像和感测装置之间没有直接视线。此类系统可用于私家车和公交车，以防止驾驶员在有乘员(例如，婴儿)时锁定车辆。
[0255]
所述方法和系统包含在婴儿被放置在婴儿座椅上和/或婴儿座椅安全带扣被锁定的时刻监测婴儿座椅和/或婴儿座椅周围的区域。所述方法可以进一步包含分析抱着婴儿
的一个或多个人(例如，婴儿的父母或看护者)的移动以及其将婴儿放置并锁定在婴儿座椅中所花费的时间。基于将婴儿放置并锁定在婴儿座椅中所花费的测量时间，并假设此动作花费较长的时间，然后将例如袋子等对象放置在后座椅或婴儿座椅中，所述方法可以标识婴儿座椅中的婴儿座椅和/或婴儿座椅安全带未锁定。因此，所述系统和方法可以学习检测从婴儿座椅和汽车中抱出婴儿的顺序，所述顺序不同于从后座椅或婴儿座椅中拿出袋子的动作。
[0256]
因此，训练所述系统和算法以检测婴儿已经放在后座椅中并且未抱出，并在汽车被锁定并且婴儿被遗忘并被单独留下的情况下设置警报。
[0257]
图5a是根据实施例的车辆500的侧视图，其示出了包含后排乘客座椅521上的后向婴儿座椅505以及车辆内部监测系统510的乘客室或乘客容器。内部监测系统和方法能够检测对象的存在、例如箱子、乘员或后向婴儿座椅505等占用对象中的一个或多个，确定对象的类型，确定对象的位置，和/或确定对象的另一性质或特性。对象的性质可以是儿童座椅的定向、成人的速度等。例如，车辆内部监测系统510可以确定例如婴儿的对象存在于座椅上，对象是儿童座椅，并且儿童座椅是后向的。车辆内部监测系统还可以确定对象是成人，他喝醉了，并且他相对于安全气囊离位。在一些情况下，监测系统510可以是监测系统110或监测系统210。
[0258]
图5b示出了用于标识位于车辆后区段中的婴儿座椅并且在婴儿或儿童被忘在婴儿座椅处的情况下进行警示的方法的流程图500。在其它实施例中，所述方法包含与结合图5描述的步骤不同或额外的步骤。另外，在各种实施例中，所述方法的步骤可以按与结合图5描述的次序不同的次序来执行。
[0259]
在步骤510处，标识放置在车辆座舱的后区段处的婴儿座椅。在一些情况下，婴儿座椅由监测系统标识，所述监测系统例如图1b和图2a所示的监测系统110或210。
[0260]
在步骤520处，例如由监测系统监测婴儿座椅和/或婴儿座椅周围的区域，以输出关于婴儿座椅和/或婴儿座椅周围的区域的数据。
[0261]
在步骤530处，分析数据，包含例如由监测系统获得的一个或多个图像，以标识抱着婴儿的一个或多个人的移动，以及包含测量时间的数据，例如将婴儿放置并锁定在婴儿座椅上所花费的时间。在一些情况下，使用如关于图2a、2b、3、4、6a、6b和6c所示的计算机视觉和机器学习算法中的一个或多个来确认移动和测量时间。在一些情况下，可以使用例如图6a所示的融合算法等融合算法来分析数据，并将例如包含婴儿座椅图像的数据等数据与例如已标识移动等额外数据组合。
[0262]
在步骤540处，基于分析数据，例如包含例如已标识移动和测量时间的融合算法输出，确定婴儿/儿童的存在。
[0263]
任选地，根据实施例，在步骤550处，例如在车辆多媒体显示器上和/或在用户(例如，婴儿/儿童父母)移动装置(例如，移动电话)上报告和/或显示婴儿/儿童的位置和/或方位。
[0264]
图9a是示出根据实施例的用于检测乘坐状态的方法900的步骤的流程图，所述步骤包含标识对象，例如车辆座舱中的隐藏对象，以及在一些情况下使用3d骨架模型来提供关于已标识对象的信息。例如，所述方法可以包含例如实时地确定坐在包含例如至少一个婴儿座椅的车辆座椅上的一个或多个乘员的乘坐状态，并相应地输出一个或多个信号以激
活和/或提供与车辆单元或应用程序中的一个或多个的激活相关联的信息。方法900的一些阶段可以至少部分地由至少一个计算机处理器，例如由处理器152和/或车辆计算单元进行。可以提供相应的计算机程序产品，其包括计算机可读存储介质，所述计算机可读存储介质具有随其体现的计算机可读程序，并且被配置成进行方法900的相关阶段。在其它实施例中，所述方法包含与结合图9a描述的步骤不同或额外的步骤。另外，在各种实施例中，所述方法的步骤可以按与结合图9a描述的次序不同的次序来执行。
[0265]
在步骤910处，根据实施例，获得包含多个图像的数据，所述图像包含两个或更多个图像，例如一个或多个或一系列2d图像，并且获得车辆座舱的一个或多个或一系列3d图像。获得的一系列2d和3d图像包含车辆座舱的图像，包含一个或多个乘员，例如坐在车辆后座和/或后座椅中的驾驶员和/或乘客。根据一些实施例，3d图像是由例如监测系统110或210等监测系统捕获的图像。在一些情况下，捕获的图像可以包含反射光图案和/或tof数据和/或任何立体数据，而2d图像是不包含例如反射光图案等额外数据的清晰原始视觉图像。在一些实施例中，位于车辆座舱中，例如位于图1a所示的车辆前区段处的监测系统210同步地和/或依序地捕获多个图像(例如，2d和3d图像)。在一些情况下，实时地获得和处理图像。
[0266]
在步骤920处，对获得的一系列2d图像应用一个或多个姿态检测算法以检测车辆座舱中的乘员的姿态和定向。具体地说，姿态检测算法被配置成标识和/或测量特征，例如位置；定向；身体器官；乘员的身长和身宽。例如，可以通过对图像和/或密集姿态应用openpose算法来检测和测量对象的位置和定向。具体地说，根据实施例，随时间(t)将例如dnn(深度神经网络)的神经网络应用于每个获得的2d图像以在每个已标识乘员上生成(例如，叠加)骨架层。骨架层可以包括描述乘员的关节的多个关键点位置。换句话说，关键点表示在形成如图8b所示的骨架表示的捕获的身体图像处检测到的身体标志(例如，关节身体点)。根据实施例，骨架表示的每个关键点包含乘员身体图像处的已标识坐标(x,y)，用于提取已标识乘员的特征。
[0267]
在一些实施例中，姿态估计方法可以进一步用于标识每个获得的2d图像中的乘员和/或乘员座椅。
[0268]
在一些实施例中，姿态估计方法被配置成提取乘员和/或乘员周围环境的一个或多个特征，例如乘员的身体部位和乘员的座椅位置。
[0269]
在一些实施例中，已标识乘员彼此分离以得到每个已标识乘员的单独图像。在一些实施例中，每个分离的图像包含已标识乘员，并且任选地包含乘员周围环境，例如乘员的座椅。
[0270]
在一些实施例中，基于图像中已标识乘员的数目而划分一系列2d图像中每个获得的2d图像，从而针对每个已标识乘员生成分离的骨架。
[0271]
在一些实施例中，向空间(例如，车辆座舱)中每个估计的关键点分配置信度等级。
[0272]
在步骤930处，根据实施例，分析一系列3d图像以生成乘员和/或车辆座舱的一个或多个深度图表示。如所提及，已捕获的3d图像可以是乘员的任何类型的立体图像，例如用结构光照明的图像，包含对应于投射到对象上的照明图案的特定图案特征。图案特征可以是条纹、线、点或其它几何形状，并且包含均一或非均一的特性，例如形状、大小和强度。图8b中描述了用特定结构光(例如，点)照明的示例已捕获图像。在一些情况下，3d图像可以是rf图像等。
[0273]
在步骤940处，根据实施例，组合每个图像的每个乘员的3d图表示和骨架标注层，以得到一个或多个乘员，例如每个乘员的一个或多个3d骨架模型。通常，生成的骨架模型用于标识从成像装置获得的图像中的乘员的定向/姿态/距离。具体地说，骨架模型中的每一个包含例如乘员相对于x
‑
y
‑
z坐标系的3d关键点(x,y,z)表示等数据，其中(x,y)点表示获得的图像中乘员身体接合表面的位置，并且(z)表示相关(x,y)关键点表面与图像传感器的距离。
[0274]
应当强调的是，虽然图7a的步骤730和740包含获得反射光图案图像以得到每个图像的深度数据，但本发明可以包含通过任何类型的3d系统、装置和方法，例如本领域中已知的立体相机和/或tof传感器和/或rf传感器来获得3d图像和/或提取深度数据。
[0275]
在步骤950处，基于骨架模型而例如生成预测模型以实时地检测车辆的乘坐状态(例如，车辆中乘员的数目)。具体地说，分析包含对车辆中乘员的数目进行检测和/或计数，如本文关于图3和4(例如，步骤330或420)所提及。例如，分析可以包含基于每个已标识乘员的已标识骨架模型表示的总数目而(例如，实时地)对车辆中乘客的数目进行检测和计数。
[0276]
在一些情况下，可以分析骨架模型以提取乘员的一个或多个特征。在实施例中，提取的特征可以包含数据，例如车辆中每个乘员的测量姿态和/或定向。在一些实施例中，特征可以进一步包含乘员的一个或多个身体部位的长度，例如乘员的主要身体部位，例如肩部、髋部、躯干、腿部、身体等，如图8a所示。有利地，生成的骨架模型提供每个身体部分的“真实长度”(例如，或实际长度)，而不是在仅获得人的2d图像的情况下可以获得的“投射长度”。基于3d数据的分析提高了乘员标识的准确性，因为“投射长度”在提供乘坐估计方面非常有限(例如，对角度敏感等)。例如，如图7b所示，分析包括点的反射光图案的获得的图像780和叠加在坐在车辆前座椅或后座椅处的乘客的图像上的骨架，以估计例如肩部、髋部、躯干、腿部、身体等人体部位的长度。
[0277]
根据实施例，预测模型可以包含或可以是基于生成的3d骨架的一个或多个预测乘坐状态概率的随机预测模型(例如，马尔可夫链，例如呈马尔可夫矩阵的形式)，所述骨架例如随时间标识车辆中的一个或多个乘员。预测模型用于随时间持续地更新一个或多个当前乘坐状态的概率(例如，概率向量)，以得到更新后乘坐状态，例如实时地确定对象271和272的位置和/或车辆座舱中对象的数目。在一些情况下，通过使用例如无限脉冲响应(iir)滤波器等线性时不变(lti)方法对所述状态的不确定性进行加权来组合预测状态和当前状态。一旦检测到身体或身体部位，就在步骤294处跟踪对象。例如，可以使用例如相关跟踪器和边缘跟踪器之类的常规跟踪器在2d图像或深度图像中跟踪对象。下文关于图6a、6b和6c描述融合算法和预测模型的详细描述。
[0278]
根据一个实施例，基于确定的乘坐状态，处理器252可以输出可以用于提供信息和/或用于控制车辆中的装置、单元或应用程序的数据或信号，所述装置、单元或应用程序可以是远程的或与车辆成一体，例如，如报警器、警报或灯光之类的电子装置可以在离位时进行警示，并相应地激活乘员保护设备(例如，安全气囊)，可以根据被监测系统标识为激活装置和/或其它装置的人的已标识乘客或驾驶员配置车辆娱乐。根据实施例，相关装置或单元可以由信号输出控制，例如被激活或调制。
[0279]
在一些情况下，输出信号可以包含安全带提醒(sbr)、例如用于安全气囊抑制的离位指示(oop)以及用于警示驾驶员的驾驶员监测系统(dms)。参考图1b描述由系统或处理器
252提供的其它类型的数据和/或信号。
[0280]
在一些情况下，根据实施例，基于例如预定义筛选标准而分析每个乘员的一个或多个骨架模型或3d骨架模型以筛出(例如，去除或删除)一个或多个骨架模型，并得到乘员的有效骨架模型(例如，适合于质量估计)。预定义筛选准则包含定义用于估计乘员质量的所需姿态和定向的选择规则。例如，预定义筛选准则包含定义乘员的
‘
异常’或
‘
非有效’姿态或定向的选择规则。
‘
异常’姿态或定向可以定义为一种乘员的姿态或定向，其中由于例如乘员的坐姿不标准或由于乘员相对于图像传感器成像的角度使得可能无法完全看到乘员，因此未呈现或成像完整或几乎完整的骨架表示。在一些情况下，不标准的姿态可与乘员未坐直的姿态，例如处于弯曲位置有关。因此，对这些
‘
异常’骨架表示的分析用于丢弃被定义为
‘
异常’的姿态(例如，不准确或错误测量)，并且因此在质量估计过程中省略这些骨架。筛选标准的非限制性实例包含已标识对象的骨架特征和/或已标识异常姿态之间的所定义空间关系。被丢弃的姿态的非限制性实例在图5a和5b中示出。
[0281]
在一些情况下，可以使用姿态密度模型方法来筛选分析图像。根据实施例，姿态密度模型方法包含将每个对象骨架配置放置在高维度空间中并丢弃与此空间中的高密度区域处于预定距离内的任何配置。
[0282]
在一些情况下，根据实施例，分析乘员的有效骨架模型以检测车辆的乘坐状态。在一些实施例中，分析过程包含将提取的数个有效骨架模型插入测量模型，例如预训练回归模型，所述预训练回归模型被配置成基于当前和先前(t
‑
1)乘坐测量值而估计乘员在时间(t)的乘坐状态。在一些情况下，估计模型是机器学习估计模型，其被配置成确定乘坐状态。在一些情况下，测量模型被配置成提供预测乘坐的连续值，或执行更粗略的估计并根据质量类别(例如，儿童、小个头成人、正常人、大个头成人)对乘员进行分类。
[0283]
在一些情况下，测量模型可以是或可以包含如图6a、6b和6c所示的融合算法。根据一些实施例，融合过程包含使用融合算法来组合两种或更多种类型的数据输入，例如面部检测数据、光流数据、骨架模型和/或先验知识。
[0284]
图9b是示出根据实施例的检测乘坐状态的方法960的步骤的流程图，所述步骤包含标识对象，例如车辆座舱中的隐藏对象，以及在一些情况下使用2d骨架模型来提供关于已标识对象的信息。例如，所述方法可以包含例如实时地确定坐在包含例如至少一个婴儿座椅的车辆座椅上的一个或多个乘员的乘坐状态，并相应地输出一个或多个信号以激活和/或提供与车辆单元或应用程序中的一个或多个的激活相关联的信息。方法960的一些阶段可以至少部分地由至少一个计算机处理器，例如由处理器152和/或车辆计算单元进行。可以提供相应的计算机程序产品，其包括计算机可读存储介质，所述计算机可读存储介质具有随其体现的计算机可读程序，并且被配置成进行方法960的相关阶段。在其它实施例中，所述方法包含与结合图9a描述的步骤不同或额外的步骤。另外，在各种实施例中，所述方法的步骤可以按与结合图9b描述的次序不同的次序来执行。
[0285]
在步骤970处，根据实施例，获得包含一个或多个图像的数据，所述图像包含例如车辆座舱的单个2d图像或一系列2d图像或各种2d图像。获得的2d图像(例如，一系列2d图像或单个2d图像)包含车辆座舱的图像，包含一个或多个乘员，例如坐在车辆后座和/或后座椅中的驾驶员和/或乘客。根据一些实施例，2d图像是由例如监测系统110或210等监测系统捕获的图像。在一些情况下，已捕获的2d图像可以包含反射光图案和/或tof数据。在一些情
况下，2d图像是不包含例如反射光图案等额外数据的清晰原始视觉图像。在一些实施例中，位于车辆座舱中，例如位于图1a所示的车辆前区段处的监测系统210同步地和/或依序地捕获一个或多个2d图像。在一些情况下，实时地获得和处理图像。
[0286]
在步骤980处，对获得的2d图像应用一个或多个姿态检测算法以检测车辆座舱中的乘员的姿态和定向。具体地说，姿态检测算法被配置成标识和/或测量特征，例如位置；定向；身体器官；乘员的身长和身宽。例如，可以通过对图像和/或密集姿态应用openpose算法来检测和测量对象的位置和定向。具体地说，根据实施例，随时间(t)将例如dnn(深度神经网络)的神经网络应用于每个获得的2d图像以在每个已标识乘员上生成(例如，叠加)骨架层(例如，2d骨架层或2d骨架模型)。骨架层可以包括描述乘员的关节的多个关键点位置。换句话说，关键点表示在形成如图8b所示的骨架2d表示的捕获的身体图像处检测到的身体标志(例如，关节身体点)。根据实施例，骨架表示的每个关键点包含乘员身体图像处的已标识坐标(x,y)，用于提取已标识乘员的特征。
[0287]
在一些实施例中，2d骨架层放置在获得的2d图像的一个或多个或每个乘员上或上方以生成车辆乘员的2d骨架表示。
[0288]
在一些实施例中，姿态估计方法可以进一步用于标识每个获得的2d图像中的乘员和/或乘员座椅。
[0289]
在一些实施例中，姿态估计方法被配置成提取乘员和/或乘员周围环境的一个或多个特征，例如乘员的身体部位和乘员的座椅位置。
[0290]
在一些实施例中，已标识乘员彼此分离以得到每个已标识乘员的单独图像。在一些实施例中，每个分离的图像包含已标识乘员，并且任选地包含乘员周围环境，例如乘员的座椅。
[0291]
在一些实施例中，基于图像中已标识乘员的数目而划分一系列2d图像中每个获得的2d图像，从而针对每个已标识乘员生成分离的骨架。
[0292]
在一些实施例中，向空间(例如，车辆座舱)中每个估计的关键点分配置信度等级。
[0293]
在步骤990处，例如实时地分析生成的骨架模型以检测车辆的乘坐状态(例如，车辆中乘员的数目)。具体地说，分析包含对车辆中乘员的数目进行检测和/或计数，如本文关于图3和4(例如，步骤330或420)所提及。例如，分析可以包含基于每个已标识乘员的已标识骨架模型表示的总数目而(例如，实时地)对车辆中乘客的数目进行检测和计数。
[0294]
在一些情况下，可以分析骨架模型以提取乘员的一个或多个特征。在实施例中，提取的特征可以包含数据，例如车辆中每个乘员的测量姿态和/或定向。在一些实施例中，特征可以进一步包含乘员的一个或多个身体部位的长度，例如乘员的主要身体部位，例如肩部、髋部、躯干、腿部、身体等，如图8a所示。有利地，生成的骨架模型提供每个身体部分的“真实长度”(例如，或实际长度)，而不是在仅获得人的2d图像的情况下可以获得的“投射长度”。基于3d数据的分析提高了乘员标识的准确性，因为“投射长度”在提供乘坐估计方面非常有限(例如，对角度敏感等)。例如，如图7b所示，分析包括点的反射光图案的获得的图像780和叠加在坐在车辆前座椅或后座椅处的乘客的图像上的骨架，以估计例如肩部、髋部、躯干、腿部、身体等人体部位的长度。
[0295]
根据实施例，预测模型可以包含或可以是基于生成的3d骨架的一个或多个预测乘坐状态概率的随机预测模型(例如，马尔可夫链，例如呈马尔可夫矩阵的形式)，所述骨架例
如随时间标识车辆中的一个或多个乘员。预测模型用于随时间持续地更新一个或多个当前乘坐状态的概率(例如，概率向量)，以得到更新后乘坐状态，例如实时地确定对象271和272的位置和/或车辆座舱中对象的数目。在一些情况下，通过使用例如无限脉冲响应(iir)滤波器等线性时不变(lti)方法对所述状态的不确定性进行加权来组合预测状态和当前状态。一旦检测到身体或身体部位，就在步骤294处跟踪对象。例如，可以使用例如相关跟踪器和边缘跟踪器之类的常规跟踪器在2d图像或深度图像中跟踪对象。下文关于图6a、6b和6c描述融合算法和预测模型的详细描述。
[0296]
根据一个实施例，基于确定的乘坐状态，处理器252可以输出可以用于提供信息和/或用于控制车辆中的装置、单元或应用程序的数据或信号，所述装置、单元或应用程序可以是远程的或与车辆成一体，例如，如报警器、警报或灯光之类的电子装置可以在离位时进行警示，并相应地激活乘员保护设备(例如，安全气囊)，可以根据被监测系统标识为激活装置和/或其它装置的人的已标识乘客或驾驶员配置车辆娱乐。根据实施例，相关装置或单元可以由信号输出控制，例如被激活或调制。
[0297]
根据一个实施例，基于确定的乘坐状态，处理器252可以输出可以用于提供信息和/或用于控制车辆中的装置、单元或应用程序的数据或信号，所述装置、单元或应用程序可以是远程的或与车辆成一体，例如，如报警器、警报或灯光之类的电子装置可以在离位时进行警示，并相应地激活乘员保护设备(例如，安全气囊)，可以根据被监测系统标识为激活装置和/或其它装置的人的已标识乘客或驾驶员配置车辆娱乐。根据实施例，相关装置或单元可以由信号输出控制，例如被激活或调制。
[0298]
在一些情况下，输出信号可以包含安全带提醒(sbr)、例如用于安全气囊抑制的离位指示(oop)以及用于警示驾驶员的驾驶员监测系统(dms)。参考图1b描述由系统或处理器252提供的其它类型的数据和/或信号。
[0299]
在一些情况下，根据实施例，基于例如预定义筛选标准而分析每个乘员的一个或多个骨架模型以筛出(例如，去除或删除)一个或多个骨架模型，并得到乘员的有效骨架模型(例如，适合于质量估计)。预定义筛选准则包含定义用于估计乘员质量的所需姿态和定向的选择规则。例如，预定义筛选准则包含定义乘员的
‘
异常’或
‘
非有效’姿态或定向的选择规则。
‘
异常’姿态或定向可以定义为一种乘员的姿态或定向，其中由于例如乘员的坐姿不标准或由于乘员相对于图像传感器成像的角度使得可能无法完全看到乘员，因此未呈现或成像完整或几乎完整的骨架表示。在一些情况下，不标准的姿态可与乘员未坐直的姿态，例如处于弯曲位置有关。因此，对这些
‘
异常’骨架表示的分析用于丢弃被定义为
‘
异常’的姿态(例如，不准确或错误测量)，并且因此在质量估计过程中省略这些骨架。筛选标准的非限制性实例包含已标识对象的骨架特征和/或已标识异常姿态之间的所定义空间关系。被丢弃的姿态的非限制性实例在图5a和5b中示出。
[0300]
在一些情况下，可以使用姿态密度模型方法来筛选分析图像。根据实施例，姿态密度模型方法包含将每个对象骨架配置放置在高维度空间中并丢弃与此空间中的高密度区域处于预定距离内的任何配置。
[0301]
在一些情况下，根据实施例，分析乘员的有效骨架模型以检测车辆的乘坐状态。在一些实施例中，分析过程包含将提取的数个有效骨架模型插入测量模型，例如预训练回归模型，所述预训练回归模型被配置成基于当前和先前(t
‑
1)乘坐测量值而估计乘员在时间
(t)的乘坐状态。在一些情况下，估计模型是机器学习估计模型，其被配置成确定乘坐状态。在一些情况下，测量模型被配置成提供预测乘坐的连续值，或执行更粗略的估计并根据质量类别(例如，儿童、小个头成人、正常人、大个头成人)对乘员进行分类。
[0302]
在另外的实施例中，处理单元可以是数字处理装置，其包含执行装置的功能的一个或多个硬件中央处理单元(cpu)。在其它另外的实施例中，数字处理装置还包括被配置成执行可执行指令的操作系统。在一些实施例中，数字处理装置任选地连接到计算机网络。在另外的实施例中，数字处理装置任选地连接到互联网，使得所述数字处理装置能够访问万维网。在又另外的实施例中，数字处理装置任选连接到云计算基础设施。在其它实施例中，数字处理装置任选连接到内联网。在其它实施例中，数字处理装置任选连接到数据存储装置。
[0303]
根据本文的描述，作为非限制性示例，合适的数字处理装置包含服务器计算机、台式计算机、膝上型计算机、笔记本计算机、小型笔记本计算机、上网本计算机、上网平板计算机、机顶盒计算机、手持式计算机、互联网器具、移动智能手机、平板计算机、个人数字助理、视频游戏控制台和车辆。本领域技术人员将认识到，许多智能手机适用于本文所述的系统中。所属领域技术人员还将认识到，具有任选的计算机网络连接性的选择电视适合在本文所描述的系统中使用。合适的平板计算机包含具有所属领域技术人员已知的小册子、平板和可转换配置的平板计算机。
[0304]
在一些实施例中，数字处理装置包含被配置成执行可执行指令的操作系统。例如，操作系统是包含程序和数据的软件，其管理装置的硬件，并且为应用程序的执行提供服务。所属领域技术人员将认识到，作为非限制性示例，合适的服务器操作系统包含freebsd、openbsd、linux、mac os xwindows以及所属领域技术人员将认识到，作为非限制性示例，合适的个人计算机操作系统包含合适的个人计算机操作系统包含mac os以及例如gnu/linux之类的unix类操作系统。在一些实施例中，操作系统由云计算提供。所属领域技术人员还将认识到，作为非限制性实例，合适的移动智能电话操作系统包含os、research inblackberrywindowsos、windowsos、以及以及
[0305]
在一些实施例中，所述装置包含存储装置和/或存储器装置。存储和/或存储器装置是一个或多个物理设备，用于暂时或永久存储数据或程序。在一些实施例中，所述装置是易失性存储器，并且需要电力来维持所存储的信息。在一些实施例中，所述装置是非易失性存储器，并且当所述数字处理装置未被供电时保留所存储的信息。在另外的实施例中，非易失性存储器包括快闪存储器。在一些实施例中，非易失性存储器包括动态随机存取存储器(dram)。在一些实施例中，非易失性存储器包括铁电随机存取存储器(fram)。在一些实施例中，非易失性存储器包括相变随机存取存储器(pram)。在其它实施例中，所述装置是存储装置，作为非限制性实例，所述存储装置包含cd
‑
rom、dvd、快闪存储器装置、磁盘驱动器、磁带驱动器、光盘驱动器和基于云计算的存储装置。在另外的实施例中，存储装置和/或存储器
装置是例如本文所公开的那些装置的组合。
[0306]
在一些实施例中，数字处理装置包含将视觉信息发送给用户的显示器。在一些实施例中，显示器是阴极射线管(crt)。在一些实施例中，显示器是液晶显示器(lcd)。在另外的实施例中，显示器是薄膜晶体管液晶显示器(tft
‑
lcd)。在一些实施例中，显示器是有机发光二极管(oled)显示器。在多个另外的实施例中，oled显示器是无源矩阵oled(pmoled)或有源矩阵oled(amoled)显示器。在一些实施例中，显示器是等离子显示器。在其它实施例中，显示器是视频投射器。在又另外的实施例中，显示器是例如本文所公开的那些装置的组合。
[0307]
在一些实施例中，数字处理装置包含从用户接收信息的输入装置。在一些实施例中，输入装置是键盘。在一些实施例中，输入装置是指向装置，作为非限制性实例，所述指向装置包含鼠标、轨迹球、跟踪板、操纵杆、游戏控制器或触笔。在一些实施例中，输入装置是触摸屏或多触摸屏。在其它实施例中，输入装置是用于捕获语音或其它声音输入的麦克风。在其它实施例中，输入装置是捕获运动或视觉输入的摄像机。在又另外的实施例中，输入装置是例如本文所公开的那些装置的组合。
[0308]
在一些实施例中，本文所公开的系统包含使用程序编码的一个或多个非暂时性计算机可读存储介质，所述程序包含可由任选地联网数字处理装置的操作系统执行的指令。在另外的实施例中，计算机可读存储介质是数字处理装置的有形部件。在又另外的实施例中，计算机可读存储介质任选地可以从数字处理装置移除。
[0309]
在一些实施例中，作为非限制性实例，计算机可读存储介质包含cd
‑
rom、dvd、快闪存储器装置、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等。在一些情况下，所述程序和指令永久地、基本上永久地、半永久地或非暂时地编码在介质上。在一些实施例中，本文所公开的系统包含至少一个计算机程序或其用途。计算机程序包含指令序列，所述指令序列可在数字处理装置的cpu中执行，写入以执行特定任务。计算机可读指令可以实施为程序模块，例如功能、对象、应用程序编程接口(api)、数据结构等等，所述程序模块执行特定任务或实施特定抽象数据类型。根据本文所提供的公开内容，所属领域技术人员将认识到，计算机程序可以用各种语言的各种版本来编写。
[0310]
计算机可读指令的功能性可以按需要在各种环境中组合或分布。在一些实施例中，计算机程序包括指令序列。在一些实施例中，计算机程序包括多个指令序列。在一些实施例中，从一个位置提供计算机程序。在其它实施例中，从多个位置提供计算机程序。在各种实施例中，计算机程序包含一个或多个软件模块。在各种实施例中，计算机程序部分或整体包含一个或多个web应用程序、一个或多个移动应用程序、一个或多个独立应用程序、一个或多个web浏览器插件、扩展名、加载项或附件或它们的组合。在一些实施例中，计算机程序包含提供给移动数字处理装置的移动应用程序。在一些实施例中，移动应用程序在制造时被提供给移动数字处理装置。在其它实施例中，移动应用程序经由本文所描述的计算机网络被提供到移动数字处理装置。
[0311]
鉴于本文所提供的公开内容，通过所属领域技术人员已知的技术使用所属领域已知的硬件、语言和发展环境来产生移动应用程序。所属领域的技术人员将认识到，移动应用程序是以多种语言编写的。作为非限制性实例，合适的编程语言包含c、c 、c#、objective
‑
c、java
tm
、javascript、pascal、object pascal、python
tm
、ruby、vb.net、wml以及具有或没
有css的xhtml/html或其组合。
[0312]
合适的移动应用程序开发环境可以从若干来源获得。作为非限制性实例，商业上可用的开发环境包含airplaysdk、alchemo、celsius、bedrock、flash lite、net compact framework、rhomobile以及worklight移动平台。作为非限制性实例，其它开发环境可免费获得，包含但不限于lazarus、mobiflex、mosyn以及phonegap。此外，作为非限制性实例，移动装置制造商分发软件开发工具包，所述软件开发工具包包含但不限于iphone和ipad(ios)sdk、android
tm sdk、sdk、brew sdk、os sdk、symbian sdk、webos sdk以及mobile sdk。
[0313]
所属领域技术人员将认识到，作为非限制性实例，若干商业论坛可用于分发移动应用程序，所述移动应用程序包含应用商城、android
tm
市场、应用世界、用于掌上装置的应用商城、用于webos应用目录、用于移动市场的用于装置的特色服务、应用程序以及dsi商店。
[0314]
在一些实施例中，本文所公开的系统包含软件、服务器和/或数据库模块，或其用途。鉴于本文所提供的公开内容，软件模块是通过所述领域技术人员已知的技术，使用所属领域技术人员已知的机器、软件和语言来创建的。本文所公开的软件模块以多种方式实施。在各种实施例中，软件模块包括文件、代码段、编程对象、编程结构或其组合。在另外的各种实施例中，软件模块包括多个文件、多个代码段、多个编程对象、多个编程结构或其组合。在各种实施例中，作为非限制性实例，一个或多个软件模块包括网络应用程序、移动应用程序和独立应用程序。在一些实施例中，软件模块在一个计算机程序或应用程序中。在其它实施例中，软件模块在多于一个计算机程序或应用程序中。在一些实施例中，软件模块托管在一个机器上。在其它实施例中，软件模块托管在多于一个机器上。在另外的实施例中，软件模块托管在云计算平台上。在一些实施例中，软件模块托管在一个位置的一个或多个机器上。在其它实施例中，软件模块托管在多于一个位置的一个或多个机器上。
[0315]
在一些实施例中，本文所公开的系统包含一个或多个数据库或所述数据库的用途。鉴于本文所提供的公开内容，所属领域的技术人员将认识到，许多数据库适合于存储和检索如本文所描述的信息。在各种实施例中，作为非限制性实例，合适的数据库包含关系数据库、非关系数据库、面向对象数据库、对象数据库、实体关系模型数据库、关联数据库和xml数据库。在一些实施例中，数据库是基于互联网的。在另外的实施例中，数据库是基于网络的。在又另外的实施例中，数据库是基于云计算的。在其它实施例中，数据库基于一个或多个本地计算机存储装置。
[0316]
在以上描述中，实施例是本发明的实例或实施方案。“一个实施例”、“实施例”或“一些实施例”的各种出现不一定都指相同的实施例。
[0317]
尽管可在单个实施例的上下文中描述本发明的各种特征，但所述特征还可单独地或以任何合适的组合提供。相反地，尽管为了清楚起见，本文可在单独实施例的上下文中描述本发明，但本发明还可在单个实施例中实施。
[0318]
说明书中对“一些实施例”、“实施例”、“一个实施例”或“其它实施例”的引用意味着结合实施例描述的特定特征、结构或特性包含在本发明的至少一些实施例中，但不一定包含在所有实施例中。
[0319]
应理解，本文中采用的措辞和术语不应被解释为限制性的并且仅用于描述目的。
[0320]
参考随附的描述、图和实例可以更好地理解本发明教示的原理和用途。
[0321]
应理解，本文中阐述的细节并不解释为对本发明的应用的限制。
[0322]
此外，应理解，可以各种方式执行或实践本发明，并且可以在除上述描述中概述的实施例之外的实施例中实施本发明。
[0323]
应理解，术语“包含”、“包括”、“组成”及其语法变体并不排除添加一个或多个部件、特征、步骤或整数或其群组，并且术语应被解释为指定部件、特征、步骤或整数。
[0324]
如果说明书或权利要求书提及“额外”元件，则不排除存在多于一个所述额外元件。
[0325]
应当理解，在权利要求书或说明书提到“一种”或“一个”元件的情况下，这样的提及不应被解释为仅存在一个所述元件。应当理解，在说明书陈述“可以”、“可能”或“能够”包含部件、特征、结构或特性的情况下，不要求包含特定部件、特征、结构或特性。在适用的情况下，尽管可以使用状态图、流程图或两者来描述实施例，但本发明不限于那些图示或对应描述。例如，流程不需要移动通过每个示出的框或状态，或者以与示出和描述的完全相同的顺序移动。本发明的方法可以通过手动地、自动地或其组合地执行或完成所选择的步骤或任务来实施。
[0326]
权利要求书和说明书中呈现的描述、实例、方法和材料不应被解释为限制性的，而应仅被解释为说明性的。除非另外定义，否则本文中使用的技术术语和科学术语的含义是本发明所属领域的一般技术人员通常所理解的含义。本发明可在测试或实践中使用与本文所描述的方法和材料等效或类似的方法和材料来实施。
[0327]
虽然已经参照有限数目的实施例描述了本发明，但是这些不应被解释为对本发明范围的限制，而是作为一些优选实施例的范例。其它可能的变化、修改和应用也在本发明的范围内。因此，本发明的范围不应由迄今为止所描述的内容限制，而应由所附权利要求及其合法等效物限制。
[0328]
本说明书中所提及的所有公开、专利和专利申请在此以全文引用的方式并入本说明书中，同样，每个单独的公开、专利或专利申请也特定且单独地指示以引用的方式并入本文中。另外，本技术中对任何参考文件的引用或标识不应被解释为承认此类参考文件可作为本发明的现有技术而获得。就使用章节标题而言，不应将章节标题解释为必定限制性的。