检测车辆中的对象并获得对象信息的系统、装置和方法与流程

技术特征：
1.一种用于检测具有内部乘客室的车辆中的乘坐状态的方法，所述方法包括：使用至少一个处理器来进行以下操作：分析所述内部乘客室的数据以得到所述车辆的当前乘坐状态的至少一个概率；分析所述内部乘客室的额外数据以得到所述车辆的所述乘坐状态的预测概率，其中所述预测概率中的每个概率与将所述当前乘坐状态改变为不同乘坐状态的概率相关；将所述当前乘坐状态的所述当前至少一个概率与所述乘坐状态的所述预测概率组合以得到所述车辆的更新后乘坐状态的更新后概率；基于所述车辆的更新后乘坐状态的所述更新后概率而确定所述当前乘坐状态；基于确定的乘坐状态而生成输出以控制一个或多个装置或应用程序。2.根据权利要求1所述的方法，其中所述车辆的当前乘坐状态的所述至少一个概率呈概率向量的形式，并且所述车辆的所述乘坐状态的所述预测概率呈矩阵的形式。3.根据权利要求2所述的方法，其中所述矩阵是马尔可夫矩阵。4.根据权利要求2所述的方法，其中所述概率向量乘以所述矩阵以得到所述车辆的更新后乘坐状态的所述更新后概率。5.根据权利要求1所述的方法，其中所述数据包括所述内部乘客室的至少一个图像，所述至少一个图像由安装在所述车辆中的至少一个感测装置捕获。6.根据权利要求5所述的方法，其中使用深度神经网络(dnn)来分析所述至少一个图像以确定所述当前乘坐状态。7.根据权利要求1所述的方法，其中基于所述乘坐状态的所述预测概率和当前乘坐状态的所述至少一个概率的加权平均值而估计所述更新后乘坐状态。8.根据权利要求7所述的方法，其中使用无限脉冲响应(iir)滤波器来测量所述加权平均值。9.根据权利要求1所述的方法，其中从以下中的一个或多个获得所述额外数据：所述车辆中的可能移动的先验知识；所述内部乘客室的2d或3d图像；rf图像；一个或多个对象的已标识振动；已标识微振动；散斑图案分析。10.根据权利要求9所述的方法，其中所述额外数据包括以下中的一个或多个：车辆速度；车辆加速度；档位；燃料和/或车辆单元状态；车门状态；车窗状态；哪扇车门或车窗是关闭或打开的；与车辆座椅相关的信息；安全带状态、空调状态；车辆内部温度水平、与多媒体相关的信息；面部检测数据；运动检测数据；深度图。11.根据权利要求1所述的方法，其中所述一个或多个装置或应用程序是所述车辆的一个或多个装置或应用程序。12.根据权利要求1或2或3中任一项所述的方法，其中由包括具有多个模态的传感器的监测系统获得所述额外数据。13.根据权利要求12所述的方法，其中所述监测系统安装在所述车辆的控制板或仪表板或舱顶中。14.根据权利要求1所述的方法，其中所述确定的乘坐状态进一步包括标识所述车辆中的乘客总数目或已标识乘客的位置。15.根据权利要求14所述的方法，其中所述位置标识进一步包括标识乘客是坐直还是侧身还是前倾。
16.根据前述权利要求中任一项所述的方法，其中持续地更新所述车辆的所述乘坐状态的所述预测概率。17.一种用于检测具有内部乘客室的车辆中的乘坐状态的系统，所述系统包括：监测系统，其包括至少一个感测装置，所述至少一个感测装置被配置成捕获所述车辆的内部乘客室的图像；以及至少一个处理器，其与所述监测系统通信，其中所述至少一个处理器被配置成进行以下操作：分析所述内部乘客室的所述已捕获的图像以得到所述车辆的当前乘坐状态的至少一个概率；分析所述内部乘客室的额外数据以得到所述车辆的所述乘坐状态的预测概率，其中所述预测概率中的每个概率与将所述当前乘坐状态改变为不同乘坐状态的概率相关；将所述当前乘坐状态的所述当前至少一个概率与所述乘坐状态的所述预测概率组合以得到所述车辆的更新后乘坐状态的更新后概率；基于所述车辆的更新后乘坐状态的所述更新后概率而确定所述当前乘坐状态；基于确定的乘坐状态而生成输出以控制一个或多个装置或应用程序。18.根据权利要求17所述的系统，其中所述额外数据包括以下中的一个或多个：先验知识；光流。19.根据权利要求18所述的系统，其中所述先验知识能包含以下中的一个或多个：车辆速度；车辆加速度；档位；燃料和/或车辆单元状态；车门状态；车窗状态；哪扇车门或车窗是关闭或打开的；与车辆座椅相关的信息；安全带状态、空调状态；车辆内部温度水平、关于多媒体的信息。20.根据权利要求17所述的系统，其中所述监测系统包括照明源。21.根据权利要求17所述的系统，其中所述监测系统被配置成在所述内部乘客室处检测至少一个乘员。22.根据权利要求21所述的系统，其中所述监测系统进一步被配置成检测所述至少一个乘员的面部；运动；姿态中的一个或多个。23.根据权利要求17所述的系统，其中所述监测装置包括不同类型的多个感测装置。24.根据权利要求23所述的系统，其中所述多个感测装置选自以下组成的组：射频(rf)传感器；面部检测器；运动检测器；超声波传感器、声传感器、压力传感器、热检测器。25.根据权利要求17所述的系统，其中所述一个或多个装置或应用程序是所述车辆的一个或多个装置或应用程序，并且选自以下组成的组：一个或多个报警器；车辆安全气囊；hvac(供热通风与空气调节)系统；车辆音响系统；车辆电子稳定控制(esc)；信息娱乐系统；车辆安全系统；安全带提醒装置(sbr)系统；离位指示(oop)系统；驾驶员监测系统(dms)；高级驾驶员辅助系统(adas)。26.根据权利要求17所述的系统，其中所述输出是被配置成操作以下动作中的一个或多个的输出信号：指示一个或多个乘员的安全状况；根据所述更新后乘坐状态调节车辆系统以激活报警器，从而指示已乘坐而未系安全带；在离位时抑制安全气囊；优化所述车辆音响系统；优化
车辆电子稳定控制(esc)；检测锁定车辆中的乘员并自动打开车窗或车门中的一个或多个；调整一个或多个多媒体系统；检测进入和/或尝试进入车辆座舱的闯入者；验证所述驾驶员是清醒的并全神贯注地驾驶所述车辆。27.一种存储计算机程序指令的非瞬态计算机可读存储介质，所述计算机程序指令在由计算机处理器执行时使所述处理器执行以下步骤：接收车辆的内部乘客室的感觉数据，其中所述感觉数据由一个或多个感测装置捕获；接收所述内部乘客室的额外数据，其中所述额外数据包括与车辆状态或车辆单元状态相关的信息；分析所接收的感觉数据和所接收的额外数据以提取关于所述一个或多个对象或所述内部乘客室的详细信息；融合提取的详细信息以得到最佳决策模型，所述最佳决策模型被配置成考虑所述详细信息的可靠性。28.根据权利要求27所述的存储计算机程序指令的非瞬态计算机可读存储介质，其中所述提取的详细信息包括车辆乘坐状态或关于车辆中的一个或多个感兴趣对象或者所述对象/或区域的部分的细节中的一个或多个。29.根据权利要求27所述的存储计算机程序指令的非瞬态计算机可读存储介质，其中由所述车辆感测装置或其它传感器获得所述额外数据。30.根据权利要求27所述的存储计算机程序指令的非瞬态计算机可读存储介质，其中所述提取的详细信息包括具有不同模态的多个数据输入，并且所述融合包括融合所述多个数据输入以得到一个或多个预测乘坐状态概率的随机模型，以及基于预测乘坐状态概率而随时间持续地更新当前状态概率。31.一种用于测量车辆座舱中的一个或多个对象的实际长度的方法，所述方法包括：由至少一个图像传感器获得所述车辆座舱的一个或多个图像；由至少一个处理器分析获得的一个或多个图像以标识所述车辆座舱中的一个或多个对象；使用一个或多个神经网络以像素为单位估计所述获得的一个或多个图像中的已标识对象的长度；测量所述已标识对象与所述至少一个图像传感器的距离，或比较所述一个或多个已标识对象到所述车辆中的已知对象的距离以得到所述一个或多个对象的长度的实际测量值。32.根据权利要求31所述的方法，其中所述一个或多个对象是一个或多个人。33.根据权利要求31所述的方法，其中测量的长度包括所述一个或多个人的身高和体宽。34.根据权利要求33所述的方法，其中基于测量的身高和体宽而测量所述一个或多个人的体重。35.根据权利要求31所述的方法，其中使用一个或多个神经网络来测量所述一个或多个人的身体部分。36.一种用于监测婴儿座椅并获得关于车辆座舱中的所述婴儿座椅的信息的方法，所述方法包括：标识所述车辆座舱处的婴儿座椅；
使用监测系统来监测所述婴儿座椅或所述婴儿座椅周围的区域，以得到关于所述婴儿座椅或所述婴儿座椅周围的所述区域的数据；分析所述数据以标识抱着婴儿的一个或多个人的移动，并分析包含所述一个或多个人将所述婴儿放置并锁定在所述婴儿座椅上所花费的测量时间的数据；基于分析数据而确定所述婴儿的存在。37.根据权利要求36所述的方法，其中使用融合算法来分析所述数据。38.根据权利要求36所述的方法，其包括：报告或显示所述婴儿的位置或方位。39.一种用于检测具有内部乘客室的车辆中的一个或多个对象的存在的系统，所述系统包括：监测系统，其被配置成监测所述车辆的内部乘客室处的区域和对象，所述监测系统包括：一个或多个感测装置；一个或多个处理器，所述一个或多个处理器被配置成进行以下操作：接收所述内部乘客室的感觉数据，其中所述感觉数据是由所述一个或多个感测装置捕获的；接收所述内部乘客室的额外数据，其中所述额外数据是由所述车辆传感器获得的；分析所接收的感觉数据和所接收的额外数据以提取关于所述一个或多个对象和/或所述内部乘客室的详细信息；融合提取的详细信息以得到考虑所述详细信息的可靠性的最佳决策。40.根据权利要求39所述的系统，其中所述详细信息包括所述车辆的当前乘坐状态的至少一个概率，并且其中所述融合包括将当前乘坐状态的所述至少一个概率与所述乘坐状态的预测概率组合以得到所述车辆的更新后乘坐状态的更新后概率。41.根据权利要求39所述的系统，其包括基于确定的乘坐状态而生成输出以控制所述车辆的一个或多个装置或应用程序。42.根据权利要求39所述的系统，其中所述一个或多个对象位于所述乘客室中的后区段中。43.根据权利要求39所述的系统，其中所述监测系统安装在所述车辆的控制板或仪表板或舱顶中，从而获得关于位于所述车辆的所述乘客室中的所述后区段中的所述一个或多个对象的信息。44.根据权利要求39所述的系统，其中所述详细信息包含以下中的一个或多个：所述车辆中的一个或多个座椅被乘坐的概率的估计，和/或所述车辆中的乘客总数目，和/或已标识乘客的位置。45.根据权利要求39所述的系统，其中位置标识进一步包括标识乘客是坐直还是侧身还是前倾。46.根据权利要求39所述的系统，其中所述感觉数据包括以下中的一个或多个：所述内部乘客室的2d或3d图像；rf图像；一个或多个对象的已标识振动；已标识微振动；散斑图案分析。47.根据权利要求39所述的系统，其中所述额外数据包括以下中的一个或多个：
车辆速度；车辆加速度；档位；燃料和/或车辆单元状态；车门状态；车窗状态；哪扇车门或车窗是关闭或打开的；与车辆座椅相关的信息；安全带状态、空调状态；车辆内部温度水平、与多媒体相关的信息。48.根据权利要求39所述的系统，其中所述多个不同感测装置包括2d成像装置和/或3d成像装置和/或rf成像装置和/或振动传感器中的一个或多个。49.根据权利要求39所述的系统，其中所述车辆传感器选自以下组成的组：车辆发动机传感器；座椅传感器；车门传感器；座椅扣传感器；汽车稳定性传感器；车窗传感器。50.一种用于检测具有内部乘客室的车辆中乘员的数目的方法，所述方法包括：使用至少一个处理器来进行以下操作：获得包含所述乘员的一个或多个图像的数据；对所述一个或多个图像应用一个或多个姿态检测算法，以分别针对所述乘员中的每一个或者一个或多个乘员得到一个或多个骨架模型；基于所述一个或多个骨架模型而生成预测模型以检测所述车辆中乘员的所述数目。51.根据权利要求50所述的方法，其中所述一个或多个图像包括二维(2d)图像，并且其中所述一个或多个骨架模型是2d骨架模型。52.根据权利要求51所述的方法，其中所述获得的数据包括两个或更多个图像，并且其中所述两个或更多个图像包括所述内部乘客室的二维(2d)图像和三维(3d)图像，并且其中所述处理器被配置成进行以下操作：分析所述3d图像以生成所述乘员的一个或多个深度图表示；将所述深度图表示与生成的深度图表示组合以得到所述乘员的一个或多个3d骨架模型；以及分析所述一个或多个3d骨架模型以检测所述车辆中乘员的所述数目。53.根据权利要求50所述的方法，其中所述处理器被配置成基于预定义筛选准则而分析所述骨架模型以去除无效的骨架模型。54.根据权利要求50或52所述的方法，其中所述分析所述一个或多个骨架模型以检测所述车辆中乘员的所述数目包括将生成的骨架模型插入到所述预测模型，所述预测模型被配置成在时间(t)基于当前和先前(t
‑
1)的乘坐测量值而估计乘员的所述数目。55.根据权利要求52所述的方法，其中所述预测模型是融合算法。56.根据权利要求52所述的方法，其中所述融合算法包括组合两种或更多种类型的数据输入。57.根据权利要求56所述的方法，其中所述两种或更多种类型的数据输入包含所述一个或多个骨架模型以及光流数据或面部检测数据中的一个或多个。58.根据权利要求50所述的方法，其中所述预测模型是随机模型。59.根据权利要求58所述的方法，其中所述随机模型呈马尔可夫链或马尔可夫矩阵的形式。60.根据权利要求59所述的方法，其中所述车辆的当前乘坐状态的至少一个概率呈概率向量的形式，并且所述车辆的所述乘坐状态的所述预测概率呈矩阵的形式。61.根据权利要求50所述的系统，其中所述处理器进一步被配置成进行以下操作：
分析所述内部乘客室的额外数据以得到所述车辆的所述乘坐状态的预测概率，其中所述预测概率中的每个概率与将所述当前乘坐状态改变为不同乘坐状态的概率相关；将所述当前乘坐状态的所述当前至少一个概率与所述乘坐状态的所述预测概率组合以得到所述车辆的更新后乘坐状态的更新后概率；基于所述车辆的更新后乘坐状态的所述更新后概率而确定所述当前乘坐状态；以及基于确定的乘坐状态而生成输出以控制一个或多个装置或应用程序。62.根据权利要求61所述的方法，其中所述车辆的当前乘坐状态的至少一个概率呈概率向量的形式，并且所述车辆的所述乘坐状态的所述预测概率呈矩阵的形式。63.根据权利要求62所述的方法，其中所述概率向量乘以所述矩阵以得到所述车辆的更新后乘坐状态的所述更新后概率。64.根据权利要求61所述的方法，其中从以下中的一个或多个获得所述额外数据：所述车辆中的可能移动的先验知识；所述内部乘客室的2d或3d图像；rf图像；一个或多个对象的已标识振动；已标识微振动；散斑图案分析。65.一种用于检测具有内部乘客室的车辆中乘员的数目的方法，所述方法包括：使用至少一个处理器来进行以下操作：获得包含所述乘员的两个或更多个图像的数据；应用一个或多个面部检测或面部识别算法以标识所述乘员；分析所述乘员的所述标识以检测所述车辆中乘员的所述数目。

技术总结
提供了用于检测具有内部乘客室的车辆中的乘坐状态的系统和方法，所述系统和方法包含：分析所述内部乘客室的数据以得到所述车辆的当前乘坐状态的至少一个概率；以及进一步分析所述内部乘客室的额外数据以得到所述车辆的所述乘坐状态的预测概率，其中所述预测概率中的每个概率与将所述当前乘坐状态改变为不同乘坐状态的概率相关；将所述当前乘坐状态的当前至少一个概率与所述乘坐状态的所述预测概率组合以得到所述车辆的更新后乘坐状态的更新后概率；基于所述车辆的更新后乘坐状态的所述更新后概率而确定所述当前乘坐状态；以及基于确定的乘坐状态而生成输出以控制一个或多个装置或应用程序。多个装置或应用程序。多个装置或应用程序。


技术研发人员：Y
受保护的技术使用者：贾迪安光学技术有限公司
技术研发日：2020.02.17
技术公布日：2021/10/26