座舱内通过氛围灯进行提醒的方法和装置、电子设备和存储介质与流程

1.本公开涉及智能汽车技术，尤其是一种座舱内通过氛围灯进行提醒的方法和装置、电子设备和存储介质。


背景技术：

2.随着科技的发达及智能化的普及，使得人们对于车辆的需求越来越高，人性化的细节设计往往会提升整车智能感，同时给用户更便捷、更贴心的体验。
3.在驾驶车辆的过程中，驾驶员很难通过内后视镜完整观察到车内是否有后排乘客进入睡眠状态。


技术实现要素：

4.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种座舱内通过氛围灯进行提醒的方法和装置、电子设备和存储介质。
5.根据本公开实施例的一个方面，提供了一种座舱内通过氛围灯进行提醒的方法，包括：
6.获取所述座舱内的摄像头采集的目标图像；
7.确定所述目标图像中目标乘员处于睡眠状态时，控制所述座舱内的氛围灯按照第一预设方式闪烁后进入休眠模式，其中，所述第一预设方式闪烁用于提示所述目标乘员处于睡眠状态。
8.根据本公开实施例的另一个方面，提供了一种座舱内通过氛围灯进行提醒的装置，包括：
9.获取模块，用于获取所述座舱内的摄像头采集的目标图像；
10.控制模块，用于确定所述目标图像中目标乘员处于睡眠状态时，控制所述座舱内的氛围灯按照第一预设方式闪烁后进入休眠模式，其中，所述第一预设方式闪烁用于提示所述目标乘员处于睡眠状态。
11.根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的座舱内通过氛围灯进行提醒的方法。
12.根据本公开实施例的再一个方面，提供了一种电子设备，所述电子设备包括：
13.处理器；
14.用于存储所述处理器可执行指令的存储器；
15.所述处理器，用于执行本公开上述任一实施例所述的座舱内通过氛围灯进行提醒的方法。
16.基于本公开上述实施例提供的座舱内通过氛围灯进行提醒的方法和装置、电子设备和存储介质，利用座舱内摄像头采集的图像，确定目标乘员处于睡眠状态时，控制座舱内
的氛围灯按照预设方式闪烁，以提示目标乘员处于睡眠状态，实现了座舱内乘员睡眠状态的信息传递，使驾驶员无需转头即可及时、准确知晓座舱内乘员的睡眠/清醒(以下简称：眠/醒)状态，能够避免造成驾驶分心，进而保证驾驶安全。另外，确定目标乘员处于睡眠状态时，控制座舱内的氛围灯进入休眠模式，可以避免干扰目标乘员的睡眠，有助于为处于睡眠状态的乘员提供舒适的睡眠环境，从而提高睡眠舒适度。
17.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
18.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
19.图1是本公开所适用的一个示例性的应用场景图。
20.图2是本公开一示例性实施例提供的座舱内通过氛围灯进行提醒的方法的流程示意图。
21.图3是本公开另一示例性实施例提供的座舱内通过氛围灯进行提醒的方法的流程示意图。
22.图4是本公开又一示例性实施例提供的座舱内通过氛围灯进行提醒的方法的流程示意图。
23.图5是本公开一应用实施例提供的座舱内通过氛围灯进行提醒的方法的流程示意图。
24.图6是本公开一示例性实施例提供的座舱内通过氛围灯进行提醒的装置的结构示意图。
25.图7是本公开另一示例性实施例提供的座舱内通过氛围灯进行提醒的装置的结构示意图。
26.图8是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
27.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
28.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
29.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
30.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
31.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或
者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
32.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
33.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
34.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
35.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
36.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
37.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
38.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
39.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
40.申请概述
41.在实现本公开的过程中，本技术的发明人通过研究发现：在驾驶车辆的过程中，驾驶员很难通过内后视镜完整观察到车内后排乘客的眠/醒状态。若驾驶员自行转头确认后排乘客的情况，容易造成驾驶分心，从而影响驾驶安全。
42.因此，如何在避免造成驾驶分心的情况下，使驾驶员知晓后排乘客的眠/醒状态，是亟待解决的问题。
43.有鉴于此，本公开实施例提出了一种座舱内通过氛围灯进行提醒的技术方案，通过获取座舱内摄像头采集的目标图像，确定目标乘员处于睡眠状态时，控制座舱内的氛围灯按照预设方式闪烁，以提示目标乘员处于睡眠状态，实现了座舱内乘员睡眠状态的信息传递，使驾驶员无需转头即可及时、准确知晓座舱内乘员的眠/醒状态，能够避免造成驾驶分心，进而保证驾驶安全。另外，在确定目标乘员处于睡眠状态时，控制座舱内的氛围灯进入休眠模式，可以避免干扰目标乘员的睡眠，有助于为处于睡眠状态的乘员提供舒适的睡眠环境，从而提高睡眠舒适度。
44.示例性系统
45.本公开实施例可应用于车辆(包括小汽车、公交车、地铁等)、轮船、飞机等交通工具的座舱，以及娱乐设施等设备的座舱，等等，本公开实施例对具体应用的设备不做限制。
46.图1是本公开所适用的一个示例性的应用场景图。如图1所示，为本公开实施例应用于车辆座舱的一个应用场景。其中，在车辆的座舱102中，设置有氛围灯104，例如在其中一个或多个车门106上方或者仪表台上或者车内前方顶部等位置，设置有氛围灯104。在车辆的座舱102中，例如车辆内后视镜旁边、车辆的a柱上、或者其他可以采集到座舱内后排乘员的任意位置，部署有摄像头108。通过获取座舱102内的摄像头108进行图像采集，分别以摄像头108采集的视频流中的各帧图像作为目标图像，确定该目标图像中目标乘员(例如后排乘员110)处于睡眠状态时，控制座舱102内的氛围灯104按照第一预设方式闪烁后进入休眠模式，第一预设方式闪烁用于提示员目标乘员处于睡眠状态，实现了座舱内乘员睡眠状态的信息传递，使驾驶员无需转头即可及时、准确知晓座舱内乘员的眠/醒状态，能够避免造成驾驶分心，进而保证驾驶安全；另外，在确定目标乘员处于睡眠状态时，控制座舱内的氛围灯进入休眠模式，可以避免干扰目标乘员的睡眠，有助于为处于睡眠状态的乘员提供舒适的睡眠环境，从而提高睡眠舒适度。
47.示例性方法
48.图2是本公开一示例性实施例提供的座舱内通过氛围灯进行提醒的方法的流程示意图。本实施例可应用在电子设备、交通工具(例如，车辆)上，如图2所示，本实施例座舱内通过氛围灯进行提醒的方法包括如下步骤：
49.步骤202，获取座舱内的摄像头采集的目标图像。
50.本公开实施例中，在摄像头处于工作状态的情况下，可以实时或者按照预设频率(例如1次/s)采集目标图像。
51.其中的目标图像，可以是利用摄像头，针对座舱内特定位置(例如后排)采集的图像，也可以是针对各乘员分别采集的图像，还可以是针对整个座舱内部采集的图像，本公开实施例对此不做限制。
52.另外，该目标图像，可以是摄像头采集的视频流中的各帧图像或者针对座舱内特定位置从中获取的局部区域图像，或者，还可以是从摄像头采集的视频流中的按照预设规则(例如隔帧或者隔预设多帧)选取的各帧图像或者针对座舱内特定位置从中获取的局部区域图像，等等，本公开实施例对此不做限制。
53.步骤204，确定目标图像中目标乘员处于睡眠状态时，控制座舱内的氛围灯按照预设方式(为便于区分，以下称为第一预设方式)闪烁后进入休眠模式。
54.其中，第一预设方式闪烁用于提示目标乘员处于睡眠状态。
55.其中，目标乘员为座舱内需要进行眠/醒状态提醒的乘员，例如可以是座舱内除驾驶员外的所有乘员，也可以是座舱内驾驶员所在第一排位置之后的后排乘员，本公开实施例对此不做限制。
56.其中的氛围灯又称为led氛围灯，其表现形式可以是单色、多色、呼吸律动、音乐律动等形式。车辆的氛围灯作为一种装饰车辆和烘托气氛的产品，其灯光营造出来的效果会带来一种家的温馨、舒适感，同时也会营造出一种科技、奢华的美感，另外，氛围灯还可以提高夜间行车的安全性，舒缓驾驶员的疲劳感，放松心情。
57.本公开实施例中，可以根据不同大小、型号的安装和使用效果需求，在车辆座舱内的不同位置安装相应形状、大小、数量的氛围灯。其中的座舱内的位置，例如可以包括但不限于：车门内部、车门上方、车内顶棚周围、仪表盘、方向盘、中控、脚灯、杯架、车顶、迎宾灯、迎宾踏板等，本公开实施例对此不做限制。另外，还可以在车辆外部，例如后备箱、车灯等位置安装氛围灯，本公开实施例对氛围灯在车辆外部和座舱内的具体安装位置不做限制。
58.基于本实施例，利用座舱内摄像头采集的图像，确定目标乘员处于睡眠状态时，控制座舱内的氛围灯按照预设方式闪烁，以提示目标乘员处于睡眠状态，实现了座舱内乘员睡眠状态的信息传递，使驾驶员无需转头即可及时、准确知晓座舱内乘员的眠/醒状态，能够避免造成驾驶分心，进而保证驾驶安全。另外，确定目标乘员处于睡眠状态时，控制座舱内的氛围灯进入休眠模式，可以避免干扰目标乘员的睡眠，有助于为处于睡眠状态的乘员提供舒适的睡眠环境，从而提高睡眠舒适度。
59.可选地，在其中一些实现方式中，在步骤202之后，还可以通过但不限于如下任一方式确定目标乘员是否处于睡眠状态：
60.方式一：基于目标图像中目标乘员的眼部状态和/或肢体状态，确定目标乘员是否处于睡眠状态。
61.其中的眼部状态，即眼睛的睁合状态；肢体状态即肢体的位置关系，例如手部、胳膊与躯干之间的位置关系等。若目标乘员的眼部状态为眼睛处于闭合状态，肢体状态为手部和胳膊与躯干的位置不重叠，则可以确定该目标乘员处于睡眠状态。
62.在具体实现中，也可以将目标图像输入预先训练好的第一神经网络，由该第一神经网络提取眼部状态和/或肢体状态的特征、并基于提取的特征进行是否处于睡眠状态的分类，输出目标乘员是否处于睡眠状态的分类结果，基于该分类结果可以确定目标乘员是否处于睡眠状态。其中的第一神经网络，可以是一个多层神经网络(即：深度神经网络)，例如多层的卷积神经网络，例如可以是lenet、alexnet、googlenet、vgg、resnet等任意神经网络模型，本公开实施例对第一神经网络的具体实现不做限制。
63.另外，在具体实现中，也可以通过如下方式获取目标图像中目标乘员的眼部状态：首先，对目标图像进行人脸检测，得到目标乘员的脸部区域，之后，检测该目标乘员的脸部区域中的人脸关键点，得到该目标乘员的人脸关键点，再根据该目标乘员的人脸关键点分割出目标图像中该目标乘员的人眼区域图像，然后，基于预先训练好的第二神经网络对该人眼区域图像进行上眼睑线和下眼睑线的检测，进而，根据上眼睑线和下眼睑线之间的间隔确定目标乘员的眼睛的睁合状态信息，即得到目标乘员的眼部状态。其中的第二神经网络，可以是一个多层神经网络，例如多层的卷积神经网络，例如可以是lenet、alexnet、googlenet、vgg、resnet等任意神经网络模型，本公开实施例对第二神经网络的具体实现不做限制。
64.方式二：基于图像序列中目标乘员的眼部状态的变化信息，确定目标乘员是否处于睡眠状态，其中的图像序列包括摄像头采集的多帧图像，即从摄像头采集的视频流中选取的多帧图像，该多帧图像包括上述目标图像。
65.其中，眼部状态的变化信息即眼睛的睁合状态及其变化信息。若基于图像序列，目标乘员的眼部状态为眼睛处于闭合状态且持续时长达到预设睡眠时长阈值(例如1分钟)，则可以确定该目标乘员处于睡眠状态。
66.在具体实现中，也可以将图像序列输入预先训练好的第三神经网络，由该第三神经网络提取眼部状态和眼部状态的变化特征、并基于提取的特征进行是否处于睡眠状态的分类，输出目标乘员是否处于睡眠状态的分类结果，基于该分类结果可以确定目标乘员是否处于睡眠状态。其中的第三神经网络，可以是一个多层神经网络，例如多层的卷积神经网络，例如可以是lenet、alexnet、googlenet、vgg、resnet等任意神经网络模型，本公开实施例对第三神经网络的具体实现不做限制。
67.方式三：基于图像序列中目标乘员的肢体动作信息，确定目标乘员是否处于睡眠状态，其中的图像序列包括摄像头采集的多帧图像，该多帧图像包括上述目标图像。
68.其中，肢体动作信息即发生的肢体动作的相关信息。若基于图像序列，目标乘员未发生任何肢体动作、或者发生的肢体动作的幅度小于预设幅度阈值且频率小于预设频率阈值，则可以确定该目标乘员处于睡眠状态。
69.在具体实现中，也可以将图像序列输入预先训练好的第四神经网络，经该第四神经网络输出目标乘员是否处于睡眠状态的分类结果，基于该分类结果可以确定目标乘员是否处于睡眠状态。其中的第四神经网络，可以是一个多层神经网络，例如多层的卷积神经网络，例如可以是lenet、alexnet、googlenet、vgg、resnet等任意神经网络模型，本公开实施例对第四神经网络的具体实现不做限制。
70.方式四：基于图像序列中目标乘员的肢体状态的变化信息，确定目标乘员是否处于睡眠状态，其中的图像序列包括摄像头采集的多帧图像，该多帧图像包括上述目标图像。
71.若基于图像序列，目标乘员的肢体状态未发生变化的持续时长达到预设睡眠时长阈值，则可以确定该目标乘员处于睡眠状态。
72.在具体实现中，也可以将图像序列输入预先训练好的第五神经网络，经该第五神经网络输出目标乘员是否处于睡眠状态的分类结果，基于该分类结果可以确定目标乘员是否处于睡眠状态。其中的第五神经网络，可以是一个多层神经网络，例如多层的卷积神经网络，例如可以是lenet、alexnet、googlenet、vgg、resnet等任意神经网络模型，本公开实施例对第五神经网络的具体实现不做限制。
73.方式五：基于目标图像中目标乘员的眼部状态，确定目标乘员是否处于睡眠状态，得到第一确定结果；基于图像序列中目标乘员的肢体动作信息，确定目标乘员是否处于睡眠状态，得到第二确定结果；基于该第一确定结果和第二确定结果，综合确定目标乘员是否处于睡眠状态，有助于提高确定目标乘员是否处于睡眠状态的确定结果的准确性。其中的图像序列包括摄像头采集的多帧图像，该多帧图像包括上述目标图像。
74.方式六：基于目标图像中目标乘员的眼部状态，确定目标乘员是否处于睡眠状态，得到第一确定结果；基于图像序列中目标乘员的肢体状态的变化信息，确定目标乘员是否处于睡眠状态，得到第三确定结果；基于第一确定结果和第三确定结果，综合确定目标乘员是否处于睡眠状态，有助于提高确定目标乘员是否处于睡眠状态的确定结果的准确性。
75.另外，还可以采用其他方式，例如基于图像序列中目标乘员的眼部状态的变化信息，确定目标乘员是否处于睡眠状态，得到第四确定结果；基于图像序列中目标乘员的肢体动作信息或肢体状态的变化信息，确定目标乘员是否处于睡眠状态，得到第二确定结果或第三确定结果；基于第四确定结果和第二确定结果，或者第四确定结果和第三确定结果，综合确定目标乘员是否处于睡眠状态，有助于提高确定目标乘员是否处于睡眠状态的确定结
果的准确性。
76.基于本实施例，可以通过多种方式，客观、准确地确定目标乘员是否处于睡眠状态，以便及时知晓目标乘客的眠/醒状态。
77.图3是本公开另一示例性实施例提供的座舱内通过氛围灯进行提醒的方法的流程示意图。如图3所示，在图2所示实施例的基础上，该实施例中，步骤204包括：
78.步骤2042，确定目标图像中目标乘员处于睡眠状态时，确定该目标乘员在座舱内的位置。
79.可选地，在其中一些实现方式中，可以将目标图像输入预先训练得到的第六神经网络，经该第六神经网络输出该目标乘员在座舱内的位置。其中，可以预先分别针对同一类型车辆(例如五座车、七座车、各种商务车型等)的座舱内布局，利用标注有座舱内各位置的样本图像对初始第六神经网络进行迭代训练，训练得到的第六神经网络可以针对输入的同一类型车辆的座舱内图像，识别出该座舱内图像中对应于座舱内各位置的位置区域，从而基于目标乘员在目标图像中所属座舱内位置的位置区域即可确定该目标乘员在座舱内的位置。其中的第六神经网络，可以是一个多层神经网络，例如多层的卷积神经网络，例如可以是lenet、alexnet、googlenet、vgg、resnet等任意神经网络模型，本公开实施例对第六神经网络的具体实现不做限制。
80.或者，在另一些实现方式中，可以将目标图像输入预先训练得到的第七神经网络，由该第七神经网络直接输出目标图像中处于睡眠状态的目标乘员、以及该目标乘员在座舱内的位置。其中的第七神经网络，可以是一个多层神经网络，例如多层的卷积神经网络，例如可以是lenet、alexnet、googlenet、vgg、resnet等任意神经网络模型，本公开实施例对第七神经网络的具体实现不做限制。本公开实施例中，座舱内各位置、以及目标乘员在座舱内的位置，可以是座舱内布局的相对位置，例如五座车座舱内各位置可以表示为：前排左、前排右、后排左、后排右、后排中间；七座车座舱内各位置可以表示为：前排左、前排右、中排左、中排右、后排左、后排右、后排中间；等等，本公开实施例对此不做限制。
81.步骤2044，基于目标乘员在座舱内的位置，确定需要闪烁的目标氛围灯。
82.可选地，在其中一些实现方式中，可以预先设置座舱内的位置与氛围灯之间对应关系，例如，座舱内的不同位置分别对应于主驾位置处的多个氛围灯中的不同氛围灯；座舱内的不同位置分别对应于副驾位置处的多个氛围灯中的不同氛围灯；五座车座舱内前排左、前排右、中排左、中排右分别对应于车辆前排左门上方、前排右门上方、后排左门上方、后排右门上方的氛围灯，后排中间对应于座舱内顶棚中部位置处的氛围灯，等等。本公开实施例对座舱内的位置与氛围灯之间的具体对应关系不做限制。
83.从而，在该步骤2044中，基于目标乘员在座舱内的位置，通过查询该对应关系确定需要闪烁的目标氛围灯。
84.步骤2046，控制目标氛围灯按照第一预设方式闪烁。
85.基于本实施例，可以在目标乘员处于睡眠状态时，基于该目标乘员在座舱内的位置确定需要闪烁的目标氛围灯，然后控制该目标氛围灯按照第一预设方式闪烁，由此，通过按照第一预设方式闪烁的目标氛围灯，可以同步传递座舱内进入睡眠状态的乘员位置信息，从而提高信息传递效率，提高了座舱内未处于睡眠状态的其他乘员(包括驾驶员)的体验。
86.可选地，在其中一些实现方式中，为了对驾驶员有更好的视觉提示效果、而避免对其他乘员造成干扰，氛围灯可以部署在主驾驶位置处。相应地，步骤2044中，可以基于目标乘员在座舱内的位置，确定座舱内主驾驶位置处的氛围灯中需要闪烁的目标氛围灯。
87.基于本实施例，在目标乘员处于睡眠状态时，可以控制主驾驶位置处的氛围灯中与目标乘员在座舱内的位置相应的目标氛围灯按照第一预设方式闪烁，从而使驾驶员可以及时、准确的知晓座舱内进入睡眠状态的乘员位置信息，提高了对驾驶员的视觉提示效果，并能够避免对其他乘员造成干扰。
88.可选地，在另一些实现方式中，为了对驾驶员有更好的视觉提示效果，在步骤204中，确定目标图像中目标乘员处于睡眠状态时，可以基于座舱内的主驾驶位置确定目标氛围灯，进而，控制该目标氛围灯按照第一预设方式闪烁。
89.例如，在一种具体实现方式中，可以基于目标图像，确定座舱内副驾驶位置的占用状态，进而，基于该副驾驶位置的占用状态，在该副驾驶位置未占用时，表示该副驾驶位置无乘员，确定该副驾驶位置处的氛围灯为目标氛围灯。其中，副驾驶位置处的氛围灯，例如副驾驶车门上方、副驾驶位置的前上方等位置处的氛围灯等等，本公开实施例仅以座舱內位置来相对划分氛围灯所属的座舱内位置区域，关于氛围灯相对于该座舱内位置的具体设置位置、方位、设置方式等，不做限制。
90.具体实现中，可以将目标图像输入预先训练好的第八神经网络，经该第八神经网络识别目标图像中对应于座舱内副驾驶位置的位置区域、并对该副驾驶位置的位置区域进行人脸检测，输出该副驾驶位置的位置区域是否检测到人脸的人脸检测结果，基于该人脸检测结果即可确定座舱内副驾驶位置的占用状态，若人脸检测结果表示副驾驶位置的位置区域检测到人脸的人脸检测结果，表示该副驾驶位置的占用状态为已占用；否则，若人脸检测结果表示副驾驶位置的位置区域未检测到人脸的人脸检测结果，表示该副驾驶位置的占用状态为未占用。其中，可以预先分别针对同一类型车辆(例如五座车、七座车、各种商务车型等)的座舱内布局，利用标注有座舱内各位置的位置区域中人脸的样本图像对初始第八神经网络进行迭代训练，训练得到的第八神经网络可以针对输入的同一类型车辆的座舱内图像，识别出该座舱内图像中对应于座舱内各位置的位置区域中的人脸，从而实现对座舱内图像中各位置的位置区域中的人脸检测。其中的第八神经网络，可以是一个多层神经网络，例如多层的卷积神经网络，例如可以是lenet、alexnet、googlenet、vgg、resnet等任意神经网络模型，本公开实施例对第八神经网络的具体实现不做限制。
91.基于本实施例，基于该副驾驶位置的占用状态，可以确定副驾驶位置是否有乘员，在副驾驶位置无乘员时，确定该副驾驶位置处的氛围灯为目标氛围灯，从而通过控制副驾驶位置处的氛围灯按照预设方式闪烁，使驾驶员通过眼睛感受到的余光即可获知目标乘员的眠/醒状态。
92.另外，在上述各实施例中，确定目标图像中目标乘员处于睡眠状态时，还可以进一步在显示屏幕上显示目标乘员的睡眠状态信息，该睡眠状态信息例如可以包括但不限于以下任意一项或多项：睡眠状态标识，处于睡眠状态的乘员数量和乘员位置，等等。其中的睡眠状态标识，用于标识有人员处于睡眠状态，可以是简易的人员睡眠示意图、睡眠符号等等。
93.例如，在一种实现示例中，确定目标图像中有后排乘员处于睡眠状态时，可以在车
辆内的中控显示屏上显示如下睡眠状态信息：zzz～，1人，主驾驶后方。其中，zzz～为睡眠状态标识，该睡眠状态信息表示，处于睡眠状态的乘员数量为1人、位置在主驾驶后方。
94.例如，在另一种实现示例中，确定目标图像中有后排乘员处于睡眠状态时，可以在车辆内的中控显示屏上显示如下睡眠状态信息：睡眠状态标识，在座舱的位置布局上显示处于睡眠状态的乘员位置。由此，基于在座舱的位置布局上显示处于睡眠状态的乘员位置，可以同时示出处于睡眠状态的乘员数量。
95.基于本实施例，在确定目标图像中目标乘员处于睡眠状态时，通过在显示屏幕上显示目标乘员的睡眠状态信息，同时以视觉方式传递目标乘员的眠/醒状态信息，从而提升了信息传递效果，提高了车辆的智能化使用体验。
96.可选地，在上述各实施例中，在步骤204中控制座舱内的氛围灯按照第一预设方式闪烁后，还可以确定座舱内处于工作状态的电子设备，并控制该处于工作状态的电子设备进入休眠模式。
97.例如，控制处于工作状态的空调、音响设备、连接到车辆的中控系统的移动终端等，进入休眠模式。电子设备进入休眠模式时，可以保存进入休眠模式前的工作模式，然后进入非工作状态(例如断电状态)。后续恢复到工作状态时，可以完全精确地还原到进入休眠模式前的工作模式。其中的工作模式，即空调、音响设备、连接到中控系统的移动终端等电子设备工作时各维度的参数值和状态。其中，各维度的参数值，例如，空调的温度、湿度、风量、給风方向等各维度上的参数值，音响设备的音量等，连接到中控系统的移动终端的音量等。其中的状态，即空调、音响设备、连接到中控系统的移动终端等电子设备进入休眠模式前一时刻所进行的各项工作的状态，例如，空调设备扇叶位置，音响设备播放的歌曲以及该歌曲的播放进度，连接到中控系统的移动终端所进行的程序和处理的文档的进度，等等。
98.可选地，在一种实现示例中，座舱内处于工作状态的电子设备包括连接到中控系统的移动终端时，控制该处于工作状态的移动终端进入休眠模式，可以是控制该移动终端的提醒方式为预先设置的低音量、震动或者静音，即，在该移动终端接收到来电、消息时，该移动终端将以低音量、震动或者静音进行来电、消息提醒。
99.基于本实施例，控制座舱内的氛围灯按照第一预设方式闪烁后，控制座舱内该处于工作状态的电子设备进入休眠模式，以为目标乘员创造舒适的睡眠环境，提高目标乘员的睡眠质量；同时，在座舱内的氛围灯按照第一预设方式闪烁后，驾驶员已知晓有目标乘员进入睡眠状态，再控制座舱内该处于工作状态的电子设备进入休眠模式，可以避免处于工作状态的电子设备直接进入休眠模式引起驾驶员的理解障碍，从而造成驾驶分心、影响驾驶安全，提高了驾驶安全性，改善了驾驶员的驾驶体验。
100.图4是本公开又一示例性实施例提供的座舱内通过氛围灯进行提醒的方法的流程示意图。如图4所示，在上述各实施例的步骤204之后，还可以包括：
101.步骤302，响应于目标乘员结束睡眠状态且持续时长达到预设时长，确定目标乘员从睡眠状态调整为清醒状态。
102.其中，在目标乘员无睡眠行为的持续时长达到预设时长时，认为该目标乘员结束睡眠状态，进入清醒状态。其中的预设时长可以根据实际需求设置，例如1分钟，并可以根据需要调整。
103.步骤304，控制座舱内处于休眠模式的电子设备从休眠模式恢复为工作状态的工
作模式，即进入休眠模式前的工作模式。
104.基于本实施例，可以在确定目标乘员从睡眠状态调整为清醒状态后，控制座舱内处于休眠模式的电子设备进入休眠模式前的工作模式，直接以进入休眠模式前用户设置的工作模式工作，无需用户再手动调整电子设备的工作模式，提高了用户的使用体验。
105.可选地，在其中一些实现方式中，通过步骤302，确定目标乘员从睡眠状态调整为清醒状态后，还可以控制氛围灯按照第二预设方式闪烁后退出休眠模式，其中，该第二预设方式闪烁用于提示目标乘员结束睡眠状态。
106.基于本实施例，确定目标乘员从睡眠状态调整为清醒状态后，控制氛围灯按照第二预设方式闪烁，实现了座舱内乘员清醒状态的信息传递，使驾驶员无需转头即可及时、准确知晓座舱内乘员的眠/醒状态变化，能够避免造成驾驶分心，进而保证驾驶安全。另外，确定目标乘员恢复为清醒状态时，控制座舱内的氛围灯退出休眠模式，可以继续以进入休眠模式前的工作模式(例如灯光色彩、亮度等)工作，提高了用户的使用体验。
107.可选地，在其中一些实现方式中，在目标乘员包括座舱内除驾驶员外的所有乘员、或者驾驶员所在第一排位置之后的后排乘员时，在上述各实施例的步骤204中，可以是确定目标图像中目标乘员中有乘员处于睡眠状态时，无论目标乘员中有几位乘员处于睡眠状态，均控制座舱内的氛围灯按照第一预设方式闪烁后进入休眠模式。之后，通过步骤204再确定出目标图像中目标乘员中有乘员处于睡眠状态时，不再控制座舱内的氛围灯按照第一预设方式闪烁来提醒有乘员进入睡眠状态，使氛围灯和电子设备直接保持休眠模式即可。若基于上述实施例，同时在显示屏幕上显示目标乘员的睡眠状态信息，则更新显示屏幕上显示目标乘员的睡眠状态信息，例如更新睡眠状态信息中处于睡眠状态的乘员数量和乘员位置等等，以使驾驶员可以知晓目标乘员的最新睡眠情况。
108.而通过步骤302确定目标乘员中所有乘员均从睡眠状态调整为清醒状态后，即目标乘员中无任意一位乘员处于睡眠状态，再控制氛围灯按照第二预设方式闪烁后退出休眠模式，提醒驾驶员已无目标乘员处于睡眠状态；步骤304中，再控制座舱内处于休眠模式的电子设备从休眠模式恢复为工作状态的工作模式。若通过步骤302确定目标乘员中有乘员从睡眠状态调整为清醒状态，但是目标乘员中还有乘员处于睡眠状态，则不执行控制氛围灯按照第二预设方式闪烁后退出休眠模式、以及控制座舱内处于休眠模式的电子设备从休眠模式恢复为工作状态的工作模式的操作。
109.图5是本公开一应用实施例提供的座舱内通过氛围灯进行提醒的方法的流程示意图。该应用实施例以应用于车辆座舱为例进行说明，如图5所示，该应用实施例包括如下步骤：
110.步骤402，车辆座舱内的摄像头实时或者按照预设频率，针对座舱内的后排空间进行图像采集，针对座舱内的后排空间采集的图像称为目标图像，该目标图像包括后排乘员的图像。
111.步骤404，实时或者按照预设频率获取座舱内的摄像头采集的目标图像。
112.步骤406，确定目标图像中是否有后排乘员处于睡眠状态。
113.若有后排乘员处于睡眠状态，无论几位后排乘员处于睡眠状态，执行步骤408；否则，若后排乘员均未处于睡眠状态，继续执行该步骤406，确定目标图像中是否有后排乘员处于睡眠状态。
114.步骤408，确定处于睡眠状态的后排乘员在座舱内的位置。
115.步骤410，基于处于睡眠状态的后排乘员在座舱内的位置，确定需要闪烁的目标氛围灯。
116.步骤412，记录目标氛围灯当前的工作模式(例如颜色、亮度等)，以为后续退出休眠睡眠模式后恢复工作模式提供信息。
117.步骤414，控制目标氛围灯变黄色光并闪烁三次以提示有后排乘员处于睡眠状态，之后持续显示黄色呼吸灯光；同时，确定座舱内处于工作状态的电子设备，并控制该处于工作状态的电子设备进入休眠模式。
118.对于后续再次确定目标图像中有后排乘员处于睡眠状态时，不再执行步骤408-414，目标氛围灯和该电子设备保持休眠模式。
119.步骤416，确定目标图像中是否有后排乘员处于睡眠状态。
120.若无后排乘员处于睡眠状态，执行步骤418；否则，若有后排乘员处于睡眠状态，继续执行该步骤416，确定目标图像中是否有后排乘员处于睡眠状态。
121.步骤418，确定无后排乘员处于睡眠状态的持续时长是否达到1分钟。
122.若无后排乘员处于睡眠状态的持续时长达到1分钟，则确定目标乘员从睡眠状态调整为清醒状态，执行步骤420；否则，若无后排乘员处于睡眠状态、但持续时长未达到1分钟，继续执行该步骤418，确定无后排乘员处于睡眠状态的持续时长是否达到1分钟。
123.步骤420，控制目标氛围灯变绿色并闪烁三次以提示后排乘员结束睡眠状态，之后将该目标氛围灯恢复到进入休眠模式前的工作模式，并控制座舱内处于休眠模式的电子设备进入休眠模式前的工作模式。
124.本公开实施例提供的任一种座舱内通过氛围灯进行提醒的方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种座舱内通过氛围灯进行提醒的方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种座舱内通过氛围灯进行提醒的方法。下文不再赘述。
125.示例性装置
126.图6是本公开一示例性实施例提供的座舱内通过氛围灯进行提醒的装置的结构示意图。本公开实施例座舱内通过氛围灯进行提醒的装置可用于实现本公开上述各实施例座舱内通过氛围灯进行提醒的方法。如图6所示，该实施例座舱内通过氛围灯进行提醒的装置包括：获取模块502和控制模块504。其中：
127.获取模块502，用于获取座舱内的摄像头采集的目标图像。
128.控制模块504，用于确定目标图像中目标乘员处于睡眠状态时，控制座舱内的氛围灯按照第一预设方式闪烁后进入休眠模式，其中，第一预设方式闪烁用于提示目标乘员处于睡眠状态。
129.基于本实施例，利用座舱内摄像头采集的图像，确定目标乘员处于睡眠状态时，控制座舱内的氛围灯按照预设方式闪烁，以提示目标乘员处于睡眠状态，实现了座舱内乘员睡眠状态的信息传递，使驾驶员无需转头即可及时、准确知晓座舱内乘员的眠/醒状态，能够避免造成驾驶分心，进而保证驾驶安全。另外，确定目标乘员处于睡眠状态时，控制座舱内的氛围灯进入休眠模式，可以避免干扰目标乘员的睡眠，有助于为处于睡眠状态的乘员
提供舒适的睡眠环境，从而提高睡眠舒适度。
130.图7是本公开另一示例性实施例提供的座舱内通过氛围灯进行提醒的装置的结构示意图。如图7所示，在图6所示实施例的基础上，该实施例座舱内通过氛围灯进行提醒的装置中，还包括：第一确定模块602，用于通过但不限于如下任一方式确定目标乘员是否处于睡眠状态：
131.基于目标图像中目标乘员的眼部状态和/或肢体状态，确定目标乘员是否处于睡眠状态；和/或,
132.基于图像序列中目标乘员的肢体动作信息，确定目标乘员是否处于睡眠状态，图像序列包括摄像头采集的多帧图像，该多帧图像包括目标图像；和/或,
133.基于图像序列中目标乘员的肢体状态的变化信息，确定目标乘员是否处于睡眠状态；和/或,
134.基于目标图像中目标乘员的眼部状态，确定目标乘员是否处于睡眠状态，得到第一确定结果；基于图像序列中目标乘员的肢体动作信息，确定目标乘员是否处于睡眠状态，得到第二确定结果；基于第一确定结果和第二确定结果，确定目标乘员是否处于睡眠状态；和/或,
135.基于目标图像中目标乘员的眼部状态，确定目标乘员是否处于睡眠状态，得到第一确定结果；基于图像序列中目标乘员的肢体状态的变化信息，确定目标乘员是否处于睡眠状态，得到第三确定结果；基于第一确定结果和第三确定结果，确定目标乘员是否处于睡眠状态。
136.可选地，再参见图7，在其中一些实现方式中，控制模块504包括：第一确定单元5042，用于确定目标图像中目标乘员处于睡眠状态时，确定目标乘员在座舱内的位置；第二确定单元5044，用于基于目标乘员在座舱内的位置，确定需要闪烁的目标氛围灯；第一控制单元5046，用于控制目标氛围灯按照第一预设方式闪烁。
137.可选地，在其中一些实现方式中，第二确定单元5044，具体用于基于目标乘员在座舱内的位置，确定座舱内主驾驶位置处的氛围灯中需要闪烁的目标氛围灯。
138.可选地，在其中一些实现方式中，控制模块504具体用于：确定目标图像中目标乘员处于睡眠状态时，基于座舱内主驾驶位置确定目标氛围灯，例如基于目标图像，确定座舱内副驾驶位置的占用状态，然后，基于该占用状态确定副驾驶位置处的氛围灯为目标氛围灯；控制目标氛围灯按照第一预设方式闪烁。
139.可选地，再参见图7，上述实施例座舱内通过氛围灯进行提醒的装置中，还可以包括：显示模块604，用于在第一确定模块602确定目标乘员处于睡眠状态时，在显示屏幕上显示目标乘员的睡眠状态信息，其中，该睡眠状态信息包括以下任意一项或多项：睡眠状态标识，处于睡眠状态的乘员数量和乘员位置。
140.可选地，再参见图7，上述实施例座舱内通过氛围灯进行提醒的装置中，还可以包括：第二确定模块606，用于在控制模块504控制座舱内的氛围灯按照第一预设方式闪烁后，确定座舱内处于工作状态的电子设备。相应地，控制模块504还用于控制该电子设备进入休眠模式。
141.可选地，再参见图7，上述实施例座舱内通过氛围灯进行提醒的装置中，还可以包括：第三确定模块608，用于根据第一确定模块602确定目标乘员是否处于睡眠状态的确定
结果，响应于目标乘员结束睡眠状态且持续时长达到预设时长，确定目标乘员从睡眠状态调整为清醒状态。相应地，该实施例中，控制模块504，还用于在第三确定模块608确定目标乘员从睡眠状态调整为清醒状态时，控制座舱内处于休眠模式的电子设备从休眠模式恢复为工作状态的工作模式。
142.示例性电子设备
143.下面，参考图8来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
144.图8图示了根据本公开实施例的电子设备的框图。
145.如图8所示，电子设备包括一个或多个处理器702和存储器704。
146.处理器702可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
147.存储器704可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器702可以运行所述程序指令，以实现上文所述的本公开的各个实施例的座舱内通过氛围灯进行提醒的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
148.在一个示例中，电子设备还可以包括：输入装置706和输出装置708，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
149.例如，在该电子设备是第一设备0或第二设备200时，该输入装置706可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置706可以是通信网络连接器，用于从第一设备和第二设备200接收所采集的输入信号。
150.此外，该输入装置706还可以包括例如键盘、鼠标等等。
151.该输出装置708可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备708可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
152.当然，为了简化，图8中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
153.示例性计算机程序产品和计算机可读存储介质
154.除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的座舱内通过氛围灯进行提醒的方法中的步骤。
155.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程
序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
156.此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的座舱内通过氛围灯进行提醒的方法中的步骤。
157.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
158.以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
159.本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
160.本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
161.可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
162.还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
163.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
164.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实
施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。