车舱影像数据采集系统及车辆的制作方法

1.本公开涉及数据处理领域，尤其涉及一种车舱影像数据采集系统及车辆。


背景技术：

2.目前，智能车辆的应用越来越广泛。在智能车辆上，以驾驶员监控系统 (driver monitor system，dms)功能为例，其可以进行的功能包括但不限于疲劳检测，分心驾驶，危险动作等。在车辆上的不同位置可以部署多个相机，从而进行视频流采集，基于采集到的视频流进行dms功能的分析。


技术实现要素：

3.本公开提供了一种车舱影像数据采集系统及车辆。
4.根据本公开实施例的第一方面，提供一种车舱影像数据采集系统，包括：至少两个相机，用于采集包括所述车舱影像的视频流，以及在所述车舱内根据同步曝光指令进行同步曝光；与所述至少两个相机连接的至少两个芯片，其中，至少两个所述芯片分别连接不同的相机，各所述芯片之间通过硬线连接及传输同步曝光信号，各所述芯片用于向各自连接的相机发送所述同步曝光指令；其中，所述至少两个相机包括普通彩色模式rgb相机、红外ir相机、深度tof相机中的至少两个，或者所述至少两个相机包括由rgb、ir 和tof中的至少两个组成的组合相机。
5.在一些可选实施例中，所述芯片上设置有解串器，所述相机设置有与所述解串器匹配的串化器；所述串化器与所述解串器之间通过同轴线进行连接；所述串化器用于将相机采集到的包括所述车舱影像的视频流通过同轴线发送到所述解串器；和/或所述解串器用于通过同轴线将所述同步曝光信号传输至所述串化器。
6.在一些可选实施例中，还包括：控制器，用于生成同步曝光指令；与所述控制器和各所述芯片连接的交换机，用于向至少两个所述芯片中的第一芯片发送所述控制器生成的所述同步曝光指令。
7.在一些可选实施例中，至少两个所述芯片包括第一芯片和至少一个第二芯片；其中，所述交换机与所述第一芯片之间通过网络连接，所述第一芯片用于将所述交换机发送的所述同步曝光指令发送给各所述第二芯片。
8.在一些可选实施例中，所述交换机与各所述芯片之间通过网线进行连接，所述交换机与控制器之间通过网线进行连接。
9.在一些可选实施例中，所述控制器还用于生成指示所述相机执行除了同步曝光操作之外的预定控制操作的关联控制指令；所述交换机还用于通过网线将所述关联控制指令广播给各所述芯片；各所述芯片还用于生成控制与各所述芯片连接的相机执行所述关联控制指令对应的操作的操作控制指令。
10.在一些可选实施例中，所述至少两个相机还用于根据所述操作控制指令执行视频数据同步上传操作和补光灯开关控制操作中的至少一项；和/或，所述至少两个相机中包括
至少一组组合相机，所述至少一组组合相机用于根据所述操作控制指令执行相机开启操作或相机关闭操作。
11.根据本公开实施例的第二方面，提供一种车辆，包括如第一方面任一所述的车舱影像数据采集系统。
12.在一些可选实施例中，所述相机安装于以下至少一个位置：车内后视镜、车外后视镜、中控屏、转向柱、方向盘、档把、车载空调、车载音响。
13.在一些可选实施例中，至少两个相机设置在所述车舱内的同一位置。
14.本公开的实施例提供的技术方案可以包括以下有益效果：
15.本公开实施例中，车舱影像数据采集系统可以包括至少两个相机，与至少两个相机连接的至少两个芯片，其中，至少两个相机包括rgb相机、红外ir相机、深度tof相机中的至少两个，或至少两个相机包括由rgb、ir 和tof中的至少两个组成的组合相机。各芯片向各自连接的相机发送同步曝光指令，使得各相机在车舱内根据同步曝光指令进行同步曝光，降低了多个相机同步曝光的误差，可用性高。另外，可以由rgb相机、ir相机、tof 相机中的至少两个来采集车舱影像的视频流，以及进行同步曝光，实现简便。或者还可以由rgb、ir和tof中的至少两个组成的组合相机来采集车舱影像的视频流，以及进行同步曝光，从而在节省成本的同时，提高后续对采集的视频流进行视觉任务处理的准确性。
16.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
18.图1是本公开根据一示例性实施例示出的一种车舱影像数据采集系统结构示意图；
19.图2是本公开根据一示例性实施例示出的另一种车舱影像数据采集系统结构示意图；
20.图3是本公开根据一示例性实施例示出的另一种车舱影像数据采集系统结构示意图；
21.图4是本公开根据一示例性实施例示出的另一种车舱影像数据采集系统结构示意图。
具体实施方式
22.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
23.在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包
含一个或多个相关联的列出项目的任何或所有可能组合。
24.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
25.本公开提供了一种车舱影像数据采集系统，例如图1所示，包括：
26.至少两个相机101，用于采集包括所述车舱影像的视频流，以及在所述车舱内根据同步曝光指令进行同步曝光；
27.与所述至少两个相机连接的至少两个芯片102，其中，至少两个所述芯片102分别连接不同的相机101，各所述芯片102之间通过硬线连接及传输同步曝光信号，各所述芯片102用于向各自连接的相机101发送同步曝光指令。
28.在本公开实施例中，各芯片102可以采用但不限于系统基本芯片(systembasic chip，sbc)。各芯片102可以分别连接不同的相机101。至少两个相机101包括但不限于普通的色彩模式(red green blue，rgb)相机，或红外 (infrared，ir)相机，深度tof相机中的至少两个。或者至少两个相机101 可以包括由rgb、ir和tof中的至少两个组成的组合相机，共同实现组合相机的功能。在本公开实施例中的相机101需要支持外部触发功能，即可以由所连接的芯片102发送的控制指令进行触发，该控制指令包括但不限于同步曝光指令。
29.上述实施例中，可以通过车舱影像数据采集系统的各芯片向各自连接的相机发送同步曝光指令，使得各相机在车舱内同步进行同步曝光，降低了同步曝光的误差，其同步曝光的误差可达到微秒级，可用性高。另外，可以由 rgb相机、ir相机、tof相机中的至少两个来采集车舱影像的视频流，以及进行同步曝光，实现简便。或者还可以由rgb、ir和tof中的至少两个组成的组合相机来采集车舱影像的视频流，以及进行同步曝光，从而在节省成本的同时，提高后续对采集的视频流进行视觉任务处理的准确性。在一些可选实施例中，各芯片102上设置有解串器，与各芯片102分别连接的相机 101设置有与解串器匹配的串化器，串化器与解串器之间通过同轴线进行连接。其中，串化器可以用于将相机采集到的视频流通过同轴线发送到所述解串器，解串器用于通过同轴线将所述同步曝光信号传输至所述串化器。
30.在本公开实施例中，可以在相机101的串化器上设置第一接口，第一接口可以采用但不限于通用输入输出(general-purpose input/output，gpio) 接口。芯片102的解串器上可以设置与第一接口对应的一个第二接口，第二接口也可以采用但不限于gpio接口。第一接口与所述第二接口之间通过同轴线进行连接，使得指令或数据的传输速度更快。
31.上述实施例中，可以在芯片上设置解串器，从而可以将同步曝光信号传输至相机上设置的串化器，串化器可以用于将相机采集的包括车舱影像的视频流发送到芯片的解串器，串化器和解串器之间通过同轴线连接，提高了数据和同步曝光指令的传输速度，同样可以降低各相机同步曝光的误差。
32.在一些可选实施例中，该系统还可以包括：
33.控制器103，用于生成同步曝光指令；
34.与所述控制器103和各芯片102连接的交换机104，用于向至少两个所述芯片102中
的第一芯片102-1发送所述控制器103生成的所述同步曝光指令。
35.在一个可能的实现方式中，在图1所示的系统中，至少两个芯片102可以包括第一芯片102-1和至少一个第二芯片102-2，例如图2所示。第一芯片 102-1可以是各芯片中预先设置的主控(master)芯片。
36.所述交换机104与所述第一芯片102-1之间通过网线连接。第一芯片 102-1可用于接收同步曝光指令，并通过硬线将该同步曝光指令发送给各第二芯片102-2，此外，第一芯片102-1还用于将同步曝光指令发送给与第一芯片102-1连接的相机101。
37.各第二芯片102-2用于通过硬线接收第一芯片102-1发送的同步曝光指令，并发送该同步曝光指令给与各第二芯片102-2连接的相机101。
38.在本公开实施例中，为了减小各相机同步曝光的误差，可以将至少两个芯片两两之间通过硬线进行连接。
39.这样第一芯片102-1通过硬线发送同步曝光指令给各第二芯片102-2，相较于芯片之间通过网线发送指令的发送速度更快，从而可以让各芯片分别连接的不同相机之间同步曝光的误差缩小到微秒级。
40.上述实施例中，第一芯片通过硬线发送同步曝光指令给各第二芯片，各芯片将同步曝光指令发送给各芯片分别连接的相机，从而降低了车舱内各相机同步曝光的误差，可用性高。
41.在另一个可能的实现方式中，例如图3所示，交换机104与各芯片102 之间可以通过网线进行连接，交换机104与控制器103之间可以通过网线进行连接，降低车舱影像数据采集系统的成本。
42.其中，控制器103还可以用于生成指示所述相机执行除了同步曝光操作之外的预定控制操作的关联控制指令。相应地，交换机104还可以用于通过网线将关联控制指令广播给各芯片102。
43.各芯片102用于生成控制与各芯片102连接的相机101执行关联控制指令对应的操作的操作控制指令。
44.在本公开实施例中，关联控制指令包括但不限于以下至少一项：
45.视频数据同步上传指令、补光灯开关控制指令、组合相机的工作模式控制指令，其中，所述工作模式控制指令用于指示所述组合相机中的各相机的开启或关闭。
46.相应地，至少两个相机101可以用于根据该操作控制指令执行食品同步上传操作和补光灯开关控制操作中的至少一项。
47.在一个可能的实现方式中，至少两个相机101中包括至少一组组合相机，则至少一组组合相机可以用于根据所述操作控制指令执行相机开启操作或相机关闭操作。该组合相机由rgb、ir和tof中的至少两个组成。
48.上述实施例中，可以通过控制器生成控制指令，控制指令包括上述的同步曝光指令和/或关联控制指令，关联控制指令可以通过交换机广播给各芯片，各芯片可以生成控制与各所述芯片连接的相机执行所述关联控制指令对应的操作的操作控制指令，实现了控制多个相机同步执行关联控制指令对应的操作，可用性高。
49.在另一个可能的实现方式中，例如图4所示，交换机104与各芯片102 之间通过网线进行连接，交换机104与控制器103之间可以通过网线进行连接，各芯片102可以包括第一
芯片102-1和至少一个第二芯片102-2。第一芯片102-1可以是各芯片中预先设置的主控(master)芯片。所述交换机104 与所述第一芯片102-1之间通过网线连接。第一芯片102-1可用于接收同步曝光指令，并通过硬线将该同步曝光指令发送给各第二芯片102-2，此外，第一芯片102-1还用于将同步曝光指令发送给与第一芯片102-1连接的相机 101。
50.各第二芯片102-2用于通过硬线接收第一芯片102-1发送的同步曝光指令，并发送该同步曝光指令给与各第二芯片102-2连接的相机101。
51.另外，控制器103还可以用于生成指示所述相机执行除了同步曝光操作之外的预定控制操作的关联控制指令。相应地，交换机104还可以用于通过网线将关联控制指令广播给各芯片102。
52.各芯片102用于生成控制与各芯片102连接的相机101执行关联控制指令对应的操作的操作控制指令。
53.上述实施例中，控制器可以生成同步曝光指令和关联控制指令，其中的同步曝光指令由交换机通过网线发送给第一芯片，进而由第一芯片发送给各第二芯片以及与第一芯片连接的相机，第二芯片接收到同步曝光指令后，将该同步曝光指令发送给与各第二芯片连接的相机，从而降低了车舱内各相机同步曝光的误差，可用性高。控制器生成的关联控制指令可以通过交换机发送给各芯片，由各芯片发送给各自连接的相机，实现了控制多个相机同步执行关联控制指令对应的操作，可用性高。
54.在一些可选实施例中，本公开中涉及到的相机的传感器需要支持视频数据同步上传的功能，帧率需要支持外部触发，即允许芯片通过下发指令触发相机进行视频流采集，另外，还需要允许芯片对补光灯、相机工作模式等进行控制。
55.在一个示例中，提供了一种由rgb相机和ir相机组合得到的相机的参数，例如表1所示。
56.表1
[0057][0058]
在一个示例中，至少两个芯片中的任意一个芯片对应的参数，可以例如表2所示。
[0059]
表2
[0060]
类型sbc芯片的参数处理器s32v234电源6w，dc12v摄像头连接器2*mipicsi2 1viu连通性千兆以太网(gigabitethernet)解串器9286串化器96705内存2gbddr，sdcard，16gbemmc
[0061]
在一个示例中，rgb相机的串化器max96705的接口与对应的参数例如表3所示：
[0062]
表3
[0063][0064]
ir相机的串化器max96705的接口与对应的参数中，用于实现图像数字传输并行接口功能的管脚名称可以是dvp din11～din0，另外，电源参数可以是12v/100ma，其他参数可以与表3中的参数一致，在此不再赘述。
[0065]
在一个示例中，sbc内部解串器max9286与处理器s32v的接口之间的对应关系可以例如表4所示：
[0066]
表4
[0067][0068]
其中，管脚pin4位于解串器上，管脚pc10位于sbc芯片的处理器s32v 上，用于触发管脚pin4。
[0069]
上述实施例中，仅是对至少两个芯片、至少两个相机以及涉及到的接口参数进行举例说明，实际应用中，如果采用本公开提供的车舱影像数据采集系统，其采用的硬件设备仅是参数上的替换，都应属于本公开的保护范围。
[0070]
本公开还提供了一种车辆，该车辆包括上述车舱影像数据采集系统。
[0071]
可选地，车舱影像数据采集系统中的相机可以安装于以下至少一个位置：车内后视镜、车外后视镜、中控屏、转向柱、方向盘、档把、车载空调、车载音响。车舱影像数据采集系统中的芯片可以为车载控制芯片。
[0072]
其中，至少两个相机包括普通彩色模式rgb相机、红外ir相机、深度 tof相机中的至少两个，或者所述至少两个相机包括由rgb、ir和tof中的至少两个组成的组合相机。
[0073]
在一些可选实施例中，至少两个相机可以设置在所述车舱内的同一位置。用于实现车载监控功能。
[0074]
在一个可能的实现方式中，可以通过部署在车舱同一位置的至少两个相机对车舱内人员的状态进行状态检测，实现车载监控功能，车舱内的人员可以包括但不限于驾驶员，车载监控功能包括但不限于dms功能和/或乘客监控系统(occupant monitor system，oms)功能。实现车载监控功能的同时，提高车载监控的准确性、时效性，可用性高。
[0075]
其中，在实现dms和/或oms功能的情况下，部署在车舱内同一位置的至少两个相机可以为rgb相机和ir相机，或rgb-ir相机。
[0076]
本领域技术人员在考虑说明书及实践这里公开的实用新型后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0077]
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。