一种车内监控系统协同装置的制作方法

1.本发明涉及车内监控技术领域，特别涉及车内多摄像头的监控系统协同装置。


背景技术：

2.目前，车内的监控大多只有驾驶员监控系统(dms)，dms系统是在驾驶员疲劳时报警所使用的，为了排除白天自然光影响dms系统的算法检测，该系统通常需要采用940滤光片配合红外灯使用。之后，为了提高车内乘客的安全性，又引入了车内监控系统(ims)，以用来记录车内情况，该系统采用rgbir彩色图像传感器，该图像传感器在白天状态下可以获得彩色图像，在夜晚状态下配合红外灯可以获得红外图像，以在不管是白天还是夜晚都可以保证ims系统获得的图像质量。
3.dms系统和ims系统这两个系统原本是各自独立工作的，但是，dms系统的红外灯会影响到ims系统的曝光，导致ims系统输出的画面中出现亮/暗条纹，甚至会有输出视频闪烁问题，对ims系统的实际视频效果影响很大。如图1所示，在同一帧原始图像数据内，dms系统的曝光区域为mnjh，ims系统的第一行曝光区域为abcd，第二行曝光区域为a1b1c1d1，此时，ims系统的第一行曝光区域与dms系统的曝光区域重叠的面积和ims系统的第二行曝光区域与dms系统的曝光区域重叠的面积不同，且ims系统的第一行曝光区域会比ims系统的第二行曝光区域更大些，就会导致ims系统的不同行所接收到的红外能量不一样，对应的亮度就会有差异。
4.为了解决以上问题，其一可以在ims系统中使用640滤光片，以使用全可见光感光方式(即滤除红外线)，这样就不会受到红外干扰。但是，在夜晚时，车内的光线较暗，使得低光照下的图像质量较差，无法满足图像录制要求。如图2所示，其二则是dms系统和ims系统在同一帧原始图像数据内完成曝光，即ims系统先曝光，并在其完成后dms系统再进行曝光，两个系统的摄像头分别进行曝光，另外，此方案理论上可行，但是实际中对时序要求很高，而且受限于图像传感器本身的框架限制，使得该方案很难行的通。故而，这两个方案的实际效果和可行性都不好。


技术实现要素：

5.本发明的目的在于，提供一种车内监控系统协同装置，可以解决dms系统和ims系统同时曝光时，dms系统的红外线对ims系统干扰的问题。
6.为了解决上述问题，本发明提供一种车内监控系统协同装置，包括ims系统和dms系统，所述ims系统和dms系统独立运行，且所述ims系统包括第一红外灯、第一控制单元mcu和ims摄像头，所述第一控制单元mcu用于判别外界环境为白天或夜晚，所述ims摄像头用于拍摄获取彩色图像或黑白图像，并在所述第一控制单元mcu判别外界环境为夜晚时，产生一个控制所述第一红外灯间歇性打开的信号；所述第一红外灯用于在打开时对所述ims摄像头的曝光提供红外光。
7.可选的，所述ims摄像头具有图像信号处理单元isp，所述图像信号处理单元isp根
据所述第一控制单元mcu判别的外界环境的状态来选择是否工作，并在工作时产生一个控制所述第一红外灯间歇性打开的信号。
8.进一步的，在所述图像信号处理单元isp判别外界环境为白天时，所述第一控制单元mcu不工作；以及
9.在所述图像信号处理单元isp判别为夜晚时，所述第一控制单元mcu产生一个高频的pwm波信号，所述高频的pwm波信号周期性控制所述第一红外灯打开或关闭。
10.进一步的，所述高频的pwm波信号的频率大于30khz。
11.进一步的，所述高频的pwm波信号的频率大于50khz。
12.进一步的，所述第一控制单元mcu不工作时，所述第一红外灯处于熄灭状态，且所述图像信号处理单元isp用于去除白天的红外光并输出彩色图像。
13.可选的，所述dms系统包括第二红外灯和dms摄像头，所述第二红外灯与所述dms摄像头同步运行，所述dms摄像头用于获取红外图像。
14.进一步的，所述第一红外灯在单位时间内产生的红外光的光强远远大于所述第二红外灯在单位时间内产生的红外光的光强。
15.可选的，所述dms系统的曝光时间控制在10ms以内。
16.可选的，还包括图像输出单元，所述ims系统和dms系统分别与所述图像输出单元连接，所述图像输出单元用于输出所述ims系统和dms系统所获得的图像。
17.与现有技术相比，本发明具有以下有益效果：
18.本发明提供一种车内监控系统协同装置，包括ims系统和dms系统，所述ims系统和dms系统独立运行，且所述ims系统包括第一红外灯、第一控制单元mcu和ims摄像头，所述第一控制单元mcu用于判别外界环境为白天或夜晚，所述ims摄像头用于拍摄获取彩色图像或黑白图像，并在所述第一控制单元mcu判别外界环境为夜晚时，产生一个控制所述第一红外灯间歇性打开的信号；所述第一红外灯用于在打开时对所述ims摄像头的曝光提供红外光，对第一红外灯频率控制，可以消除dms系统对ims系统的红外干扰，消除了ims系统所获得的图像上出现的黑暗条现象，有效解决了dms系统所产生的红外光干扰导致ims系统输出的视频闪烁的问题，提高了用户体验，也确保了图像质量。
附图说明
19.图1为dms系统和ims系统在同一帧内同时曝光时的曝光区域的示意图；
20.图2为dms系统和ims系统在同一帧内先后曝光时的曝光状况示意图；
21.图3为本发明一实施例提供的车内监控系统协同装置的系统框图；
22.图4为本发明一实施例dms系统和ims系统在同一帧内同时曝光时的曝光状况示意图。
具体实施方式
23.以下将对本发明的一种车内监控系统协同装置作进一步的详细描述。下面将参照附图对本发明进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
24.为了清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须做出大量实施细节以实现开发者的特定目标，例如按照有关系统或有关商业的限制，由一个实施例改变为另一个实施例。另外，应当认为这种开发工作可能是复杂和耗费时间的，但是对于本领域技术人员来说仅仅是常规工作。
25.为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。
26.图3为本实施例提供的车内监控系统协同装置的系统框图。如图3所示，本实施例提供一种车内监控系统协同装置，包括ims系统1、dms系统2和图像输出单元3，所述ims系统1和dms系统2均与所述图像输出单元3连接，所述ims系统1和dms系统2各自独立工作，且按照各自的时序要求进行曝光，以获取所需的图像，所述图像输出单元3例如是显示屏，其用于输出ims系统1和dms系统2获得的图像。其中，所述ims系统1在白天状态下可以输出彩色图像，在夜晚状态下可以输出红外图像，详细的，所述ims系统1可以正常输出频率为25hz的彩色图像或红外图像；所述dms系统2例如是可以输出红外图像，具体例如可以正常输出频率为25hz的红外图像，所述dms系统2的曝光时间例如是控制在10ms以内，具体例如是10ms，以解决汽车快速运动时所带来的拖影问题。
27.所述ims系统1包括第一红外灯11、第一控制单元mcu12和ims摄像头13，所述ims摄像头13具有图像信号处理单元isp131。所述dms系统2包括第二红外灯21、第二控制单元22和dms摄像头23。
28.所述第一红外灯11在单位时间内产生的红外光的光强远远大于第二红外灯21在单位时间内产生的红外光的光强。所述第二红外灯21与所述dms摄像头23同步运行，即，所述dms摄像头23曝光时，所述第二红外灯21打开，并用于向所述dms摄像头23提供红外光。其中，所述dms摄像头23配置有940滤光片，以配合第二红外灯21使用，可以不受外部光源的限制就可以对需要监控的地方实现24小时不间断监控。详细的，在白天时，由于外界的光强较强，dms摄像头23的曝光时间较短，使得所述第二红外灯21仅需要提供一光强较弱的红外光；在晚上时，由于外界的光强较弱，dms摄像头23的曝光时间较长，使得所述第二红外灯21需要提供一光强较强的红外光，也就是说，dms摄像头23的曝光时间越长，则第二红外灯21的光强越强，dms摄像头23的曝光时间越短，则第二红外灯21的光强越弱。
29.在本实施例中，所述dms摄像头23包括红外传感器，以适用于捕捉高速运动的物体，如人的眼球运动。所述红外传感器具体例如是整体快门(g l oba l shutter)红外传感器，具体例如是芯片ov9284。所述dms摄像头23默认输出图像为720p(像素)，输出频率为25hz。所述dms摄像头23的曝光时间限制为10ms，即所述dms摄像头的曝光时间小于或等于10ms，所述第二控制单元22产生一低频的pwm波信号，并通过低频且占空比为10％的pwm波信号控制第二红外灯23的光强，所述第二红外灯23的光强时间最大不超过1ms。
30.所述ims摄像头13用于拍摄获取图像，所述第一控制单元mcu12用于判断外界环境的状态，例如外界环境是白天还是夜晚，并根据白天或夜晚显示不同的状态。所述图像信号处理单元isp131根据所述第一控制单元mcu12判别的外界环境的状态来选择是否工作，并在工作时产生一个可以控制所述第一红外灯11开关的信号。
31.在白天状态下，所述图像信号处理单元isp131具有去红外功能，使得所述ims摄像头13可以输出彩色图像，此时没有红外光对所述ims摄像头13曝光的干扰，ims摄像头13输出的彩色图像基本正常。在夜晚状态下，由于此时的ims摄像头13输出了红外(ir)图像，且由于所述第二红外灯23打开后所产生的红外光对所述ims摄像头13曝光造成干扰。
32.所述第一控制单元mcu12控制所述第一红外灯11打开或关闭，所述图像信号处理单元isp131的状态可以判断所述第一控制单元mcu12打开或关闭，即所述图像信号处理单元isp131的内部智能算法可以判别白天和夜晚，在所述图像信号处理单元isp131判别为白天时，所述第一控制单元mcu12不工作，也就是所述第一控制单元mcu12关闭(即所述第一控制单元mcu12不会产生高频的pwm波信号1311)，此时，第一红外灯11处于熄灭状态，且所述图像信号处理单元isp131根据内部算法去除白天的红外光(即自然光中的红外光和第二红外灯所产生的红外光)，并输出彩色图像；在所述图像信号处理单元isp131判别为夜晚时，所述第一控制单元mcu12产生一个高频的pwm波信号1311，所述高频的pwm波信号1311周期性控制所述第一红外灯11打开或关闭，并通过所述图像信号处理单元isp131的状态来判断所述第一控制单元mcu12的工作状态。
33.所述高频的pwm波信号1311可以抵消第一红外灯11所带来的影响，其主要原理是flick banding，即在光源下，照射在不同pixel(像素)上的光能量不同，由于各pixel所接收的光能量的不同导致图像的亮度的不同，并通过在每个pixcel上叠加一个较高的能量来均衡化各像素的亮度。图4为本实施例dms系统和ims系统在同一帧内同时曝光时的曝光状况示意图。如图4所示，图4中半圆代表一帧图像，所述ims摄像头按行进行曝光，其中，所述ims摄像头13的第一行的曝光区域为abcd，所述ims摄像头的第二行的曝光区域为efgh，dms摄像头23在所述一帧图像内的曝光区域为mnpq，由图可知，abcd和efgh分别与mnpq之间具有重叠区域，但是，abcd与mnpq之间的重叠面积大于efgh与mnpq之间的重叠面积，而在所述ims摄像头13的每行内均会有多个高频红外脉冲信号，也就是每行内，第一红外灯11多次打开，这样可以保证在所述ims摄像头13的任一行都能接收到足够多来自第一红外灯11的红外信号，从而使得上述两个重叠区域中的能量几乎相等，二者对应的亮度差异很小。
34.在本实施例中，所述ims摄像头13包括支撑rgbir彩色图像传感器，所述rgbir彩色图像传感器例如是采用了芯片ov2778，所述rgbir彩色图像传感器具有一个ir(红外光)通道，使得所述传感器对红外光较为敏感，所述ims摄像头13可以在夜晚补红外光的情况下，获得优质的图像效果。所述图像信号处理单元isp131需要两个传感器，这两个传感器例如均是使用了芯片fh8310，该芯片不仅可以支持ims系统1进行3d降噪，而且可以去除红外光，可以保证在白天状态下通过ims摄像头13获得颜色准确性的图像，同时又能很好的抑制夜晚噪声。在本实施例中，所述ims系统1默认输出图像为1080像素(p)，输出频率为25hz，所述ims摄像头的传感器采用了rolling shutter传感器，所述ims摄像头采用了双峰滤光片。在实际测试时发现，该装置能够有效抑制第二红外灯对ims摄像头的干扰，并且技术难度也大大降低，不用过多考虑时序上的同步问题，使得其可行性得到有效提高。
35.在白天状态下，由于白天红外光的光强远远大于第二红外灯21的光强，所以所述图像信号处理单元isp131去除自然光中的红外光还一并去除了第二红外灯所产生的红外光，因此，所述ims摄像头13不会出现暗条闪烁现象。在夜晚状态下，所述图像信号处理单元isp131打开ir通道，并输出黑白图像，同时，所述图像信号处理单元isp131产生一个信号发
给第一控制单元mcu12，所述第一控制单元mcu12产生所述高频的pwm波信号1311来控制第一红外灯11的打开或关闭。所述高频的pwm波信号1311的频率例如是大于30khz，优选的，所述高频的pwm波信号1311的频率大于50khz，例如是50khz、100khz、200khz、300khz、400khz、500khz等。
36.综上所述，本发明的车内监控系统协同装置运用了isp丢帧技术和同步控制技术，以解决驾驶员监控系统对车内监控曝光造成的干扰问题，ims系统的global shutter传感器和dms系统的rolling shutter传感器的曝光时间片控制技术，二者相互的曝光时间可调节且不干扰。
37.此外，需要说明的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”的描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
38.可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。