一种双摄供流切换控制方法、设备及介质与流程

本发明涉及摄像处理，尤其涉及一种双摄供流切换控制方法、设备及介质。

背景技术：

1、在摄像设备中，为兼顾不同视场需求，常在同一机身内设置两颗图像传感器，两颗传感器的镜头视场⻆不同：一颗覆盖较宽的场景，另一颗覆盖较窄但成像细节更多的场景。摄像设备按当前需要选用其中一颗出图。受主控芯片的接口数量与成本限制，两颗传感器往往共用一路图像输入通道。该图像输入通道同一时刻只连接一颗传感器，另一颗处于复位状态；若要改用另一颗传感器出图，须先切换该通道的连接对象。由于该通道的输出同时供给上位机显示和内部视觉处理单元，而两颗传感器的工作参数存在差异，切换时通道会经历一段无有效数据的时间窗口。该窗口自停止当前传感器出图起，至目标传感器完成初始化并稳定出图止，其长度由复位保持时长、时钟重配时长与传感器启动时长共同决定，难以压缩至人眼不可察觉的程度。

2、目前，一种现有做法是在切换窗口内停止向显示路和视觉处理路投送数据。这样虽可避免视觉处理单元基于无效数据产生误检，但会导致上位机显示端出现黑屏或冻结。另一种做法是在切换窗口内仍向两路分发通道数据。然而，此时数据来自尚未配置完成的传感器，其行长、场长与像素排列可能与通道当前配置不一致，因而两路收到的都是无效数据：上位机显示端会出现花屏、尺寸异常或冻结；内部视觉处理单元仍会据此输出检测结果，从而产生误检。误检结果进入跟踪链路后还会污染跟踪状态，其影响延续至切换完成后的若干帧。

3、由于上位机显示和内部视觉处理单元对切换瞬间的要求不同，上述两种处置方式无法同时满足上位机显示连续、不黑屏，内部视觉处理单元输入有效、不误检，导致显示连续性与检测正确性难以兼顾。

技术实现思路

1、本发明提供一种双摄供流切换控制方法、设备及介质，旨在解决的技术问题是：如何在两颗图像传感器共用一路图像通道进行切换时，在切换窗口内同时保证上位机显示链路的连续性和内部视觉处理链路的正确性。

2、第一方面，本发明提供一种双摄供流切换控制方法，应用于摄像设备的第一主控单元，所述摄像设备包括第一图像传感器、第二图像传感器、传感器选择单元、图像输入通道、所述第一主控单元和第二主控单元，所述第一图像传感器与所述第二图像传感器经所述传感器选择单元择一接入所述图像输入通道，所述传感器选择单元的电平指示当前所选图像传感器，所述图像输入通道的输出包括送往上位机的主取流路径和送往所述第二主控单元的副供流路径，所述方法包括：

3、获取切换判断信息，判断所述切换判断信息是否满足预设切换条件；

4、若满足所述预设切换条件，则将所述第一图像传感器与所述第二图像传感器中除当前所选图像传感器之外的另一个图像传感器确定为目标图像传感器，并向所述第二主控单元发送切换预告；

5、若接收到所述第二主控单元发送的过渡态回复，或自发送所述切换预告起的等待时间达到预设时长阈值，开启切换窗口，在所述切换窗口内，对所述主取流路径保持切换前的末帧，对所述副供流路径执行帧无效化处理，将当前接入所述图像输入通道的图像传感器切换至所述目标图像传感器；所述过渡态回复由所述第二主控单元在将自接收所述切换预告起到达的图像帧不送入检测队列并保持当前跟踪状态不变后生成；

6、读取所述传感器选择单元的电平，基于所述电平确定当前所选图像传感器；

7、若所述当前所选图像传感器为所述目标图像传感器，向所述第二主控单元发送退出通知，并恢复向所述副供流路径投送有效帧，所述退出通知用于通知所述第二主控单元退出过渡态并恢复对有效帧的检测与跟踪。

8、可选地，所述获取切换判断信息，判断所述切换判断信息是否满足预设切换条件，包括：

9、接收所述第二主控单元上报的视觉检测状态量，所述第一图像传感器的视场角大于所述第二图像传感器的视场角；

10、在当前所选图像传感器为所述第一图像传感器时，判断所述视觉检测状态量是否小于预设第一阈值，且距上一次切换完成的时间是否达到最小驻留时间；

11、若所述视觉检测状态量小于所述预设第一阈值且距上一次切换完成的时间达到所述最小驻留时间，则确定满足所述预设切换条件，并将所述第二图像传感器确定为所述目标图像传感器；

12、在当前所选图像传感器为所述第二图像传感器时，判断所述视觉检测状态量是否大于预设第二阈值，且距上一次切换完成的时间是否达到所述最小驻留时间；

13、若所述视觉检测状态量大于所述预设第二阈值且距上一次切换完成的时间达到所述最小驻留时间，则确定满足所述预设切换条件，并将所述第一图像传感器确定为所述目标图像传感器；

14、其中，所述预设第一阈值小于所述预设第二阈值。

15、可选地，所述将当前接入所述图像输入通道的图像传感器切换至所述目标图像传感器，包括：

16、停止编码输出，并关闭所述图像输入通道的采集；

17、将所述第一图像传感器与所述第二图像传感器中除所述目标图像传感器之外的图像传感器置入复位并保持，并按所述目标图像传感器所需的挡位重新配置输入时钟；

18、加载与所述目标图像传感器对应的图像质量参数组，释放所述目标图像传感器的复位并等待所述目标图像传感器初始化完成；

19、按所述目标图像传感器的行长与场长重新配置采集，并按所述主取流路径和所述副供流路径各自所需的尺寸重新配置缩放。

20、可选地，所述释放所述目标图像传感器的复位并等待所述目标图像传感器初始化完成，包括：

21、释放所述目标图像传感器的复位；

22、读取所述目标图像传感器的标识寄存器，向所述目标图像传感器写入初始化配置，回读所述目标图像传感器的配置；判断是否在预设时长内从所述标识寄存器读取到所述目标图像传感器的就绪标识，且回读得到的所述目标图像传感器的配置与所述初始化配置是否一致；

23、若在所述预设时长内从所述标识寄存器读取到所述目标图像传感器的就绪标识，且回读得到的所述目标图像传感器的配置与所述初始化配置一致，则确定所述目标图像传感器初始化完成；

24、若未在所述预设时长内从所述标识寄存器读取到所述目标图像传感器的就绪标识，或回读得到的所述目标图像传感器的配置与所述初始化配置不一致，则将所述目标图像传感器置入复位、并转到所述释放所述目标图像传感器的复位的步骤，并累计将所述目标图像传感器置入复位的重试次数；

25、若所述重试次数达到预设次数后，仍未在所述预设时长内从所述标识寄存器读取到所述目标图像传感器的就绪标识，或回读得到的所述目标图像传感器的配置与所述初始化配置不一致，则将所述传感器选择单元切回切换前接入所述图像输入通道的图像传感器，并向所述第二主控单元发送携带切换失败状态的退出通知。

26、可选地，所述帧无效化处理包括标记无效处理和/或暂停投帧处理；

27、所述标记无效处理包括：在所述副供流路径的每帧数据前部设置帧头字段，所述帧头字段包括用于记录本帧有效性的标志位；在所述切换窗口内将所述标志位置为无效，以使所述第二主控单元在帧接收完成中断中解析所述标志位，忽略所述标志位为无效的图像帧，并按与有效帧相同的时序释放所述图像帧的帧缓冲；

28、所述暂停投帧处理包括：在所述切换窗口内关闭所述图像输入通道的采集前端，使所述副供流路径停止输出帧同步信号和像素数据，以使所述第二主控单元的采集控制器在未收到帧同步信号时不发起帧接收，所述副供流路径的帧队列保持为空；暂停向所述副供流路径投送帧同步信号，使所述第二主控单元的检测任务在所述帧队列为空时等待，不产生缺帧超时判定，且使所述第二主控单元在暂停期间不触发帧停滞看门狗；所述副供流路径的帧队列以固定数量的帧缓冲构成环形队列，所述环形队列的缓冲总量在初始化时一次性分配且常驻不释放，在所述切换窗口内无新帧入队时所述环形队列仅变空而不积压，所述检测任务在所述帧队列为空时等待不视为错误也不上报异常。

29、可选地，所述读取所述传感器选择单元的电平，基于所述电平确定当前所选图像传感器，包括：

30、回读所述传感器选择单元的电平；

31、判断所述电平是否与所述目标图像传感器对应的电平相同；

32、若所述电平与所述目标图像传感器对应的电平相同，则确定当前所选图像传感器为所述目标图像传感器；

33、若所述电平与所述目标图像传感器对应的电平不相同，则确定当前所选图像传感器不是所述目标图像传感器。

34、可选地，所述方法还包括：

35、根据所述目标图像传感器，从预设的多个图像质量参数组中选择与所述目标图像传感器对应的图像质量参数组；

36、将所述图像质量参数组加载至所述图像输入通道；

37、基于所述图像质量参数组对所述图像输入通道采集的图像进行图像质量处理。

38、可选地，所述方法还包括：

39、在所述第一图像传感器与所述第二图像传感器的装配方向不同时，确定目标图像传感器对应的翻转映射关系；

40、基于所述翻转映射关系对所述目标图像传感器采集的图像进行差异化补偿。

41、可选地，所述切换预告中携带切换后的目标视场，切换前接入所述图像输入通道的图像传感器对应的视场为原视场；所述第二主控单元用于将所述原视场中的目标坐标按预设比例关系换算至所述目标视场，得到换算坐标；若所述换算坐标处于所述目标视场的范围内，则按所述换算坐标继续跟踪；若所述换算坐标超出所述目标视场范围，则对目标重新检测。

42、可选地，所述第一主控单元与所述第二主控单元之间设有与图像链路相互独立的控制链路，所述切换预告与所述退出通知经所述控制链路发送至所述第二主控单元，所述切换判断信息由所述第二主控单元经所述控制链路发送至所述第一主控单元。

43、第二方面，本发明还提供了一种摄像设备，包括第一图像传感器、第二图像传感器、传感器选择单元、图像输入通道、第一主控单元和第二主控单元，所述第一图像传感器与所述第二图像传感器经所述传感器选择单元择一接入所述图像输入通道，所述传感器选择单元的电平指示当前所选图像传感器，所述图像输入通道的输出包括送往上位机的主取流路径和送往所述第二主控单元的副供流路径；所述第一主控单元被配置为执行上述方法。

44、第三方面，本发明还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

45、第四方面，本发明还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。

46、本发明提供一种双摄供流切换控制方法、设备及介质，在获取切换判断信息并判断满足预设切换条件后，第一主控单元确定目标图像传感器并发送切换预告，使第二主控单元在切换动作执行前进入过渡态，将自接收切换预告起到达的图像帧不送入检测队列并保持当前跟踪状态不变，从而避免无效帧进入检测与跟踪流程。接收到过渡态回复或等待达到预设时长阈值后开启切换窗口，在切换窗口内对主取流路径保持切换前的末帧，使上位机在通道无有效数据期间不黑屏、显示不中断；对副供流路径执行帧无效化处理，使第二主控单元不基于无效图像帧进行检测。将当前接入图像输入通道的图像传感器切换至目标图像传感器后，读取传感器选择单元的电平以确认切换结果。若当前所选图像传感器为目标图像传感器，则发送退出通知并恢复向副供流路径投送有效帧，使第二主控单元退出过渡态并恢复对有效帧的检测与跟踪。由此，主取流路径与副供流路径在同一切换窗口内得到与各自需求相应的处置，在避免显示黑屏/中断的同时，避免视觉检测误检和跟踪污染。