一种基于双目视觉的直播全景与特写同步采集装置及系统

本发明涉及视频采集与直播，具体涉及一种基于双目视觉的直播全景与特写同步采集装置及系统。

背景技术：

1、随着网络直播的普及，户外直播对画面信息量提出了更高要求：观众既需要了解现场全景环境，又希望看清关键细节。然而，传统单镜头方案存在固有局限，若采用广角镜头则远景细节丢失，若采用长焦镜头则无法兼顾全局场景，单机位无法在同一时间轴上同时满足全景与特写的观看需求，画面可用性与信息量难以兼得。

2、为解决上述问题，现有方案主要采用多机位人工切换或双目/多目摄像设备。多机位分工拍摄配合导播人工切换，虽可获得全景与特写，但设备成本高、布设复杂，且依赖专人操作，单人户外创作者难以实施，关键画面出现时往往来不及切换；部分双目智能球机利用ai算法自动跟踪运动目标，由机器自主决定跟踪对象并驱动云台转向，虽实现了自动跟踪，但云台转向时全景画面被舍弃，且ai决策剥夺了主播的主观构图自由，算法与伺服系统也带来较高的硬件成本与户外可靠性风险。

3、综上，现有直播与监控采集设备难以在低成本和便携的前提下，由单人操作者在无需中断自身活动的条件下，实时、主观地控制并同步获得全景与特写画面，并以灵活的多模式合成视频流实时推流。因此，亟需一种集成度高、操作直观、可兼顾全景与特写同步采集与输出的装置及系统。

技术实现思路

1、本发明的目的是为了解决现有直播与监控采集设备中单机位无法在同一时间轴兼顾全景与特写致使画面信息量与可用性难以兼得、多机位人工切换成本高且关键画面来不及响应，使单人难以低成本便携地实时主观控制并同步获得全景与特写的问题，而提供一种基于双目视觉的直播全景与特写同步采集装置及系统。

2、为了解决上述技术问题，本发明采用的技术方案为:

3、一种基于双目视觉的直播全景与特写同步采集装置，其特征在于，包括双目摄像模块、调节模块、主控处理单元与网络通讯模块；

4、所述双目摄像模块包括第一镜头与第二镜头，第一镜头与第二镜头同步采集第一视频流与第二视频流；

5、所述调节模块与主控处理单元连接，实时控制所述第二镜头的变焦倍数和对焦距离，根据直播场景进行调节变焦倍数和对焦距离；处于第一场景时，不调整第二镜头的变焦倍数和对焦距离；处于第二场景时，调整变焦倍数和对焦距离捕捉第二场景细节；

6、主控处理单元与双目摄像模块和调节模块分别连接，接收所述第一视频流与所述第二视频流，根据调节模块输出的控制信号对第二视频流进行调整，对第一视频流与调整后的第二视频流进行像素级对齐与同步编码，生成复合视频流；

7、所述网络通讯模块与主控处理单元连接，将复合视频流实时传输至直播推流设备或监控终端。

8、通过双目同步采集与像素级对齐、同步编码，将全景与特写融于同一时间轴，从根本上解决单镜头无法兼顾全局态势与局部细节的矛盾；由主控单元统一调度两路视频流，做到时域同步与空域对齐的一致性，显著提升了直播与监控画面的信息密度与可用性。

9、所述第一镜头为广角全景镜头，所述第二镜头为长焦特写镜头，所述第一镜头与所述第二镜头呈并列布局，以保证两镜头在水平和垂直方向上的一致性。

10、广角配长焦的镜头组合天然适配全景与特写采集需求，并列布局使两镜头光轴在水平与垂直方向保持一致，最大限度减小视差，降低后续像素级对齐与校正的算法复杂度并提升对齐精度。

11、所述调节模块包括集成于所述装置本体上的物理手动调节旋钮，所述物理手动调节旋钮与所述主控处理单元电连接，对操作者的物理旋转操作进行响应，生成所述控制信号，以实时控制所述第二镜头的变焦倍数和对焦距离；所述物理手动调节旋钮设置于所述装置本体的顶部区域，所述旋钮表面设有刻度标识，所述刻度标识用于指示当前变焦倍数。

12、物理手动调节旋钮设置于装置本体的顶部区域，便于操作者单手操作。旋钮表面设有刻度标识，刻度标识用于指示当前变焦倍数，为操作者提供直观的触觉与视觉反馈。

13、物理旋钮提供不依赖外部算力与网络的低延迟手动控制，操作者可直接、直观地调节特写镜头参数，适用于网络受限或需人工精构图景的场景；表面刻度标识便于快速读取与复现变焦状态，提升现场操作效率。

14、所述第一场景为未检测到目标事件的等待监控状态，所述第二镜头保持预设变焦倍数和对焦距离；所述第二场景为所述目标事件触发的细节捕捉状态，所述调节模块响应于所述目标事件，自动调整所述第二镜头的变焦倍数和对焦距离，以捕捉所述目标事件的细节画面；所述目标事件包括预设监控对象的状态变化事件。

15、以明确的状态机划分空闲监控与事件捕捉两种工作模式，避免镜头在无意义的常态下进行频繁变焦，从而减少机械损耗与画面抖动，延长光学器件寿命并稳定输出，同时使资源在真正需要时集中用于细节捕捉。

16、所述调节模块包括目标事件识别单元；当所述目标事件识别单元识别到目标事件时，所述调节模块自动生成所述控制信号，控制所述第二镜头调整变焦倍数和对焦距离，以捕捉所述目标事件的细节画面；当未识别到所述目标事件时，所述调节模块不生成所述控制信号，所述第二镜头保持当前的变焦倍数和对焦距离，所述直播场景维持于所述第一场景。

17、实现事件触发的自动特写捕捉，在关键事件发生的瞬间无需人工介入即可自动聚焦细节，大幅降低漏拍率，显著提升监控与直播的智能化水平与事件响应速度。

18、所述装置还包括音频采集单元及振动检测单元；所述目标事件识别单元接收以下多路输入信号：所述第一视频流、所述第二视频流、音频采集单元采集的音频信号、振动检测单元检测的振动信号；所述目标事件识别单元对所述多路输入信号进行多模态融合判别，具体包括：对视频流进行运动目标检测以获取视频特征，对音频信号进行时频分析以获取音频频谱特征，对振动信号进行幅值与时域分析以获取振动特征；当所述视频特征、音频频谱特征与振动特征中的至少两路特征的联合判据超过预设阈值时，判定识别到目标事件，所述调节模块自动生成所述控制信号。

19、通过视频、音频、振动三模态融合判别，并以至少两路特征联合判定为触发条件，实现多传感器交叉验证。可精准捕捉特写瞬间，识别更准确可靠，且不依赖复杂 ai 模型，硬件成本低、响应快。

20、所述主控处理单元对所述第一视频流与调整后的所述第二视频流进行画面合成以生成所述复合视频流；所述画面合成的模式包括画中画模式、分屏模式或单画面模式；所述画中画模式为将调整后的所述第二视频流以子画面形式叠加于所述第一视频流的预设区域；所述分屏模式为将所述第一视频流与调整后的所述第二视频流分别显示在画面中的不同区域；所述单画面模式为单独输出所述第一视频流或调整后的所述第二视频流；所述主控处理单元根据所述直播场景在所述画中画模式、所述分屏模式与所述单画面模式之间动态切换。

21、多种合成模式动态切换可灵活适配不同观看需求：画中画兼顾全局与细节、分屏便于对照比较、单画面聚焦关键信息，从而提升终端观看体验与信息传递效率，使同一路复合流满足直播、监控等多场景呈现。

22、所述双目摄像模块通过lvds差分接口与所述主控处理单元连接，所述第一视频流与所述第二视频流经由所述lvds差分接口传输至所述主控处理单元；所述lvds差分接口采用差分信号对进行数据传输；所述主控处理单元通过i2c总线与所述第二镜头连接，所述主控处理单元经由所述i2c总线配置所述第二镜头的初始参数，并通过所述i2c总线传输所述控制信号，以控制所述第二镜头执行变焦操作和对焦操作；所述初始参数包括曝光时间和白平衡；所述主控处理单元包括硬件编码器，所述硬件编码器对所述复合视频流进行h.265或h.264标准编码压缩。

23、lvds差分接口抗干扰能力强、带宽高，保障双路视频低延迟、低损耗传入；i2c总线以极简链路完成镜头参数配置与变焦对焦控制，节省引脚与布线；内置硬件编码器直接完成h.265/h.264压缩，降低主控cpu负载、提高编码效率并显著节省传输带宽。

24、所述网络通讯模块包括网口，所述主控处理单元将编码后的所述复合视频流经由所述网口直接输出至所述直播推流设备或监控终端，以实现低延迟的远程观看。

25、复合视频流经网口直出，省去额外的协议转换与中间缓存环节，最大限度压低端到端时延，满足直播与安防监控对实时性敏感场景的远程低延迟观看需求。

26、所述装置还包括电源管理单元，所述电源管理单元通过usb接口接收外部电源输入，并将所述外部电源转换为所述双目摄像模块、所述调节模块、所述主控处理单元与所述网络通讯模块各自所需的工作电压。

27、统一电源管理由通用usb接口取电并转换为各模块所需电压，简化整机供电结构，提升设备的便携性与部署灵活性，便于在户外直播、移动监控等无专用电源环境中快速架设。

28、一种基于双目视觉的直播全景与特写同步采集系统，其特征在于，包括：采集装置，为一种基于双目视觉的直播全景与特写同步采集装置，用于同步采集第一视频流与第二视频流，根据直播场景调整第二镜头的变焦倍数和对焦距离，对所述第一视频流与调整后的第二视频流进行像素级对齐与同步编码，生成复合视频流，并通过网络通讯模块输出所述复合视频流；

29、直播推流设备，与所述采集装置的所述网络通讯模块通信连接，接收所述复合视频流，对所述复合视频流进行推流协议封装后输出直播流；

30、直播服务平台，与所述直播推流设备通信连接，接收所述直播流并向多个观众终端分发；

31、观众终端，与所述直播服务平台通信连接，接收并显示所述直播流。

32、构成本端采集到推流封装再到平台分发—终端显示的完整端到端链路，各模块职责解耦、协同清晰，既便于规模化部署，又支持一对多的多终端并发分发，整体提升了直播监控系统的可用性、稳定性与可扩展性。