一种双通道协同远程音视频控制方法及系统与流程

摘要: 本发明属于远程音视频互动,具体地涉及一种双通道协同远程音视频控制方法及系统。背景技术:1、在远程互动课堂、视频会议等场景中,主控端(如主讲教室的教师)需要远程控...
一种双通道协同远程音视频控制方法及系统与流程

本发明属于远程音视频互动,具体地涉及一种双通道协同远程音视频控制方法及系统。

背景技术:

1、在远程互动课堂、视频会议等场景中,主控端(如主讲教室的教师)需要远程控制被控端(如听讲教室)的摄像头、麦克风等音视频设备。现有技术中,主控端对被控端音视频设备的控制通常只采用软件控制方式,即通过webrtc等实时音视频通信协议的信令通道,向被控端发送控制指令,在sdk层面执行音视频流的发送或接收状态的切换。

2、然而,这种纯软件通道的控制方式存在固有的可靠性缺陷:软件控制指令仅作用于传输层,无法同步控制物理层设备。当被控端的客户端软件发生进程崩溃、闪退或异常重启时,sdk状态丢失并恢复至默认状态,导致原本已静音的摄像头和麦克风在物理层面重新开启并开始采集音视频。此时,被控端的物理设备状态与主控端所期望的传输层控制状态产生不一致,不仅会造成音视频流的意外发送,引发课堂干扰和隐私安全问题,还使得主控端无法准确掌握被控端的实际音视频采集状态,影响了远程控制的有效性和用户体验。

3、因此,如何解决现有软件通道控制方式中物理设备状态不受控、软件崩溃后状态丢失的问题,是本领域亟待解决的技术难题。现有技术中尚无有效的解决方案。

技术实现思路

1、为了解决上述技术问题,本发明提供了一种双通道协同远程音视频控制方法及系统,用于解决现有技术中的技术问题。

2、一方面,该发明提供以下技术方案,一种双通道协同远程音视频控制方法,应用于包含主控端和至少一个被控端的系统,包括:

3、建立所述主控端与所述被控端之间的软件通信通道和硬件通信通道;

4、响应于控制操作,所述主控端将所述控制操作映射为完整目标状态,并同时通过所述软件通信通道向目标被控端发送第一控制指令,通过所述硬件通信通道向所述目标被控端发送第二控制指令;所述第一控制指令和所述第二控制指令均为声明式指令,且均携带所述完整目标状态;

5、所述目标被控端接收并解析所述第一控制指令和所述第二控制指令,获得所述完整目标状态;

6、所述目标被控端根据所述完整目标状态执行判断流程,并在所述判断流程的结果为需执行状态切换时,通过所述软件通信通道执行传输层状态设置,并通过所述硬件通信通道执行物理层状态设置;

7、所述主控端周期性地从服务器获取所述目标被控端的权威状态,并根据所述权威状态,通过所述软件通信通道对所述目标被控端的传输层状态进行修正,以使所述目标被控端的传输层状态和物理层状态与所述权威状态保持一致。

8、相比现有技术,本技术的有益效果为:通过建立软件通信通道和硬件通信通道,并利用硬件通信通道独立控制物理层状态,同时结合周期性轮询权威状态对软件传输层状态进行修正,实现了如下技术效果:当目标被控端的软件进程发生异常崩溃并重启时,由硬件通信通道所控制的物理音视频采集设备(如摄像头、麦克风)能够在软件进程崩溃期间始终保持崩溃前的物理状态不变,避免因软件层状态丢失而意外开启或恢复默认状态;同时,在软件进程重启后,主控端能够通过后续的周期性轮询和修正机制,使目标被控端的传输层状态与保持不变的物理层状态快速重新同步,实现状态自恢复。从而有效解决了现有纯软件通道控制方式中,因被控端软件崩溃或重启导致物理设备状态丢失、不受控,进而引发音视频意外采集、课堂干扰及隐私安全隐患等问题。

9、进一步的,所述软件通信通道基于实时音视频通信协议构建,用于传输自定义信令及媒体流;所述硬件通信通道基于局域网通信协议构建,用于直接调用所述被控端的物理硬件控制接口。

10、进一步的,所述执行判断流程的步骤包括:

11、所述目标被控端将当前音视频状态与所述完整目标状态进行比对;

12、若所述当前音视频状态与所述完整目标状态一致,则判定所述判断流程的结果为无需执行状态切换,维持当前状态并忽略所述第一控制指令和所述第二控制指令;

13、若所述当前音视频状态与所述完整目标状态不一致,则判定所述判断流程的结果为需执行状态切换。

14、进一步的,在执行所述传输层状态设置和所述物理层状态设置时,所述软件通信通道与所述硬件通信通道的指令到达存在时序差;

15、当所述硬件通信通道的第二控制指令先到达而所述软件通信通道的第一控制指令后到达时,所述物理层状态设置先触发,但所述传输层状态设置尚未触发,所述目标被控端的音频输出保持静默;

16、当所述软件通信通道的第一控制指令先到达而所述硬件通信通道的第二控制指令后到达时,所述传输层状态设置先触发,但所述物理层状态设置尚未触发,所述目标被控端因无物理采集源而不输出音视频;

17、所述时序差形成无害窗口,该窗口期内不产生错误音视频输出。

18、进一步的,所述方法还包括:

19、当检测到有远端用户新加入所述软件通信通道对应的房间时,所述主控端通过所述软件通信通道向所述远端用户发送全局静音指令,以强制所述远端用户在所述传输层处于音频静音状态。

20、进一步的,所述物理层状态设置包括麦克风音量设置;

21、当所述完整目标状态指示开启音频时,所述目标被控端将物理麦克风的音量设置为预先配置的指定音量值;

22、当所述完整目标状态指示关闭音频时,所述目标被控端通过特定参数将所述物理麦克风强制设为完全静音状态。

23、进一步的,当所述目标被控端的软件进程发生异常崩溃并重启时,所述硬件通信通道所控制的物理层状态在崩溃期间保持重启前的状态;

24、所述主控端在周期性轮询过程中,根据所述权威状态,通过所述软件通信通道对重启后所述目标被控端的传输层状态进行修正,以使所述目标被控端的传输层状态与保持不变的物理层状态重新同步。

25、第二方面,该发明提供以下技术方案,一种双通道协同远程音视频控制系统,所述系统包括主控端和至少一个被控端,所述系统还包括:

26、建立模块,用于建立所述主控端与所述被控端之间的软件通信通道和硬件通信通道;

27、控制模块,用于响应于控制操作,所述主控端将所述控制操作映射为完整目标状态,并同时通过所述软件通信通道向目标被控端发送第一控制指令,通过所述硬件通信通道向所述目标被控端发送第二控制指令;所述第一控制指令和所述第二控制指令均为声明式指令,且均携带所述完整目标状态;

28、设置模块,用于所述目标被控端接收并解析所述第一控制指令和所述第二控制指令,获得所述完整目标状态;所述目标被控端根据所述完整目标状态执行判断流程,并在所述判断流程的结果为需执行状态切换时,通过所述软件通信通道执行传输层状态设置,并通过所述硬件通信通道执行物理层状态设置;

29、修正模块,用于所述主控端周期性地从服务器获取所述目标被控端的权威状态,并根据所述权威状态,通过所述软件通信通道对所述目标被控端的传输层状态进行修正,以使所述目标被控端的传输层状态和物理层状态与所述权威状态保持一致。

30、第三方面,该发明提供以下技术方案,一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的双通道协同远程音视频控制方法。

31、第四方面,该发明提供以下技术方案,一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的双通道协同远程音视频控制方法。