一种法院音视频多终端融合转发系统的制作方法

摘要: 本发明涉及法院庭审音视频处理,具体为一种法院音视频多终端融合转发系统。背景技术:1、随着智慧法院及远程庭审系统的发展,庭审过程中通常设置法官终端、书记员终端、当...
一种法院音视频多终端融合转发系统的制作方法

本发明涉及法院庭审音视频处理,具体为一种法院音视频多终端融合转发系统。

背景技术:

1、随着智慧法院及远程庭审系统的发展,庭审过程中通常设置法官终端、书记员终端、当事人终端、证人终端、庭审显示终端及录播设备,并通过音视频转发服务器将不同摄像设备、拾音设备产生的媒体流按照庭审角色和权限转发至对应终端。庭审过程中,随着证人入退庭、举证质证主体变更、发言权限变更及庭审阶段转换,各终端需要接收的音视频媒体源也会随之改变,因此需要动态调整多个终端之间的音视频转发关系。

2、现有音视频转发系统通常根据庭审控制指令分别修改各终端的媒体订阅或转发关系。然而,不同音视频媒体流具有相互独立的编码帧序列,各终端及转发通道还存在不同的缓存进度和传输进度。当一次庭审状态变化同时引起多个终端增加、撤销或替换多路媒体流时,各媒体流能够安全切换的编码边界及实际到达时间并不一致。若按照控制指令到达顺序逐项切换转发关系,容易出现部分终端已经进入新的庭审状态而其他终端仍保持原庭审状态,或者同一终端的视频已经切换而对应音频仍处于原媒体流的情况;同时,新视频流若未从能够独立解码的位置开始输出,还可能产生短时无法解码、画面异常等问题。

3、鉴于此,本发明提供一种法院音视频多终端融合转发系统,以解决上述问题。

技术实现思路

1、本发明的目的在于提供一种法院音视频多终端融合转发系统,解决庭审状态变化时多终端多路音视频因编码边界、缓存进度及传输进度不同而产生转发关系切换不同步及音视频错位的技术问题。

2、为实现上述目的,本发明提供如下技术方案:本发明提供一种法院音视频多终端融合转发系统,包括庭审状态管理模块、转发关系确定模块、媒体状态检测模块、切换边界确定模块、状态迁移事务管理模块、转发预建立模块和协同迁移模块;

3、所述庭审状态管理模块用于获取庭审状态变化事件,根据所述庭审状态变化事件确定参与状态迁移的多个庭审终端;

4、所述转发关系确定模块用于分别确定各庭审终端在状态变化前的旧音视频转发关系和状态变化后的新音视频转发关系,根据所述旧音视频转发关系和新音视频转发关系确定待切换媒体流;

5、所述媒体状态检测模块用于获取各待切换媒体流的编码帧状态,根据所述编码帧状态确定各待切换媒体流能够进入所述新音视频转发关系的候选切换边界;

6、所述切换边界确定模块用于根据各待切换媒体流的候选切换边界、缓存进度及传输进度确定切换基准时刻,并确定各待切换媒体流与所述切换基准时刻对应的有效媒体边界,在各待切换媒体流均能够基于对应的有效媒体边界完成转发关系切换时,将所述切换基准时刻确定为共同有效切换边界;

7、所述状态迁移事务管理模块用于针对所述庭审状态变化事件建立状态迁移事务,将所述多个庭审终端及其对应的新音视频转发关系关联至所述状态迁移事务;

8、所述转发预建立模块用于在所述共同有效切换边界到达前,根据所述新音视频转发关系预建立对应的媒体转发通道,并保持所述旧音视频转发关系有效;

9、所述协同迁移模块用于在各庭审终端对应的媒体转发通道满足切换条件且所述共同有效切换边界到达时,提交所述状态迁移事务,使所述多个庭审终端由所述旧音视频转发关系协同迁移至所述新音视频转发关系。

10、进一步地,所述庭审状态管理模块存储有不同庭审状态对应的终端媒体关系配置,所述庭审状态变化事件包括证人入庭、证人退庭、举证主体改变、质证对象改变、发言权限改变及庭审阶段改变中的至少一种;

11、所述转发关系确定模块用于根据变化后的庭审状态获取对应的终端媒体关系配置,确定各庭审终端对应的目标媒体源、媒体类型及接收权限,并与状态变化前的终端媒体关系配置进行比较,以确定需要新增、保持或者撤销的媒体流。

12、进一步地,所述媒体状态检测模块用于针对待切换视频媒体流,根据视频编码帧序列中的可独立解码帧确定视频候选切换边界;针对与所述待切换视频媒体流关联的待切换音频媒体流,根据音频帧边界以及所述音频帧边界与对应视频媒体流的时间戳关系确定音频候选切换边界;

13、当同一庭审终端的新音视频转发关系包括相互关联的音频媒体流和视频媒体流时,根据所述视频候选切换边界、音频候选切换边界及预设同步容差确定该庭审终端对应的终端级候选切换边界。

14、进一步地,所述切换边界确定模块用于根据多个庭审终端对应的终端级候选切换边界确定候选切换时间区间,并获取各待切换媒体流在所述候选切换时间区间内的缓存进度和传输进度;

15、根据所述缓存进度和传输进度确定各待切换媒体流完成当前已缓存和已传输的旧媒体数据输出所需的剩余处理时间,并根据各待切换媒体流对应的剩余处理时间,从所述候选切换时间区间内确定满足各待切换媒体流切换条件的切换基准时刻;

16、针对各待切换媒体流分别确定与所述切换基准时刻对应且满足独立解码及同步输出条件的有效媒体边界。

17、进一步地,所述状态迁移事务管理模块用于为所述状态迁移事务配置状态版本标识,并将所述状态版本标识与参与状态迁移的多个庭审终端及其对应的新音视频转发关系关联;

18、所述转发预建立模块用于检测各庭审终端对应的新媒体转发通道是否建立完成,并在新媒体转发通道建立完成且对应的新媒体流达到预设缓存条件后,将对应庭审终端标记为待切换状态;

19、所述协同迁移模块用于在所述状态迁移事务关联的各庭审终端均处于待切换状态后,使各庭审终端对应的新音视频转发关系按照所述状态版本标识在所述共同有效切换边界生效。

20、进一步地,所述状态迁移事务管理模块用于在至少一个庭审终端于当前共同有效切换边界到达前未进入待切换状态时,将当前共同有效切换边界标记为失效;

21、所述媒体状态检测模块用于重新获取尚未进入待切换状态的庭审终端对应待切换媒体流的编码帧状态、缓存进度及传输进度;

22、所述切换边界确定模块用于根据重新获取的编码帧状态、缓存进度及传输进度确定尚未进入待切换状态的庭审终端对应的后续候选切换边界,并确定其他庭审终端在当前共同有效切换边界之后对应的后续终端级候选切换边界,根据各后续终端级候选切换边界重新确定共同有效切换边界;

23、所述转发预建立模块用于在重新确定的共同有效切换边界到达前保持各庭审终端对应的旧音视频转发关系有效。

24、进一步地,所述转发预建立模块用于针对所述新音视频转发关系中新增的媒体流,在所述共同有效切换边界到达前建立对应的媒体转发通道,并缓存自能够独立解码的起始位置开始的媒体数据;

25、针对所述新音视频转发关系中待撤销的媒体流,在所述共同有效切换边界到达前保持对应的媒体转发通道,并根据所述共同有效切换边界确定所述待撤销媒体流对应的旧媒体终止边界;

26、所述协同迁移模块用于在所述共同有效切换边界到达时,使所述待撤销媒体流在对应的旧媒体终止边界停止输出,并使新增媒体流从对应的有效媒体边界开始输出预缓存的媒体数据。

27、进一步地,所述庭审终端包括法官终端、书记员终端、当事人终端、证人终端及庭审显示终端中的至少两种;

28、所述转发关系确定模块用于根据不同庭审终端对应的庭审角色和媒体接收权限分别建立新音视频转发关系,使同一庭审状态变化事件对应的不同庭审终端具有相互区别的目标媒体源组合;

29、所述状态迁移事务管理模块用于将所述不同庭审终端对应的新音视频转发关系关联至同一状态迁移事务。

30、进一步地,所述转发关系确定模块还用于将庭审录播设备对应的媒体记录关系与各庭审终端对应的音视频转发关系分别管理,并将所述媒体记录关系设置为不随所述状态迁移事务切换的持续转发关系;

31、在所述多个庭审终端由旧音视频转发关系迁移至新音视频转发关系期间,所述庭审录播设备按照所述持续转发关系保持对预设庭审媒体流的连续接收和记录。

32、进一步地,还包括状态一致性校验模块;

33、所述状态一致性校验模块用于在所述状态迁移事务提交后,获取各庭审终端当前生效的状态版本标识,并与所述状态迁移事务对应的状态版本标识进行比较,将状态版本标识不一致的庭审终端确定为异常迁移终端;

34、所述状态迁移事务管理模块用于根据所述异常迁移终端对应的庭审角色和当前庭审状态确定所述异常迁移终端是否属于关键迁移终端;

35、当所述异常迁移终端属于关键迁移终端时,使所述状态迁移事务关联的已完成迁移的庭审终端恢复至所述旧音视频转发关系,并由所述切换边界确定模块重新确定共同有效切换边界;

36、当所述异常迁移终端不属于关键迁移终端时,保持其他庭审终端对应的新音视频转发关系,并由所述媒体状态检测模块重新获取所述异常迁移终端对应待切换媒体流的编码帧状态、缓存进度及传输进度,由所述切换边界确定模块根据重新获取的编码帧状态、缓存进度及传输进度确定异常迁移切换边界,由所述协同迁移模块根据所述异常迁移切换边界重新执行所述异常迁移终端的音视频转发关系迁移。

37、与现有技术相比,本发明的有益效果是:

38、本发明通过根据庭审状态变化确定多个庭审终端的新旧音视频转发关系及待切换媒体流,并结合各待切换媒体流的编码帧状态、缓存进度和传输进度确定候选切换边界、切换基准时刻及对应的有效媒体边界,使编码边界和传输状态不同的多路媒体流能够形成共同有效切换边界;通过在该边界到达前预建立新媒体转发通道并保持旧音视频转发关系有效,避免新媒体流尚未满足解码和输出条件时提前中断旧媒体流;进一步通过状态迁移事务统一关联多个庭审终端的新音视频转发关系,并在共同有效切换边界到达时协同完成转发关系迁移,从而减少庭审状态变化过程中不同终端切换不同步、新旧媒体残留以及音视频错位,提高法院多终端音视频融合转发的连续性和一致性。