用于视频会议系统的音视频同步方法与流程

技术特征：
1.一种用于视频会议系统的音视频同步方法，其特征在于，所述视频会议系统包括：信令服务器、多个媒体节点服务器、会议音频处理节点服务器和多个会议终端，所述方法包括以下步骤：所述信令服务器接收所述会议终端的创建/加入会议请求，并为与会的多个所述会议终端分配音视频数据的唯一标识符ssrc和媒体节点服务器；与会的多个所述会议终端向对应的所述媒体节点服务器发送音视频数据，并分别订阅m个会议终端的视频数据和会议音频数据输出，其中，音视频数据包括音频数据和视频数据，其中，m为正整数；所述会议音频处理节点服务器从多个所述媒体节点服务器上获取对应的所述会议终端上传的音频数据，并筛选出音频能量值最大的n路音频数据作为所述会议音频数据输出，其中，n为正整数；所述会议终端在接收到对应所述媒体节点服务器转发的m个会议终端的视频数据和所述会议音频数据输出后，根据唯一标识符ssrc将所述会议音频数据输出分发到对应的视频数据通道，并基于视频数据的时间戳进行音视频数据同步。2.根据权利要求1所述的用于视频会议系统的音视频同步方法，其特征在于，所述信令服务器，具体用于：在接收到所述会议终端的创建会议请求时，通知其他的所述会议终端参会，并启动所述会议音频处理节点服务器中的会议音频处理节点；在接收到所述会议终端的加入会议请求时，为多个所述会议终端分配音视频数据的唯一标识符ssrc和媒体节点服务器。3.根据权利要求1所述的用于视频会议系统的音视频同步方法，其特征在于，所述会议音频处理节点服务器，还用于：获取历史发送的会议音频数据输出，并将历史发送的会议音频数据输出中的每一路音频数据放入历史音频库；判断所述历史音频库中的每一路音频数据是否被筛选进当前的所述会议音频数据输出中；如果所述历史音频库中存在一路或多路音频数据未被筛选进当前的所述会议音频数据输出中，则将所述历史音频库中的该一路或多路音频数据与当前的所述会议音频数据输出同时发送给订阅所述会议音频数据输出的所述会议终端，直至该一路或多路音频数据的能量值为零。4.根据权利要求3所述的用于视频会议系统的音视频同步方法，其特征在于，所述会议音频处理节点服务器，还用于：在所述历史音频库中存在一路或多路音频数据持续预设时间均未被筛选进所述会议音频数据输出中时，将该一路或多路音频数据从所述历史音频库中剔除。5.根据权利要求1所述的用于视频会议系统的音视频同步方法，其特征在于，所述媒体节点服务器将所述会议音频数据输出发送给对应的所述会议终端时，还用于：根据所述会议终端的音视频数据的唯一标识符ssrc过滤订阅的所述会议音频数据输出中自身的音频数据。

技术总结
本发明提供一种用于视频会议系统的音视频同步方法，包括：信令服务器接收会议终端的创建/加入会议请求，并为与会的多个会议终端分配音视频数据的唯一标识符SSRC和媒体节点服务器；与会的多个会议终端向对应的媒体节点服务器发送音视频数据，并分别订阅M个会议终端的视频数据和会议音频数据输出；会议音频处理节点服务器从多个媒体节点服务器上获取对应的会议终端上传的音频数据，并筛选出音频能量值最大的N路音频数据作为会议音频数据输出；会议终端根据唯一标识符SSRC将会议音频数据输出分发到对应的视频数据通道，并基于视频数据的时间戳进行音视频数据同步，既保证客户端和服务端播放资源占用少，又保证音视频有效同步。同步。同步。


技术研发人员：陆晓艳 孙小权 颜海洋
受保护的技术使用者：江苏怀业信息技术股份有限公司
技术研发日：2021.11.01
技术公布日：2021/11/30