一种音视频同步方法、存储介质及电子设备与流程

技术特征：
1.一种音视频同步方法，其特征在于，包括：获取在播音频数据包的音频时间戳和在播视频数据包的视频时间戳；若所述视频时间戳超前于所述音频时间戳，保持在播音频数据包的刷新并暂停在播视频数据包的刷新，待所述音频时间戳不落后于所述视频时间戳时，恢复在播视频数据包的刷新；若所述视频时间戳落后于所述音频时间戳，判断所述音频时间戳与所述视频时间戳之间的当前时间差是否大于设定时间差；在所述当前时间差不大于所述设定时间差时，保持在播音频数据包的刷新和在播视频数据包的刷新；在所述当前时间差大于所述设定时间差时，保持在播音频数据包的刷新和加速在播视频数据包的刷新。2.根据权利要求1所述的音视频同步方法，其特征在于，所述方法还包括：接收待播音频数据包和待播视频数据包，其中，每个待播音频数据包携带有音频时间戳，每个待播视频数据包携带有视频时间戳；基于待播音频数据包携带的音频时间戳和待播视频数据包携带的视频时间戳，分别确定出已缓存的待播音频数据包和待播视频数据包的播放次序。3.根据权利要求2所述的音视频同步方法，其特征在于，在接收待播音频数据包和待播视频数据包后，所述方法还包括：基于最新接收的待播数据包的收包时间和上一个待播数据包的收包时间，确定出最新接收的待播数据包的传输时间，其中，待播数据包为待播音频数据包或待播视频数据包；基于待播数据包的传输时间，确定出用于表示收包连续性的网络参数；基于所述网络参数，确定是否调节待播数据包对应的缓存长度；在确定对待播数据包对应的缓存长度进行调节时，基于待播数据包的传输时间对待播数据包对应的缓存长度进行动态调节。4.根据权利要求3所述的音视频同步方法，其特征在于，所述基于最新接收的待播数据包的收包时间和上一个待播数据包的收包时间，确定出最新接收的待播数据包的传输时间，包括：将最新接收的待播数据包的收包时间减去上一个接收的同类型待播数据包的收包时间，再减去播放一帧数据所需的时间，得到最新接收的待播数据包的传输时间。5.根据权利要求3所述的音视频同步方法，其特征在于，所述基于待播数据包的传输时间，确定出用于表示收包连续性的网络参数，包括：确定出包含待播数据包的传输时间在内的设定数量的传输历史时间，并确定出其中的传输最大时间与传输最小时间之间的传输时间差，此传输时间差为所述网络参数；对应的，所述基于所述网络参数，确定是否调节待播数据包对应的缓存长度，包括：确定所述网络参数的所属范围，其中，所述网络参数的所属范围包括第一范围和第二范围，且所述第二范围中的最小值大于所述第一范围中的最大值；若所述网络参数位于所述第一范围，确定不调节待播数据包对应的缓存长度；若所述网络参数位于所述第二范围，确定调节待播数据包对应的缓存长度。6.根据权利要求5所述的音视频同步方法，其特征在于，所述基于待播数据包的传输时
间对待播数据包对应的缓存长度进行动态调节，包括：将所述传输最大时间加上传输时间补偿值，得到缓存长度参照值；若所述缓存长度参照值大于当前缓存长度，将所述缓存长度参照值设定为新的缓存长度；若所述缓存长度参照值小于当前缓存长度，且二者之间的差值大于设定长度差，则将所述缓存长度参照值减去所述设定长度差后设定为新的缓存长度；若所述缓存长度参照值小于当前缓存长度，且二者之间的差值不大于设定长度差，则将所述缓存长度参照值设定为新的缓存长度。7.根据权利要求3所述的音视频同步方法，其特征在于，在基于待播数据包的传输时间对待播数据包对应的缓存长度进行动态调节之后，所述方法还包括：若所述待播数据包为待播音频数据包，判断已缓存的待播音频数据包是否达到对应的音频缓存长度，并在达到该音频缓存长度时，按照播放次序对已缓存的待播音频数据包进行播放；若所述待播数据包为待播视频数据包，判断已缓存的待播视频数据包是否达到对应的视频缓存长度，在达到该视频缓存长度时，判断当前在播音频数据包的音频时间戳是否落后于当前在播视频数据包的视频时间戳，若当前在播音频数据包的音频时间戳落后于当前在播视频数据包的视频时间戳，则继续缓存待播视频数据包，若当前在播音频数据包的音频时间戳不落后于当前在播视频数据包的视频时间戳，则按照播放次序对已缓存的待播视频数据包进行播放。8.一种基于应用场景的音视频同步方法，其特征在于，应用于数据传输的发送端，所述方法包括：确定出接收端的应用场景类型，其中，所述应用场景类型包括同步优先应用场景和实时优先同步场景，所述同步优先应用场景优先保证音频和视频的同步性，所述实时优先应用场景优先保证音频和/或视频的实时性；针对所述同步优先应用场景，通过tcp协议组合包发送音频数据包和视频数据包，以使接收端基于接收的音频数据包和视频数据包执行权利要求1至7中任一项所述的音视频同步方法；针对所述实时优先应用场景，采用udp协议实时发送音频数据包和视频数据包，以使接收端基于接收的音频数据包和视频数据包执行权利要求1至7中任一项所述的音视频同步方法。9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任一项所述的音视频同步方法，或者执行权利要求8所述的基于应用场景的音视频同步方法。10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现权利要求1至7中任一项所述的音视频同步方法，或者实现权利要求8所述的基于应用场景的音视频同步方法。

技术总结
本申请提供一种音视频同步方法、存储介质及电子设备，获取在播音频数据包的音频时间戳和在播视频数据包的视频时间戳；若视频时间戳超前于音频时间戳，保持在播音频数据包的刷新并暂停在播视频数据包的刷新，待音频时间戳不落后于视频时间戳时，恢复在播视频数据包的刷新；若视频时间戳落后于音频时间戳，判断音频时间戳与视频时间戳之间的当前时间差是否大于设定时间差；在当前时间差不大于设定时间差时，保持在播音频数据包的刷新和在播视频数据包的刷新；在当前时间差大于设定时间差时，保持在播音频数据包的刷新和加速在播视频数据包的刷新。通过此种方式保持很好的音视频同步效果，给用户极佳的同步体验。给用户极佳的同步体验。给用户极佳的同步体验。


技术研发人员：田云翔 陈正超 段凌云
受保护的技术使用者：贵阳语玩科技有限公司
技术研发日：2021.09.06
技术公布日：2022/2/24