一种跨设备和系统的音视频同步渲染的方法及系统与流程

技术特征：
1.一种跨设备和系统的音视频同步渲染的方法，其特征在于，包括以下步骤：s1：码流分发服务器对接入的音频渲染设备和视频渲染设备授时；s2：所述视频渲染设备对分发的视频进行解码，解码数据放入渲染缓冲区，记录当前解码帧的显示时间戳(pts)；s3：所述视频渲染设备每渲染一帧图像生成渲染时间戳(rts)信息和渲染时间戳数据(rtsd)网络报文，并按照指定周期发送所述渲染时间戳数据(rtsd)网络报文；s4：所述码流分发服务器转发所述渲染时间戳数据(rtsd)网络报文到所有的音频渲染设备；s5：所述音频渲染设备每收到一个渲染时间戳数据(rtsd)网络报文，计算渲染时间戳数据(rtsd)网络报文中的渲染时间戳(rts)和显示时间戳(pts)的差值d
rts
并更新保存；s6：所述音频渲染设备开始解码后，对解码后的音频数据和对应的显示时间戳(pts)进行缓存；s7：所述音频渲染设备根据d
rts
和本地时间戳计算需要渲染音频的渲染时间戳(rts)，并在缓冲区中查询对应的音频数据进行渲染；以及s8：所述音频渲染设备根据最新的渲染时间戳数据(rtsd)更新本地d
rts
，并根据最新的d
rts
进行同步音频渲染。2.根据权利要求1所述的跨设备和系统的音视频同步渲染的方法，其特征在于，在步骤s1中，授时采用网络时间协议，所述音视频渲染设备收到网络时间协议(ntp)时间后，解析网络时间协议(ntp)报文并根据网络时间协议(ntp)的时间信息更新本地时间。3.根据权利要求1所述的跨设备和系统的音视频同步渲染的方法，其特征在于，在步骤s3中，所述视频渲染设备每渲染一帧图像，根据设备本地时间戳(lts)信息生成渲染时间戳(rts)，同时生成包含当前渲染帧的显示时间戳(pts)和渲染时间戳(rts)信息的渲染时间戳数据(rtsd)网络报文，所述视频渲染设备每隔一定时间周期对最近一帧图像的rtsd报文回传到所述码流分发服务器，4.根据权利要求1所述的跨设备和系统的音视频同步渲染的方法，其特征在于，在步骤s3中，在步骤s3中，渲染时间戳(rts)可采用显示时间戳(pts)一样的数据格式和时间戳精度。5.根据权利要求1所述的跨设备和系统的音视频同步渲染的方法，其特征在于，在步骤s3中，在步骤s8中，所述音频渲染设备每收到一个渲染时间戳数据(rtsd)网络报文时，执行一次s5步骤计算d
rts
，并与本地保存的d
rts
信息进行对比，当根据渲染时间戳数据(rtsd)计算的d
rts
与本地d
rts
超出指定的范围，则更新所述音频渲染设备的d
rts
信息，同时通知音频渲染设备重新执行步骤s6和s7。6.一种跨设备和系统的音视频同步渲染的应用系统，其特征在于，包括：码流分发服务器、视频解码渲染设备和音频解码渲染设备，其中，所述码流分发服务器对接入的所述音视频解码渲染设备进行网络时间协议(ntp)授时，分发音视频码流到所述视频解码渲染设备，同时提取音频码流分发到所述音频解码渲染设备；所述视频解码渲染设备开始解码后生成渲染时间戳(rts)通过所述码流分发服务器传递到所述音频解码渲染设备；以及所述音频解码渲染设备接收到渲染时间戳(rts)后根据渲染时间戳(rts)信息进行同步渲染。

技术总结
一种跨设备和系统的音视频同步渲染的方法及系统，码流分发服务器对接入的音视频解码渲染设备进行网络时间协议(NTP)授时，分发音视频码流到视频解码渲染设备，同时提取音频码流分发到音频解码渲染设备；视频解码渲染设备开始解码后生成渲染时间戳(RTS)通过码流分发服务器传递到音频解码渲染设备；以及音频解码渲染设备接收到渲染时间戳(RTS)后根据渲染时间戳(RTS)信息进行同步渲染。本发明在传输流音视频解码时间戳(DTS)和显示时间戳(PTS)基础上，增加渲染时间戳(RTS)参数，RTS参数通过网络视频渲染设备传递到音频渲染设备，音频渲染设备根据收到的视频RTS参数调整渲染时间，实现音视频在不同系统和设备中同步渲染。实现音视频在不同系统和设备中同步渲染。实现音视频在不同系统和设备中同步渲染。


技术研发人员：龙仕强 张伟民 肖铁军 陈智敏
受保护的技术使用者：广东博华超高清创新中心有限公司
技术研发日：2021.12.31
技术公布日：2022/4/5