一种切换渲染实例的交互方法及装置与流程

1.本技术涉及渲染实例交互领域，尤其涉及一种切换渲染实例的交互方法。本技术还涉及一种切换渲染实例的交互装置。


背景技术：

2.通过云端串流方式的互动影视，随着影视资源、场景的体量不断增大。会采取多个渲染实例进行协同渲染的情况。
3.当使用vr设备的用户，需要查看其他渲染实例的画面时，如果直接切换串流，由于通信延迟的问题，将会出现丢帧的情况，导致声音画面不连续。


技术实现要素：

4.本技术的目的在于克服上述现有技术中存在的问题，提供一种切换渲染实例的交互方法。本技术还涉及一种切换渲染实例的交互装置。
5.本技术提供的一种切换渲染实例的交互方法，包括：
6.当切换a实例到b实例时，所述a实例和b实例接收切换信号；
7.根据所述切换信号，所述a实例和b实例建立链接，并且开始同步渲染的帧数据和帧数以及互动影视场景的时间戳；
8.所述b实例根据实例a的帧数据和时间戳信息，判断需要准备切换的画面帧；
9.根据需要准备切换的画面帧，将所述a实例的帧数据传输到b实例对应的解码端b，所述b实例与vr设备建立连接。
10.可选地，所述通过互联网传输帧数据到b实例对应的解码端b，包括：
11.在所述b实例传输的帧数据中，携带互动影视程序的时间参数t(b)；在所述a实例的帧数据也会携带互动影视程序的时间参数t(a)；
12.解码端a和解码端b分别完成解码后，将解码的数据传输到缓冲帧管理的节点；
13.判断t(b)-t(a)小于帧间隔毫秒数时，开始播放解码器b所播放的帧数t(b)。
14.可选地，所述所述b实例与vr设备建立连接，传输帧数据到b实例对应的解码端b，包括：
15.所述a实例将即将渲染的帧数据和帧数以及互动影视场景的时间戳发送给b实例；
16.所述b实例接收到a实例的数据后，根据时间戳判断未来需要准备切换的画面帧；
17.所述b实例将准备好的帧数据传输到vr设备的解码端b。
18.可选地，在解码后的数据传输到缓冲帧管理环节之前，包括：进行图像处理、压缩等。
19.可选地，所述a实例和b实例建立网络链接，使用tcp或udp等网络协议进行通信。
20.本技术还提供一种切换渲染实例的交互装置，包括：
21.接收模块，用于当切换a实例到b实例时，所述a实例和b实例接收切换信号；
22.同步模块，用于根据所述切换信号，所述a实例和b实例建立链接，并且开始同步渲
染的帧数据和帧数以及互动影视场景的时间戳；
23.判断模块，用于所述b实例根据实例a的帧数据和时间戳信息，判断需要准备切换的画面帧；
24.传输模块，用于根据需要准备切换的画面帧，将所述a实例的帧数据传输到b实例对应的解码端b，所述b实例与vr设备建立连接。
25.可选地，所述传输模块传输帧数据到b实例对应的解码端b，包括：
26.在所述b实例传输的帧数据中，携带互动影视程序的时间参数t(b)；在所述a实例的帧数据也会携带互动影视程序的时间参数t(a)；
27.解码端a和解码端b分别完成解码后，将解码的数据传输到缓冲帧管理的节点；
28.判断t(b)-t(a)小于帧间隔毫秒数时，开始播放解码器b所播放的帧数t(b)。
29.可选地，所述传输模块将b实例与vr设备建立连接，传输帧数据到b实例对应的解码端b，包括：
30.所述a实例将即将渲染的帧数据和帧数以及互动影视场景的时间戳发送给b实例；
31.所述b实例接收到a实例的数据后，根据时间戳判断未来需要准备切换的画面帧；
32.所述b实例将准备好的帧数据传输到vr设备的解码端b。
33.可选地，在解码后的数据传输到缓冲帧管理环节之前，包括：进行图像处理、压缩等。
34.可选地，所述a实例和b实例建立网络链接，使用tcp或udp等网络协议进行通信。
35.本技术的优点和有益效果：
36.本技术提供的一种切换渲染实例的交互方法，包括：当切换a实例到b实例时，所述a实例和b实例接收切换信号；根据所述切换信号，所述a实例和b实例建立链接，并且开始同步渲染的帧数据和帧数以及互动影视场景的时间戳；所述b实例根据实例a的帧数据和时间戳信息，判断需要准备切换的画面帧；根据需要准备切换的画面帧，根据需要准备切换的画面帧，将所述a实例的帧数据传输到b实例对应的解码端b，所述b实例与vr设备建立连接。本技术通过b实例通过根据实例a的帧数据和时间戳信息判断需要准备切换的画面帧，快速准备切换所需的画面帧。这样实现快速切换实例，减少等待时间，增加交互的连贯性。
附图说明
37.图1是本技术中切换渲染实例的交互流程示意图。
38.图2是本技术中实例连接结构示意图。
39.图3是本技术中切换渲染实例的交互装置示意图。
具体实施方式
40.下面结合附图和具体实施例对本技术作进一步说明，以使本领域的技术人员更好地理解本技术并能予以实施。
41.以下内容均是为了详细说明本技术要保护的技术方案所提供的具体实施过程的示例，但是本技术还采用不同于此的描述的其他方式实施，本领域技术人员在本技术构思的指引下，采用不同的技术手段实现本技术，因此本技术不受下面具体实施例的限制。
42.本技术提供的一种切换渲染实例的交互方法，在切换渲染实例时，通过建立链接
并同步渲染的帧数据、帧数和时间戳，实例a和实例b实现实时同步，以确保切换过程中的连贯性和流畅性。通过分析实例a的帧数据和时间戳，实例b准确判断需要准备切换的画面帧，并快速准备切换所需的数据，从而实现快速和准确的切换。通过与vr设备建立连接并传输帧数据到解码端b，高效地将准备好的画面帧数据传输到vr设备进行解码。减少传输延迟，并保证切换后的画面能够及时呈现给用户。
43.请参照图1所示和图2所示，s101当切换实例a201到实例b202时，所述实例a201和实例b202接收切换信号。
44.本技术中，渲染实例用于实时渲染和显示交互影视内容。例如，当用户与互动影视应用进行交互时，系统可以根据用户输入和应用逻辑生成不同的图形场景，然后通过渲染实例将这些场景转化为可视化的图像或动画，并将其呈现在显示设备上。
45.当切换实例a201到实例b202时，所述实例a201和所述实例b202接收切换信号，开始切换准备工作。根据切换信号，所述实例a201和所述实例b202建立网络链接，优选的，可以使用tcp或udp等网络协议进行通信。
46.具体的，当需要将所述实例a201切换到所述实例b202时，首先发送一个切换信号给所述实例a201和所述实例b202。所述切换信号可以是一个指令、按钮点击或者其他操作。
47.接下来，所述实例a201和所述实例b202接收到切换信号后，停止当前正在进行的渲染任务，包括停止处理和渲染当前的帧数据和场景。接着，所述实例a201和所述实例b202保存当前的渲染状态，包括当前的帧数据、帧数、时间戳和其他相关参数。这样可以确保在切换后能够继续从断点处进行渲染。
48.进一步放入，为了确保切换后的渲染环境的清洁和稳定，还需要对所述实例a201和所述实例b202进行清理操作，包括单不限于释放不再使用的缓存、清除临时数据和关闭不需要的资源。
49.请参照图1所示，s102根据所述切换信号，所述实例a201和实例b202建立链接，并且开始同步渲染的帧数据和帧数以及互动影视场景的时间戳。
50.所述实例a201接收到切换信号后，开始进行切换准备工作。所述实例b202同样接收到切换信号，也开始做相应的切换准备工作。
51.接下来，所述实例a201和所述实例b202使用tcp或udp等网络协议建立链接。一旦链接建立，所述实例a201和所述实例b202之间可以进行网络通信。
52.所述实例a201根据当前的渲染情况和进度，将即将渲染的帧数据、帧数以及互动影视场景的时间戳等信息发送给所述实例b202。
53.所述实例b202接收到所述实例a201发送的渲染数据后，进行解析和处理。所述实例b202根据接收到的数据中的时间戳信息，判断需要准备切换的渲染画面。并且根据帧数和时间戳的信息，进行渲染状态的同步，包括：加载对应的场景数据、准备渲染所需的材质和纹理等。
54.请参照图1所示，s103所述实例b202根据实例a201的帧数据和时间戳信息，判断需要准备切换的画面帧。
55.首先，从所述实例a201中获取帧数据和对应的时间戳信息。帧数据可以是图像、视频或其他可视化数据。时间戳信息用于确定每个帧的时间顺序。
56.将从所述实例a201获取的帧数据和时间戳信息传输给实例b202。使用网络连接，
如tcp/ip，或者其他合适的通信方式进行传输。
57.所述实例b202接收到帧数据和时间戳信息后，根据这些信息进行分析。包括：解码图像或视频数据，读取时间戳信息，并对数据进行处理以提取关键信息。
58.根据提取的所述关键信息，所述实例b202可以判断出是否需要准备切换画面帧。
59.具体的，比较所述实例a201和所述实例b202之间的帧数据。如果帧数据之间有显著的差异，例如内容、颜色、动作等方面发生变化，可能需要准备切换画面帧。另外，比较实例a201和实例b202之间的时间戳信息。如果时间戳之间的差异超过了预设的阈值，例如帧间隔的长短，需要准备切换画面帧。
60.例如：通过互联网将需要切换的画面帧的数据传输到实例b202的解码器b204。在传输的帧数据中，携带互动影视程序的时间参数t(b)。同时，实例a201的帧数据也携带互动影视程序的时间参数t(a)。
61.解码器a203和解码器b204分别对接收到的帧数据进行解码。解码后的数据传输到缓冲帧管理环节进行缓存。通过比较时间参数t(b)和t(a)，判断是否存在t(b)-t(a)小于帧间隔毫秒数的情况。如果发现t(b)-t(a)《帧间隔毫秒数，将对应的帧判断为需要准备切换的画面帧。
62.进一步的，还可以根据应用场景和需求，判断对于画面帧的切换是否需要较高的敏感度。如果要求更精细的画面切换，可能需要更频繁地准备切换画面帧。
63.帧数据的差异性判断：
64.比较帧数据的差异，可以使用图像比较算法(如结构相似性指数ssim)或视频帧之间的差分图像等方法。如果帧数据之间的差异超过某个阈值，可以表示为：δf》阈值
65.时间戳的差异性判断：
66.比较时间戳的差异，可以使用时间差计算方法或根据帧率计算预期时间间隔。如果时间戳之间的差异超过某个阈值，可以表示为：δt》阈值
67.计算判断是否需要准备切换画面帧：
68.综合考虑帧数据的差异性和时间戳的差异性，可以使用以下公式判断是否需要准备切换画面帧：需要切换画面帧的条件：
69.δf》阈值1且δt》阈值2。
70.其中，δf表示帧数据的差异，δt表示时间戳的差异，阈值1和阈值2是根据实际情况设定的阈值。
71.请参照图1所示，s104根据需要准备切换的画面帧，将所述实例a201的帧数据传输到实例b202对应的解码器b204，所述实例b202与vr设备建立连接。
72.首先，从所述实例a201中获取需要准备切换的画面帧的数据。这可以是图像、视频或其他可视化数据。所述实例b202与vr设备建立连接，确保能够互相传输数据。这可以通过网络连接、物理连接或其他适当的方式完成。
73.将所述实例a201的帧数据传输到所述实例b202对应的解码器b204。包括将帧数据从实例a201发送到实例b202的解码器b204。可以使用网络连接、数据传输协议等方式进行传输。
74.所述解码器b204接收到传输的帧数据后，进行解码操作。包括采用图像或视频解码算法，将传输的帧数据转换为可供vr设备播放的图像或视频数据。解码完成后的数据传
输给vr设备，以进行播放。将解码后的数据传输到vr设备的显示器206或其他输出设备，使得用户可以观看切换后的画面帧。
75.本技术还提供一种切换渲染实例的交互装置，包括：接收模块301，同步模块302，判断模块303，传输模块304。
76.图3是本技术中切换渲染实例的交互装置示意图。
77.请参照图3所示，接收模块301，用于当切换实例a201到实例b202时，所述实例a201和实例b202接收切换信号。
78.本技术中，渲染实例用于实时渲染和显示交互影视内容。例如，当用户与互动影视应用进行交互时，系统可以根据用户输入和应用逻辑生成不同的图形场景，然后通过渲染实例将这些场景转化为可视化的图像或动画，并将其呈现在显示设备上。
79.当切换实例a201到实例b202时，所述实例a201和所述实例b202接收切换信号，开始切换准备工作。根据切换信号，所述实例a201和所述实例b202建立网络链接，优选的，可以使用tcp或udp等网络协议进行通信。
80.具体的，当需要将所述实例a201切换到所述实例b202时，首先发送一个切换信号给所述实例a201和所述实例b202。所述切换信号可以是一个指令、按钮点击或者其他操作。
81.接下来，所述实例a201和所述实例b202接收到切换信号后，停止当前正在进行的渲染任务，包括停止处理和渲染当前的帧数据和场景。接着，所述实例a201和所述实例b202保存当前的渲染状态，包括当前的帧数据、帧数、时间戳和其他相关参数。这样可以确保在切换后能够继续从断点处进行渲染。
82.进一步放入，为了确保切换后的渲染环境的清洁和稳定，还需要对所述实例a201和所述实例b202进行清理操作，包括单不限于释放不再使用的缓存、清除临时数据和关闭不需要的资源。
83.请参照图3所示，同步模块302，用于根据所述切换信号，所述实例a201和实例b202建立链接，并且开始同步渲染的帧数据和帧数以及互动影视场景的时间戳。
84.所述实例a201接收到切换信号后，开始进行切换准备工作。所述实例b202同样接收到切换信号，也开始做相应的切换准备工作。
85.接下来，所述实例a201和所述实例b202使用tcp或udp等网络协议建立链接。一旦链接建立，所述实例a201和所述实例b202之间可以进行网络通信。
86.所述实例a201根据当前的渲染情况和进度，将即将渲染的帧数据、帧数以及互动影视场景的时间戳等信息发送给所述实例b202。
87.所述实例b202接收到所述实例a201发送的渲染数据后，进行解析和处理。所述实例b202根据接收到的数据中的时间戳信息，判断需要准备切换的渲染画面。并且根据帧数和时间戳的信息，进行渲染状态的同步，包括：加载对应的场景数据、准备渲染所需的材质和纹理等。
88.请参照图1所示，判断模块303，用于所述实例b202根据实例a201的帧数据和时间戳信息，判断需要准备切换的画面帧。
89.首先，从所述实例a201中获取帧数据和对应的时间戳信息。帧数据可以是图像、视频或其他可视化数据。时间戳信息用于确定每个帧的时间顺序。
90.将从所述实例a201获取的帧数据和时间戳信息传输给实例b202。使用网络连接，
如tcp/ip，或者其他合适的通信方式进行传输。
91.所述实例b202接收到帧数据和时间戳信息后，根据这些信息进行分析。包括：解码图像或视频数据，读取时间戳信息，并对数据进行处理以提取关键信息。
92.根据提取的所述关键信息，所述实例b202可以判断出是否需要准备切换画面帧。
93.具体的，比较所述实例a201和所述实例b202之间的帧数据。如果帧数据之间有显著的差异，例如内容、颜色、动作等方面发生变化，可能需要准备切换画面帧。另外，比较实例a201和实例b202之间的时间戳信息。如果时间戳之间的差异超过了预设的阈值，例如帧间隔的长短，需要准备切换画面帧。
94.例如：通过互联网将需要切换的画面帧的数据传输到实例b202的解码器b204。在传输的帧数据中，携带互动影视程序的时间参数t(b)。同时，实例a201的帧数据也携带互动影视程序的时间参数t(a)。
95.解码器a203和解码器b204分别对接收到的帧数据进行解码。解码后的数据传输到缓冲帧管理205进行缓存。通过比较时间参数t(b)和t(a)，判断是否存在t(b)-t(a)小于帧间隔毫秒数的情况。如果发现t(b)-t(a)《帧间隔毫秒数，将对应的帧判断为需要准备切换的画面帧。
96.进一步的，还可以根据应用场景和需求，判断对于画面帧的切换是否需要较高的敏感度。如果要求更精细的画面切换，可能需要更频繁地准备切换画面帧。
97.帧数据的差异性判断：
98.比较帧数据的差异，可以使用图像比较算法(如结构相似性指数ssim)或视频帧之间的差分图像等方法。如果帧数据之间的差异超过某个阈值，可以表示为：δf》阈值
99.时间戳的差异性判断：
100.比较时间戳的差异，可以使用时间差计算方法或根据帧率计算预期时间间隔。如果时间戳之间的差异超过某个阈值，可以表示为：δt》阈值
101.计算判断是否需要准备切换画面帧：
102.综合考虑帧数据的差异性和时间戳的差异性，可以使用以下公式判断是否需要准备切换画面帧：需要切换画面帧的条件：
103.δf》阈值1且δt》阈值2。
104.其中，δf表示帧数据的差异，δt表示时间戳的差异，阈值1和阈值2是根据实际情况设定的阈值。
105.请参照图3所示，传输模块304，用于根据需要准备切换的画面帧，将所述实例a201的帧数据传输到实例b202对应的解码器b204，所述实例b202与vr设备建立连接。
106.首先，从所述实例a201中获取需要准备切换的画面帧的数据。这可以是图像、视频或其他可视化数据。所述实例b202与vr设备建立连接，确保能够互相传输数据。这可以通过网络连接、物理连接或其他适当的方式完成。
107.将所述实例a201的帧数据传输到所述实例b202对应的解码器b204。包括将帧数据从实例a201发送到实例b202的解码器b204。可以使用网络连接、数据传输协议等方式进行传输。
108.所述解码器b204接收到传输的帧数据后，进行解码操作。包括采用图像或视频解码算法，将传输的帧数据转换为可供vr设备播放的图像或视频数据。解码完成后的数据传
输给vr设备，以进行播放。将解码后的数据传输到vr设备的显示器206或其他输出设备，使得用户可以观看切换后的画面帧。