一种视频回放方法、装置、电子设备及存储介质与流程

1.本公开涉及视频处理技术领域，尤其涉及一种视频回放方法、装置、电子设备及存储介质。


背景技术：

2.随着互联网的发展，网络直播技术被广泛应用于越来越多的场景中。例如，可应用于教学、金融、会议、娱乐等场景中。当观众无法观看实时直播时，可以通过在客户端中观看回放视频的方式来了解直播内容。
3.相关技术中，直播客户端在直播过程中，将获取到的直播视频流发送至服务器中进行存储，当需要进行视频回放时，回放客户端可以从服务器中获取到直播视频流进行播放，从而实现直播视频回放。
4.然而，相关技术中的这种方式，由于直播视频流是由直播客户端发送至服务器，并由服务器进行处理生成的标准化的音视频文件，因此，通过这种方式生成的直播视频流仅能够在其它客户端的播放界面的尺寸，与直播客户端的播放界面的尺寸相同的情况下，保证视频画面不会出现失真。然而，当需要在不同尺寸的播放界面中进行视频回放时，可能会出现视频画面失真的情况，从而降低了用户体验。


技术实现要素：

5.本公开实施例提供一种视频回放方法、装置、电子设备及存储介质，以避免回放的直播视频出现失真，提高用户体验感。
6.本公开实施例提供的具体技术方案如下：
7.一种视频回放方法，应用于客户端，包括：
8.响应于针对目标视频的回放请求，从服务器中获取与所述目标视频关联的各多媒体资源数据，以及所述各多媒体资源数据对应的至少一个播放事件数据，其中，所述播放事件数据用于控制所述多媒体资源数据的播放状态，所述各多媒体资源数据为分别针对不同的多媒体元素各自对应的数据流进行存储获得的；
9.根据所述客户端的播放区域布局信息，分别确定所述各多媒体资源数据的目标播放区域；
10.基于各目标播放区域，以及所述各播放事件数据，播放所述各多媒体资源数据。
11.可选的，还包括：
12.分别获得待处理视频的各多媒体元素对应的多媒体资源数据和至少一个播放事件数据；
13.将所述各多媒体资源数据和各播放事件数据发送给服务器进行关联存储。
14.可选的，分别获得待处理视频的各多媒体元素对应的多媒体资源数据和至少一个播放事件数据，具体包括：
15.分别对待处理视频的各多媒体元素对应的数据流进行存储，获得各多媒体资源数
据；
16.以及，按照预设的数据格式，分别采集针对所述各多媒体元素各自对应的至少一个播放事件，获得至少一个播放事件数据。
17.可选的，从服务器中获取与所述目标视频关联的各多媒体资源数据，以及所述各多媒体资源数据对应的至少一个播放事件数据，具体包括：
18.将所述回放请求发送至服务器，以使所述服务器响应于所述回放请求，将查找到的各多媒体资源数据，以及所述各多媒体数据对应的至少一个播放事件数据返回给客户端；
19.其中，所述各多媒体资源数据和各播放事件数据为基于所述回放请求中的目标视频标识，查找与所述目标视频标识关联的各多媒体资源数据和各播放事件数据获得的；
20.接收所述服务器发送的所述各多媒体资源数据和各播放事件数据。
21.可选的，根据所述客户端的播放区域布局信息，分别确定所述各多媒体资源数据的目标播放区域，具体包括：
22.获取所述客户端的播放界面的尺寸参数；
23.基于所述尺寸参数，确定所述客户端的播放界面的播放区域布局信息，其中，所述播放区域布局信息包括各多媒体元素在所述播放界面中的播放区域；
24.根据所述播放区域布局信息，分别确定所述各多媒体资源数据对应的目标播放区域。
25.可选的，基于各目标播放区域，以及所述各播放事件数据，播放所述各多媒体资源数据，具体包括：
26.按照预设的排序方式，对所述各多媒体资源数据和所述各播放事件数据的回放顺序进行排序，获得排序后的各多媒体资源数据和所述各播放事件数据；
27.基于各目标播放区域，依次播放所述排序后的各多媒体资源数据，以及，依次执行所述各播放事件数据。
28.可选的，按照预设的排序方式，对所述各多媒体资源数据和所述各播放事件数据回放顺序进行排序，具体包括：
29.分别确定所述各多媒体资源数据各自对应的时间戳和各播放事件数据各自对应的时间戳；
30.基于确定出的各时间戳，对所述各多媒体资源数据和所述各播放事件数据的回放顺序进行排序。
31.可选的，依次播放所述排序后的各多媒体资源数据，以及，依次执行所述各播放事件数据，具体包括：
32.基于获取到的播放进度控制指令中的目标时间戳，从所述排序后的各多媒体资源数据和各播放事件数据中确定出满足目标时间戳条件的多媒体资源数据或播放事件数据；
33.将所述确定出的多媒体资源数据或播放事件数据作为起始数据，依次播放所述排序后的各多媒体资源数据，以及，依次执行所述各播放事件数据。
34.可选的，还包括：
35.响应于播放控制请求，基于所述播放控制请求中的控制类型标识，确定播放控制类型，其中，所述播放控制请求中至少包括控制类型标识；
36.生成针对所述播放控制类型的控制指令；
37.基于所述控制指令，对所述排序后的各多媒体资源数据和各播放事件数据的播放状态进行控制。
38.一种视频回放装置，应用于客户端，包括：
39.获取模块，用于响应于针对目标视频的回放请求，从服务器中获取与所述目标视频关联的各多媒体资源数据，以及所述各多媒体资源数据对应的至少一个播放事件数据，其中，所述播放事件数据用于控制所述多媒体资源数据的播放状态，所述各多媒体资源数据为分别针对不同的多媒体元素各自对应的数据流进行存储获得的；
40.确定模块，用于根据所述客户端的播放区域布局信息，分别确定所述各多媒体资源数据的目标播放区域；
41.播放模块，用于基于各目标播放区域，以及所述各播放事件数据，播放所述各多媒体资源数据。
42.可选的，还包括关联存储模块，所述关联存储模块用于：
43.分别获得待处理视频的各多媒体元素对应的多媒体资源数据和至少一个播放事件数据；
44.将所述各多媒体资源数据和各播放事件数据发送给服务器进行关联存储。
45.可选的，分别获得待处理视频的各多媒体元素对应的多媒体资源数据和至少一个播放事件数据时，关联存储模块具体用于：
46.分别对待处理视频的各多媒体元素对应的数据流进行存储，获得各多媒体资源数据；
47.以及，按照预设的数据格式，分别采集针对所述各多媒体元素各自对应的至少一个播放事件，获得至少一个播放事件数据。
48.可选的，从服务器中获取与所述目标视频关联的各多媒体资源数据，以及所述各多媒体资源数据对应的至少一个播放事件数据时，获取模块具体用于：
49.将所述回放请求发送至服务器，以使所述服务器响应于所述回放请求，将查找到的各多媒体资源数据，以及所述各多媒体数据对应的至少一个播放事件数据返回给客户端；
50.其中，所述各多媒体资源数据和各播放事件数据为基于所述回放请求中的目标视频标识，查找与所述目标视频标识关联的各多媒体资源数据和各播放事件数据获得的；
51.接收所述服务器发送的所述各多媒体资源数据和各播放事件数据。
52.可选的，确定模块具体用于：
53.获取所述客户端的播放界面的尺寸参数；
54.基于所述尺寸参数，确定所述客户端的播放界面的播放区域布局信息，其中，所述播放区域布局信息包括各多媒体元素在所述播放界面中的播放区域；
55.根据所述播放区域布局信息，分别确定所述各多媒体资源数据对应的目标播放区域。
56.可选的，播放模块具体用于：
57.按照预设的排序方式，对所述各多媒体资源数据和所述各播放事件数据的回放顺序进行排序，获得排序后的各多媒体资源数据和所述各播放事件数据；
58.基于各目标播放区域，依次播放所述排序后的各多媒体资源数据，以及，依次执行所述各播放事件数据。
59.可选的，按照预设的排序方式，对所述各多媒体资源数据和所述各播放事件数据回放顺序进行排序时，播放模块具体用于：
60.分别确定所述各多媒体资源数据各自对应的时间戳和各播放事件数据各自对应的时间戳；
61.基于确定出的各时间戳，对所述各多媒体资源数据和所述各播放事件数据的回放顺序进行排序。
62.可选的，依次播放所述排序后的各多媒体资源数据，以及，依次执行所述各播放事件数据时，播放模块具体用于：
63.基于获取到的播放进度控制指令中的目标时间戳，从所述排序后的各多媒体资源数据和各播放事件数据中确定出满足目标时间戳条件的多媒体资源数据或播放事件数据；
64.将所述确定出的多媒体资源数据或播放事件数据作为起始数据，依次播放所述排序后的各多媒体资源数据，以及，依次执行所述各播放事件数据。
65.可选的，还包括控制模块，所述控制模块用于：
66.响应于播放控制请求，基于所述播放控制请求中的控制类型标识，确定播放控制类型，其中，所述播放控制请求中至少包括控制类型标识；
67.生成针对所述播放控制类型的控制指令；
68.基于所述控制指令，对所述排序后的各多媒体资源数据和各播放事件数据的播放状态进行控制。
69.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述视频回放方法的步骤。
70.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述视频回放方法的步骤。
71.本公开实施例的有益效果如下：
72.本公开实施例提供的视频回放方法、装置、电子设备及存储介质，响应于针对目标视频的回放请求，从服务器中获取与目标视频关联的各多媒体资源数据，以及各多媒体资源数据对应的至少一个播放事件数据，根据客户端的播放区域布局信息，分别确定各多媒体资源数据的目标播放区域，基于各目标播放区域，以及各播放事件数据，播放各多媒体资源数据。
73.这样，在各多媒体资源数据的目标播放区域播放获取到的各多媒体资源数据和各播放事件数据，能够在回放过程中，适应不同播放界面的播放尺寸要求，从而改善用户体验。并且，在进行视频回放时，从服务器中获取与目标视频关联的各多媒体资源数据，以及各多媒体资源数据对应的至少一个播放事件数据，并通过播放事件数据控制多媒体资源数据的播放，能够更加丰富地还原录制回放场景，从而改善用户体验。
附图说明
74.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若
干实施方式，其中：
75.图1为本公开实施例中视频回放方法的应用场景示意图；
76.图2为本公开实施例中生成多媒体资源数据和播放事件数据方法的流程图；
77.图3为本公开实施例中获得各多媒体资源数据和各播放事件数据的方法的流程图；
78.图4为本公开实施例中一种视频回放方法的流程图；
79.图5为本公开实施例中查找各多媒体资源数据和各播放事件数据的方法的流程图；
80.图6为本公开实施例中确定目标播放区域的流程示意图；
81.图7为本公开实施例中播放界面的第一示意图；
82.图8为本公开实施例中播放界面的第二示意图；
83.图9为本公开实施例中播放各多媒体资源数据的方法的流程图；
84.图10为本公开实施例中对各多媒体资源数据和各播放事件数据进行排序的方法的流程图；
85.图11为本公开实施例中播放界面的第三示意图；
86.图12为本公开实施例中修改播放进度的方法的流程图；
87.图13为本公开实施例中控制播放状态的方法的流程图；
88.图14为本公开实施例中一种视频回放方法的另一流程图；
89.图15为本公开实施例中的视频回放装置的结构示意图；
90.图16为本公开实施例中电子设备的结构示意图。
具体实施方式
91.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，并不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
92.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
93.本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
94.在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
95.为了方便理解，对本公开实施例中涉及的技术术语进行解释：
96.多媒体资源数据：为直播过程中存储的与多媒体元素关联的数据。
97.其中，多媒体资源数据可以为音频、互动白板、视频、动画、文档等，本公开实施例中对此并不进行限制。
98.播放事件数据：表征用于控制多媒体资源数据的播放状态的事件数据。
99.其中，播放事件数据可以为动画开始、动画停止、还原控件可见、打开音频等，本公开实施例中对此并不进行限制。
100.播放区域布局信息：表征播放界面中包含的各播放区域的布局信息，是指通过协议约定的参数，设置音视频、互动白板、屏幕共享视频等多媒体内容显示在电子设备和平台上的用户视窗的大小及其位置。
101.需要说明的是，每种播放区域用于播放一种多媒体元素对应的多媒体资源数据。
102.互动白板：互动白板主要应用于在线课堂教学场景，用户可借助涂鸦、文本、直线、激光笔等功能工具，边演示内容边勾画要点。
103.可交互组件：可交互组件是指用户可以操作的自定义组件，用户操作后可以收到交互反馈，例如，点赞的图标，用户点击时可以展示点赞的动画效果，同时赞的数量显示累加，又例如，调查问卷或试题，用户可以通过选项和填写文本进行交互。
104.播放速度倍率：是指相对于自然时间流动的回放速度倍率，一般为0.5倍、1倍、1.5倍、2倍等播放倍率，例如，倍率是2倍，播放用了1秒钟的进度，播放录制回放的进度是2倍，1倍速表示与自然时间的速度一致。
105.数据：用于存储和传输音视频、互动白板、事件的数据概念，数据流包含起始时间戳、时长、id、用户uid、数据流类型等信息。音视频数据流包含音视频地址或音视频数据，互动白板数据流包含互动白板回放历史轨迹数据，播放事件数据包含事件类型、用于执行播放事件的数据内容、事件描述等信息。
106.下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。
107.发明概述
108.本发明人发现，直播能够应用于多种不同的场景中，如教学、金融、会议、娱乐等。在电子设备中，当前在线直播场景主要通过对视频进行录制，由服务器生成标准化的音视频文件，用于质检、回放、存档留证。相关技术中，直播客户端在直播过程中，将获取到的视频流、音频流等，发送至服务器中进行存储，由服务器生成标准化音视频文件，从而在回放过程中，从服务器中获取到音视频文件即可进行视频回放。然而，相关技术中的这种方式，由于音视频文件是由服务器生成的，因此，仅能够保证在回放客户端的播放界面的尺寸参数，与直播客户端的播放界面的尺寸参数相同的情况下，避免丢失视频元素，保证视频画面不会出现失真的问题。若需要在不同的播放界面中进行视频回放，则可能会因为尺寸参数(如，宽高比)的改变，造成画面失真，降低了用户体验。
109.为了解决上述问题，本公开提出了一种视频回放方法、装置、电子设备及存储介质，响应于针对目标视频的回放请求，从服务器中获取与目标视频关联的各多媒体资源数据，以及各多媒体资源数据对应的至少一个播放事件数据，根据客户端的播放区域布局信息，分别确定各多媒体资源数据的目标播放区域，基于各目标播放区域，以及各播放事件数据，播放各多媒体资源数据。这样，由于本公开实施例中，在各目标播放区域内，播放各多媒体资源数据，并执行各播放事件数据，使得在视频回放的过程中，能够适应不同播放界面的播放尺寸要求和定制的观看需求，从而改善了用户体验。并且，通过本公开实施例中的方法，通过播放事件数据来控制多媒体资源数据的播放状态，能够还原直播场景，从而改善用户体验。
110.在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方
式。
111.应用场景总览
112.参考图1，其为本公开实施例提供的视频回放方法的应用场景示意图。该应用场景可以包括客户端101和服务器102，客户端101和服务器102之间通过通信网络连接。服务器102将与目标视频关联的各多媒体资源数据，以及各多媒体资源数据对应的至少一个播放事件数据发送给客户端101，以使客户端101根据播放区域布局信息，分别确定各多媒体资源数据的目标播放区域，基于各目标播放区域，以及各播放事件数据，播放各多媒体资源数据，实现视频回放。
113.其中，通信网络可为局域网、广域网、移动互联网等，客户端101可以但不限于为：智能手机、平板电脑、笔记本电脑、台式计算机等设备，服务器102可以是独立的物理服务器，也可以是提供云服务器、云数据库、云存储等基础云计算服务的云服务器，本公开实施例对此不作限定。
114.示例性方法
115.下面结合上述应用场景，来描述根据本公开示例性实施方式的视频回放方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
116.首先，对本公开实施例中在直播过程中生成多媒体资源数据和播放事件数据的过程进行详细阐述，参阅图2所示，为本公开实施例中生成多媒体资源数据和播放事件数据方法的流程图，具体包括：
117.s20：分别获得待处理视频的各多媒体元素对应的多媒体资源数据和至少一个播放事件数据。
118.本公开实施例中，分别获得待处理视频的各多媒体元素对应的多媒体资源数据和至少一个播放事件数据。
119.可选的，本公开实施例中，为获得各多媒体资源数据和各播放事件数据提供了一种可能的实施方式，通过对各多媒体元素的数据流进行存储，并采集各多媒体元素的播放事件，获得各多媒体资源数据和各播放事件数据，参阅图3所示，为本公开实施例中获得各多媒体资源数据和各播放事件数据的方法的流程图，下面结合附图3，对本公开实施例中获得多媒体资源数据和各播放事件数据的过程进行详细说明，具体包括：
120.s201：分别对待处理视频的各多媒体元素对应的数据流进行存储，获得各多媒体资源数据。
121.本公开实施例中，在直播过程中，由于待处理视频由多个多媒体元素组成，每个多媒体元素会持续生成数据，因此，分别对待处理视频的各多媒体元素对应的数据流进行存储，从而获得在直播过程中生成的各多媒体资源数据。
122.其中，待处理视频为直播过程中的直播视频，多媒体资源数据中包含有多媒体元素在直播过程中生成的各项数据。
123.例如，假设待处理视频由音频、视频、互动白板和动画组成，则在直播过程中，对音频对应的数据流进行存储，获得音频数据，对视频对应的数据流进行存储，获得视频数据，对互动白板对应的数据流进行存储，获得互动白板数据，以及对动画对应的数据流进行存储，获得动画数据，其中，音频数据、视频数据、互动白板数据和动画数据均为多媒体资源数
据。
124.需要说明的是，本公开实施例中，在对不同的多媒体元素对应的数据流进行存储时，可以是同时进行存储的；也可以是按照多媒体元素的呈现时间进行存储，如，当动画开始呈现在播放界面中时，则对动画对应的数据流进行存储，本公开实施例中对此并不进行限制。
125.这样，由于本公开实施例中的多媒体资源数据包括动画、用户可以操作的界面元素等，因此，能够满足用户在动画和交互上的需求，提高了用户体验。
126.s202：按照预设的数据格式，分别采集针对各多媒体元素各自对应的至少一个播放事件，获得至少一个播放事件数据。
127.本公开实施例中，在直播过程中，按照约定的数据格式，获得每个多媒体元素数据各自对应的至少一个播放事件，从而生成至少一个包含有播放事件字段的播放事件数据。
128.需要说明的是，本公开实施例中，每个播放事件数据由各播放事件字段组成，播放事件字段可以为用户唯一识别码、事件类型、其它数据等基础信息，还可以为时间戳等辅助性的属性字段，本公开实施例中对此并不进行限制。
129.例如，参阅表1所示，为本公开实施例中播放事件字段含义对照表。
130.表1.
131.字段名字段含义useruid用户唯一识别码type事件类型timetamp时间戳data其它数据
132.其中，用户唯一识别码用于唯一标识直播对象的身份信息；事件类型表征播放事件的类型，如，动画开始播放、控件不可见等；时间戳表征播放事件发生的时间，用于对多媒体资源数据播放时间进行对齐，从而同步播放进度；其它数据用于补充播放事件执行所需的额外数据，如，动画内容和可交互组件的选项操作等。
133.进一步地，本公开实施例中，还可将播放事件按照事件类型进行区分，参阅表2所示，为本公开实施例中播放事件类型表。
134.表2.
135.136.需要说明的是，本公开实施例中的播放事件并不局限于以上几种类型，对此并不进行限制。
137.s21：将各多媒体资源数据和各播放事件数据发送给服务器进行关联存储。
138.本公开实施例中，将各多媒体资源数据和各播放事件数据发送给服务器，以使服务器基于多媒体资源数据和各播放事件数据，生成历史回放记录，并生成针对历史回放记录的视频标识，将视频标识与各多媒体资源数据和各播放事件数据进行关联存储至视频数据库中，视频数据库中存储有多个历史回放记录。
139.因此，一个待处理视频对应有各多媒体资源数据和各播放事件数据，每个待处理视频对应有视频标识，在回放过程中，可以根据视频标识，确定与视频标识关联的各多媒体资源数据和各播放事件数据进行回放。
140.进一步地，本公开实施例中，历史回放记录中还包含记录id、直播房间信息、直播界面的直播布局参数等，本公开实施例中对此并不进行限制。
141.其中，直播布局参数表征在直播过程中，直播界面的各多媒体元素的直播区域信息。
142.本公开实施例中，在存储待处理视频时，分别针对各多媒体元素的数据流进行存储。这样，在回放视频时，不会包含冗余的内容，能够减少存储体积和传输带宽。
143.基于上述实施例，本公开实施例提供了一种视频回放方法，参阅图4所示，为本公开实施例中一种视频回放方法的流程图，具体包括：
144.s40：响应于针对目标视频的回放请求，从服务器中获取与目标视频关联的各多媒体资源数据，以及各多媒体资源数据对应的至少一个播放事件数据。
145.其中，播放事件数据用于控制多媒体资源数据的播放状态，各多媒体资源数据为分别针对不同的多媒体元素各自对应的数据流进行存储获得的。
146.本公开实施例中，当用户需要回放视频时，则可以通过在客户端的操作界面中，选择需要回放的目标视频，在客户端中触发针对目标视频的回放请求，客户端响应于触发的回放请求，将触发的回放请求发送至服务器，以使服务器查找到与目标视频关联的各多媒体资源数据，以及各多媒体资源数据对应的至少一个播放事件数据，然后，服务器将查找到的多媒体资源数据和至少一个播放事件数据返回给客户端，因此，客户端在响应于回放请求后，能够从服务器中获取到与目标视频关联的各多媒体资源数据和对应的至少一个播放事件数据。
147.可选的，本公开实施例中，从服务器中获取各多媒体资源数据和各播放事件数据时，可以基于目标视频对应的目标视频标识，在服务器设置的数据库中查找到各多媒体资源数据和各播放事件数据，下面对上述获取各多媒体资源数据和各播放事件数据的方式进行详细说明，参阅图5所示，为本公开实施例中查找各多媒体资源数据和各播放事件数据的方法的流程图，具体包括：
148.s401：将回放请求发送至服务器，以使服务器响应于回放请求，将查找到的各多媒体资源数据，以及各多媒体数据对应的至少一个播放事件数据返回给客户端。
149.其中，各多媒体资源数据和各播放事件数据为基于回放请求中的目标视频标识，查找与目标视频标识关联的各多媒体资源数据和各播放事件数据获得的。
150.本公开实施例中，将包含有目标视频标识的回放请求发送至服务器，以使服务器
在接收到回放请求后，响应于接收到的回放请求，获得目标视频标识，并基于目标视频标识，在数据库中查找到与目标视频标识关联的各多媒体资源数据和各播放事件数据，然后，将查找到的各多媒体资源数据和各播放事件数据返回给客户端。
151.例如，参阅表3所示，为本公开实施例中视频标识与多媒体资源数据和播放事件数据关联关系表，表3中包含各视频标识a1、a2和a3，以及各视频标识关联的多媒体资源数据和播放事件数据。
152.表3.
[0153][0154][0155]
假设回放请求中包含的视频标识为a2，则基于视频标识与多媒体资源数据和各播放事件数据之间的关联关系，能够查找到多媒体资源数据y1、播放事件数据y2，多媒体资源数据y1包括播放控件数据和互动白板数据；播放事件数据y2包括播放控件可见、互动白板开始、互动白板停止，从而在视频回放的过程中可以使用播放事件数据y2控制多媒体资源数据y1的播放状态。
[0156]
可选的，本公开实施例中，还可以基于直播房间标识，查询关联的各多媒体资源数据和各播放事件数据，本公开实施例中对此并不进行限制。
[0157]
进一步地，本公开实施例中，在查找各多媒体资源数据和各播放事件数据时，还可以通过目标视频的视频名称进行查找，本公开实施例中对此并不进行限制。
[0158]
s402：接收服务器发送的各多媒体资源数据和各播放事件数据。
[0159]
本公开实施例中，当服务器将查找到的各多媒体资源数据和各播放事件数据发送
给客户端后，客户端接收服务器发送的各多媒体资源数据和各播放事件数据。
[0160]
s41：根据客户端的播放区域布局信息，分别确定各多媒体资源数据的目标播放区域。
[0161]
本公开实施例中，确定客户端的播放区域布局信息，由于播放区域布局信息用于指示各多媒体资源数据在播放界面中的播放区域，因此，基于播放区域布局信息，分别确定各多媒体资源数据的目标播放区域。
[0162]
需要说明的是，本公开实施例中，不同类型的客户端之间的播放区域布局信息不同，例如，移动终端与便携式计算机之间的播放区域布局信息不同，这样，由于用户在直播和录制回放时使用的设备和平台通常包括平板电脑、手机、智能电视、pc和浏览器等，可以基于平台和设备的特性组合成合适的播放区域布局，用于增强用户的回放观看体验。
[0163]
可选的，本公开实施例中，可以根据客户端的设备标识，确定对应的播放布局信息，具体地，确定客户端的设备标识，并根据客户端的设备标识，以及设备标识与播放区域布局信息之间的关联关系，确定出对应的播放区域布局信息。
[0164]
当然，在确定对应的布局信息时，还可以由用户自行设定播放区域布局信息，本公开实施例中对此并不进行限制。
[0165]
可选的，本公开实施例中，由于相同类型的客户端的播放界面的尺寸可能不相同，因此，还可以根据客户端的播放界面的尺寸参数，确定客户端的播放区域布局信息，下面以基于尺寸参数确定播放区域布局信息为例，对本公开实施例中确定目标播放区域的过程进行详细阐述，参阅图6所示，为本公开实施例中确定目标播放区域的流程示意图，具体包括：
[0166]
s411：获取客户端的播放界面的尺寸参数。
[0167]
本公开实施例中，由于每个客户端的播放界面对应有尺寸参数，因此，对播放界面的界面尺寸进行识别，从而获得播放界面的尺寸参数。
[0168]
其中，播放界面的尺寸参数可以为宽高比，例如，参阅图7所示，为本公开实施例中播放界面的第一示意图，如图7可知，该播放界面的宽高比为9:16；播放界面的尺寸参数还可以为宽度和高度，例如，宽度为9，高度为16，本公开实施例中对此并不进行限制。
[0169]
s412：基于尺寸参数，确定客户端的播放界面的播放区域布局信息。
[0170]
其中，播放区域布局信息包括各多媒体元素在播放界面中的播放区域。
[0171]
本公开实施例中，基于尺寸参数，以及尺寸参数与播放区域布局信息之间的关联关系，确定与播放界面的尺寸参数关联的播放区域布局信息。
[0172]
需要说明的是，播放区域布局信息中包括每种多媒体元素在播放界面中的播放区域。
[0173]
s413：根据播放区域布局信息，分别确定各多媒体资源数据对应的目标播放区域。
[0174]
本公开实施例中，由于播放区域布局信息中包括各个目标播放区域在播放界面上的位置信息，因此，根据播放区域布局信息，确定各多媒体资源数据对应的目标播放区域。
[0175]
例如，参阅图8所示，为本公开实施例中播放界面的第二示意图，多媒体元素分别为互动白板、播放控件、速率控制控件、进度条控件、a用户视频和b用户视频，如图8可知，互动白板的播放区域为区域1、播放控件的播放区域为区域2、速率控制控件的播放区域为区域3、进度条控件的播放区域为区域4、a用户视频的播放区域为区域5、b用户视频的播放区域为区域6。
[0176]
由于互动白板的播放区域为区域1，因此，在回放过程中，在区域1中播放互动白板数据；由于播放控件的播放区域为区域2，因此，在回放过程中，在区域2中播放播放控件数据；由于速率控制控件的播放区域为区域3，因此，在回放过程中，在区域3中播放速率控制控件；由于进度条控件的播放区域为区域4，因此，在回放过程中，在区域4中播放进度条控件数据；由于a用户视频的播放区域为区域5，因此，在回放过程中，在区域5中播放a用户视频数据；由于b用户视频的播放区域为区域6，因此，在回放过程中，在区域6中播放b用户视频数据。
[0177]
s42：基于各目标播放区域，以及各播放事件数据，播放各多媒体资源数据。
[0178]
本公开实施例中，分别在各多媒体资源数据各自对应的播放区域内播放多媒体资源数据，同时，执行各播放事件数据，对各多媒体资源数据的播放状态进行控制，从而实现视频回放。
[0179]
具体地，本公开实施例中，为播放各多媒体资源数据提供了一种可能的实施方式，参阅图9所示，为本公开实施例中播放各多媒体资源数据的方法的流程图，具体包括：
[0180]
s421：按照预设的排序方式，对各多媒体资源数据和各播放事件数据的回放顺序进行排序，获得排序后的各多媒体资源数据和各播放事件数据。
[0181]
本公开实施例中，确定预设的排序方式，并基于预设的排序方式，对各多媒体资源数据和各播放事件数据的回放顺序进行排序，从而获得排序后的各多媒体资源数据和各播放事件数据。
[0182]
其中，预设的排序方式例如可以为根据时间戳的大小进行排序，还可以是根据多媒体资源数据和各播放事件数据的类型优先级进行排序，本公开实施例中对此并不进行限制。
[0183]
下面以排序方式为按照时间戳的大小进行排序为例，对本公开实施例中的s421进行详细阐述，参阅图10所示，为本公开实施例中对各多媒体资源数据和各播放事件数据进行排序的方法的流程图，具体包括：
[0184]
s4211：分别确定各多媒体资源数据各自对应的时间戳和各播放事件数据各自对应的时间戳。
[0185]
本公开实施例中，在直播过程中，存储的每个多媒体资源数据均有其各自对应的时间戳，并且，存储的每个播放事件数据各自也均对应有时间戳，因此，获取各多媒体资源数据各自对应的时间戳，以及各播放事件数据各自对应的时间戳。
[0186]
例如，多媒体资源数据为动画数据，动画对应的时间戳为00:00，动画数据对应的播放事件数据分别为动画开始和动画停止，其中，动画开始对应的时间戳为00:00，动画停止对应的时间戳为00:15。
[0187]
需要说明的是，每个多媒体资源数据各自均对应有一个时间戳，每个播放事件数据也各自均对应有一个时间戳。
[0188]
s4212：基于确定出的各时间戳，对各多媒体资源数据和各播放事件数据的回放顺序进行排序。
[0189]
本公开实施例中，基于确定出的时间戳的大小，对各多媒体资源数据和各播放事件数据的回放顺序进行排序，从而获得排序后的各多媒体资源数据和各播放事件数据。
[0190]
下面采用一个具体的例子，对本公开实施例中对各多媒体资源数据和各播放事件
数据进行排序的过程进行详细说明，例如，假设各多媒体资源数据分别为动画数据和互动白板数据，动画数据对应的时间戳为00:00，动画数据对应的播放事件数据分别为动画开始和动画停止，动画开始对应的时间戳为00:00，动画停止对应的时间戳为00:15，互动白板数据对应的时间戳为00:14，互动白板数据对应的播放事件数据分别为互动白板开始播放和互动白板停止播放，互动白板开始播放对应的时间戳为00:14，互动白板停止播放对应的时间戳为00:30。因此，基于时间戳的大小，对各多媒体资源数据和各播放事件数据进行排序，为动画数据、动画开始、互动白板数据、互动白板开始播放、动画停止、互动白板停止播放。
[0191]
其中，由于动画数据和动画开始的时间戳相同，因此，多媒体资源数据动画数据，与播放事件数据动画开始，是同时播放和执行的。
[0192]
s422：基于各目标播放区域，依次播放排序后的各多媒体资源数据，以及，依次执行各播放事件数据。
[0193]
本公开实施例中，在各目标播放区域中，依次播放排序后的各多媒体资源数据，并在各目标播放区域中，依次执行各播放事件数据，对各多媒体资源数据的播放状态进行控制。
[0194]
例如，参阅图11所示，为本公开实施例中播放界面的第三示意图，如图11中，在互动白板播放区域，播放互动白板数据，并由播放事件数据控制互动白板数据的播放状态，在a用户音视频通话区域播放a用户音视频通话数据，并由播放事件数据控制a用户音视频通话数据的播放状态，在a用户音视频通话区域播放b用户音视频通话数据，并由播放事件数据控制b用户音视频通话数据的播放状态，在c用户音视频通话区域播放a用户音视频通话数据，并由播放事件数据控制c用户音视频通话数据的播放状态，在播放控件区域播放该播放控件数据，并由播放事件数据控制播放控件数据开始播放或暂停播放，在播放速率控件区域播放该播放速率控件数据，并由播放事件数据控制播放速率控件的显示与大小。
[0195]
可选的，本公开实施例中，在播放多媒体资源数据以及执行播放事件数据时，还可以对播放进度进行修改，下面对本公开实施例中，对播放进度进行修改的过程进行详细阐述，参阅图12所示，为本公开实施例中修改播放进度的方法的流程图，具体包括：
[0196]
s4221：基于获取到的播放进度控制指令中的目标时间戳，从排序后的各多媒体资源数据和各播放事件数据中确定出满足目标时间戳条件的多媒体资源数据或播放事件数据。
[0197]
本公开实施例中，在获取到播放进度控制指令后，响应于播放进度控制指令，由于播放进度控制指令中包含有目标时间戳，因此，从排序后的各多媒体资源数据和各播放事件数据中确定出满足目标时间戳条件的各多媒体资源数据和各播放事件数据。
[0198]
其中，满足目标事件戳条件的各多媒体数据和播放事件数据可以为与该目标时间戳差值最小的时间戳对应的多媒体资源数据或播放事件数据。
[0199]
例如，假设目标时间戳为00:15，确定出与该目标时间戳相邻的两个时间戳，分别为动画停止对应的时间戳00:17和互动白板数据对应的时间戳00:14，因此，确定出与该目标时间戳差值最小的时间戳为互动白板数据对应的时间戳00:14，且该时间戳对应的是多媒体资源数据，因此，获取确定出的多媒体资源数据，并将该多媒体资源数据作为起始数据，从该多媒体资源数据开始，依次播放后续的各多媒体资源数据和各播放事件数据。
[0200]
s4222：将确定出的多媒体资源数据或播放事件数据作为起始数据，依次播放排序
后的各多媒体资源数据，以及，依次执行各播放事件数据。
[0201]
本公开实施例中，将确定出的多媒体资源数据或播放事件数据作为起始数据，从起始数据开始，依次播放排序后的各多媒体资源数据，以及，依次执行各播放事件数据。
[0202]
可选的，本公开实施例中，在播放各多媒体资源数据和各播放事件数据的过程中，还可以对各多媒体资源数据和各播放事件数据的其它播放状态进行控制，如，播放速率、开始操作、暂停操作等，下面对本公开实施例中，控制各多媒体资源数据和各播放事件数据的播放状态的过程进行阐述，参阅图13所示，为本公开实施例中控制播放状态的方法的流程图，具体包括：
[0203]
s43：响应于播放控制请求，基于播放控制请求中的控制类型标识，确定播放控制类型。
[0204]
其中，播放控制请求中至少包括控制类型标识。
[0205]
本公开实施例中，生成播放控制请求，响应于播放控制请求，基于播放控制请求中的控制类型标识，确定对应的播放控制类型。
[0206]
其中，控制类型例如可以为开始播放，暂停，拖动进度，停止，改变播放速度倍率等，本公开实施例中对此并不进行限制。
[0207]
s44：生成针对播放控制类型的控制指令。
[0208]
本公开实施例中，对确定出的播放控制类型进行封装，从而生成包含有播放控制类型的控制指令。
[0209]
需要说明的是，本公开实施例中，生成控制指令的目的是对排序后的各多媒体资源数据和各播放事件数据的播放状态进行控制，具体进行何种控制，则是由控制指令中的播放控制类型决定的。
[0210]
s45：基于控制指令，对排序后的各多媒体资源数据和各播放事件数据的播放状态进行控制。
[0211]
本公开实施例中，基于控制指令，对排序后的各多媒体资源数据和各播放事件数据的播放状态进行控制。
[0212]
例如，各多媒体资源数据和各播放事件数据会同步地进行播放和执行的开始，暂停和改变进度，停止，改变播放速度倍率。
[0213]
另外，需要说明的是，控制操作可以同时影响一个或多个多媒体资源数据和播放事件数据，例如，同时开始、暂停、停止、改变进度、播放速度倍率等，本公开实施例中对此并不进行限制。
[0214]
本公开实施例中，在录制过程中，会存储多媒体素材元素包括音频、视频、动画、文档、互动白板轨迹、屏幕共享录制等数据，另外会同步记录播放事件数据，在视频回放时，采用不同于音视频的播放事件数据，通过各播放事件数据与各多媒体资源数据配合使用，同步多媒体资源数据和播放事件数据，复原直播录制场景，通过执行播放事件数据可以在包含多媒体视窗和以外的界面区域，控制和显示内容，从而丰富地还原录制回放场景。
[0215]
基于上述实施例，参阅图14所示，为本公开实施例中一种视频回放方法的另一流程图，具体包括：
[0216]
s1400：开始。
[0217]
s1401：获取视频数据对应的视频时长、视频地址和视频时间戳。
[0218]
本公开实施例中，响应于针对目标视频的回放请求，并将回放请求发送给服务器，服务器可基于回放请求中的视频标识，确定出与视频标识关联的视频时长、视频地址和视频时间戳，并将确定出的视频时长、视频地址和视频时间戳发送给客户端，其中，视频地址用于获取视频数据。
[0219]
s1402：获取互动白板数据、互动白板时长和互动白板时间戳。
[0220]
本公开实施例中，服务器可基于视频标识，确定出与视频标识关联的互动白板数据、互动白板时长和互动白板时间戳，并发送给客户端。
[0221]
s1403：获取各播放事件数据，以及各自对应的时间戳和事件类型。
[0222]
本公开实施例中，视频数据与互动白板数据均各自对应有播放事件数据，且不对播放事件数据的数量和种类进行限定。
[0223]
s1404：按照时间戳大小，对视频数据、互动白板数据和各播放事件数据进行排序，生成播放队列。
[0224]
本公开实施例中，基于时间戳，将视频数据、互动白板数据和各播放事件数据从小到大进行排列，从而生成播放队列。
[0225]
其中，播放队列中包括排序后的视频数据、互动白板数据和各播放事件数据。
[0226]
s1405：确定出数值最小的时间戳。
[0227]
本公开实施例中，分别确定各时间戳的数值，并确定出数值最小的时间戳。
[0228]
s1406：以确定出的时间戳为起点，开始计时。
[0229]
本公开实施例中，将数值最小的时间戳对应的视频数据、互动白板数据或播放事件数据作为起点，并开始计时。
[0230]
s1407：执行拖动进度操作。
[0231]
本公开实施例中，拖动进度操作对应有目标时间戳。
[0232]
s1408：按照目标时间戳查找对应的数据。
[0233]
本公开实施例中，按照目标时间戳查找到对应的视频数据播放进度、互动白板数据播放进度或播放事件数据。
[0234]
s1409：判断数据类型，若为视频数据，则执行s1410，若为互动白板数据，则执行s1411，若为播放事件数据，则执行s1412。
[0235]
本公开实施例中，可基于数据类型确定拖动到的时间戳对应的数据，若数据类型为视频数据，则修改视频数据播放进度，若数据类型为互动白板数据，则修改互动白板数据播放进度，若数据类型为播放事件数据，则跳转至对应的播放事件数据开始播放。
[0236]
s1410：修改视频数据播放进度。
[0237]
本公开实施例中，若数据类型为视频数据，则修改视频数据的播放进度，也即，从目标时间戳对应的视频数据开始播放。
[0238]
s1411：修改互动白板数据播放进度。
[0239]
本公开实施例中，若数据类型为互动白板数据，则修改互动白板数据的播放进度，也即，从目标时间戳开始播放互动白板数据。
[0240]
s1412：跳转至对应的播放事件数据。
[0241]
本公开实施例中，若数据类型为播放事件数据，则跳转至对应的播放事件数据，开始执行该播放事件数据。
[0242]
s1413：继续播放视频数据、互动白板数据和各播放事件数据。
[0243]
本公开实施例中，在确定出对应的视频数据、互动白板数据或播放事件数据后，按照排序后的视频数据、互动白板数据和播放事件数据，继续进行播放和执行。
[0244]
s1414：执行正常播放操作。
[0245]
本公开实施例中，开始播放时，各多媒体资源数据和各播放事件数据按照相同的播放速率进行播放。
[0246]
需要说明的是，若执行正常播放操作，则从基于时间戳对视频数据、互动白板数据和各播放事件数据进行排序。
[0247]
s1415：按照时间戳播放视频数据、互动白板数据和各播放事件数据。
[0248]
本公开实施例中，按照时间戳大小，对视频数据、互动白板数据和各播放事件数据进行排序，获得排序后的视频数据、互动白板数据和各播放事件数据，并按照时间戳，依次播放排序后的视频数据、互动白板数据和各播放事件数据。
[0249]
s1416：判断所有数据是否均播放结束，若是，则执行s1417，若否，则执行s1415。
[0250]
本公开实施例中，判断所有数据是否均播放结束，若是，则结束本次视频回放，若未播放结束，则继续按照时间戳播放视频数据、互动白板数据和各播放事件数据。
[0251]
s1417：结束。
[0252]
本公开实施例中，在视频回放的过程中，采用多媒体资源数据和播放事件数据配合生成回放场景，能够满足不同客户端对于播放界面的尺寸要求和布局定制需求，改善了用户体验。
[0253]
示例性设备
[0254]
基于同一发明构思，本公开实施例中还提供了一种视频回放装置，该视频回放装置可以是硬件结构、软件模块、或硬件结构加软件模块，该视频回放装置实施例可以继承前述方法实施例描述的内容，基于上述实施例，如图15所示，为本公开实施例中的视频回放装置150的结构示意图。在一个实施例中，视频回放装置150包括：获取模块1501、确定模块1502、播放模块1503、关联存储模块1504和控制模块1505。
[0255]
获取模块1501，用于响应于针对目标视频的回放请求，从服务器中获取与所述目标视频关联的各多媒体资源数据，以及所述各多媒体资源数据对应的至少一个播放事件数据，其中，所述播放事件数据用于控制所述多媒体资源数据的播放状态，所述各多媒体资源数据为分别针对不同的多媒体元素各自对应的数据流进行存储获得的；
[0256]
确定模块1502，用于根据所述客户端的播放区域布局信息，分别确定所述各多媒体资源数据的目标播放区域；
[0257]
播放模块1503，用于基于各目标播放区域，以及所述各播放事件数据，播放所述各多媒体资源数据。
[0258]
可选的，还包括关联存储模块1504，所述关联存储模块1504用于：
[0259]
分别获得待处理视频的各多媒体元素对应的多媒体资源数据和至少一个播放事件数据；
[0260]
将所述各多媒体资源数据和各播放事件数据发送给服务器进行关联存储。
[0261]
可选的，分别获得待处理视频的各多媒体元素对应的多媒体资源数据和至少一个播放事件数据时，关联存储模块1504具体用于：
[0262]
分别对待处理视频的各多媒体元素对应的数据流进行存储，获得各多媒体资源数据；
[0263]
以及，按照预设的数据格式，分别采集针对所述各多媒体元素各自对应的至少一个播放事件，获得至少一个播放事件数据。
[0264]
可选的，从服务器中获取与所述目标视频关联的各多媒体资源数据，以及所述各多媒体资源数据对应的至少一个播放事件数据时，获取模块1501具体用于：
[0265]
将所述回放请求发送至服务器，以使所述服务器响应于所述回放请求，将查找到的各多媒体资源数据，以及所述各多媒体数据对应的至少一个播放事件数据返回给客户端；
[0266]
其中，所述各多媒体资源数据和各播放事件数据为基于所述回放请求中的目标视频标识，查找与所述目标视频标识关联的各多媒体资源数据和各播放事件数据获得的；
[0267]
接收所述服务器发送的所述各多媒体资源数据和各播放事件数据。
[0268]
可选的，确定模块1502具体用于：
[0269]
获取所述客户端的播放界面的尺寸参数；
[0270]
基于所述尺寸参数，确定所述客户端的播放界面的播放区域布局信息，其中，所述播放区域布局信息包括各多媒体元素在所述播放界面中的播放区域；
[0271]
根据所述播放区域布局信息，分别确定所述各多媒体资源数据对应的目标播放区域。
[0272]
可选的，播放模块1503具体用于：
[0273]
按照预设的排序方式，对所述各多媒体资源数据和所述各播放事件数据的回放顺序进行排序，获得排序后的各多媒体资源数据和所述各播放事件数据；
[0274]
基于各目标播放区域，依次播放所述排序后的各多媒体资源数据，以及，依次执行所述各播放事件数据。
[0275]
可选的，按照预设的排序方式，对所述各多媒体资源数据和所述各播放事件数据回放顺序进行排序时，播放模块1503具体用于：
[0276]
分别确定所述各多媒体资源数据各自对应的时间戳和各播放事件数据各自对应的时间戳；
[0277]
基于确定出的各时间戳，对所述各多媒体资源数据和所述各播放事件数据的回放顺序进行排序。
[0278]
可选的，依次播放所述排序后的各多媒体资源数据，以及，依次执行所述各播放事件数据时，播放模块1503具体用于：
[0279]
基于获取到的播放进度控制指令中的目标时间戳，从所述排序后的各多媒体资源数据和各播放事件数据中确定出满足目标时间戳条件的多媒体资源数据或播放事件数据；
[0280]
将所述确定出的多媒体资源数据或播放事件数据作为起始数据，依次播放所述排序后的各多媒体资源数据，以及，依次执行所述各播放事件数据。
[0281]
可选的，还包括控制模块1505，所述控制模块1505用于：
[0282]
响应于播放控制请求，基于所述播放控制请求中的控制类型标识，确定播放控制类型，其中，所述播放控制请求中至少包括控制类型标识；
[0283]
生成针对所述播放控制类型的控制指令；
[0284]
基于所述控制指令，对所述排序后的各多媒体资源数据和各播放事件数据的播放状态进行控制。
[0285]
基于上述实施例，参阅图16所示为本公开实施例中电子设备的结构示意图。
[0286]
本公开实施例提供了一种电子设备，该电子设备可以包括处理器1610(center processing unit，cpu)、存储器1620、输入设备1630和输出设备1640等，输入设备1630可以包括键盘、鼠标、触摸屏等，输出设备1640可以包括显示设备，如液晶显示器(liquid crystal display，lcd)、阴极射线管(cathode ray tube，crt)等。
[0287]
存储器1620可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器1610提供存储器1620中存储的程序指令和数据。在本公开实施例中，存储器1620可以用于存储本公开实施例中任一种视频回放方法的程序。
[0288]
处理器1610通过调用存储器1620存储的程序指令，处理器1610用于按照获得的程序指令执行本公开实施例中任一种视频回放方法。
[0289]
基于上述实施例，本公开实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的视频回放方法。
[0290]
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0291]
本公开是参照根据本公开的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0292]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0293]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0294]
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。