多媒体数据的处理方法、装置、电子设备和存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种多媒体数据的处理方法、一种多媒体数据的处理装置、一种电子设备和一种存储介质。


背景技术：

2.多媒体(multimedia)是多种媒体的综合，一般包括文本，声音和图像等多种媒体形式，举例来说，多媒体数据可以为视频数据，视频数据可以由图像数据和音频数据组成。
3.在多媒体数据的剪辑过程中，通常是在本地客户端中对多媒体数据进行剪辑，如可以将待处理的多媒体数据传输到本地客户端，并根据用户的剪切、融合等剪辑操作，将视频数据剪切为片段，并将不同的片段融合(或衔接)。
4.但是，在本地客户端进行数据剪辑处理，对本地客户端的算力要求高，进行多媒体数据的剪辑操作难度高，多媒体数据的剪辑十分不方便。


技术实现要素：

5.本技术实施例提供了一种多媒体数据的处理方法，以便于进行多媒体数据的剪辑处理。
6.相应的，本技术实施例还提供了一种多媒体数据的处理装置、一种电子设备和一种存储介质，用以保证上述系统的实现及应用。
7.为了解决上述问题，本技术实施例公开了一种多媒体数据的处理方法，所述的方法包括：接收终端设备的数据编辑请求；依据所述数据编辑请求，创建指令信道服务和数据信道服务；通过所述指令信道服务接收数据指令，所述数据指令依据终端设备上编辑页面接收的操作生成；依据所述数据指令对所述多媒体数据进行编辑处理，采用处理的多媒体数据生成数据流；通过数据信道服务发送所述数据流给终端设备，以在终端设备中输出所述数据流以查看处理的多媒体数据。
8.可选的，所述数据指令包括查看指令；所述通过所述指令信道服务接收数据指令，包括：通过指令信道服务接收终端设备发送的查看指令，所述查看指令用于查看多媒体数据以进行编辑；所述依据所述数据指令对所述多媒体数据进行编辑处理，采用处理的多媒体数据生成数据流，包括：依据所述查看指令确定所述多媒体数据的预览关键数据，并通过数据信道服务发送所述预览关键数据给终端设备，以在终端设备预览所述多媒体数据。
9.可选的，所述数据指令包括编辑指令；所述通过所述指令信道服务接收数据指令，包括：通过指令信道服务接收终端设备发送的编辑指令；所述依据所述数据指令对所述多媒体数据进行编辑处理，采用处理的多媒体数据生成数据流，包括：依据所述编辑指令对所述多媒体数据进行编辑处理，采用编辑完成的多媒体数据生成目标数据流。
10.可选的，所述方法还包括：通过数据信道服务提供编辑页面的页面数据给终端设备，以在终端设备上显示编辑页面，所述编辑页面包括：第一显示区、第二显示区和剪辑操作区；通过数据信道服务发送多媒体数据的预览信息和时间信息给终端设备，以在所述终
端设备的第一显示区中展示预览信息，以及在剪辑操作区内展示时间信息对应的数据时间轴；所述通过指令信道服务接收终端设备发送的查看指令，包括：通过指令信道服务接收终端设备发送的对多媒体数据的查看指令，所述第二显示区用于显示查看指令对应的预览关键数据，所述查看指令基于对所述数据时间轴的操作确定。
11.可选的，所述依据所述查看指令确定多媒体数据的预览关键数据，包括：依据查看指令中的目标时间轴信息，确定目标时间轴的时间轴起始时间；依据时间轴起始时间，确定多组对应不同时间轴缩放比例的预览时间段；确定多媒体数据中与预览时间段对应的展示关键数据，以确定预览关键数据。
12.可选的，所述依据所述编辑指令对所述多媒体数据进行编辑处理，包括以下步骤中的至少一个：依据片段剪切指令，确定对应的剪切起止时间，并从多媒体数据中剪切出相应的目标片段；依据片段缩放指令，对多媒体数据的目标片段进行缩放处理；依据片段属性设置指令，对多媒体数据的目标片段的片段属性进行调整，所述多媒体数据包括视频数据，所述片段属性包括视频尺寸、视频位置、视频清晰度、视频时间；依据片段融合指令，将多媒体数据的第一片段和第二片段进行融合。
13.为了解决上述问题，本技术实施例公开了一种多媒体数据的处理方法，所述的方法包括：发送数据编辑请求给服务端，以使服务端依据数据编辑请求创建指令信道服务和数据信道服务；响应于对编辑页面的操作，生成对应的数据指令，其中，所述编辑页面用于接收针对多媒体数据的操作；通过指令信道服务发送所述数据指令给服务端，以使所述服务端依据所述数据指令对多媒体数据进行处理，并依据处理的多媒体数据生成数据流；通过数据信道服务接收所述服务端反馈的数据流；解析所述数据流，在所述编辑页面输出所述多媒体数据。
14.可选的，所述响应于对编辑页面的编辑操作，生成数据指令，包括以下步骤中的至少一种：基于对数据时间轴和片段剪切控件的触发，生成片段剪切指令；基于对数据时间轴和片段缩放控件的触发，生成片段缩放指令；基于对数据时间轴和片段属性配置控件的触发，生成片段属性设置指令；基于对片段融合控件的触发，生成片段融合指令。
15.为了解决上述问题，本技术实施例公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被处理器执行时，执行如上述实施例中任一项所述的方法。
16.为了解决上述问题，本技术实施例公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，执行如上述实施例中任一项所述的方法。
17.与现有技术相比，本技术实施例包括以下优点：
18.本技术实施例可以应用在服务端，服务端可以接收终端设备的数据编辑请求，并响应于数据编辑请求，创建指令信道服务和数据信道服务，终端设备可以通过指令信道服务向服务端传输数据指令，服务端可以通过数据信道服务向终端设备实时传输数据流。本技术实施例中，服务端可以通过指令信道服务接收终端设备发送的数据指令，并对服务端中的多媒体数据进行编辑处理，形成实时的数据流，从而通过数据信道服务将数据流发送给终端设备，以在终端设备中查看处理的多媒体数据。本技术实施例可以通过指令信道服务进行数据指令的传输，可以通过数据信道服务进行数据流的传输，从而可以在服务端完成多媒体数据的数据编辑过程，降低了对终端设备的算力要求，能够便于进行多媒体数据
的编辑。并且，相比于将多媒体数据下载到终端进行剪辑、融合的方案，本技术实施例可以减少多媒体数据的下载和发送过程，可以减少消耗的流量，且无需对终端设备的存储空间进行大量的占用。
附图说明
19.图1是本技术一个实施例的多媒体数据的处理方法的流程示意图；
20.图2是本技术另一个实施例的多媒体数据的处理方法的流程示意图；
21.图3是本技术再一个实施例的多媒体数据的处理方法的流程示意图；
22.图4是本技术再一个实施例的多媒体数据的处理方法的流程示意图；
23.图5是本技术一个实施例的多媒体数据的处理装置的结构示意图；
24.图6是本技术另一个实施例的多媒体数据的处理装置的结构示意图；
25.图7是本技术一个实施例提供的示例性装置的结构示意图。
具体实施方式
26.为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本技术作进一步详细的说明。
27.本技术实施例可应用于多媒体数据的处理领域，多媒体(multimedia) 是多种媒体的综合，一般包括文本，声音和图像等多种媒体形式，举例来说，多媒体数据可以为视频数据，视频数据可以由图像数据和音频数据组成。
28.如图1所示，本技术实施例可以在服务端完成多媒体数据的数据处理过程，服务端可以与终端设备建立连接，以接收终端设备的指令，并向终端设备传输待处理的数据和依据指令进行渲染后得到的渲染结果，用户可以在终端设备上进行多媒体数据的操作，并将数据指令发送给服务端，服务端依据数据指令对多媒体数据进行剪辑、融合等处理，并采取编辑完成的多媒体数据(渲染结果)生成目标数据流，以发送目标数据流发送给终端设备。本技术实施例可以在服务端完成多媒体数据的数据编辑过程，降低了对终端设备的算力要求，能够便于进行多媒体数据的编辑处理。并且，部分方案是将多媒体数据下载到终端设备中进行剪辑，并将剪辑后的数据传输到云端服务器，相比于该方案，本技术实施例可以减少多媒体数据的下载和发送过程，可以减少消耗的流量，并且无需对终端设备的存储空间进行大量的占用。
29.具体来说，本技术实施例可以应用在服务端，服务端可以与终端设备进行交互，服务端可以与终端设备建立两个连接服务：指令信道服务和数据信道服务，以通过指令信道服务接收终端设备发送的数据指令，通过数据信道服务向终端设备实时的反馈数据流，需要说明的是，服务端向终端设备反馈的数据流可以理解为服务端的缓存中的缓存数据的数据流，本技术实施例可以响应于终端设备的数据指令，实时的向终端设备反馈数据流，用户可以更及时的查看数据指令对多媒体数据的处理效果，便于对多媒体数据进行调整。其中，本技术实施例可以为数据指令配置指令时间，以通过指令时间来确定多个数据指令的处理顺序，以便于服务端按照处理顺序执行数据指令对应的处理。
30.服务端可以通过数据信道服务实时的向终端设备传输数据，在数据传输之前，服务端可以获取终端设备的设备信息，如可以获取终端设备的解码播放信息和编码码率信息
等信息，以便于按照终端设备的设备信息进行数据的编码，以适用于性能不同的终端设备。
31.服务端通过数据信道服务传输的数据可以包括编辑页面的页面数据，编辑页面可以包含有第一显示区、第二显示区和剪辑操作区。其中，第一显示区用于显示待处理的多媒体数据的预览信息，以便于用户依据预览信息，选择相应的多媒体数据进行处理。预览信息可以理解为对多媒体数据的描述信息，如图片信息、文字信息等，如在图1所示的示例中，可以在终端设备的编辑页面的第一显示区中显示风景视频和游玩视频，以便于用户选择待处理的视频。本技术实施例可以将待处理的多媒体数据存储在云端，而为了便于用户进行剪辑，本技术实施例可以获取用户的账户信息，并确定相关多媒体数据，以在第一显示区内显示相关多媒体数据的相关描述信息，相关描述信息可以为文字信息、图片信息中的至少一种，用户可以在第一显示区内进行操作，以选择待处理的多媒体数据。
32.剪辑操作区用于显示待处理的多媒体数据的数据时间轴，在如图1所示的示例中，终端设备的用户可以选择第一显示区中待处理的视频，以在第二显示区显示视频片段的数据时间轴，以便用户进行剪辑操作，剪辑操作区还可以展示时间轴的时间刻度，以便于进行剪辑。第二显示区用于显示多媒体数据的预览关键数据，需要说明的是，在第二显示区中显示多媒体数据的预览关键数据仅是本技术实施例的一个实施例，本技术实施例也可以在剪辑操作区中显示预览关键数据，以便对多媒体数据进行处理。
33.其中，预览关键数据是指从多媒体数据中截取的具有代表性的部分数据，预览关键数据包含有对应数据时间轴上不同时间的数据，用户可以在数据时间轴上进行操作，以确定对应的数据内容。例如，多媒体数据为视频数据时，预览关键数据可以为服务端传输给终端设备的预览图像组(group ofpictures，gop)，预览图像组包含有多张对应不同时间信息的图像；需要说明的是，在多媒体数据为音频数据时，音频数据的预览关键数据也可以为预览图像组，音频数据的预览图像组可以由音频数据的波形图组成。在编辑页面中可以配置数据时间轴的缩放比例调整控件，用户可以通过调整缩放比例调整控件，对数据时间轴的长度进行调整。相应的，服务端下发给终端设备预览关键数据可以设置有多组，每组预览关键数据对应不同比例的数据时间轴，以便于用户进行多媒体数据的剪辑。
34.在剪辑操作区内可以包含有片段剪切控件、片段缩放控件、片段属性配置控件、片段融合控件等，用户可以对数据时间轴和相应的控件进行触发，以发送编辑指令给服务端。服务端接收到编辑指令之后，可以按照编辑指令进行多媒体数据的剪辑、融合、属性调整等编辑处理，从而采取编辑完成的多媒体数据生成目标数据流，并反馈目标数据流给终端设备。终端设备可以在第二显示区内显示编辑完成的多媒体数据，以便于查看多媒体数据的渲染效果，如在图1所示的示例中，可以在第二显示区中展示融合了风景视频和游玩视频后得到的视频。
35.本技术实施例可以应用在对多媒体数据进行编辑处理的场景中，可以通过服务端完成多媒体数据的编辑处理过程，降低了对终端设备的算力要求，可以更加方便的进行多媒体数据的剪辑、融合、属性调整等处理过程。本技术实施例是对多媒体数据的数据编辑过程进行的优化，因此，本技术实施例可以应用在各类多媒体数据的数据处理场景，例如，按照数据类型进行划分，本技术实施例可以应用在视频数据、音频数据等多媒体数据的剪辑、融合、属性调整场景中。再例如，按照数据应用场景进行划分，本技术实施例可以应用在对电商、物流、交通、直播、医疗、短视频平台、个人拍摄等场景中的视频、音频进行数据处理的
场景中。
36.在上述实施例的基础上，本技术实施例提供一种多媒体数据的处理方法，可以应用在服务端，服务端可以与终端设备进行交互，以在服务端完成多媒体数据的编辑处理过程，并实时的向终端设备反馈相应的处理结果，具体的，如图2所示，所述的方法包括：
37.步骤202、接收终端设备的数据编辑请求。
38.本技术实施例可以应用在服务端，服务端可以与终端设备进行交互，用户可以在终端设备中进行操作，以做出数据编辑请求，以将数据编辑请求发送给服务端，服务端接收到数据编辑请求之后，可以在步骤204中，依据所述数据编辑请求，创建指令信道服务和数据信道服务。其中，指令信道服务用于将终端设备的数据指令发送给服务端，数据信道服务用于将服务端的数据流传输给终端设备。
39.具体来说，服务端可以在步骤206中，通过所述指令信道服务接收数据指令，所述数据指令依据终端设备上编辑页面接收的操作生成。在步骤208 中，依据所述数据指令对所述多媒体数据进行编辑处理，采用处理的多媒体数据生成数据流。在步骤210中，通过数据信道服务发送所述数据流给终端设备，以在终端设备中输出所述数据流以查看处理的多媒体数据。
40.本技术实施例中，服务端可以通过数据信道服务向终端设备传输编辑页面的页面数据，以在终端设备展示编辑页面，用户可以在编辑页面中进行操作，以确定数据指令，具体的，作为一个可选的实施例，所述方法还包括：通过数据信道服务提供编辑页面的页面数据给终端设备，以在终端设备上显示编辑页面，所述编辑页面包括：第一显示区、第二显示区和剪辑操作区；通过数据信道服务发送多媒体数据的预览信息和时间信息给终端设备，以在所述终端设备的第一显示区中展示预览信息，以及在剪辑操作区内展示时间信息对应的数据时间轴；所述通过指令信道服务接收终端设备发送的查看指令，包括：通过指令信道服务接收终端设备发送的对多媒体数据的查看指令，所述第二显示区用于显示查看指令对应的预览关键数据，所述查看指令基于对所述数据时间轴的操作确定。
41.用户可以在终端设备做出数据编辑请求，并通过指令信道服务发送给服务端，服务端响应于数据编辑请求，反馈编辑页面的页面数据给终端设备。编辑页面包括第一显示区、第二显示区和编辑操作区。其中，第一显示区中用于展示待处理的多媒体数据，多媒体数据可以包括连续的图像数据(视频数据)、音频数据等。在第一显示区可以展示与用户具有关联的相关多媒体数据的相关描述信息，相关描述信息可以为相关多媒体数据的标识、名称、图像等信息。用户可以在第一显示区内进行操作，以选择待处理的多媒体数据，具体的，作为一个可选的实施例，所述方法还包括：通过数据信道服务发送相关多媒体数据的相关描述信息给终端设备，以在第一显示区中展示相关多媒体数据的相关描述信息；通过指令信道服务从终端设备接收基于在第一显示区内的多媒体选择指令，以确定待处理的多媒体数据。
42.其中，在第一显示区内显示的相关多媒体数据可以为用户发送的多媒体数据，也可以为用户浏览多媒体数据的过程中选择的多媒体数据，具体的，作为一个可选的实施例，所述通过数据信道服务发送相关多媒体数据的相关描述信息给终端设备，包括：获取终端设备发送的账户信息，并确定账户信息对应的相关多媒体数据；通过数据信道服务下发相关多媒体数据的相关描述信息给终端设备，以在第一显示区内展示。本技术实施例可以将
用户关联的相关多媒体数据与用户的账户信息建立关联关系，以通过关联关系确定用户关联的相关多媒体数据，进而在第一显示区内显示相关描述信息，以便于用户选择待处理的多媒体数据。
43.其中，终端设备的用户可以通过发送查看指令给服务端，以获取相应的预览关键数据，以便对多媒体数据进行查看，具体的，作为一个可选的实施例，所述数据指令包括查看指令；所述通过所述指令信道服务接收数据指令，包括：通过指令信道服务接收终端设备发送的查看指令，所述查看指令用于查看多媒体数据以进行编辑；所述依据所述数据指令对所述多媒体数据进行编辑处理，采用处理的多媒体数据生成数据流，包括：依据所述查看指令确定所述多媒体数据的预览关键数据，并通过数据信道服务发送所述预览关键数据给终端设备，以在终端设备预览所述多媒体数据。
44.本技术实施例可以通过指令信道服务将终端设备的查看指令发送给服务端，服务端响应于查看指令，确定预览关键数据，并通过数据信道服务将预览关键数据作为数据流传输给终端设备，以在终端设备中进行展示。在终端设备的编辑页面的剪辑操作区中，可以显示多媒体数据的数据时间轴，而为了便于用户对剪辑操作区内的数据时间轴进行操作，本技术实施例可以依据用户在数据时间轴上的时间定位操作，在第二显示区内显示对应时间定位操作的预览数据(预览关键数据中的数据)，其中，时间定位操作可以理解为用户对剪辑操作区内的数据时间轴上的时间轴进度标识的位置调整操作。预览关键数据可以理解为图像组等，例如，在多媒体数据为视频数据时，预览关键数据可以为预览图像组；在多媒体数据为音频数据时，预览关键数据可以为音频的波形图的预览图像组。
45.以预览关键数据为预览图像组为例，服务端可以发送预览图像组给终端设备，预览图像组由多个对应不同时间的图像组成。终端设备可以确定时间定位操作对应的时间信息，进而依据时间信息确定预览图像组中对应的目标图像，以进行展示。其中，服务端可以从多媒体数据中切分出多张具有代表性的展示图像，形成预览图像组，即多个展示图像可以为在时间上不连续的图像，以减少传输给终端设备的数据量，举例来说，目标时间段可能为对应一分钟的时段，相应的可以获取对应每一秒钟的(60张)展示图像，形成预览图像，每秒可能对应多帧(如24帧)图像，因此，相比于获取一分钟的视频的方案，本技术实施例可以减少传输给终端设备的数据量。
46.另外，在另一个可选的实施例中，本技术实施例还可以在编辑页面中配置数据时间轴的缩放比例调整控件，缩放比例调整控件用于调整数据时间轴的长度比例，如可以通过缩放比例调整控件将剪辑操作区中的数据时间轴调整为0.1-10倍，以便于用户对数据时间轴进行操作。相应的，服务端下发给终端设备预览关键数据可以设置有多组，每组预览关键数据对应不同比例的数据时间轴，以便于用户进行多媒体数据的剪辑。具体的，所述依据所述查看指令确定多媒体数据的预览关键数据，包括：依据查看指令中的目标时间轴信息，确定目标时间轴的时间轴起始时间；依据时间轴起始时间，确定多组对应不同时间轴缩放比例的预览时间段；确定多媒体数据中与预览时间段对应的展示关键数据，以确定预览关键数据。每组预览数据对应不同的缩放比例，相应的，不同缩放比例对应的时间段长短不同，相应的预览数据获取间隔可以依据需求进行设置，如可以预先设置各组预览数据的数据总量，按照数据总量确定间隔，也可以预先设置预设时间间隔(每组的时间间隔可相同也可不同)，以按照预设时间间隔来获取预览数据，进而将预览数据组合为预览关键数据，并
发送给终端设备，以便在终端设备中进行展示。
47.在编辑页面的剪辑操作区中可以展示待处理的多媒体数据的数据时间轴，用户可以在终端设备对剪辑操作区中的数据时间轴进行操作，并向服务端发送编辑指令，服务端可以通过指令信道服务接收终端设备发送的编辑指令；并依据所述编辑指令对所述多媒体数据进行编辑处理，采用编辑完成的多媒体数据生成目标数据流。具体的，作为一个可选的实施例，所述数据指令包括编辑指令；所述通过所述指令信道服务接收数据指令，包括：通过指令信道服务接收终端设备发送的编辑指令；所述依据所述数据指令对所述多媒体数据进行编辑处理，采用处理的多媒体数据生成数据流，包括：依据所述编辑指令对所述多媒体数据进行编辑处理，采用编辑完成的多媒体数据生成目标数据流。
48.在编辑页面中可以配置片段剪切控件、片段缩放控件、片段属性配置控件、片段融合控件等，用户可以触发相应的控件和数据时间轴，来对多媒体数据进行处理，具体的，作为一个可选的实施例，所述依据所述编辑指令对所述多媒体数据进行编辑处理，包括以下步骤中的至少一个：依据片段剪切指令，确定对应的剪切起止时间，并从多媒体数据中剪切出相应的目标片段；依据片段缩放指令，对多媒体数据的目标片段进行缩放处理；依据片段属性设置指令，对多媒体数据的目标片段的片段属性进行调整，所述多媒体数据包括视频数据，所述片段属性包括视频尺寸、视频位置、视频清晰度、视频时间；依据片段融合指令，将多媒体数据的第一片段和第二片段进行融合。本技术实施例中，在剪辑操作区中可以展示至少一个多媒体数据的数据时间轴，用户可以在剪辑操作区中对至少一个数据时间轴进行操作，以对多媒体数据进行处理。需要说明的是，本技术实施例除了可以完成以上描述的多媒体数据的数据处理操作之外，还可以完成其他操作，具体可以依据需求进行配置。
49.本技术实施例中，终端设备会多次向服务端发送编辑指令，为了防止多个编辑指令执行顺序产生错误，导致多媒体数据编辑异常，终端设备可以为编辑指令添加指令时间，服务端可以依据编辑指令的指令时间，确定处理顺序，以按照顺序执行编辑指令对应的处理，具体的，作为一个可选的实施例，所述依据所述编辑指令对所述多媒体数据进行编辑处理，包括：确定编辑指令对应的指令时间；按照指令时间，确定编辑指令对应的处理顺序，以按照处理顺序执行编辑指令对应的处理。终端设备可以一次发送一个编辑指令给服务端，也可以一次发送至少两个编辑指令给服务端，在终端设备通过指令信道服务每次发送一个编辑指令时，服务端可以依据编辑指令的接收时间来确定编辑指令的执行顺序；在终端设备通过指令信道服务发送至少两个编辑指令时，终端设备可以为编辑指令配置指令时间，以通过指令时间来确定多个编辑指令的处理顺序，以便于服务端按照处理顺序执行编辑指令对应的处理，减小出现数据处理发生错误的概率。
50.服务端对多媒体数据进行编辑处理形成目标数据流之后，可以通过数据信道服务实时的发送所述目标数据流给终端设备，以在终端设备中输出处理的多媒体数据，用户可以在第二显示区中查看多媒体数据的处理效果。其中，不同终端设备的设备性能不同，编码、解码的效果不同，因此，在向终端设备传输数据之前，本技术实施例可以采集终端设备的设备信息，以根据终端设备的设备信息，反馈与终端设备的设备性能对应的数据，具体的，作为一个可选的实施例，所述方法还包括：获取终端设备的设备信息，所述设备信息包括解码播放信息和编码码率信息；依据设备信息，对待传输的数据流进行编码，以输出编码后的数据流给终端设备。服务端编码的数据流可以包括编辑页面的页面数据、多媒体数据、
经过数据处理的多媒体数据等。
51.在上述实施例的基础上，本技术实施例还提供一种多媒体数据的处理方法，可以应用在服务端，如图3所示，所述方法包括：
52.步骤302、接收终端设备的数据编辑请求。
53.步骤304、依据所述数据编辑请求，创建指令信道服务和数据信道服务。
54.步骤306、通过数据信道服务提供编辑页面的页面数据给终端设备，以在终端设备上显示编辑页面，所述编辑页面包括：第一显示区、第二显示区和剪辑操作区。
55.步骤308、通过数据信道服务发送多媒体数据的预览信息和时间信息给终端设备，以在所述终端设备的第一显示区中展示预览信息，以及在剪辑操作区内展示时间信息对应的数据时间轴。
56.步骤310、通过指令信道服务接收终端设备发送的对多媒体数据的查看指令，所述第二显示区用于显示查看指令对应的预览关键数据，所述查看指令基于对所述数据时间轴的操作确定。所述查看指令用于查看多媒体数据以进行编辑。
57.步骤312、依据所述查看指令确定所述多媒体数据的预览关键数据，并通过数据信道服务发送所述预览关键数据给终端设备，以在终端设备预览所述多媒体数据。
58.步骤314、通过指令信道服务接收终端设备发送的编辑指令。
59.步骤316、依据所述编辑指令对所述多媒体数据进行编辑处理，采用编辑完成的多媒体数据生成目标数据流。
60.步骤318、通过数据信道服务发送所述数据流给终端设备，以在终端设备中输出所述数据流以查看处理的多媒体数据。
61.本技术实施例可以应用在服务端，服务端可以创建指令信道服务和数据信道服务，以与终端设备进行交互，用户可以在终端设备上做出数据编辑请求，并通过指令信道服务发送给服务端，服务端通过数据信道服务反馈编辑页面给终端设备，并且，服务端可以输出待处理的多媒体数据的预览信息和时间信息给终端设备，终端设备在编辑页面的第一显示区中展示预览信息，在编辑页面的剪辑操作区内展示时间信息对应的数据时间轴；并且，为了便于用户对剪辑操作区内的数据时间轴进行操作，本技术实施例还可以下发数据时间轴对应的预览关键数据给终端设备，以便于用户确定数据时间轴上不同时间对应的预览图像，用户可以在剪辑操作区内对数据时间轴进行操作，并通过指令信道服务发送编辑指令给服务端，服务端依据编辑指令对多媒体数据进行处理，确定处理的多媒体数据，形成目标数据流，并通过数据信道服务反馈目标数据流给终端设备，以在终端设备的编辑页面中的第二显示区展示编辑完成的多媒体数据。
62.在上述实施例的基础上，本技术实施例还提供一种多媒体数据的处理方法，可以应用在终端设备，终端设备可以与服务端进行交互，用户可以在终端设备上进行操作，并将编辑指令发送给服务端，服务端依据编辑指令进行多媒体数据的剪辑、融合、属性调整等操作。具体的，如图4所示，所述方法包括：
63.步骤402、发送数据编辑请求给服务端，以使服务端依据数据编辑请求创建指令信道服务和数据信道服务。服务端还可以提供编辑页面给终端设备，编辑页面包括第一显示区、第二显示区和剪辑操作区。
64.本技术实施例可以应用在终端设备，用户可以在终端页面中做出数据编辑请求，
并发送给服务端，服务端响应于数据编辑请求，建立指令信道服务和数据信道服务，并通过数据信道服务向终端设备反馈编辑页面的页面数据，以在终端设备中展示编辑页面，进而可以在步骤404中，响应于对编辑页面的操作，生成对应的数据指令，其中，所述编辑页面用于接收针对多媒体数据的操作；在步骤406中，通过指令信道服务发送所述数据指令给服务端，以使所述服务端依据所述数据指令对多媒体数据进行处理，并依据处理的多媒体数据生成数据流。在步骤408中，通过数据信道服务接收所述服务端反馈的数据流；在步骤410中，解析所述数据流，在所述编辑页面输出所述多媒体数据。
65.终端设备通过指令信道服务向服务端发送的指令可以包括查看指令、编辑指令，具体的，作为一个可选的实施例，所述响应于对编辑页面的操作，生成对应的数据指令，包括以下步骤中的至少一种：响应于对编辑页面的查看操作，生成对应的查看指令，所述查看指令用于确定多媒体数据的预览关键数据以进行编辑；响应于对所述编辑页面的编辑操作，生成编辑指令，所述编辑指令用于对多媒体数据进行编辑处理。对应的，在一个可选的实施例中，所述通过数据信道服务接收所述服务端反馈的数据流，包括以下步骤中的至少一种：通过数据信道服务接收查看指令对应的预览关键数据；通过数据信道服务接收编辑指令对应的处理后的目标数据流。
66.一方面，本技术实施例可以获取预览关键数据，以便进行编辑，具体的，本技术实施例的终端设备可以通过指令信道服务向服务端发送查看指令，服务端响应于查看指令，确定预览关键数据，并通过数据信道服务将预览关键数据反馈给终端设备，以在终端设备的第二显示区中展示预览关键数据中的预览数据。另一方面，本技术实施例可以发送对多媒体数据的编辑指令，以对多媒体数据进行编辑，具体的，本技术实施例可以接收用户在剪辑操作区中的编辑操作，形成编辑指令，并通过指令信道服务将编辑指令发送给服务端，服务端响应于编辑指令对多媒体数据进行处理，形成目标数据流，进而通过数据信道服务将数据流反馈给终端设备，以在编辑页面的第二显示区中进行展示。终端设备可以从目标数据流中解析出多媒体数据，并在编辑页面中可以配置多媒体数据的播放控件，用户可以触发播放控件，以控制第二显示区内的多媒体数据的进行播放、暂停、快进、快退等动作。
67.用户在终端设备的剪辑操作区中可以对多媒体数据的数据时间轴进行调整，如调整数据时间轴的比例，调整数据时间轴的起始时间、终止时间等信息，以向服务端发送查看指令，查看指令可以包含有剪辑操作区内目标时间轴的目标时间轴信息，以便于服务端依据目标时间轴信息确定相应的预览关键数据，以反馈给终端设备。用户在终端设备可以调整剪辑操作区内的数据时间轴上的时间轴进度标识，以确定相应的时间信息，进而确定在第二显示区中显示的预览数据，以便于用户进行操作。
68.其中，用户可以在编辑页面的剪辑操作区中进行操作，在剪辑操作区内可以设置以下控件：片段剪切控件、片段缩放控件、片段属性配置控件、片段融合控件等，用户可以在终端设备中对数据时间轴和相应的控件进行触发，以发送编辑指令给服务端。具体的，作为一个可选的实施例，所述响应于对编辑页面的编辑操作，生成数据指令，包括以下步骤中的至少一种：基于对数据时间轴和片段剪切控件的触发，生成片段剪切指令；基于对数据时间轴和片段缩放控件的触发，生成片段缩放指令；基于对数据时间轴和片段属性配置控件的触发，生成片段属性设置指令；基于对片段融合控件的触发，生成片段融合指令。
69.本技术实施例中，终端设备可以每次发送一个编辑指令，也可以一次发送多个编
辑指令，在一次发送多个编辑指令时，服务端可以按照编辑指令的指令时间，确定编辑指令的处理顺序，具体的，作为一个可选的实施例，所述通过指令信道服务发送所述数据指令给服务端，包括：获取编辑指令对应的指令时间；将指令时间添加到编辑指令中，并通过指令信道服务发送给服务端。本技术实施例可以为编辑指令配置指令时间，在一次发送至少两个编辑指令的情况下，可以通过指令时间来确定多个编辑指令的处理顺序，以便于服务端按照处理顺序执行编辑指令对应的处理。
70.本实施例的实施方式与上述实施例的实施方式类似，具体实施方式可以参考上述实施例的具体实施方式，此处不再赘述。
71.本技术实施例可以应用在终端设备，终端设备可以与服务端进行交互，服务端可以建立指令信道服务和数据信道服务，服务端可以通过数据信道服务向终端设备提供编辑页面的页面数据，并输出待处理的多媒体数据的预览信息和时间轴信息给终端设备，终端设备在编辑页面的第一显示区中展示预览信息，在编辑页面的剪辑操作区内展示数据时间轴；用户可以在终端设备的编辑页面的剪辑操作区内对数据时间轴进行操作，并通过指令信道服务发送编辑指令给服务端，服务端依据编辑指令对多媒体数据进行处理，确定编辑完成的多媒体数据，并通过数据信道服务反馈目标数据流给终端设备，以在终端设备的第二显示区进行展示。
72.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术实施例并不受所描述的动作顺序的限制，因为依据本技术实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本技术实施例所必须的。
73.在上述实施例的基础上，本实施例还提供了一种多媒体数据的处理装置，参照图5，具体可以包括如下模块：
74.编辑请求接收模块502，用于接收终端设备的数据编辑请求。
75.信道服务创建模块504，用于依据所述数据编辑请求，创建指令信道服务和数据信道服务。
76.数据指令接收模块506，用于通过所述指令信道服务接收数据指令，所述数据指令依据终端设备上编辑页面接收的操作生成。
77.数据流生成模块508，用于依据所述数据指令对所述多媒体数据进行编辑处理，采用处理的多媒体数据生成数据流。
78.数据流反馈模块510，用于通过数据信道服务发送所述数据流给终端设备，以在终端设备中输出所述数据流以查看处理的多媒体数据。
79.本技术实施例可以应用在服务端，服务端可以接收终端设备的数据编辑请求，并响应于数据编辑请求，创建指令信道服务和数据信道服务，终端设备可以通过指令信道服务向服务端传输数据指令，服务端可以通过数据信道服务向终端设备传输数据流。本技术实施例中，服务端可以通过指令信道服务接收终端设备发送的数据指令，并对服务端中的多媒体数据进行编辑处理，形成数据流，从而通过数据信道服务将数据流发送给终端设备，以在终端设备中查看处理的多媒体数据。本技术实施例可以通过指令信道服务进行数据指令的传输，可以通过数据信道服务进行数据流的传输，从而可以在服务端完成多媒体数据
的数据编辑过程，降低了对终端设备的算力要求，能够便于进行多媒体数据的编辑。
80.在上述实施例的基础上，本实施例还提供了一种多媒体数据的处理装置，具体可以包括如下模块：
81.编辑请求接收处理模块，用于接收终端设备的数据编辑请求。
82.信道服务创建处理模块，用于依据所述数据编辑请求，创建指令信道服务和数据信道服务；
83.页面数据提供处理模块，用于通过数据信道服务提供编辑页面的页面数据给终端设备，以在终端设备上显示编辑页面，所述编辑页面包括：第一显示区、第二显示区和剪辑操作区。
84.预览信息下发处理模块，用于通过数据信道服务发送多媒体数据的预览信息和时间信息给终端设备，以在所述终端设备的第一显示区中展示预览信息，以及在剪辑操作区内展示时间信息对应的数据时间轴。
85.查看指令接收处理模块，用于通过指令信道服务接收终端设备发送的对多媒体数据的查看指令，所述第二显示区用于显示查看指令对应的预览关键数据，所述查看指令基于对所述数据时间轴的操作确定。所述查看指令用于查看多媒体数据以进行编辑。
86.关键数据下发处理模块，用于依据所述查看指令确定所述多媒体数据的预览关键数据，并通过数据信道服务发送所述预览关键数据给终端设备，以在终端设备预览所述多媒体数据。
87.编辑指令接收处理模块，用于通过指令信道服务接收终端设备发送的编辑指令。
88.数据流生成处理模块，用于依据所述编辑指令对所述多媒体数据进行编辑处理，采用编辑完成的多媒体数据生成目标数据流。
89.数据流下发处理模块，用于通过数据信道服务发送所述数据流给终端设备，以在终端设备中输出所述数据流以查看处理的多媒体数据。
90.本技术实施例可以应用在服务端，服务端可以创建指令信道服务和数据信道服务，以与终端设备进行交互，用户可以在终端设备上做出数据编辑请求，并通过指令信道服务发送给服务端，服务端通过数据信道服务反馈编辑页面给终端设备，并且，服务端可以输出待处理的多媒体数据的预览信息和时间信息给终端设备，终端设备在编辑页面的第一显示区中展示预览信息，在编辑页面的剪辑操作区内展示时间信息对应的数据时间轴；并且，为了便于用户对剪辑操作区内的数据时间轴进行操作，本技术实施例还可以下发数据时间轴对应的预览关键数据给终端设备，以便于用户确定数据时间轴上不同时间对应的预览图像，用户可以在剪辑操作区内对数据时间轴进行操作，并通过指令信道服务发送编辑指令给服务端，服务端依据编辑指令对多媒体数据进行处理，确定处理的多媒体数据，形成目标数据流，并通过数据信道服务反馈目标数据流给终端设备，以在终端设备的编辑页面中的第二显示区展示编辑完成的多媒体数据。
91.在上述实施例的基础上，本实施例还提供了一种多媒体数据的处理装置，参照图6，具体可以包括如下模块：
92.编辑请求发送模块602，用于发送数据编辑请求给服务端，以使服务端依据数据编辑请求创建指令信道服务和数据信道服务。
93.数据指令生成模块604，用于响应于对编辑页面的操作，生成对应的数据指令，其
中，所述编辑页面用于接收针对多媒体数据的操作。
94.数据指令发送模块606，用于通过指令信道服务发送所述数据指令给服务端，以使所述服务端依据所述数据指令对多媒体数据进行处理，并依据处理的多媒体数据生成数据流。
95.数据流接收模块608，用于通过数据信道服务接收所述服务端反馈的数据流。
96.数据流解析模块610，用于解析所述数据流，在所述编辑页面输出所述多媒体数据。
97.本技术实施例可以应用在终端设备，终端设备可以与服务端进行交互，服务端可以建立指令信道服务和数据信道服务，服务端可以通过数据信道服务向终端设备提供编辑页面的页面数据，并输出待处理的多媒体数据的预览信息和时间轴信息给终端设备，终端设备在编辑页面的第一显示区中展示预览信息，在编辑页面的剪辑操作区内展示数据时间轴；用户可以在终端设备的编辑页面的剪辑操作区内对数据时间轴进行操作，并通过指令信道服务发送编辑指令给服务端，服务端依据编辑指令对多媒体数据进行处理，确定编辑完成的多媒体数据，并通过数据信道服务反馈目标数据流给终端设备，以在终端设备的第二显示区进行展示。
98.本技术实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本技术实施例中各方法步骤的指令(instructions)。
99.本技术实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本技术实施例中，所述电子设备包括服务器、终端设备等设备。
100.本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括服务器(集群)、终端等电子设备。图7示意性地示出了可被用于实现本技术中所述的各个实施例的示例性装置700。
101.对于一个实施例，图7示出了示例性装置700，该装置具有一个或多个处理器702、被耦合到(一个或多个)处理器702中的至少一个的控制模块(芯片组)704、被耦合到控制模块704的存储器706、被耦合到控制模块704 的非易失性存储器(nvm)/存储设备708、被耦合到控制模块704的一个或多个输入/输出设备710，以及被耦合到控制模块704的网络接口712。
102.处理器702可包括一个或多个单核或多核处理器，处理器702可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置700能够作为本技术实施例中所述服务端、终端等设备。
103.在一些实施例中，装置700可包括具有指令714的一个或多个计算机可读介质(例如，存储器706或nvm/存储设备708)以及与该一个或多个计算机可读介质相合并被配置为执行指令714以实现模块从而执行本公开中所述的动作的一个或多个处理器702。
104.对于一个实施例，控制模块704可包括任意适当的接口控制器，以向(一个或多个)处理器702中的至少一个和/或与控制模块704通信的任意适当的设备或组件提供任意适当的接口。
105.控制模块704可包括存储器控制器模块，以向存储器706提供接口。存储器控制器
模块可以是硬件模块、软件模块和/或固件模块。
106.存储器706可被用于例如为装置700加载和存储数据和/或指令714。对于一个实施例，存储器706可包括任意适当的易失性存储器，例如，适当的 dram。在一些实施例中，存储器706可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。
107.对于一个实施例，控制模块704可包括一个或多个输入/输出控制器，以向nvm/存储设备708及(一个或多个)输入/输出设备710提供接口。
108.例如，nvm/存储设备708可被用于存储数据和/或指令714。nvm/存储设备708可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。
109.nvm/存储设备708可包括作为装置700被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如， nvm/存储设备708可通过网络经由(一个或多个)输入/输出设备710进行访问。
110.(一个或多个)输入/输出设备710可为装置700提供接口以与任意其他适当的设备通信，输入/输出设备710可以包括通信组件、音频组件、传感器组件等。网络接口712可为装置700提供接口以通过一个或多个网络通信，装置700可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如wifi、2g、3g、4g、5g等，或它们的组合进行无线通信。
111.对于一个实施例，(一个或多个)处理器702中的至少一个可与控制模块 704的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器702中的至少一个可与控制模块704的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器702中的至少一个可与控制模块704的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器702中的至少一个可与控制模块704的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。
112.在各个实施例中，装置700可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置700可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置700包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
113.其中，检测装置中可采用主控芯片作为处理器或控制模块，传感器数据、位置信息等存储到存储器或nvm/存储设备中，传感器组可作为输入/输出设备，通信接口可包括网络接口。
114.本技术实施例还提供了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本技术实施例中一个或多个所述的方法。
115.本技术实施例还提供了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本技术实施例中一个或多个所述的方法。
116.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关
之处参见方法实施例的部分说明即可。
117.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
118.本技术实施例是参照根据本技术实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
119.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
120.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
121.尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
122.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
123.以上对本技术所提供的一种多媒体数据的处理方法、一种多媒体数据的处理装置、一种电子设备和一种存储介质，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。