一种多媒体文件控制方法及装置与流程

1.本技术涉及计算机技术，尤其涉及一种多媒体文件控制方法及装置。


背景技术：

2.随着计算机技术的快速发展，多媒体文件的应用范围越来越广泛，多媒体文件的播放形式也愈加多样化。多媒体文件的播放形式除了在线直播，还包括离线回放。针对离线回放多媒体文件的场景，如何能够快速、精准地播放到目标多媒体片段的起始点是一直追求的目标。


技术实现要素：

3.本技术实施例提供一种多媒体文件控制方法及装置，能够快速、精准地播放到目标多媒体片段的起始点。
4.本技术实施例的技术方案是这样实现的：
5.本技术实施例提供一种多媒体文件控制方法，包括：
6.对多媒体文件包括的每个多媒体子文件分别进行处理，将每个所述多媒体子文件划分为至少一个多媒体片段；
7.确定每个所述多媒体片段的时间信息；
8.接收针对第一多媒体片段的操作请求；
9.响应于所述操作请求，基于所述第一多媒体片段对应的时间信息调整所述多媒体文件对应的播放进度。
10.在一些实施例中，所述对多媒体文件包括的每个多媒体子文件分别进行处理，将每个所述多媒体子文件划分为至少一个多媒体片段包括：
11.对每个所述多媒体子文件进行结构化分析，得到每个所述多媒体子文件的组成结构；
12.基于每个所述多媒体子文件的组成结构，将每个所述多媒体子文件划分为至少一个多媒体片段。
13.在一些实施例中，所述对每个所述多媒体子文件进行结构化分析，得到每个所述多媒体子文件的组成结构包括：
14.识别每个所述多媒体子文件包括的内容的类型，所述内容的类型至少包括表格、图形和文本中的一项或多项；
15.基于所述内容的类型对所述多媒体子文件进行划分，得到所述多媒体子文件的至少一个组成结构。
16.在一些实施例中，若所述内容的类型为文本，所述对每个所述多媒体子文件进行结构化分析，得到每个所述多媒体子文件的组成结构包括：
17.识别所述文本包括的段落；
18.基于所述段落对所述文本进行划分，得到至少两个子文本；
19.确定每个所述子文本为所述多媒体子文件的一个组成结构。
20.在一些实施例中，若所述内容的类型为图像，所述对每个所述多媒体子文件进行结构化分析，得到每个所述多媒体子文件的组成结构包括：
21.对所述图像进行分割，得到至少两个子图像；
22.确定每个所述子图像为所述多媒体子文件的一个组成结构。
23.在一些实施例中，所述确定播放每个所述多媒体片段的时间信息，包括：
24.确定播放每个所述多媒体片段的起始时间。
25.在一些实施例中，所述接收针对第一多媒体片段的操作请求之前，所述方法还包括：
26.以图像列表的形式显示所述多媒体文件包括的全部多媒体子文件。
27.在一些实施例中，所述接收针对第一多媒体片段的操作请求，包括：
28.接收针对所述第一多媒体片段对应的图像上第一标识的操作。
29.在一些实施例中，所述基于所述第一多媒体片段对应的时间信息调整所述多媒体文件的播放进度，包括：
30.确定播放所述第一多媒体片段的第一起始时间；
31.将所述多媒体文件的播放进度调整至所述第一起始时间。
32.本技术实施例提供一种多媒体文件控制装置，所述多媒体文件控制装置包括：
33.处理模块，用于对多媒体文件包括的每个多媒体子文件分别进行处理，将每个所述多媒体子文件划分为至少一个多媒体片段；
34.确定模块，用于确定每个所述多媒体片段的时间信息；
35.接收模块，用于接收针对第一多媒体片段的操作请求；
36.调整模块，用于响应于所述操作请求，基于所述第一多媒体片段对应的时间信息调整所述多媒体文件对应的播放进度。
37.在一些实施例中，处理模块，用于对每个所述多媒体子文件进行结构化分析，得到每个所述多媒体子文件的组成结构；
38.基于每个所述多媒体子文件的组成结构，将每个所述多媒体子文件划分为至少一个多媒体片段。
39.在一些实施例中，处理模块，用于识别每个所述多媒体子文件包括的内容的类型，所述内容的类型至少包括表格、图形和文本中的一项或多项；
40.基于所述内容的类型对所述多媒体子文件进行划分，得到所述多媒体子文件的至少一个组成结构。
41.在一些实施例中，处理模块，用于识别所述文本包括的段落；
42.基于所述段落对所述文本进行划分，得到至少两个子文本；
43.确定每个所述子文本为所述多媒体子文件的一个组成结构。
44.在一些实施例中，处理模块，用于对所述图像进行分割，得到至少两个子图像；
45.确定每个所述子图像为所述多媒体子文件的一个组成结构。
46.在一些实施例中，确定模块，用于确定播放每个所述多媒体片段的起始时间。
47.在一些实施例中，所述多媒体文件控制装置还包括：
48.显示模块，用于以图像列表的形式显示所述多媒体文件包括的全部多媒体子文
件。
49.在一些实施例中，接收模块，用于接收针对所述第一多媒体片段对应的图像上第一标识的操作。
50.在一些实施例中，调整模块，用于确定播放所述第一多媒体片段的第一起始时间；
51.将所述多媒体文件的播放进度调整至所述第一起始时间。
52.本技术实施例提供一种电子设备，包括：
53.存储器，用于存储可执行指令；
54.处理器，用于执行所述存储器中存储的可执行指令时，实现本技术实施例提供的多媒体文件控制方法。
55.本技术实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本技术实施例提供的多媒体文件控制方法。
56.本技术实施例提供的多媒体文件控制方法，对多媒体文件包括的每个多媒体子文件分别进行处理，将每个所述多媒体子文件划分为至少一个多媒体片段；确定每个所述多媒体片段的时间信息；接收针对第一多媒体片段的操作请求；响应于所述操作请求，基于所述第一多媒体片段对应的时间信息调整所述多媒体文件对应的播放进度。如此，通过将每个所述多媒体子文件划分为至少一个多媒体片段；确定每个所述多媒体片段的时间信息，使得用户在请求播放第一多媒体片段时，能够确定第一多媒体片段的时间信息，并将多媒体文件的播放进度调整至第一多媒体片段的时间信息对应的时间位置，进而实现快速、精准地播放到目标多媒体片段的起始点。
附图说明
57.图1是本技术实施例提供的多媒体文件控制方法的一种可选处理流程示意图；
58.图2是本技术实施例提供的对多媒体文件包括的每个多媒体子文件分别进行处理，将每个所述多媒体子文件划分为至少一个多媒体片段的具体实现过程示意图；
59.图3是本技术实施例提供的对每个多媒体子文件进行结构化分析，得到每个多媒体子文件的组成结构的具体处理过程示意图；
60.图4是本技术实施例提供的以图像列表的形式显示多媒体文件包括的全部多媒体子文件的示意图；
61.图5是本技术实施例提供的多媒体片段与播放多媒体片段的起始时间的示意图；
62.图6是本技术实施例提供的多媒体子文件的示意图；
63.图7是本技术实施例提供的多媒体文件控制装置的组成结构示意图；
64.图8是本技术实施例提供的电子设备的硬件组成结构示意图。
具体实施方式
65.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
66.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突
character recognition，ocr)和版面分析，得到每个多媒体子文件包括的内容的类型。内容的类型至少包括表格、图形和文本中的一项或多项
79.步骤s101a2，基于所述内容的类型对所述多媒体子文件进行划分，得到所述多媒体子文件的至少一个组成结构。
80.在一些实施例中，在对多媒体子文件进行版面分析时，可以根据多媒体子文件包括的内容的类型对多媒体子文件进行结构化分析、段落分割、以及图像分割等。将一种类型的内容作为多媒体子文件的一个或多个组成结构。作为示例，若多媒体子文件包括的内容的一种类型为表格，则将表格作为多媒体子文件的一个组成结构。
81.在一些实施例中，若多媒体子文件包括的内容的一种类型为文本，则将文本作为多媒体子文件的一个组成结构；或者，进一步识别所述文本包括的段落，基于所述段落对所述文本进行划分，得到至少两个子文本，确定每个所述子文本为所述多媒体子文件的一个组成结构；或者，根据阅读顺序对文本进行语义分析，将文本分割为多个段落，将每个段落作为多媒体子文件的一个组成结构。
82.在一些实施例中，若内容的类型为图像，则对图像进行分割，得到至少两个子图像；确定每个子图像为所述多媒体子文件的一个组成结构。
83.步骤s101b，基于每个多媒体子文件的组成结构，将每个多媒体子文件划分为至少一个多媒体片段。
84.在一些实施例中，多媒体子文件的一个组成结构为多媒体子文件的一个多媒体片段。若多媒体子文件包括n个组成结构，则多媒体子文件包括n个多媒体片段，n为正整数。
85.步骤s102，确定每个多媒体片段的时间信息。
86.在一些实施例中，多媒体片段的时间信息可以是指播放多媒体片段的起始时间，也可以称为多媒体片段的起始播放点。
87.在另一些实施例中，多媒体片段的时间信息也可以指早于播放多媒体片段的起始时间的预设时间间隔的时间点。作为示例，若播放多媒体片段的起始时间为第n秒，则多媒体片段的时间信息可以是第(n-m)秒，n》m，m的值可根据播放多媒体文件的总时长灵活设定。
88.步骤s103，接收针对第一多媒体片段的操作请求。
89.在一些实施例中，接收针对第一多媒体片段的操作请求之前，所述方法还包括：以图像列表的形式显示多媒体文件包括的全部多媒体子文件。
90.以多媒体文件可以是在线录播课程、或讲座、或会议的视频文件，该视频文件的内容可以是在线录播课程的板书或ppt文件，多媒体子文件可以是板书中的一页、或者ppt文件中的一页为例，每页多媒体子文件对应图像列表中的一个图像；若多媒体子文件的数量为m，则图像列表中包括m个图像，每个图像对应一个多媒体子文件，每个图像可以是一个多媒体子文件的缩略图。以图像列表的形式显示多媒体文件包括的全部多媒体子文件的示意图，如图4所示，教学视频包括三页板书，三页板书以图像列表的形式显示；图像列表中的每个图像对应一页板书，每个图像均是一页板书的缩略图。通过以图像列表的形式显示多媒体子文件，能够直观的以二维图像的形式呈现多媒体子文件，便于快速地查找到待播放的多媒体子文件。
91.在一些实施例中，接收针对第一多媒体片段的操作请求，可以是指接收针对第一
多媒体片段对应的图像上第一标识的操作。其中，第一标识也可以称为第一多媒体片段的时间索引，第一标识与播放第一多媒体片段的第一起始时间对应；通过点击或触控第一标识，能够确定播放第一多媒体片段的第一起始时间。相应的，每个多媒体片段均存在对应的标识，通过点击或触控标识，能够确定播放该标识对应的多媒体片段的起始时间。如此，通过建立标识与多媒体片段的起始时间的对应关系，在标识被点击或触控时，能够以较细的粒度精准地确定多媒体片段的起始时间。其中，多媒体片段与播放多媒体片段的起始时间的示意图，如图5所示，每个多媒体片段对应一个播放该多媒体片段的起始时间。本技术实施例中，对多媒体片段对应的标识的形式或样式不做限定。
92.步骤s104，响应于操作请求，基于第一多媒体片段对应的时间信息调整多媒体文件对应的播放进度。
93.在一些实施例中，响应于操作请求，若第一多媒体片段对应的时间信息为播放第一多媒体片段的第一其实时间，则根据操作请求对应的第一标识确定播放第一多媒体片段的第一起始时间，将多媒体文件的播放进度调整至第一起始时间。如此，通过点击或触控第一标识，能够将播放进度直接跳转至第一标识对应的多媒体片段的第一起始时间，以较细的粒度调整多媒体片段的播放进度。
94.在一些实施例中，响应于操作请求，若第一多媒体片段对应的时间信息为早于第一起始时间的预设时间间隔的时间点，则根据操作请求对应的第一标识，将多媒体文件的播放进度调整至早于第一起始时间、且与第一起始时间相距预设时间间隔的时间点。如此，通过点击或触控第一标识，能够将播放进度调整至早于第一起始时间的预设时间间隔的时间点，确保能够播放完整的第一多媒体片段，提高用户的使用体验。
95.本技术实施例中，构建每个多媒体片段对应的标识，建立标识与播放多媒体片段的起始时间的索引关系，通过点击或触控标识，能够确定播放该标识对应的多媒体片段的起始时间，并将多媒体文件的播放位置调整至根据标识所确定的起始时间。如此，能够以较细的粒度精准地确定多媒体片段的起始时间。
96.下面以图6所示的多媒体子文件为例，对本技术实施例提供的多媒体文件控制方法的实现过程进行说明。图6所示的多媒体子文件为一页板书；根据图6所示的多媒体子文件进行结构化分析，可以根据多媒体子文件包括的图形、公式和段落确定多媒体子文件包括七个组成结构，每个组成结构对应一个多媒体片段，则图6所示的多媒体子文件包括七个多媒体片段，分别是多媒体片段1、多媒体片段2、多媒体片段3、多媒体片段4、多媒体片段5、多媒体片段6和多媒体片段7。每个多媒体片段对应一个标识，多媒体片段1对应标识1、多媒体片段2对应标识2、多媒体片段3对应标识3、多媒体片段4对应标识4、多媒体片段5对应标识5、多媒体片段6对应标识6和多媒体片段7对应标识7，且每个标识在对应的多媒体片段的缩略图上显示。每个标识可以作为播放多媒体片段的起始时间的索引，标识1可以作为播放多媒体片段1的起始时间的索引1，标识2可以作为播放多媒体片段2的起始时间的索引2，标识3可以作为播放多媒体片段3的起始时间的索引3，标识4可以作为播放多媒体片段4的起始时间的索引4，标识5可以作为播放多媒体片段5的起始时间的索引5，标识6可以作为播放多媒体片段6的起始时间的索引6，标识7可以作为播放多媒体片段7的起始时间的索引7；通过点击或触控标识1，便能够确定播放多媒体片段1的起始时间，并将多媒体文件的播放进度调整至多媒体片段1的起始时间。
97.本技术实施例还提供一种多媒体文件控制装置，多媒体文件控制装置的组成结构示意图，可以如图7所示，包括：
98.处理模块501，用于对多媒体文件包括的每个多媒体子文件分别进行处理，将每个所述多媒体子文件划分为至少一个多媒体片段；
99.确定模块502，用于确定每个所述多媒体片段的时间信息；
100.接收模块503，用于接收针对第一多媒体片段的操作请求；
101.调整模块504，用于响应于所述操作请求，基于所述第一多媒体片段对应的时间信息调整所述多媒体文件对应的播放进度。
102.在一些实施例中，处理模块501，用于对每个所述多媒体子文件进行结构化分析，得到每个所述多媒体子文件的组成结构；
103.基于每个所述多媒体子文件的组成结构，将每个所述多媒体子文件划分为至少一个多媒体片段。
104.在一些实施例中，处理模块501，用于识别每个所述多媒体子文件包括的内容的类型，所述内容的类型至少包括表格、图形和文本中的一项或多项；
105.基于所述内容的类型对所述多媒体子文件进行划分，得到所述多媒体子文件的至少一个组成结构。
106.在一些实施例中，处理模块501，用于识别所述文本包括的段落；
107.基于所述段落对所述文本进行划分，得到至少两个子文本；
108.确定每个所述子文本为所述多媒体子文件的一个组成结构。
109.在一些实施例中，处理模块501，用于对所述图像进行分割，得到至少两个子图像；
110.确定每个所述子图像为所述多媒体子文件的一个组成结构。
111.在一些实施例中，确定模块502，用于确定播放每个所述多媒体片段的起始时间。
112.在一些实施例中，所述多媒体文件控制装置还包括：
113.显示模块505，用于以图像列表的形式显示所述多媒体文件包括的全部多媒体子文件。
114.在一些实施例中，接收模块503，用于接收针对所述第一多媒体片段对应的图像上第一标识的操作。
115.在一些实施例中，调整模块504，用于确定播放所述第一多媒体片段的第一起始时间；
116.将所述多媒体文件的播放进度调整至所述第一起始时间。
117.在一些实施例中，本技术实施例提供的多媒体文件控制方法可由终端设备或服务器实现。具体的，终端设备或服务器可以通过运行计算机程序来实现本技术实施例提供的多媒体文件控制方法，例如，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(native)应用程序(app，application)，即需要在操作系统中安装才能运行的程序；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意app中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
118.在一些实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台
等基础云计算服务的云服务器，其中，云技术(cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术实施例中不做限制。
119.以本技术实施例提供的数据处理方法是电子设备为例说明，本技术实施例提供的电子设备700的硬件组成结构示意图，图8所示的电子设备700包括：至少一个处理器701、存储器702和至少一个网络接口704。电子设备700中的各个组件通过总线系统705耦合在一起。可理解，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统705。
120.可以理解，存储器702可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是rom、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，synclink dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本技术实施例描述的存储器702旨在包括但不限于这些和任意其它适合类型的存储器。
121.本技术实施例中的存储器702用于存储各种类型的数据以支持电子设备700的操作。这些数据的示例包括：用于在电子设备700上操作的任何计算机程序，如应用程序7022。实现本技术实施例多媒体文件控制方法的程序可以包含在应用程序7022中。
122.上述本技术实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的多媒体文件控制方法的步骤，可以直接体
现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成前述多媒体文件控制方法的步骤。
123.在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、fpga、通用处理器、控制器、mcu、mpu、或其他电子元件实现，用于执行前述多媒体文件控制方法。
124.本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例上述的多媒体文件控制方法。
125.本技术实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本技术实施例提供的多媒体文件控制方法，例如，如图1至图6示出的多媒体文件控制方法。
126.在一些实施例中，计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
127.在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
128.作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(html，hypertext markup language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
129.作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
130.以上，仅为本技术的实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本技术的保护范围之内。