一种多模态协同显示的视频播放系统的制作方法

1.本发明涉及视频播放系统领域，尤其涉及一种多模态协同显示的视频播放系统。


背景技术：

2.如今，视频已经成为最受欢迎的信息和知识的传播媒介，越来越多的在线教学、学术报告、项目介绍都选择视频来传播。然而，视频相较于传统的文章媒介，有着下面四方面的不足。
3.(1)缺少多层级目录的信息。观众难以区分正在播放的段落、还有多久播放到下个段落、以及不同段落之间的逻辑关系。
4.(2)缺少超链接跳转。观众无法直接点击视频中的链接进行跳转。
5.(3)缺少对内容的整体预览和回顾功能。观众在观看视频时会因为遗忘前面内容而影响对后续内容和视频整体内容的理解。
6.(4)缺少难以快速查看和筛选观众所产生的讨论。
7.为了弥补上述的不足，可以将多层级目录、富文本等多模态信息与视频同步显示，然而简单的信息堆叠又会让观众在观看视频过程中，因阅读文本和目录信息的速度跟不上视频的播放速度，影响观看注意力。


技术实现要素：

8.为了针对以上技术问题，本发明提供一种多模态协同显示的视频播放系统，基于系统功能界面，系统包括：
9.包括四个模态和两种模式，四个模态分别为：文章模态、导图模态、视频模态和讨论模态；两种模式分别为：随播模式和展开模式；
10.各模态根据视频段落属性和功能界面的对应区域：文本区、导图区、视频区和讨论区实现视频内容多模态、多模式之间的自由组合和协同展现；
11.其中，所述段落属性包括：段落文字内容、段落类型、段落时间段、段落名称、段落层级、段落概括、段落讨论内容和段落讨论热度。
12.进一步地，在随播模式下，系统功能界面包括：位于顶栏的导图区、位于中央的视频区和位于底栏的文本区；其中，讨论区被隐藏；
13.在展开模式下，系统功能界面根据不同的模态而对应不同，包括文本展开模式和导图展开模式；其中，展开模式下，视频区被隐藏。
14.进一步地，随播模式下，所述文本区展示：段落逐句字幕、段落类型和段落讨论热度；
15.随播模式下单击文本区任意位置，进入文本展开模式。
16.进一步地，文本展开模式下，系统功能界面包括：位于顶栏的导图区、位于左侧的文本展开区和位于右侧的讨论区；
17.其中，所述文本展开区包括：标签区和文章区；
18.在文本展开模式下，通过单击位于顶栏中央下方的收起按键，返回随播模式。
19.进一步地，所述标签区，显示每个段落类型和段落讨论总数；
20.所述文章区，显示每个段落的文字内容、同时支持格式排版、markdown代码、公式和超链接；
21.其中，所选段落的文本背景突出显示；当前句子字幕的文本背景以不同的颜色突出显示；
22.所述所选段落，具体指当前选中的用于指明交互对象的段落；所选段落在视频播放时，是当前播放的段落，随播放自动切换；视频暂停时，通过单击段落类型来切换到对应段落；所选段落下方弹出讨论按钮、摘抄按钮和相关段落按钮。
23.进一步地，所述讨论区，显示讨论内容、讨论类型、讨论对象和讨论认同度；
24.所述讨论内容，分为针对段落的讨论，和针对其他讨论的讨论；
25.针对段落的讨论通过所选段落的讨论按钮增加；
26.针对其他讨论的讨论，通过点击某条讨论下的回复按钮增加；在排版上以从属于该讨论的形式显示；
27.所述讨论对象，指用于指明当前用户针对何种内容进行讨论，根据讨论类型和讨论对象，显示讨论的描述为该用户名 讨论类型 讨论对象；
28.所述讨论认同度，是观众对该讨论的认同程度，根据针对该讨论的其他讨论计算得出。
29.进一步地，所述导图区，分为父域和子域；
30.所述子域显示当前段落所在层级的目录；以不同样式来区分同级段落中已播的段落和未播的段落；以不同的样式来区分当前段落和同级段落；以不同的样式来区分段落的段落类型；
31.所述父域显示当前段落所从属的上层段落的名称和类型；
32.所述父域和子域，随着视频的播放，自动切换；
33.单击父域的段落名称，进入导图展开模式；
34.单击子域任意段落，跳转到对应段落；拖动段落的进度条，跳转到拖拽位置的时刻；
35.悬停至段落名称，显示对应的段落概括和段落类型。
36.进一步地，所述导图展开模式，以思维导图的形式，显示全部多层级目录和段落的进度条；以不同样式来区分同级段落中已播的段落和未播的段落；以不同的样式来区分当前段落和同级段落；以不同的样式来区分段落的段落类型；
37.导图区下方设置收起按钮，点击收起按钮，切换至随播模式；
38.单击导图节点，跳转到对应段落；拖动节点进度条，跳转到拖拽处的位置；
39.悬停至段落名称，显示对应的段落描述和段落类型。
40.系统还包括封面；封面由四部分构成，包括：以雷达图所展现的段落类型统计信息、以条状图展示的讨论类型统计信息、多个副标题和导图展开模式中的段落思维导图，思维导图保留导图展开区中的交互功能。
41.本发明提供的有益效果是：优化了观众对多模态信息的接收和交互方式，能让目录、文章、导图、讨论、字幕等信息有机地随着视频播放共同显示，降低多模态信息对视频观
看注意力的干扰，提升用户获取视频信息的效率。
附图说明
42.图1是本发明系统结构示意图；
43.图2是随播模式下系统功能界面示意图；
44.图3是文本展开模式下系统功能界面示意图；
45.图4是导图展开模式下系统功能界面示意图；
46.图5是系统封面示意图。
具体实施方式
47.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
48.请参考图1-图5，图1是本发明系统结构图；一种多模态协同显示的视频播放系统，基于系统功能界面，包括：
49.包括四个模态和两种模式，四个模态分别为：文章模态、导图模态、视频模态和讨论模态；两种模式分别为：随播模式和展开模式；
50.各模态根据视频段落属性和功能界面的对应区域：文本区、导图区、视频区和讨论区实现视频内容多模态、多模式之间的自由组合和协同展现；
51.其中，所述段落属性包括：段落文字内容、段落类型、段落时间段、段落名称、段落层级、段落概括、段落讨论内容和段落讨论热度。
52.请参考图2，在随播模式下，系统功能界面包括：位于顶栏的导图区、位于中央的视频区和位于底栏的文本区；其中，讨论区被隐藏；
53.在展开模式下，系统功能界面根据不同的模态而对应不同，包括文本展开模式和导图展开模式；其中，展开模式下，视频区被隐藏。
54.请参考图2，随播模式下，所述文本区展示：段落逐句字幕、段落类型和段落讨论热度；
55.在图2中，段落逐句字幕即为“都需要做实验来验证所提规律的可泛化性”。段落类型即为“例子”；段落讨论热度通过最左侧的火形图标表示；
56.需要说明的是，段落逐句字幕以单行的形式显示，当字幕长度超过文本区可容纳的宽度时，根据视频的句子语速从右到左滚动显示。段落类型，以简短文字或图标的形式，以及与标签类型一一对应的颜色显示。
57.段落类型包括：描述、例子、类比和自定义标签，五种类型，分配五种不同且固定的颜色。在一些其它实施例中，可以通过不同的样式来区分不同的段落类型。
58.在本实施例中，段落讨论热度用图标形式表示，在一些其它实施例中，可以以简短文字或标识的形式显示。
59.需要说明的是，随播模式下单击文本区任意位置，进入文本展开模式。
60.请参考图3，文本展开模式下，系统功能界面包括：位于顶栏的导图区、位于左侧的文本展开区和位于右侧的讨论区；
61.其中，所述文本展开区包括：标签区和文章区；
62.在文本展开模式下，通过单击位于顶栏中央下方的收起按键，返回随播模式。
63.所述标签区，显示每个段落类型和段落讨论总数；例如图3中的标签区，其展示了所有段落的段落类型(描述、例子等)以及在段落类型下方，展示了对应段落的讨论数量；
64.所述文章区，显示每个段落的文字内容、同时支持格式排版、markdown代码、公式和超链接；需要说明的是，对于超链接可以直接进行点击跳转；而对于文字内容的格式排版，可根据自定义需求进行。
65.需要说明的是，针对于段落文字内容，通过滚动显示超过范围的文字；
66.需要说明的是，所选段落的文本背景突出显示；当前句子字幕的文本背景以不同的颜色突出显示；比如图3中，所选段落即为“比如，偶数是能够被2所整除.....”，被选中的段落，其背景能够与其它内容进行区分开来；
67.所述所选段落，具体指当前选中的用于指明交互对象的段落；
68.所选段落在视频播放时，是当前播放的段落，随播放自动切换；视频暂停时，通过单击段落类型来切换到对应段落；所选段落下方弹出讨论按钮、摘抄按钮和相关段落按钮。参考图3中标识出的讨论按钮，在其旁边标识出了当前段落的所属段落(相关段落)按钮和摘抄按钮；通过摘抄按钮，可对当前段落文本内容进行相应的注解。
69.请参考图3，所述讨论区，显示讨论内容、讨论类型、讨论对象和讨论认同度；
70.所述讨论内容，分为针对段落的讨论，和针对其他讨论的讨论；
71.针对段落的讨论通过所选段落的讨论按钮增加；比如图3中的，针对所选段落的讨论。
72.针对其他讨论的讨论，通过点击某条讨论下的回复按钮增加；在排版上以从属于该讨论的形式显示；比如图3中的展示的“输入和输出怎么分析”，即是针对其他讨论的讨论。
73.所述讨论对象，指用于指明当前用户针对何种内容进行讨论，根据讨论类型和讨论对象，显示讨论的描述为该用户名 讨论类型 讨论对象；比如图3中的“hd55m0lzd提问nzx”。其中讨论类型可以细分包括：回答、提问、异议和补充。
74.所述讨论认同度，是观众对该讨论的认同程度，根据针对该讨论的其他讨论计算得出。这里讨论认同程度的计算方式，不同于单纯的点击认同，则认同；本技术中，通过综合讨论类型，得出该讨论认同程度，举例说明，比如回答一次，讨论认同度 2，提问一次，认同度 1，异议一次，认同度-1，补充一次认同度 1；这里仅为举例说明，具体计算方法，可以根据实际需求进行自定义。
75.请参考图2，所述导图区，分为父域和子域；
76.所述子域显示当前段落所在层级的目录；以不同样式来区分同级段落中已播的段落和未播的段落；以不同的样式来区分当前段落和同级段落；以不同的样式来区分段落的段落类型；
77.所述父域显示当前段落所从属的上层段落的名称和类型；
78.所述父域和子域，随着视频的播放，自动切换；
79.单击父域的段落名称，进入导图展开模式；
80.单击子域任意段落，跳转到对应段落；拖动段落的进度条，跳转到拖拽位置的时刻；进度条参照图2中“可泛化性e”的白色背景部分，随着播放，进度条逐渐被填充。
81.比如图2中，父域为“2.1知识可泛化”，子域为“可泛化性、可泛化性e...”82.悬停至段落名称，显示对应的段落概括和段落类型。
83.请参考图4，所述导图展开模式，以思维导图的形式，显示全部多层级目录和段落的进度条；如图4中展示的思维导图。
84.以不同样式来区分同级段落中已播的段落和未播的段落；以不同的样式来区分当前段落和同级段落；以不同的样式来区分段落的段落类型；如图4中，已播放段落均为高亮显示；当前播放的段落，有些进度条未被填充完全；未播放的段落，其未被填充；在本技术中，通过背景填充度来区分已播放段落；
85.另外，关于当前段落、同级段落、段落类型，可以通过其它样式进行进一步区分，这里不作过多介绍。
86.参考图4，导图区下方设置收起按钮，点击收起按钮，切换至随播模式；
87.单击导图节点，跳转到对应段落；拖动节点进度条，跳转到拖拽处的位置；
88.悬停至段落名称，显示对应的段落描述和段落类型。
89.请参考图5，系统还包括封面；封面由四部分构成，包括：以雷达图所展现的段落类型统计信息、以条状图展示的讨论类型统计信息、多个副标题和导图展开模式中的段落思维导图，思维导图保留导图展开区中的交互功能。
90.本发明的有益效果是：优化了观众对多模态信息的接收和交互方式，能让目录、文章、导图、讨论、字幕等信息有机地随着视频播放共同显示，降低多模态信息对视频观看注意力的干扰，提升用户获取视频信息的效率。
91.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。