一种自适应推流方法、系统以及程序产品与流程
本公开实施例涉及计算机辅助语言学习,更具体地,涉及一种自适应推流方法、一种自适应推流系统及一种计算机程序产品。
背景技术:
1、现有语言学习产品或视频学习材料推荐系统,通常通过年龄、年级、课程等级、主题标签、人工分级、用户主观选择、整体词汇量估算或其他粗粒度语言能力指标来推荐学习内容。此类推荐方式虽然能够在一定程度上区分内容难度,但难以准确反映某个具体用户在观看某一视频学习材料时,是否真正具备理解该视频学习材料中具体语言内容的能力,而事实上哪怕传统方法有分级别,但同一级别的用户具体能力也千差万别。
2、以儿童英语听力学习为例,普通英文动画、原版儿童视频或分级视频内容往往默认观看者已经具备一定数量的前置听力词汇。对于具体能力不足的用户来说,即使能够被画面吸引,也可能只是根据画面大致猜测剧情,而并未真正听懂台词、句子语义或视频中的具体语言内容。因此,仅以视频等级、主题或整体难度估算进行推荐,容易导致系统高估用户能力,使用户接触到实际听不懂的视频学习材料,达不到学习的效果或学习效率低下。
技术实现思路
1、本公开实施例的一个目的是提供一种自适应推流的新的技术方案,实现向用户推送难度适宜的视频学习,提高学习的效果或学习效率。
2、根据本公开的第一方面,提供了一种自适应推流方法,包括:
3、语言单元状态数据获取步骤,获取用户的语言单元状态数据,所述语言单元状态数据以语言单元为单位记录,所述语言单元包括单词、词组、短语、字、词、字符、音节、句子片段、语法结构或固定表达中的至少一种;
4、视频元数据获取步骤,获取多个候选视频数据及各候选视频数据的语言单元元数据,所述语言单元元数据至少包括对应视频数据中出现的语言单元信息;
5、语言单元负荷计算步骤,根据所述语言单元状态数据以及所述语言单元元数据,计算各候选视频数据相对于所述用户的语言单元负荷;
6、推荐确定步骤,根据所述语言单元负荷,从所述多个候选视频数据中确定满足预设推荐条件的视频数据;
7、推送输出步骤,基于所述满足预设推荐条件的视频数据,形成或更新包含一个或多个所述视频数据的待播放序列。
8、可选地,所述语言单元负荷计算步骤中,所述语言单元负荷包括整体语言单元负荷和/或局部语言单元负荷;
9、所述整体语言单元负荷包括以下至少一种:单个候选视频数据中不认识的语言单元数量、单个候选视频数据中认识或不认识的语言单元比例、单个候选视频数据中认识度低于预设阈值的语言单元数量、单个候选视频数据中各语言单元认识度或不认识度的累加值或加权平均值;
10、所述局部语言单元负荷以单个候选视频数据内连续播放时间窗口或连续语言单元窗口为单位计算。
11、可选地,所述推荐确定步骤中,所述预设推荐条件包括:所述整体语言单元负荷不高于预设整体负荷阈值;和/或
12、各局部窗口语言单元负荷不高于预设局部负荷阈值。
13、可选地,所述语言单元负荷计算步骤还包括:根据候选视频数据的播放时长确定允许的语言单元负荷阈值,所述候选视频数据的播放时长越短允许的语言单元负荷阈值越低,所述候选视频数据的播放时长越长允许的语言单元负荷阈值越高。
14、可选地,所述语言单元负荷计算步骤还包括:当多个视频数据属于同一连续故事、同一主题单元或同一预设内容集合时,将所述多个视频数据作为聚合候选内容,计算聚合候选内容播放时长、聚合候选内容总语言单元负荷、分集语言单元负荷和局部窗口语言单元负荷;
15、基于所述聚合候选内容播放时长、聚合候选内容总语言单元负荷、分集语言单元负荷和局部窗口语言单元负荷确定是否推荐所述聚合候选内容。
16、可选地,还包括:语言单元集合确定步骤,基于所述语言单元状态数据和预设筛选条件,确定一个或多个语言单元集合,根据所述一个或多个语言单元集合以及所述语言单元元数据,或者所述一个或多个语言单元集合和语言单元状态数据以及所述语言单元元数据,计算各候选视频数据相对于所述用户的语言单元负荷。
17、可选地,所述推送输出步骤还包括:在播放所述待播放序列中的后续视频数据之前,根据更新后的语言单元状态数据和/或语言单元集合重新计算该后续视频数据相对于所述用户的语言单元负荷;
18、判断该后续视频数据是否仍然满足所述预设推荐条件;若不再满足,则将该后续视频数据从所述待播放序列中删除、替换或暂停播放。
19、可选地,还包括:动态调整步骤,基于用户当前语言水平动态确定候选视频数据的语言单元负荷阈值;
20、所述用户当前语言水平根据认识语言单元数量、熟练掌握语言单元数量、历史观看时长、历史语言单元校验成功率或历史理解度校验成功率中的至少一种确定。
21、可选地,所述语言单元状态数据获取步骤中,所述语言单元状态数据包括是否认识、是否熟练掌握、认识度、是否待巩固、出现次数、历史每次出现时间、校验次数、历史每次校验时间、历史每次校验结果、校验成功次数、校验失败次数、连续答对次数、连续答错次数、最近校验结果或最近校验时间中的至少一种。
22、可选地,所述推荐确定步骤中,若多个候选视频数据均满足所述预设推荐条件,则根据不认识的语言单元数量、认识度低于预设阈值的语言单元数量、累计不认识度、加权平均认识度或不认识度、观看历史中的至少一种调整推荐顺序。
23、根据本公开的第二方面,还提供了一种自适应推流系统,包括:
24、语言单元状态数据获取模块,用于获取用户的语言单元状态数据,所述语言单元状态数据以语言单元为单位记录,所述语言单元包括单词、词组、短语、字、词、字符、音节、句子片段、语法结构或固定表达中的至少一种;
25、视频元数据获取模块,用于获取多个候选视频数据及各候选视频数据的语言单元元数据,所述语言单元元数据至少包括对应视频数据中出现的语言单元信息;
26、语言单元负荷计算模块,用于根据所述语言单元状态数据以及所述语言单元元数据,计算各候选视频数据相对于所述用户的语言单元负荷;
27、推荐确定模块,用于根据所述语言单元负荷,从所述多个候选视频数据中确定满足预设推荐条件的待推荐视频数据;
28、推送输出模块,用于基于所述满足预设推荐条件的视频数据,形成或更新包含一个或多个所述视频数据的待播放序列。
29、可选地,所述语言单元负荷计算模块还用于:根据候选视频数据的播放时长确定允许的语言单元负荷阈值,所述候选视频数据的播放时长越短允许的语言单元负荷阈值越低,所述候选视频数据的播放时长越长允许的语言单元负荷阈值越高。
30、可选地,所述语言单元负荷计算模块还用于:当多个视频数据属于同一连续故事、同一主题单元或同一预设内容集合时,将所述多个视频数据作为聚合候选内容,计算聚合候选内容播放时长、聚合候选内容总语言单元负荷、分集语言单元负荷和局部窗口语言单元负荷;
31、基于所述聚合候选内容播放时长、聚合候选内容总语言单元负荷、分集语言单元负荷和局部窗口语言单元负荷确定是否推荐所述聚合候选内容。
32、根据本公开的第三方面,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据本公开第一方面所述的方法。
33、根据本公开的第四方面,提供了一种基于交互行为的语言单元校验方法,包括:
34、语言单元状态数据获取步骤,获取用户的语言单元状态数据,所述语言单元状态数据以语言单元为单位记录,所述语言单元包括单词、词组、短语、字、词、字符、音节、句子片段、语法结构或固定表达中的至少一种;
35、视频播放步骤,向用户播放满足预设推荐条件的视频数据;
36、交互行为监测步骤,在所述视频数据的播放过程中,监测用户对视频播放交互界面执行的预设交互操作;
37、求助事件识别步骤,当监测到所述预设交互操作时,根据所述预设交互操作的发生时间点与视频播放时间轴的时间对应关系,确定与所述预设交互操作对应的目标语句或目标视频片段;
38、视频元数据获取步骤,获取所述视频数据的语言单元元数据,所述语言单元元数据至少包括对应视频数据中出现的语言单元信息;
39、候选语言单元确定步骤,根据所述视频数据的语言单元元数据,确定所述目标语句或目标视频片段中出现的至少一个语言单元,作为候选待校验语言单元;
40、校验任务生成步骤,针对所述候选待校验语言单元生成语言单元校验任务并输出给所述用户;
41、校验结果处理步骤,获取所述用户针对所述语言单元校验任务的反馈信息,根据所述反馈信息更新所述用户的语言单元状态数据。
42、可选地,所述预设交互操作包括以下至少一种:
43、触发视频播放界面中设置的求助交互控件,根据当前播放时间点、字幕时间戳、语音识别时间轴、语句起止时间或语句标识确定对应的当前语句、上一语句或最近播放语句;
44、触发句级播放控制操作,根据操作目标语句标识确定对应的目标语句,所述目标语句标识包括上一句操作、下一句操作、重听当前句操作、跳转到当前句起点操作或跳转到上一句起点操作中的一个或多个;
45、触发播放进度条拖拽操作,根据操作后的播放进度位置确定对应的目标语句或语义片段,将播放进度拖回至语句起点或语义片段起点。
46、可选地,所述校验任务生成步骤中,所述语言单元校验任务包括:
47、识别所述候选待校验语言单元的语言单元类型;
48、根据所述语言单元类型确定校验任务形式,所述校验任务形式包括基于视听匹配或音义匹配的识别类校验任务、基于语境理解的填空与选择类校验任务以及基于语义加工的判断与产出类校验任务;
49、若所述候选待校验语言单元为具象名词或动作词,则生成所述基于视听匹配或音义匹配的识别类校验任务;
50、若所述候选待校验语言单元为功能词、系动词、介词、助词、语法性词或抽象词,则生成所述基于语境理解的填空与选择类校验任务或基于语义加工的判断与产出类校验任务。
51、可选地,所述基于语境理解的填空与选择类校验任务的题干上下文根据所述用户语言单元状态数据中的认识语言单元集合或熟练掌握语言单元集合约束生成,使除所述候选待校验语言单元及候选选项外的题干上下文语言单元满足预设低负荷条件。
52、可选地,所述基于语境理解的填空与选择类校验任务包括:为所述候选待校验语言单元生成至少两套不同语境下的校验任务,其中第一套语境为所述候选待校验语言单元在所述目标语句或目标视频片段中的原始语境,第二套语境为不同于所述原始语境的迁移语境;
53、分别在所述原始语境和所述迁移语境下对所述候选待校验语言单元进行校验;
54、根据用户在两种语境下的作答结果,综合更新所述候选待校验语言单元的状态数据。
55、可选地,还包括:翻译或复述定位步骤,在用户观看所述视频数据的预设时机,获取用户对语句、片段或整体内容以语音或文字方式提交的翻译结果或复述结果;
56、将所述翻译结果或复述结果与对应的标准含义进行比较,确定用户未正确表达的内容;
57、根据所述未正确表达的内容与视频数据中语言单元之间的对应关系,确定为候选待校验语言单元或提高已有候选待校验语言单元的校验优先级。
58、可选地,还包括:交互式确认步骤,在确定所述目标语句或目标视频片段后,以可交互形式呈现所述目标语句或目标视频片段中包含的一个或多个语言单元,并提供所述语言单元所对应的语句的音频、语言单元的音频、语句的翻译或语言单元的翻译中的至少一种辅助内容以供用户选择;
59、获取用户选择的所述辅助内容,将用户选择的辅助内容所对应的语言单元确定为候选待校验语言单元或提高其校验优先级。
60、可选地,还包括:理解度校验步骤,生成与所述视频数据对应的语言依赖理解度校验任务并输出给所述用户,所述语言依赖理解度校验任务为需要基于视频数据中的台词、音频、目标语言单元或句子语义才能完成作答的校验任务;
61、获取所述用户针对所述语言依赖理解度校验任务的反馈信息,确定理解度结果;
62、当语言单元校验结果通过但与该语言单元相关的语言依赖理解度校验结果失败时,降低该语言单元的本次校验结果权重。
63、根据本公开的第五方面,还提供了一种基于交互行为的语言单元校验系统,包括:
64、语言单元状态数据获取模块,用于获取用户的语言单元状态数据,所述语言单元状态数据以语言单元为单位记录,所述语言单元包括单词、词组、短语、字、词、字符、音节、句子片段、语法结构或固定表达中的至少一种;
65、视频播放模块,用于向用户播放满足预设推荐条件的视频数据;
66、交互行为监测模块,用于在所述视频数据的播放过程中,监测用户对视频播放交互界面执行的预设交互操作;
67、求助事件识别模块,用于当监测到所述预设交互操作时,根据所述预设交互操作的发生时间点与视频播放时间轴的时间对应关系,确定与所述预设交互操作对应的目标语句或目标视频片段;
68、视频元数据获取模块,用于获取所述视频数据的语言单元元数据,所述语言单元元数据至少包括对应视频数据中出现的语言单元信息;
69、候选语言单元确定模块,用于根据所述视频数据的语言单元元数据,确定所述目标语句或目标视频片段中出现的至少一个语言单元,作为候选待校验语言单元;
70、校验任务生成模块,用于针对所述候选待校验语言单元生成语言单元校验任务并输出给所述用户;
71、校验结果处理模块,用于获取所述用户针对所述语言单元校验任务的反馈信息,根据所述反馈信息更新所述用户的语言单元状态数据。
72、可选地,所述预设交互操作包括以下至少一种:触发视频播放界面中设置的求助交互控件,根据当前播放时间点、字幕时间戳、语音识别时间轴、语句起止时间或语句标识确定对应的当前语句、上一语句或最近播放语句;
73、触发句级播放控制操作,根据操作目标语句标识确定对应的目标语句,所述目标语句标识包括上一句操作、下一句操作、重听当前句操作、跳转到当前句起点操作或跳转到上一句起点操作中的一个或多个;
74、触发播放进度条拖拽操作,根据操作后的播放进度位置确定对应的目标语句或语义片段,将播放进度拖回至语句起点或语义片段起点。
75、可选地,所述校验任务生成模块中,所述语言单元校验任务包括:
76、识别所述候选待校验语言单元的语言单元类型;
77、根据所述语言单元类型确定校验任务形式,所述校验任务形式包括基于视听匹配或音义匹配的识别类校验任务、基于语境理解的填空与选择类校验任务以及基于语义加工的判断与产出类校验任务;
78、若所述候选待校验语言单元为具象名词或动作词,则生成所述基于视听匹配或音义匹配的识别类校验任务;
79、若所述候选待校验语言单元为功能词、系动词、介词、助词、语法性词或抽象词,则生成所述基于语境理解的填空与选择类校验任务或基于语义加工的判断与产出类校验任务。
80、可选地,所述基于语境理解的填空与选择类校验任务的题干上下文根据所述用户语言单元状态数据中的认识语言单元集合或熟练掌握语言单元集合约束生成,使除所述候选待校验语言单元及候选选项外的题干上下文语言单元满足预设低负荷条件。
81、可选地,所述基于语境理解的填空与选择类校验任务包括:为所述候选待校验语言单元生成至少两套不同语境下的校验任务,其中第一套语境为所述候选待校验语言单元在所述目标语句或目标视频片段中的原始语境,第二套语境为不同于所述原始语境的迁移语境;
82、分别在所述原始语境和所述迁移语境下对所述候选待校验语言单元进行校验;
83、根据用户在两种语境下的作答结果,综合更新所述候选待校验语言单元的状态数据。
84、根据本公开的第六方面,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据本公开第四方面所述的方法。
85、根据本公开的第七方面,提供了一种以多模态反馈的遗忘风险更新方法,包括:
86、语言单元状态数据维护步骤,实时记录并更新各语言单元状态数据中各语言单元的认识状态、历史校验结果、连续校验成功次数、有效出现次数和最近接触时间中的一种或多种,所述语言单元状态数据以语言单元为单位记录,所述语言单元包括单词、词组、短语、字、词、字符、音节、句子片段、语法结构或固定表达中的至少一种;
87、多模态感知数据采集步骤,在用户观看视频数据的过程中,通过图像采集装置、音频采集装置中的一种或多种采集用户的多模态感知数据;
88、潜在未理解事件识别步骤,对所述多模态感知数据进行特征提取与识别,确定用户是否产生潜在未理解反馈事件;
89、遗忘风险计算步骤,对于所述语言单元状态数据中满足预设认识条件的语言单元,根据该语言单元的认识状态、历史校验结果、连续校验成功次数、有效出现次数和最近接触时间中的一种或多种以及所述潜在未理解反馈事件,计算该语言单元的遗忘风险值;
90、状态更新步骤,根据所述遗忘风险值,对满足预设更新条件的语言单元的语言单元状态数据进行调整;
91、推荐影响步骤,基于更新后的语言单元状态数据重新计算后续视频数据相对于所述用户的语言单元负荷,并更新后续推荐结果。
92、可选地,所述多模态感知数据包括以下至少一种:通过图像采集装置采集的用户面部表情数据、头部姿态数据、视线方向数据或视线离开屏幕时长数据中的一种或多种;
93、通过音频采集装置采集的用户语音数据,所述语音数据包括疑问语气、求助含义语音或与视频内容相关的声音反馈中的一种或多种。
94、可选地,还包括:当识别到所述潜在未理解反馈事件时,根据所述潜在未理解反馈事件的发生时间与视频播放时间轴的时间对应关系,确定对应的当前语句或视频片段;
95、根据所述当前语句或视频片段的语言单元元数据,确定其中出现的至少一个语言单元作为候选待校验语言单元或提高其校验优先级;
96、在后续校验环节中对所述候选待校验语言单元进行确认后,才根据确认结果更新语言单元状态数据。
97、可选地,所述遗忘风险计算步骤中,所述遗忘风险值的计算方式包括:
98、获取该语言单元的最近一次有效校验时间、最近一次巩固时间、最近一次有效出现时间、最近一次有效接触时间或被标记为认识状态时的基准时间中的至少一种,作为时间基准;
99、根据当前时间与所述时间基准之间的时间间隔,确定时间因子;
100、根据该语言单元的历史校验成功次数、连续校验成功次数、有效出现次数中的全部或部分,确定掌握强度因子;
101、根据所述时间因子和掌握强度因子,计算遗忘风险值。
102、可选地,所述时间因子根据预设的天数-权重函数确定;所述天数-权重函数中,语言单元的历史校验成功次数越多,权重随时间增长的速率越平缓;语言单元的历史校验成功次数越少,权重随时间增长的速率越陡峭。
103、可选地,还包括:有效出现次数追踪步骤,记录各语言单元的当前有效出现次数以及该语言单元进入认识状态时的基准有效出现次数;
104、当所述当前有效出现次数与所述基准有效出现次数之间的差值达到预设阈值时,将该语言单元加入待巩固队列;
105、在巩固环节中对所述待巩固队列中的语言单元进行巩固校验;
106、若巩固校验通过,维持或提升该语言单元的状态;若巩固校验失败,将该语言单元的基准有效出现次数重置为当前有效出现次数,并重新计算后续巩固触发条件。
107、可选地,还包括:异常片段识别步骤,根据用户在观看视频数据过程中产生的暂停、回退、重听、求助、困惑表情或疑问语音中的至少一种反馈行为,确定异常观看片段;
108、参考片段确定步骤,将用户未出现所述反馈行为且未出现其他潜在未理解信号的片段,确定为参考观看片段;
109、对比分析步骤,根据视频数据的语言单元元数据,分别确定所述异常观看片段和所述参考观看片段中出现的语言单元,并对二者进行比较;
110、当目标语言单元在所述异常观看片段中出现的频率高于在所述参考观看片段中出现的频率时,确定为候选待校验语言单元或提高已有候选语言单元的校验优先级。
111、可选地,还包括:巩固抽取步骤,维护至少两类可被巩固抽取的语言单元集合,包括已认识语言单元集合和熟练掌握语言单元集合;
112、按照预设比例从不同集合中抽取语言单元进行巩固校验;
113、对于所述已认识语言单元集合中的语言单元,根据最近校验后的经过天数和历史校验结果确定抽取权重。
114、可选地,还包括:推荐参数调整步骤,统计用户最近预设次数语言单元校验的成功率;
115、当所述成功率低于预设成功率阈值时,调整后续视频数据推荐的语言单元负荷阈值,使后续推荐内容降低难度。
116、根据本公开的第八方面,还提供了一种以多模态反馈的遗忘风险更新系统,包括:
117、语言单元状态数据维护模块,用于实时记录并更新各语言单元状态数据中各语言单元的认识状态、历史校验结果、连续校验成功次数、有效出现次数和最近接触时间中的一种或多种,所述语言单元状态数据以语言单元为单位记录,所述语言单元包括单词、词组、短语、字、词、字符、音节、句子片段、语法结构或固定表达中的至少一种;
118、多模态感知数据采集模块,用于在用户观看视频数据的过程中,通过图像采集装置、音频采集装置中的一种或多种采集用户的多模态感知数据;
119、潜在未理解事件识别模块,用于对所述多模态感知数据进行特征提取与识别,确定用户是否产生潜在未理解反馈事件;
120、遗忘风险计算模块,用于对所述语言单元状态数据中满足预设认识条件的语言单元,根据该语言单元的认识状态、历史校验结果、连续校验成功次数、有效出现次数和最近接触时间中的一种或多种以及所述潜在未理解反馈事件,计算该语言单元的遗忘风险值;
121、状态更新模块,用于根据所述遗忘风险值,对满足预设更新条件的语言单元的语言单元状态数据进行调整;
122、推荐影响模块,用于基于更新后的语言单元状态数据重新计算后续视频数据相对于所述用户的语言单元负荷,并更新后续推荐结果。
123、可选地,所述多模态感知数据包括以下至少一种:通过图像采集装置采集的用户面部表情数据、头部姿态数据、视线方向数据或视线离开屏幕时长数据中的一种或多种;
124、通过音频采集装置采集的用户语音数据,所述语音数据包括疑问语气、求助含义语音或与视频内容相关的声音反馈中的一种或多种。
125、可选地,所述遗忘风险计算模块中,所述遗忘风险值的计算方式包括:
126、获取该语言单元的最近一次有效校验时间、最近一次巩固时间、最近一次有效出现时间、最近一次有效接触时间或被标记为认识状态时的基准时间中的至少一种,作为时间基准;
127、根据当前时间与时间基准之间的时间间隔,确定时间因子;
128、根据该语言单元的历史校验成功次数、连续校验成功次数、有效出现次数中的全部或部分,确定掌握强度因子;
129、根据时间因子和掌握强度因子,计算遗忘风险值。
130、可选地,还包括:有效出现次数追踪模块,记录各语言单元的当前有效出现次数以及该语言单元进入认识状态时的基准有效出现次数;
131、当所述当前有效出现次数与所述基准有效出现次数之间的差值达到预设阈值时,将该语言单元加入待巩固队列;
132、在巩固环节中对所述待巩固队列中的语言单元进行巩固校验;
133、若巩固校验通过,维持或提升该语言单元的状态;若巩固校验失败,将该语言单元的基准有效出现次数重置为当前有效出现次数,并重新计算后续巩固触发条件。
134、根据本公开的第九方面,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据本公开第七方面所述的方法。
135、本公开实施例通过以语言单元为单位精准记录用户语言单元状态数据,基于语言单元状态数据以及视频数据的语言单元元数据计算各候选视频数据相对于用户的语言单元负荷,筛选出满足预设推荐条件的视频数据,并形成或更新包含一个或多个视频数据的待播放序列,使用户能够持续获得难度适宜的视频数据,避免因系统高估用户语言能力而导致推荐内容过难的情况,提高视频数据推荐难度与用户实际理解能力之间的匹配度。
136、通过以下参照附图对本公开的示例性实施例的详细描述,本公开实施例的其它特征及其优点将会变得清楚。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com