基于多模态的个性化科学知识伴随式视频增强方法与流程

本发明涉及视频处理领域，特别涉及基于多模态的个性化科学知识伴随式视频增强方法。

背景技术：

1、初中科学以及高中物理、化学、生物等基础科学课程包含数量较多、层级关系复杂的知识内容。学生不仅需要掌握具体的科学概念、物理规律与实验现象，还需要理解不同知识点之间的前置关系及其在现实世界中的应用。

2、在日常学习中，学生在课余时间会持续观看具有完整叙事、比赛过程、人物活动或事件演进的普通视频内容。此类视频能够天然地维持观看者的好奇心和注意力，且视频画面、人物行为、物体运动、自然现象以及语言解说之中，往往隐含着可与基础科学课程关联的现实情境。若能够在不破坏原视频观看体验的前提下，将与当前视频内容有关的课程知识伴随展示，使用户在正常观看过程中反复接触知识点，能够有效提升学习效果，实现伴随式、低负荷的科学知识接触。

3、目前，将知识内容融入视频的方案主要包括学习视频、弹幕、字幕、百科提示或人工剪辑式知识讲解。然而，目前视频中的知识内容通常由人工逐段查找并手动插入，制作成本极高，过程繁琐，难以适用于海量的普通视频，无法实现规模化自动生产。并且也缺少一套按照学期、学科、章节及前置关系预先整理的结构化知识点池，导致插入的知识内容容易零散化、随机化，无法与学生当前的课程进度和认知水平保持一致。

4、已有的视频叠加信息通常采用固定的显示位置或固定的展示模板，在视频播放过程中极易遮挡画面中的人物、关键操作对象、动作过程、原有字幕或其他主要画面内容，从而明显降低视频的观看体验，引起用户的反感。

5、相同的视频通常向所有用户展示完全相同的知识内容，无法依据不同用户的年级、知识掌握程度、兴趣偏好及历史展示记录进行个性化取舍与定制化推送，缺乏针对性。若直接利用大语言模型自由生成知识说明，由于缺乏事实约束，极易出现“幻觉”现象，导致生成的知识点超出课程大纲范围、表述过长、内容重复，或者与当前视频画面缺乏可靠的关联性。

6、因此，现在急需一种以原始视频文件和学生知识状态为输入，在合适的时间片段和不遮挡主要画面的区域内，自动增加与当前视频内容相关、符合学生课程范围并经过个性化筛选的科学知识卡片，且输出视频与原始视频时长一致的基于多模态的个性化科学知识伴随式视频增强方法及系统。

技术实现思路

1、本发明提供了基于多模态的个性化科学知识伴随式视频增强方法，能够以原始视频文件和学生知识状态为输入，在合适的时间片段和不遮挡主要画面的区域内，自动增加与当前视频内容相关、符合学生课程范围并经过个性化筛选的科学知识卡片，且输出视频与原始视频时长一致。

2、为了解决上述技术问题，本技术提供如下技术方案：

3、基于多模态的个性化科学知识伴随式视频增强方法，包括以下步骤：

4、s1. 获取数据：获取原始视频文件以及目标学生对应的学生知识状态信息；

5、s2. 时段切分：对所述原始视频文件进行解析，提取音频流并进行语音识别，得到带时间戳的转写文本；同时对所述原始视频文件进行镜头边界检测，并结合所述转写文本的句末时间戳对镜头边界进行校正，将所述原始视频文件划分为多个视频时段；

6、s3. 证据提取：针对每个视频时段，提取多张代表帧，并识别各代表帧中的目标对象信息、画面文字信息以及相邻帧之间的运动特征，将代表帧、转写文本、目标对象信息、画面文字信息和运动特征输入多模态理解模型，得到描述所述视频时段的多模态证据包；

7、s4. 知识检索与卡片生成：基于所述多模态证据包，在预设的有序课程知识点池中进行语义向量检索，结合所述学生知识状态信息进行硬条件筛选与确定性评分，得到候选知识点；将所述候选知识点输入大语言模型进行选择并生成对应的知识卡片信息；

8、s5. 禁遮挡布局：针对所述知识卡片信息，获取其在视频中预计显示的连续分析帧，计算在连续分析帧中由目标对象、画面文字和运动区域聚合得到的统一禁遮挡掩膜；基于所述统一禁遮挡掩膜在多个候选显示区域中确定目标显示位置；

9、s6. 视频渲染：根据所述目标显示位置和所述知识卡片信息，生成对应的卡片图像，并将所述卡片图像在对应的显示时间段内叠加至所述原始视频文件中，输出与所述原始视频文件时长一致的增强视频文件。

10、进一步，所述预设的有序课程知识点池的构建过程包括：

11、在关系型数据库中建立知识点表，所述知识点表包含唯一编号、适用年级、适用学期、学科类型、所属章节、知识点名称、标准解释文本、备用卡片正文、知识点关键词、现实情境标签、前置知识点编号列表、知识难度、静态示意图路径、启用状态以及用于语义相似度检索的语义向量；

12、将课程标准、教材和教师讲义转换为纯文本，并按照层级保存，调用文本大语言模型对每个层级单元进行处理，生成包含知识点名称、标准解释文本、知识点关键词、现实情境标签和前置知识点名称的微观知识点候选；

13、将所述微观知识点候选展示给教师进行校核，由教师补充所述备用卡片正文和静态示意图路径，通过校核的微观知识点写入所述知识点表并分配唯一编号，将前置知识点名称转换为前置知识点编号列表；

14、将所有前置关系构造成有向图，采用拓扑排序算法检查是否存在环，若拓扑排序后存在未被访问的节点，则输出异常提示以供教师修改；

15、将通过校核的每个知识点的知识点名称、标准解释文本、知识点关键词和现实情境标签进行拼接，形成检索文本，将所述检索文本输入文本编码模型提取固定维度的语义向量，对所述语义向量进行归一化处理后写入所述知识点表的语义向量字段，并基于所述语义向量建立索引。

16、进一步，所述对所述原始视频文件进行镜头边界检测，并结合所述转写文本的句末时间戳对镜头边界进行校正，将所述原始视频文件划分为多个视频时段的步骤包括：

17、按照预设的镜头分析抽帧频率对所述原始视频文件进行抽取，得到低分辨率分析帧，将各分析帧转换到hsv颜色空间，在h通道和s通道分别计算二维直方图并进行归一化；

18、计算相邻两张分析帧对应的二维直方图的绝对差值之和，得到帧间差异度，当所述帧间差异度大于或等于预设的镜头差异阈值时，将后一张分析帧对应的时间记为候选镜头边界；

19、对每个候选镜头边界进行语音时间戳校正：查找开始时间早于所述候选镜头边界且结束时间晚于所述候选镜头边界的转写句，若存在，则比较所述候选镜头边界到该转写句开始时间和结束时间的距离，将所述候选镜头边界移动到距离较近的一端；

20、移动后若当前候选镜头边界与前一个边界的距离小于预设的时段下限阈值，则删除当前候选镜头边界；

21、根据校正后的候选镜头边界生成初始时段，若初始时段的长度小于所述时段下限阈值，则将其与相邻的帧间差异度较小的一侧时段进行合并；若初始时段的长度大于预设的时段上限阈值，则在该初始时段中查找语音停顿长度大于或等于停顿阈值的停顿点，选择距离该初始时段中点最近的停顿点作为细分点进行切分；若不存在满足所述停顿阈值的停顿点，则按照预设的固定步长进行细分，直到所有时段长度均处于所述时段下限阈值与所述时段上限阈值之间，得到所述视频时段。

22、进一步，所述得到描述所述视频时段的多模态证据包的步骤包括：

23、在所述视频时段的多个比例时间点处抽取代表帧，并缩放到预设尺寸；

24、将各代表帧输入目标检测模型，在预设的目标置信度阈值下识别目标对象，过滤掉面积小于预设面积比例的检测框，并将相邻代表帧中类别相同且中心点距离小于预设距离比例的检测结果合并为持续对象，得到对象列表；

25、将各代表帧输入文本识别模型，在预设的识别置信度阈值下识别画面文字，并将相邻代表帧中内容相同或编辑距离相似度大于预设相似度阈值的文字进行合并，保留其在各帧中的坐标，得到画面文字列表；

26、按照预设的布局分析抽帧频率读取所述视频时段的分析帧，计算相邻分析帧之间的稠密光流，根据光流幅值的大小将像素划分为不同的运动等级，并统计高运动像素的分布方位和平均运动方向，形成运动摘要；

27、将所述代表帧、转写文本、对象列表、画面文字列表和运动摘要作为输入提交给多模态理解模型，获取所述多模态理解模型输出的包含时段主题、事件描述、动作信息、情境词、语音证据、视觉证据和自评置信度的结构化数据；

28、对所述结构化数据进行校验：若解析失败则进行格式修复，若修复后仍失败则放弃当前视频时段；校验所述语音证据是否为所述转写文本的连续子字符串，若否则清空；校验所述视觉证据中的对象是否在所述对象列表中，若否则删除；若所述语音证据和所述视觉证据均为空，或者所述自评置信度小于预设的置信度阈值，则放弃当前视频时段；校验通过后，将所述结构化数据作为所述多模态证据包。

29、进一步，所述在预设的有序课程知识点池中进行语义向量检索，结合所述学生知识状态信息进行硬条件筛选与确定性评分，得到候选知识点的步骤包括：

30、对所述知识点池中的知识点进行硬条件筛选：删除适用年级、适用学期与目标学生及当前学期不一致的知识点；删除启用状态为未启用的知识点；读取知识点的前置知识点编号列表，若存在掌握度小于预设掌握度阈值的前置知识点，则删除当前知识点；若当前知识点在预设的短时冷却时间内已在同一视频中展示，或者目标学生在预设的长时冷却时间内已看过当前知识点，则删除当前知识点；

31、拼接所述多模态证据包中的时段主题、事件描述、情境词以及所述转写文本，形成检索文本，将所述检索文本输入文本编码模型进行向量提取并进行归一化处理，得到检索向量；

32、利用所述检索向量在所述知识点表的索引中进行检索，召回语义相似度最高的前n个知识点，并与硬条件筛选后的知识点求交集，得到初步候选列表；

33、对所述初步候选列表中的每个知识点计算确定性评分，所述确定性评分基于语义相似度、关键词命中比例和学生知识掌握缺口进行加权求和得到；

34、将所述确定性评分小于预设评分阈值的知识点过滤，并按照所述确定性评分从高到低排序，保留前m个知识点作为所述候选知识点，其中m小于n；若保留的候选知识点数量为零，则当前视频时段不生成知识卡片。

35、进一步，所述将所述候选知识点输入大语言模型进行选择并生成对应的知识卡片信息，包括：

36、将所述候选知识点的唯一编号、知识点名称、标准解释文本、备用卡片正文、现实情境标签、确定性评分以及所述多模态证据包输入文本大语言模型，限制所述文本大语言模型仅从输入的候选知识点中选择一个目标知识点，并输出包含所选编号、卡片标题和卡片正文的结构化卡片数据；

37、对所述结构化卡片数据进行校验：校验所选编号是否属于输入的候选知识点，卡片标题和卡片正文是否为空且长度未超过预设字数限制；计算所述卡片正文与所述目标知识点对应的标准解释文本之间的语义相似度，校验所述语义相似度是否大于或等于预设的文本相似度阈值；校验所述卡片正文中的数字、百分号或单位信息是否能在标准解释文本或多模态证据包中找到；

38、若上述任一校验失败，则直接采用所述目标知识点在所述知识点池中预存的知识点名称和备用卡片正文作为卡片标题 and 卡片正文，生成初始卡片信息；

39、统计所述卡片标题和所述卡片正文中的字符总数，根据预设的阅读速度计算基准持续时间，若所述目标知识点包含静态示意图，则在所述基准持续时间上增加预设的图像阅读时间，将最终的持续时间限制在预设的显示时间范围内，得到所述知识卡片信息。

40、进一步，在生成所述知识卡片信息之后，还包括确定所述知识卡片信息的显示时间段并进行时间冲突处理的步骤，具体包括：

41、在所述转写文本中查找包含所述多模态证据包中语音证据的句子，将该句子的结束时间加上预设延迟时间作为卡片的初始开始时间；若未找到对应的语音证据，则将所述视频时段的开始时间加上预设等待时间作为初始开始时间；

42、若所述初始开始时间加上所述知识卡片信息中的持续时间晚于所述视频时段的结束时间减去安全余量，则将所述初始开始时间向前移动，且移动后的初始开始时间不得早于语音证据对应句子的结束时间，若无法满足则取消当前知识卡片的展示；

43、对全视频进行时间密度控制：在任意预设的滑动时间窗口内，保留的知识卡片数量不超过预设的最大卡片数；相邻两张知识卡片之间保持预设的最小空白间隔时间；同一知识点在同一视频中的再次展示间隔不小于预设的冷却时间；

44、若两张知识卡片的时间发生冲突，则优先保留确定性评分较高的知识卡片，将另一张知识卡片按照预设步长向后移动进行重新尝试，若在达到最大尝试次数后仍无法安排，则取消另一张知识卡片的展示，最终确定各知识卡片的显示时间段。

45、进一步，所述计算在连续分析帧中由目标对象、画面文字和运动区域聚合得到的统一禁遮挡掩膜；基于所述统一禁遮挡掩膜在多个候选显示区域中确定目标显示位置的步骤包括：

46、在所述知识卡片信息的显示时间段内，按照预设的布局分析抽帧频率读取多张分析帧并缩放到分析尺寸；

47、针对每张分析帧，通过目标检测模型识别人物对象以及面积大于预设比例或置信度大于预设阈值的非人物对象，对检测框进行边界向外扩展，将扩展区域置为1，其余区域置为0，得到单帧对象保护掩膜；

48、通过文本识别模型识别每张分析帧中的文字，对文字框进行边界向外扩展，将扩展区域置为1，其余区域置为0，得到单帧文字保护掩膜；

49、计算相邻分析帧之间的稠密光流，将光流幅值大于运动阈值的像素置为1，其余置为0，通过闭运算填补孔洞并过滤面积小于预设比例的区域，再向外膨胀预设像素，得到单帧运动保护掩膜；

50、将单帧对象保护掩膜、单帧文字保护掩膜和单帧运动保护掩膜进行逻辑或运算，得到单帧禁遮挡掩膜；

51、统计每个像素在所有分析帧中被置为1的频次，若某像素在对象保护掩膜或文字保护掩膜中被置为1的帧数比例大于或等于预设的稳定比例阈值，或者在任一帧的运动保护掩膜中被置为1，则将该像素写入统一禁遮挡掩膜中。

52、进一步，所述根据所述目标显示位置和所述知识卡片信息，生成对应的卡片图像的步骤包括：

53、根据所述目标显示位置在所述显示时间段内对应的连续分析帧，计算所述目标显示位置区域内的背景平均亮度和背景颜色直方图；

54、根据所述背景平均亮度动态调整所述卡片图像中卡片背景的透明度，当所述背景平均亮度处于预设的高亮度区间时，降低所述卡片背景的透明度以增强卡片对比度；当所述背景平均亮度处于预设的低亮度区间时，提高所述卡片背景的透明度以减少对视频画面的遮挡；

55、根据所述背景颜色直方图，计算所述背景的主导色调，并从预设的防视觉疲劳调色板中选择与所述主导色调互补且对比度大于预设对比度阈值的颜色，作为所述卡片图像中卡片标题和卡片正文的文本颜色；

56、在所述卡片图像的生成过程中，为所述卡片图像设置带透明通道的圆角矩形背景，并在所述卡片图像的边缘设置自适应发光边框，所述发光边框的亮度和颜色根据所述背景平均亮度和所述文本颜色进行动态微调，以在保证卡片文本可读性的同时，降低卡片图像对目标学生造成的视觉疲劳；

57、在输出所述增强视频文件之后，还包括对所述学生知识状态信息进行闭环动态更新的步骤，具体包括：

58、在目标学生观看所述增强视频文件时，实时监测目标学生针对所述知识卡片信息的交互行为，所述交互行为包括卡片显示期间的视频暂停行为、视频重播行为、视频快进跳过行为以及卡片点击行为；

59、根据所述交互行为的类型和持续时间，计算目标学生对当前展示知识点的即时关注度，其中，所述视频暂停行为、视频重播行为和卡片点击行为对应正向关注权重，所述视频快进跳过行为对应负向关注权重；

60、在目标学生观看完所述增强视频文件后，向目标学生推送与展示过的知识点相对应的微型测试题目，获取目标学生的答题正确率；

61、结合所述即时关注度和所述答题正确率，通过预设的知识掌握度更新函数，动态更新所述学生知识状态信息中对应知识点的掌握度数值；

62、将更新后的掌握度数值写入所述关系型数据库的学生知识状态表中，作为后续视频增强过程中进行硬条件筛选和确定性评分的依据，实现自适应的知识点迭代推荐。

63、一种基于多模态的个性化科学知识伴随式视频增强系统，其特征在于，包括：

64、数据获取模块，用于获取原始视频文件以及目标学生对应的学生知识状态信息；

65、时段切分模块，用于对所述原始视频文件进行解析，提取音频流并进行语音识别，得到带时间戳的转写文本；同时对所述原始视频文件进行镜头边界检测，并结合所述转写文本的句末时间戳对镜头边界进行校正，将所述原始视频文件划分为多个视频时段；

66、证据提取模块，用于针对每个视频时段，提取多张代表帧，并识别各代表帧中的目标对象信息、画面文字信息以及相邻帧之间的运动特征，将代表帧、转写文本、目标对象信息、画面文字信息和运动特征输入多模态理解模型，得到描述所述视频时段的多模态证据包；

67、知识检索模块，用于基于所述多模态证据包，在预设的有序课程知识点池中进行语义向量检索，结合所述学生知识状态信息进行硬条件筛选与确定性评分，得到候选知识点；将所述候选知识点输入大语言模型进行选择并生成对应的知识卡片信息；

68、布局确定模块，用于针对所述知识卡片信息，获取其在视频中预计显示的连续分析帧，计算在连续分析帧中由目标对象、画面文字和运动区域聚合得到的统一禁遮挡掩膜；基于所述统一禁遮挡掩膜在多个候选显示区域中确定目标显示位置；

69、视频渲染模块，用于根据所述目标显示位置和所述知识卡片信息，生成对应的卡片图像，并将所述卡片图像在对应的显示时间段内叠加至所述原始视频文件中，输出与所述原始视频文件时长一致的增强视频文件。

70、方案原理及有益效果如下：本发明围绕输入原始视频和学生知识状态，输出等时长且叠加个性化科学知识卡片的增强视频这一技术链路展开，其核心机理在于通过多模态特征融合、确定性事实约束和时空连续性避让，实现知识的精准、无感、个性化伴随式推送。

71、本发明在切分视频时，并非采用单一的画面突变检测或固定的时间片划分，而是通过提取音轨进行语音识别得到带时间戳的转写文本，并计算相邻分析帧的二维直方图差异以确定镜头边界。随后，利用转写文本的句末时间戳对镜头边界进行校正。这一手段的机理在于利用语义停顿（句末）来约束视觉镜头的物理切换点，从而避免将一句完整的解说文字从中间切断，确保了切分出的视频时段在视觉和听觉语义上均具备高度的完整性，为后续的多模态内容理解奠定了高质量的数据单元基础。

72、在视频时段理解阶段，首先通过目标检测、文本识别和稠密光流算法，提取代表帧中的目标对象、画面文字以及相邻帧之间的运动特征，再将这些结构化特征与转写文本共同输入多模态理解模型，生成多模态证据包。这一手段的机理在于先结构化提取、后多模态融合，避免了直接将整段视频输入大模型所带来的高昂计算成本和理解偏差。通过将视觉对象、ocr文字、运动摘要和语音文字进行交叉互证，形成了高可信度的语义证据链，有效抑制了大模型在视频理解上的事实性幻觉。

73、在知识检索阶段，利用多模态证据包拼接形成的检索文本，在预设的有序课程知识点池中进行语义向量检索，并结合目标学生的知识状态信息进行硬条件筛选（如年级、学期、前置依赖关系及冷却时间）与确定性评分。这一手段的机理在于将语义相关性与学生认知状态进行双轨耦合。硬条件筛选确保了推送的知识点严格符合学生的当前课程进度和认知边界；确定性评分则通过量化语义相似度、关键词命中率和学生掌握缺口，精准召回最契合当前视频情境且学生最亟需巩固的知识点，实现了真正的因材施教。

74、在卡片生成阶段，将候选知识点及其对应的标准解释文本、备用卡片正文等事实数据，与多模态证据包一同输入大语言模型，限制模型仅能在候选编号中进行选择和卡片正文生成，并对生成结果进行严格的语义相似度与事实来源校验。该机理通过“先检索、后生成”的检索增强生成（rag）架构，将大语言模型的生成空间限制在由教师校核过的标准知识点池内，从根本上杜绝了知识点超出课程范围或出现事实性错误的风险。

75、在位置确定阶段，提前读取卡片显示时间窗内的连续分析帧，将各帧中检测到的人物/对象、原有文字以及稠密光流计算出的运动轨迹进行时空维度的聚合，生成统一的禁遮挡掩膜，并在六个预设候选区域中评估遮挡比例以确定最终位置。这一手段的机理在于时空连续性避让。它不仅考虑了单帧画面的静态空白区域，还通过光流运动轨迹预测了移动对象在未来数秒内的运动走廊，从而能够提前避让即将移动到该区域的关键人物或对象，避免了卡片在播放过程中发生闪烁、跳动或遮挡关键画面的现象，最大程度地保护了原视频的观看体验。

76、本发明通过构建由教师审核的有序课程知识点池作为事实边界，并采用大模型受限选择与多重相似度校验机制，确保了最终生成的知识卡片内容准确无误且完全符合教学大纲，避免了现有技术中直接使用大模型自由生成知识时易出现的表述过长、内容重复或事实错误等问题。

77、通过连续多帧禁遮挡掩膜的计算，将人物、关键对象、原有字幕以及动态物体的运动轨迹共同纳入禁遮挡区域，并采用“无安全位置则降级或取消”的保守策略。这有效解决了现有技术中固定模板易遮挡画面、干扰观看体验的痛点，实现了知识卡片与原视频画面的无缝、无感融合。

78、本发明中通过结合学生的年级、学期、历史展示记录以及前置知识掌握度，动态筛选和推送知识卡片，并通过全视频时间密度控制（如60秒内最多3张、最小间隔5秒）来限制卡片出现频率。这使得学生在观看普通视频的放松状态下，能够以极低的认知负荷反复接触与其当前进度匹配的科学知识，实现了“寓教于乐”的隐式学习效果。

79、本发明提供了一套完全自动化的离线视频加工管线，从原始视频输入到增强视频输出无需人工干预，且各算法组件（如ffmpeg、目标检测、ocr、光流、向量检索等）均采用成熟且可直接编程实现的软件库。这使得系统能够以极低的计算和人力成本，对海量的普通视频进行批量化、规模化的知识增强处理。

80、本发明输出的增强视频文件在分辨率、帧率及总时长上与原始视频完全一致，不改变原视频的播放节奏，不插入停顿，能够直接在任何常规视频播放器和现有的内容平台上无缝播放，具备极高的实际应用与推广价值。