基于多源视频流并发处理的托育实训精细化示教交互系统的制作方法

本发明涉及智能教学系统，具体涉及基于多源视频流并发处理的托育实训精细化示教交互系统。

背景技术：

1、随着托育专业实训教学的信息化发展，越来越多的职业院校开始引入智能化示教与测评系统，用于辅助教师开展婴幼儿照护技能训练。现有托育实训系统通常通过多摄像头采集教师示范过程和学生实操过程，将教师的操作画面投放至教室大屏或学生终端，使学生能够从不同角度观察托育技能动作。同时，系统还可以对学生实操过程进行录制，并结合人工智能识别技术，对学生的动作规范性、操作顺序、物品使用情况和语言交流情况进行分析，从而为教师评价和课后复盘提供数据依据。在现有技术中，多源视频流的接入已经较为常见。例如，在教师示教环节，系统可以同时接入正面摄像头、侧面摄像头、俯视摄像头以及局部特写摄像头，用于展示教师手部动作、婴幼儿模型状态、护理工具摆放位置和整体操作姿态。通过多路画面的采集与显示，现有系统在一定程度上改善了传统课堂中后排学生看不清教师细节动作的问题，也提高了实训过程的可记录性和可追溯性。

2、但是，现有多源视频示教系统在并发处理多路视频流时，通常仍采用固定主摄像头、人工切换摄像头、轮询展示或简单画面拼接的方式进行显示。也就是说，系统虽然能够采集多路视频，但并不能根据当前托育教学动作的实际内容、关键操作区域的可见程度、画面清晰度以及师生交互状态，自动判断哪一路视频最适合作为当前主示教画面。当多个摄像头同时采集到不同角度的操作画面时，系统缺少一种面向托育教学场景的动态主画面选择机制。进而在多源视频流并发示教过程中，系统无法准确、及时地根据当前教学动作的重要程度和画面细节可见性，动态选择最具教学价值的主显示画面，导致关键操作画面的展示不够精准。其主要原因是：

3、现有系统对多源视频的处理重点多集中在能否采集和能否显示层面，而缺少对画面教学价值的细粒度分析。托育实训动作具有明显的阶段性和精细性，不同教学阶段所需关注的画面角度并不相同。例如，进行换尿布示教时，俯视角更有利于展示尿布边缘整理和婴幼儿模型体位变化；进行拍嗝示教时，侧视角更有利于展示托抱姿态、手掌位置和拍击节奏；进行冲泡奶粉示教时，局部特写角更有利于观察奶粉量取、液面高度和奶瓶倾斜角度。若系统仍按照固定摄像头优先级或人工切换方式进行展示，就难以及时匹配当前动作阶段的最佳观察视角。此外，现有系统通常没有对关键部位是否完整可见、是否存在遮挡、画面是否清晰、动作变化是否集中在某一路视频中等因素进行统一计算。某一路视频虽然被设为主画面，但其关键操作区域可能已经被教师身体、手臂或护理工具遮挡；另一摄像头虽然能够更清楚地捕捉到手部细节，却因未被系统自动选中而只能作为辅助画面或后台数据存在。由此可见，多摄像头资源虽然已经接入系统，但其显示价值并未被充分挖掘。

4、进而使学生可能无法在关键时刻看到最重要的操作细节，导致对动作要领理解不充分，后续模仿练习时容易出现手法不规范、步骤遗漏或操作顺序错误等问题。其次，教师为了保证学生看清细节，可能需要在示教过程中频繁手动切换摄像头，增加了教学负担，也破坏了托育动作示范的连续性。再次，若关键操作画面未被清晰、完整地呈现和记录，后续ai测评、实操复盘和错误定位也会受到影响，导致系统评价结果的准确性和指导价值下降。

5、因此，提出基于多源视频流并发处理的托育实训精细化示教交互系统来解决上述提出的问题。

技术实现思路

1、解决的技术问题

2、针对现有技术所存在的上述缺点，本发明提供了基于多源视频流并发处理的托育实训精细化示教交互系统，能够有效地解决现有技术中托育实训示教系统在多源视频流并发处理时，缺乏根据教学动作内容、关键对象可见性与画面质量动态选择最佳主示教画面的机制，导致关键操作细节展示不精准、教师需频繁手动切换画面、学生观摩效果差的问题。

3、技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：

5、本发明提供基于多源视频流并发处理的托育实训精细化示教交互系统，包括：多源视频采集与同步接入模块，用于从示教现场的多个摄像头中并发获取托育实训视频画面，并对各路视频进行统一时间标记、帧序整理和基础质量检查；

6、托育教学动作阶段识别模块，用于通过对多路视频中的人体姿态、手部动作、工具出现状态、模型接触状态和操作区域变化进行综合分析，识别当前教学动作所处的动作阶段为；

7、单路关键对象初始检测模块，用于分别从每一路视频帧中提取初始关键对象区域，得到原始检测对象集合，每个原始检测对象包含检测区域、检测类别和检测置信度；

8、跨流对象身份一致性协同提取模块，用于通过综合跨流类别一致性、时间一致性、跨流空间投影一致性、检测置信融合值和教学阶段对象关联度，计算跨流对象身份一致性评分，并据此生成跨流统一对象簇；

9、关键对象区域校准与补全模块，用于根据所述跨流统一对象簇修正各路视频中的关键对象区域，对漏检对象通过跨视角投影函数进行补全，得到校准后的关键对象区域集合；

10、关键对象完整度与画面质量评估模块，用于基于校准后的关键对象区域计算各路视频的整体关键对象完整度和画面清晰度；

11、教学动作价值融合评估模块，用于综合各路视频的整体关键对象完整度、画面清晰度、动作阶段匹配度、遮挡惩罚系数、动作变化强度和交互关注度，计算教学主画面适配值；

12、主画面自适应决策模块，用于比较各路视频的教学主画面适配值，得到候选主画面视频流编号，并通过与当前主画面适配值的差值比较及主画面切换阈值的判断，决定是否更新主画面；

13、多画面协同示教交互模块，用于将最终确定的主示教画面与辅助画面以交互方式呈现给教师和学生。

14、进一步地，所述跨流对象身份一致性协同提取模块还包括流对可信状态自调节匹配模块，用于根据两路视频的清晰程度、无遮挡状态、时间同步程度、对象运动变化、遮挡冲突情况、教学阶段必要性以及周围候选对象的竞争情况，动态生成当前对象对的匹配判断边界，并据此判断两个检测对象是否属于同一真实教学对象。

15、进一步地，所述跨流对象身份一致性协同提取模块中，所述时间一致性的计算基于补偿后的有效时间偏差，所述补偿后的有效时间偏差通过以下方式获得：

16、分别构建两路视频流的动作节律序列和；

17、在候选时间位移集合中搜索最优时间补偿量；

18、根据最优时间补偿量对应的动作节律相似度与补偿可信度阈值v的比较，生成时间补偿可信标识；

19、基于所述时间补偿可信标识对原始时间偏差进行修正，得到补偿后的有效时间偏差；

20、进而计算改进后的跨流时间一致性；其中为时间衰减系数。

21、进一步地，所述跨流对象身份一致性协同提取模块中，所述跨流对象身份一致性评分的计算公式为：

22、；式中，为类别一致性权重；为时间一致性权重；为空间投影一致性权重；为检测置信融合权重；为教学阶段关联度权重；且满足：

23、。

24、进一步地，所述关键对象区域校准与补全模块中，对于每个跨流统一对象簇，通过融合簇内各原始检测对象的置信度计算各候选类别的融合得分，并选取得分最高的类别作为统一对象类别；对于缺失检测的视频流，通过跨视角投影函数补全该路视频中的修正后检测区域。

25、进一步地，所述关键对象完整度与画面质量评估模块中，所述整体关键对象完整度通过各路视频中每个关键对象区域的可见完整度的平均值计算，其中可见完整度；式中，为实际可见面积，为理论完整面积；

26、所述画面清晰度通过帧内像素梯度强度的平均值计算，即：

27、。

28、进一步地，所述教学动作价值融合评估模块中，所述动作阶段匹配度定义为当前动作阶段下第i路视频流的视角适配权重；

29、所述遮挡惩罚系数，其中表示第i路视频流在时刻t的遮挡比例，即：；式中，为关键对象区域的遮挡面积，为总区域面积；

30、所述动作变化强度；式中，表示第i路视频流中第h个关键点在当前时刻t的位置；表示第i路视频流中第h个关键点在上一时刻的位置；表示相邻两次计算之间的时间间隔；h为关键点的索引编号；

31、所述交互关注度；式中，表示时刻t的交互事件强度；表示第i路视频流与当前交互事件的关联权重。

32、进一步地，所述教学主画面适配值的计算公式为：

33、；式中，为关键对象完整度权重；为画面清晰度权重；为动作阶段匹配度权重；为遮挡惩罚系数权重；为动作变化强度权重；为交互关注度权重；其满足，且。

34、进一步地，所述主画面自适应决策模块中，候选主画面视频流编号；

35、当，则执行切换，即：

36、；

37、否则保持原主画面，即：

38、。

39、进一步地，还包括：

40、实操录制与ai测评支撑模块，用于将示教和实操过程中的多源视频、校准后的关键对象区域、主画面选择结果和动作阶段信息进行结构化记录，并提供给ai测评单元进行动作规范性、操作完整性、对象接触合理性和流程完成情况分析；

41、多维数据统计与反馈模块，用于对视频处理结果、示教交互结果和ai测评结果进行汇总分析，生成教学反馈、学习报告或训练改进建议。

42、有益效果

43、本发明提供的技术方案，与现有技术相比，具有如下有益效果：

44、本发明通过综合跨流类别一致性、时间一致性、跨流空间投影一致性、检测置信融合值和教学阶段对象关联度，计算跨流对象身份一致性评分，并据此生成跨流统一对象簇；对于缺失检测的视频流，利用其他视频流中的可信区域通过跨视角投影函数进行补全，同时对簇内各检测对象的类别进行融合投票以确定统一对象类别。解决了多摄像头视角下同一真实教学对象在不同视频流中被重复识别、误识别或漏检的问题，显著提升了关键对象区域提取的准确性和稳定性；同时避免了因对象身份不一致导致的画面完整度错误估计和主画面误判，为后续画面质量评估和主画面自适应决策提供了统一、可靠的数据基础。

45、同时分别构建两路视频流的帧间变化强度序列，形成动作节律序列；在候选时间位移集合中搜索最优时间补偿量，并根据动作节律相似度与补偿可信度阈值的比较生成时间补偿可信标识；基于该标识对原始时间偏差进行修正，得到补偿后的有效时间偏差，进而计算改进后的跨流时间一致性。有效消除了因不同摄像头采集编码延迟、传输链路抖动和缓存差异导致的帧到达时间错位，使跨流时间一致性能够真实反映教学动作本身的同步程度；避免了因传输延迟造成的对象误匹配或漏匹配，提高了跨流身份一致性判断的可靠性，尤其适用于托育实训中连续快速动作场景。

46、此外，通过综合各路视频的整体关键对象完整度、画面清晰度、动作阶段匹配度、遮挡惩罚系数、动作变化强度和交互关注度，计算教学主画面适配值；选出适配值最高的视频流作为候选主画面，并通过与当前主画面适配值的差值比较及切换阈值判断，决定是否执行主画面更新。实现了根据当前教学动作内容、关键对象可见程度、画面质量和师生交互状态动态选择最佳示教视角，避免了固定摄像头或人工切换的局限性；同时通过切换阈值抑制了因评分轻微波动导致的频繁跳切，保证了示教过程的连续性和观看稳定性，使学生能始终在最优视角下观察关键操作细节，显著提升了托育技能训练的精细化示教效果。