一种微观差异可视化的体格检查体验式学习系统及方法
本发明涉及医学教育与人工智能交叉,具体涉及一种微观差异可视化的体格检查体验式学习系统及方法。
背景技术:
1、体格检查是医学教育和临床实践中的一项基本技能,其涉及全身各个系统,内容繁多且手法要求精准,稍有偏差就可能影响检查结果的准确性,目前,体格检查的教学主要依赖教师的课堂示范和学生的课后练习,由于学生人数众多,教师难以在课堂上对每个学生进行一对一的指导,无法及时发现和纠正学生的错误手法,同时在课后练习中,学生往往仅通过观看正确示范视频进行模仿,难以识别自身错误手法与标准示范操作之间的微观差异,这种缺乏及时反馈的练习方式,容易导致错误手法的不断重复与强化,严重影响技能掌握的精准度。
2、近年来,基于计算机视觉的动作识别技术被应用于教学辅助领域。如公开号为cn121860821a的发明专利申请公开了一种基于多智能体的个性化戏曲动作教学辅助方法及系统,能够对用户的动作进行实时评分并生成文本或语音反馈,仍存在以下不足:1、通用的姿态估计算法针对体格检查中手部精细动作(如手指并拢程度、指尖按压角度)的识别精度不足,难以捕捉关键的微观差异;2、反馈方式多为评分或文字描述,缺乏错误操作与标准操作的直观视觉对比,学生难以理解自身错误的具体位置和性质。
3、因此,如何提供一种能够精准识别体格检查微观手法差异、并以直观的可视化对比方式引导学生自主纠错的智能学习系统及方法,是本领域亟待解决的技术问题。
技术实现思路
1、针对现有技术不足,本发明旨在提供一种微观差异可视化的体格检查体验式学习系统,能够精准抓取、识别并纠正学生常见体格检查错误及其与正确示范之间的微观差异,从而提升学习效果。
2、本发明提供的基础方案:一种微观差异可视化的体格检查体验式学习系统,包括:
3、数据采集与预处理模块,用于获取学生进行体格检查操作的实时视频流,并将所述视频流分帧处理得到视频帧;
4、结构化知识库模块,用于存储预先构建的体格检查标准操作视频、常见错误手法视频及对应的微观特征标注数据;
5、智能识别与差异分析模块,包括:
6、项目识别子模块,采用第一级目标检测网络,用于识别所述视频帧中学生正在操作的体格检查项目;
7、微观特征提取子模块,采用第二级目标检测网络,并在所述第二级目标检测网络的骨干网络中引入注意力机制,用于在识别出的体格检查项目区域内提取手部关键点及操作部位的微观特征,生成微观特征向量;
8、差异计算子模块,采用动态时间规整算法,计算由所述视频帧构成的学生操作视频序列的微观特征向量与所述结构化知识库模块中标准操作视频序列的微观特征向量之间的时空差异度;
9、微观差异可视化反馈模块,用于当所述时空差异度超过预设阈值时,在可视化界面上同步并列显示当前错误手法视频片段与对应的标准操作视频片段,并在视频画面中高亮标记出微观差异区域,同时输出纠错指导信息。
10、进一步,所述微观特征包括以下至少一种:手部关键点的坐标、手指之间的像素距离、指尖与操作部位体表法线之间的夹角。
11、进一步,所述第一级目标检测网络和所述第二级目标检测网络均为yolo系列网络。
12、进一步,所述结构化知识库模块通过以下方式构建:收集体格检查错误手法视频及标准示范视频;使用图像标注工具对视频帧中的手部关键点、操作部位及错误类型进行多维度标注,获取所述微观特征标注数据;将标注数据与对应的视频片段关联,构建包含检查项目、错误类型、微观特征和纠错策略的结构化知识图谱。
13、进一步,所述微观差异可视化反馈模块还包括体验式学习引导子模块,该子模块用于:在输出所述纠错指导信息后,引导学生进行反思记录;根据反思记录及本次错误类型,推送对应的概念强化材料;以及要求学生重新进行实践操作,直至所述时空差异度低于所述预设阈值。
14、本发明的原理及有益效果在于:通过级联目标检测网络与注意力机制的有机结合,实现了对体格检查微观手法的精粒度识别,具体而言,第一级yolo系列网络快速定位学生正在操作的检查项目及感兴趣区域(roi),第二级网络在roi内利用卷积块注意力模块(cbam)增强对手部关键点、指尖位置、指间距离等细微特征的响应能力,输出高维微观特征向量。与现有技术中采用通用姿态估计算法仅能提取稀疏关键点不同,本发明的级联注意力机制能够聚焦于手指并拢程度、按压角度等体格检查特有的微观指标,显著提升了对初学者常见错误手法的检出率。
15、在此基础上将动态时间规整(dtw)算法应用于体格检查动作序列的时空差异度计算,并与微观差异可视化反馈模块协同工作,具体而言,dtw算法通过弹性对齐学生操作序列与标准序列,消除了不同操作速度带来的时序偏差,使评估结果更加符合真实教学场景,当差异度超过阈值时,系统自动生成错误与正确并列的视频,并在两侧画面中同步高亮标记出具体的微观差异区域(如指间间隙、按压方向箭头),相较于现有技术仅输出评分或文本反馈的方式,这种直观的视觉对比能够帮助学生快速定位自身错误部位,理解失误的几何性质,从而有效阻断错误手法反复练习的恶性循环。
16、此外,将体验式学习理论内嵌为自动化引导子模块,形成了从识别、对比、反思、重构到再实践的闭环,系统在指出错误后,强制学生进行结构化反思记录,并根据错误类型推送对应的解剖学/病理学概念卡片(抽象概念化),最后要求学生重新实践直至达标,与现有技术中事后、离线的画像更新不同,本发明的体验式引导模块在每次错误发生时即时介入,按照具体体验、反思观察、抽象概念化、主动实践的四阶段循环,将每一次错误转化为完整的学习事件,从而显著提升了技能掌握的稳固性和迁移能力。
17、相对应地,本发明还提供了一种微观差异可视化的体格检查体验式学习方法,包括以下步骤:
18、s1、获取学生进行体格检查操作的实时视频流,并分帧处理得到视频帧;
19、s2、利用级联的目标检测网络识别所述视频帧中的体格检查项目,并在检测区域内提取手部关键点及操作部位的微观特征,生成微观特征向量;其中,第一级目标检测网络用于识别体格检查项目,第二级目标检测网络结合注意力机制用于提取所述微观特征;
20、s3、采用动态时间规整算法,将学生操作视频序列的微观特征向量与预先构建的结构化知识库中的标准操作视频序列的微观特征向量进行比对,计算时空差异度;
21、s4、判断所述时空差异度是否超过预设阈值,若是,则判定为错误手法,执行步骤s5;若否,则返回步骤s1继续监测;
22、s5、在可视化界面上同步并列显示当前错误手法视频片段与对应的标准操作视频片段,高亮标记微观差异区域,并输出纠错指导信息。
23、进一步,还包括:s6、基于体验式学习的四阶段循环,引导学生依次进行反思观察、抽象概念化和主动实践,直至重新检测到的时空差异度低于所述预设阈值。
24、本方法与上述系统相对应,通过级联目标检测、dtw比对及微观差异可视化步骤,能够实时捕获学生操作中的微观错误,并以并列高亮对比的形式提供直观反馈;并且,通过体验式学习四阶段步骤,引导学生完成从感性认识到理性反思再到主动实践的完整认知闭环,从而显著提升自主练习的效率和技能掌握的准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com