一种腹腔镜状态转换贡献识别及技能评价方法与系统与流程

摘要: 本发明涉及医学技能训练、计算机辅助训练评价、运动数据处理及传感信息处理,尤其涉及一种用于腹腔镜实体训练过程中,将训练器械的运动片段与具体任务状态转换建立贡献关系...
一种腹腔镜状态转换贡献识别及技能评价方法与系统与流程

本发明涉及医学技能训练、计算机辅助训练评价、运动数据处理及传感信息处理,尤其涉及一种用于腹腔镜实体训练过程中,将训练器械的运动片段与具体任务状态转换建立贡献关系,并据此进行运动行为识别和技能评价的方法与系统。

背景技术:

1、腹腔镜技能训练通常需要受训者在实体训练箱内使用腹腔镜器械完成物体转移、图形切割、缝合等标准化训练任务。为了提高训练评价的客观性,现有技术可以采集器械位置、姿态、速度、加速度、运动路径等数据,并据此计算完成时间、路径长度、运动平滑度、工作空间等指标。

2、然而,仅依据运动路径、速度或者平滑度等运动学指标进行评价,不能充分反映一段运动在具体任务中的实际作用。例如,为获得后续有效抓持、避开障碍、调整针具姿态或者恢复正确操作空间,操作者可能需要执行一定的回撤、旋转或位置调整。该类运动虽然未立即改变训练目标物的任务状态,却可能为后续有效操作建立必要的空间、姿态或者交互条件。

3、相反,某些运动虽然路径较短或者速度较快,但如果其未被后续有效操作利用、未推动任务状态转换,也未完成错误恢复,则不应仅因其运动学表现而被认定为高质量运动。

4、因此,需要一种能够基于实体训练任务的状态转换过程,判断未直接触发任务状态转换的运动片段是否为后续实际完成该状态转换建立并提供了被实际利用的操作前置条件,从而区分具有任务贡献的必要准备运动与未产生任务贡献的冗余运动的技术方案。

技术实现思路

1、一、要解决的技术问题

2、本发明旨在解决现有腹腔镜实体训练评价中,仅根据运动量或者即时目标物变化难以识别准备性运动实际任务贡献的问题。

3、进一步地,本发明旨在解决相似的器械运动片段在不同任务上下文中可能具有不同操作意义,而现有运动学评价容易将必要准备运动误判为低效率运动,或者将未被后续有效操作利用的运动误判为有效运动的问题。

4、进一步地,本发明还旨在对来源于实体训练器械和实体训练目标物的物理测量数据进行关联处理,使运动片段的自动识别结果与实体任务状态转换建立可检测、可重复的对应关系,以降低仅依据运动学指标对实体训练运动行为进行自动分类时产生的误分类。

5、二、技术方案

6、为解决上述技术问题,本发明提供一种腹腔镜训练运动行为识别及技能评价方法。该方法获取腹腔镜实体训练过程中训练器械的运动数据以及实体训练目标物的状态数据;依据预设任务状态转换规则确定第一任务状态、第二任务状态以及由第一任务状态转换至第二任务状态的目标状态转换;根据运动数据以及器械—目标物交互事件和/或任务状态变化事件,将连续运动划分为多个运动片段。

7、对于未直接触发所述目标状态转换的第一运动片段,根据该运动片段对应的器械运动状态、器械与实体训练目标物之间的相对状态和/或实体训练目标物状态,确定所述第一运动片段形成的至少一个可检测的操作前置条件。

8、进一步确定发生于第一运动片段之后且与目标状态转换关联的第二运动片段,检测所述操作前置条件在第二运动片段执行过程中是否保持成立和/或被第二运动片段实际利用,并检测第二运动片段是否实际使训练任务完成所述目标状态转换。

9、在所述操作前置条件被第二运动片段保持和/或利用且第二运动片段实际完成目标状态转换的情况下,将第一运动片段确定为对该目标状态转换具有使能贡献的运动片段;根据至少一个运动片段与至少一个任务状态转换之间的状态转换贡献关系生成腹腔镜技能评价结果。

10、所述操作前置条件是由第一运动片段形成的、能够由系统检测并在后续操作中保持或者被利用的状态条件,包括器械位置条件、器械姿态条件、器械轴向旋转条件、器械与目标物相对位置条件、工作空间或安全间隙条件、抓持或接触条件、目标物位置或姿态条件、目标物张力或暴露条件中的一种或多种。

11、所述“被后续运动片段利用”是指:第二运动片段在执行期间满足或者持续保持第一运动片段形成的操作前置条件,并且第二运动片段针对与该操作前置条件关联的同一训练器械、同一实体训练目标物或者具有预设任务关联的训练对象执行交互,从而实际完成与该操作前置条件相对应的目标状态转换。

12、在一种实施方式中,系统还可以识别直接引起目标状态转换的直接贡献运动片段、使错误状态恢复到合法可继续状态的恢复贡献运动片段,以及未直接完成目标状态转换、未建立被后续目标状态转换实际利用的操作前置条件且未完成错误恢复的非贡献运动片段。

13、在一种实施方式中,一个目标状态转换可以关联多个运动片段;其中至少一个运动片段可以作为直接贡献运动片段,至少一个先行运动片段可以作为使能贡献运动片段。运动片段与状态转换之间的关联可以依据时间窗口、操作序列窗口、器械标识、目标物标识、空间关系连续性、姿态连续性和交互连续性中的一种或多种确定。

14、训练器械运动数据可由光学视觉、被动或主动视觉标记、rgb-d深度视觉、电磁定位、机械编码、惯性传感、机器人编码器或者多传感器融合方式获得。本发明不以特定运动数据采集硬件为必要限定。

15、实体训练目标物的状态数据可由rgb图像、深度图像、视觉标记、目标检测、图像分割、接触传感、力传感、位置传感、开关量传感或者多源融合方式获得。

16、任务状态转换规则可以通过状态图、状态表、有限状态机、规则集合、概率状态模型或者等效的数据结构表示。优选地,任务状态的确定和状态转换贡献的判定可由确定性规则或有限状态机实现,从而无需依赖特定人工智能模型即可实施本发明。

17、当采用机器学习模型辅助任务状态识别或者交互事件识别时,其输入至少包括器械运动数据、目标物状态数据和/或器械—目标物相对状态数据,其输出包括任务状态、交互事件或前置条件状态中的至少一种;所述机器学习模型并非本发明独立权利要求的必要限定。

18、在一种优选实施方式中,腹腔镜实体训练系统包括实体训练箱、至少一件腹腔镜训练器械、至少一个实体训练目标物、至少一个传感器子系统以及与所述传感器子系统通信连接的数据处理装置。所述传感器子系统采集表征训练器械运动和/或实体训练目标物物理状态的传感信号,并为所述传感信号建立时间信息;数据处理装置根据所述传感信号获得训练器械状态数据和实体训练目标物状态数据,并基于所述状态数据执行任务状态转换贡献识别。

19、在一种实施方式中,来自不同传感源的训练器械运动数据和实体训练目标物状态数据被转换到共同的任务时间轴;当需要空间关联时,所述数据还可以被转换到共同坐标参考系。由此可根据运动片段的起止时间、器械标识、目标物标识以及对应任务状态,建立运动片段与目标状态转换之间的机器可处理关联记录。

20、在一种实施方式中,贡献归因模块为每一经评价的运动片段生成机器可读贡献记录,所述贡献记录至少包括运动片段标识、关联任务状态转换标识、训练器械标识、实体训练目标物标识、操作前置条件状态以及贡献类型中的一种或多种。所述贡献记录可以被存储、传输、用于生成训练设备输出或作为后续训练评价处理的输入。

21、三、有益效果

22、与仅依据路径长度、速度、加速度或运动平滑度进行评价的方案相比,本发明通过验证先行运动片段形成的操作前置条件是否在后续运动中被保持和/或实际利用,并结合后续是否实际完成目标状态转换,对准备性运动进行状态转换贡献归因。

23、由此,本发明能够降低将必要准备、回撤、调整或者调姿运动误判为冗余运动的概率,同时降低未产生实际任务贡献的运动因路径较短或速度较快而被误判为高质量运动的概率。

24、本发明还能够将评价结果定位到具体任务状态转换环节,并输出直接贡献、使能贡献、恢复贡献和非贡献等具有任务上下文的运动行为信息,从而提高腹腔镜实体训练运动行为识别的准确性、可重复性和可解释性。

25、进一步地,本发明通过对来源于实体训练器械和实体训练目标物的物理测量数据进行时间关联和任务状态关联,并验证先行运动形成的物理前置条件是否被后续实体操作实际保持和/或利用,可减少仅依据路径长度、速度或即时状态变化对物理运动片段进行自动分类时产生的误分类,提高实体训练运动行为自动检测与分类结果的可靠性。