指导信息的生成方法、装置、系统、设备和介质与流程

本公开涉及心内超声操作，尤其涉及一种指导信息的生成方法、装置、系统、设备和介质。

背景技术：

1、当前，心内超声（ice）教学普遍采用传统的图文教程或简单的二维影像展示，无法有效呈现心脏的三维解剖结构和导管操作的实时反馈。尽管有部分公司推出了二维或三维仿真系统，但这些系统通常依赖于专业导师的指导，无法实现自动化反馈和个性化学习。传统模拟器也存在无反馈或者反馈不够智能的弊端，尤其在高效训练心内超声操作技能时显得尤为不便。

技术实现思路

1、本公开要解决的技术问题是为了克服现有技术中心内超声教学采用二维影像、二维或三维仿真系统，导致对心内超声操作的反馈不及时、不智能等缺陷，提供一种指导信息的生成方法、装置、系统、设备和介质。

2、本公开是通过下述技术方案来解决上述技术问题：

3、本公开提供一种指导信息的生成方法，所述生成方法包括：

4、基于预先构建的三维仿真心脏模型，得到对应仿真心脏的目标心内超声图像；

5、将所述目标心内超声图像输入至预先构建的扇面分析模型，以输出目标扇面分析结果；

6、将所述目标扇面分析结果输入至预先训练好的问答模型，以生成与所述仿真心脏的心内超声操作相匹配的目标指导信息。

7、可选地，所述将所述目标扇面分析结果输入至问答模型，以生成与所述仿真心脏的心内超声操作相匹配的目标指导信息的步骤包括：

8、获取操作对象的画像信息，所述操作对象为与所述目标心内超声图像对应的对所述仿真心脏进行心内超声操作的对象；

9、将所述目标扇面分析结果和所述画像信息输入至所述问答模型，以生成与所述仿真心脏的心内超声操作相匹配的所述目标指导信息；

10、和/或，

11、所述将所述目标扇面分析结果输入至问答模型，以生成与所述仿真心脏的心内超声操作相匹配的目标指导信息的步骤之后，还包括：

12、基于所述目标指导信息，生成若干种类型的反馈信息；

13、其中，所述类型包括文字类型、语音类型、振动类型和图像类型中的至少一种。

14、可选地，所述问答模型的训练步骤包括：

15、基于预先构建的所述三维仿真心脏模型，得到对应的所述仿真心脏的若干张样本心内超声图像；

16、将所述样本心内超声图像输入至预先构建的所述扇面分析模型，以输出样本扇面分析结果；

17、获取与所述样本扇面分析结果相匹配的样本关联信息，所述样本关联信息为与操作对象对所述仿真心脏进行心内超声操作相关联的信息；

18、将若干组所述样本扇面分析结果以及匹配的所述样本关联信息输入至预设大语言模型，以训练得到用于对心内超声操作进行指导的问答模型。

19、可选地，所述样本关联信息包括与所述心内超声操作相匹配的样本指导信息以及所述心内超声操作的样本操作状态信息；

20、所述样本操作状态信息包括所述心内超声操作的操作阶段信息、所述心内超声操作的错误类型信息、所述操作对象的画像信息、所述操作对象的历史操作信息和所述操作对象的指令信息中的至少一种。

21、可选地，所述将若干组所述样本扇面分析结果以及匹配的所述关联信息输入至预设大语言模型，以训练得到用于对心内超声操作进行指导的问答模型的步骤包括：

22、基于所述样本扇面分析结果和所述样本操作状态信息，构建提示词；

23、将所述提示词和所述样本指导信息输入至所述预设大语言模型，以训练得到所述问答模型。

24、可选地，所述将若干组所述样本扇面分析结果以及匹配的所述样本关联信息输入至预设大语言模型，以训练得到用于对心内超声操作进行指导的问答模型的步骤之后，还包括：

25、获取若干专家的所述心内超声操作的操作知识；

26、其中，所述操作知识包括专家对所述心内超声操作进行指导的指导记录、专家进行心内超声操作的操作思路和专家的所述心内超声操作的教学培训内容中的至少一种；

27、基于所述操作知识，对所述问答模型进行调整，以得到调整后的所述问答模型；

28、和/或，

29、所述扇面分析模型的训练步骤包括：

30、获取采用若干组样本训练数据训练得到的图像分割模型；

31、其中，每组所述样本训练数据包括样本心内超声图像及对应的样本分割结果；

32、将所述图像分割模型作为教师模型，将所述教师模型对应的任务进行任务解耦处理，得到若干分支任务；

33、基于若干所述分支任务，并行蒸馏出若干学生模型；

34、其中，每个所述分支任务对应一个所述学生模型，所述学生模型采用几何一致性损失函数进行训练得到，所述学生模型包括检测模型、分割模型和分类模型中的至少一种；

35、共享若干所述学生模型的网络权重，得到所述扇面分析模型。

36、本公开提供一种指导信息的生成装置，所述生成装置包括：

37、目标图像获取模块，用于基于预先构建的三维仿真心脏模型，得到对应仿真心脏的目标心内超声图像；

38、目标结果获取模块，用于将所述目标心内超声图像输入至预先构建的扇面分析模型，以输出目标扇面分析结果；

39、指导信息生成模块，用于将所述目标扇面分析结果输入至预先训练好的问答模型，以生成与所述仿真心脏的心内超声操作相匹配的目标指导信息。

40、可选地，所述指导信息生成模块包括：

41、画像信息获取单元，用于获取操作对象的画像信息，所述操作对象为与所述目标心内超声图像对应的对所述仿真心脏进行心内超声操作的对象；

42、指导信息生成单元，用于将所述目标扇面分析结果和所述画像信息输入至所述问答模型，以生成与所述仿真心脏的心内超声操作相匹配的所述目标指导信息；

43、和/或，

44、所述生成装置还包括：

45、反馈信息生成模块，用于基于所述目标指导信息，生成若干种类型的反馈信息；

46、其中，所述类型包括文字类型、语音类型、振动类型和图像类型中的至少一种。

47、可选地，所述生成装置还包括：

48、样本图像获取模块，用于基于预先构建的所述三维仿真心脏模型，得到对应的所述仿真心脏的若干张样本心内超声图像；

49、样本结果获取模块，用于将所述样本心内超声图像输入至预先构建的所述扇面分析模型，以输出样本扇面分析结果；

50、关联信息获取模块，用于获取与所述样本扇面分析结果相匹配的样本关联信息，所述样本关联信息为与操作对象对所述仿真心脏进行心内超声操作相关联的信息；

51、问答模型训练模块，用于将若干组所述样本扇面分析结果以及匹配的所述样本关联信息输入至预设大语言模型，以训练得到用于对心内超声操作进行指导的问答模型。

52、可选地，所述样本关联信息包括与所述心内超声操作相匹配的样本指导信息以及所述心内超声操作的样本操作状态信息；

53、所述样本操作状态信息包括所述心内超声操作的操作阶段信息、所述心内超声操作的错误类型信息、所述操作对象的画像信息、所述操作对象的历史操作信息和所述操作对象的指令信息中的至少一种。

54、可选地，所述问答模型训练模块包括：

55、提示词构建单元，用于基于所述样本扇面分析结果和所述样本操作状态信息，构建提示词；

56、问答模型训练单元，用于将所述提示词和所述样本指导信息输入至所述预设大语言模型，以训练得到所述问答模型。

57、可选地，所述生成装置还包括：

58、操作知识获取模块，用于获取若干专家的所述心内超声操作的操作知识；

59、其中，所述操作知识包括专家对所述心内超声操作进行指导的指导记录、专家进行心内超声操作的操作思路和专家的所述心内超声操作的教学培训内容中的至少一种；

60、模型调整模块，用于基于所述操作知识，对所述问答模型进行调整，以得到调整后的所述问答模型；

61、和/或，

62、所述生成装置还包括：

63、分割模型获取模块，用于获取采用若干组样本训练数据训练得到的图像分割模型；

64、其中，每组所述样本训练数据包括样本心内超声图像及对应的样本分割结果；

65、任务解耦模块，用于将所述图像分割模型作为教师模型，将所述教师模型对应的任务进行任务解耦处理，得到若干分支任务；

66、模型蒸馏模块，用于基于若干所述分支任务，并行蒸馏出若干学生模型；

67、其中，每个所述分支任务对应一个所述学生模型，所述学生模型采用几何一致性损失函数进行训练得到，所述学生模型包括检测模型、分割模型和分类模型中的至少一种；

68、权重共享模块，用于共享若干所述学生模型的网络权重，得到所述扇面分析模型。

69、本公开还提供一种指导信息的生成系统，所述生成系统包括如上述所述的生成装置，以及导管、操作所述导管的手柄和数据采集模块；

70、所述手柄用于基于外部操作，带动所述导管在所述数据采集模块中的容纳空间内进行运动，以改变所述导管的位姿信息；

71、所述数据采集模块用于采集所述导管的所述位姿信息，并输出至所述生成装置，以改变所述三维仿真心脏模型中所述导管对应的显示状态，所述显示状态用于表征所述导管的所述位姿信息；

72、所述生成装置还用于基于所述显示状态，输出对应仿真心脏的目标心内超声图像。

73、本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的指导信息的生成方法。

74、本公开还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的指导信息的生成方法。

75、本公开还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述所述的指导信息的生成方法。

76、在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本公开各较佳实例。

77、本公开的积极进步效果在于：

78、本公开根据目标心内超声图像得到目标扇面分析结果，将目标扇面分析结果输入至预先训练好的问答模型，以输出与仿真心脏的心内超声操作相匹配的目标指导信息，实现了心内超声操作的实时、自动化的反馈，提高了操作对象的学习效率，能够更好地推动心内超声操作的教学指导。