基于多模态大模型的采样引导与检测任务生成方法及系统与流程

本发明涉及医疗人机交互、poct检测任务管理和人工智能信息处理，具体涉及一种部署于poct移动机器人或poct智能终端上的、基于多模态大模型进行患者信息采集、动态交互、检测任务生成和采样操作引导的方法、系统、电子设备及计算机可读存储介质。本发明用于生成poct检测任务、提供检测流程提示和采样操作引导，不直接对患者实施疾病诊断或治疗。

背景技术：

1、poct（即时检测）机器人在执行检测任务前，通常需要完成患者身份确认、症状采集、检测项目选择和样本采集等一系列人机交互流程。然而，现有poct设备的人机交互方式存在以下突出问题：

2、第一，交互方式主要依赖固定触摸屏菜单点选，对老年患者、急诊意识障碍患者或行动不便患者不够友好，交互流程僵化。

3、第二，症状采集依赖固定问诊模板，无法根据患者回答进行动态追问。例如，患者主诉"胸痛"后，系统无法自动追问疼痛性质、持续时间、放射部位等关键鉴别信息，导致信息采集不完整，难以支撑后续检测项目的合理选择。

4、第三，检测项目选择主要依赖操作人员的经验和判断。不同年资的医护人员对同一位患者可能推荐不同的检测项目组合，缺少数据驱动的辅助决策支持。

5、第四，采样操作过程缺少针对患者个体特征（如年龄、血管状况、配合度）和检测项目要求的个性化引导。操作人员对采样部位、操作技巧和样本处理步骤的掌握程度因人而异。

6、第五，基于语音的直接人机对话若未设置安全约束，可能输出未经验证的结论性信息，给患者带来误导。

7、因此，需要一种能够通过多模态交互实现患者信息充分采集、动态追问、智能检测任务生成和个性化采样引导，同时具有安全约束机制的人机交互方法。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种能够通过多模态交互实现患者信息充分采集、动态追问、智能检测任务生成和个性化采样引导，同时具有安全约束机制的基于多模态大模型的采样引导与检测任务生成方法及系统。

2、一种基于多模态大模型的采样引导与检测任务生成方法，包括：

3、s1.获取患者相关特征以及poct可执行检测项目中的至少两种多模态输入数据；其中，所述患者相关特征具体包括：患者语音、患者身份信息、患者交互输入、历史检测信息；

4、s2.对所述患者语音进行语音识别，并从识别结果中提取症状、部位、时间、程度和伴随信息中的至少一种，形成结构化患者信息；

5、s3.根据所述结构化患者信息、预设信息完整性条件和交互历史，确定待补充的信息项，并通过多模态大模型生成与所述待补充的信息项对应的追问内容；

6、s4.获取患者针对所述追问内容的回答，并更新所述结构化患者信息，直至所述结构化患者信息满足检测任务生成条件；

7、s5.基于满足检测任务生成条件的结构化患者信息、poct可执行检测项目、样本类型、样本要求以及检测设备状态，生成结构化poct检测任务；其中，依据poct可执行检测项目清单、检测设备状态对所述结构化poct检测任务的候选检测项目进行筛选；

8、s6.根据所述结构化poct检测任务和患者相关特征生成采样引导信息，并通过语音、显示、动画、灯光或交互确认界面中的至少一种输出；

9、s7.对所述结构化poct检测任务和所述采样引导信息进行检测项目匹配、样本类型匹配、设备能力匹配和安全输出校验，并在校验通过后发送至poct执行；

10、s8.在发送执行前，通过交互界面显示患者身份、检测项目、样本要求和操作提示，并获取操作者确认结果。

11、进一步地，所述患者身份信息通过人脸识别、医保电子凭证、身份证、条码或二维码中的至少一种方式获得。

12、进一步地，基于获取到的患者身份信息获取与所述患者身份信息关联的病史、过敏史、既往检测结果或既往检测时间中的至少一种。

13、进一步地，所述步骤s2中语音识别具体采用远场麦克风阵列采集、降噪、语音活动检测和自动语音识别中的至少一种处理。

14、进一步地，所述步骤s4中包括用于判断所述结构化患者信息是否满足检测任务生成条件的步骤，所述判断所述结构化患者信息是否满足检测任务生成条件具体包括：判断患者身份是否完成确认、检测对象是否确定、样本类型是否能够确定以及影响检测项目选择的必要信息是否完整。

15、进一步地，所述步骤s5中结构化poct检测任务中具体包括检测项目、检测套餐、样本类型、样本量、检测优先级、预计检测时间、所需试剂盘、采样要求和人工确认标识中的至少一种。

16、进一步地，所述步骤s7中安全输出校验具体包括：检测项目白名单校验、设备能力校验、样本类型匹配校验、试剂盘可用性校验和禁止性诊断表述过滤中的至少一种。

17、进一步地，当生成的交互输出包含确定性疾病诊断结论、确定性治疗指令或与检测设备能力不匹配的检测项目时，对所述交互输出进行替换、拦截或转人工确认处理。

18、基于多模态大模型的采样引导与检测任务生成系统，包括：

19、多模态采集模块，用于获取患者语音、身份信息、交互输入、历史检测信息及poct设备信息；

20、语音识别模块，用于对患者语音进行识别并生成文本内容；

21、信息结构化模块，用于从所述文本内容中提取症状、部位、时间、程度和伴随信息；

22、动态追问模块，用于根据结构化患者信息和信息完整性条件生成追问内容；

23、任务生成模块，用于根据结构化患者信息、设备可执行项目和样本要求生成结构化poct检测任务；

24、采样引导模块，用于根据结构化poct检测任务生成采样操作和样本处理引导信息；

25、安全校验模块，用于对检测任务和采样引导信息执行项目匹配、样本匹配、设备能力匹配及安全输出校验；

26、任务执行接口，用于将校验通过的检测任务发送至poct检测设备或机器人任务管理模块。

27、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在处理器上运行时，使所述处理器执行所述方法。

28、本发明提供了基于多模态大模型的采样引导与检测任务生成方法及系统，具有以下有益效果：

29、第一，通过融合语音、身份信息、历史检测数据等多模态输入数据，并以多模态大模型作为交互决策核心，实现了从患者信息采集、动态追问、检测任务生成到采样引导的全流程智能化处理，突破了传统poct设备固定菜单点选和固定模板问诊的局限。

30、第二，通过动态追问机制，多模态大模型根据当前已采集的结构化患者信息、信息完整性条件和交互历史，实时判断缺失信息并生成针对性追问，模拟医生问诊逻辑进行深度信息采集，确保检测任务生成所需的关键信息被充分获取。

31、第三，检测任务生成过程中，将多模态大模型的语义理解和推荐能力与poct设备的实际执行能力（可执行项目清单、试剂盘状态、样本类型约束）相结合，确保生成的检测任务具有设备层面的可执行性，避免生成超出设备能力的检测建议。

32、第四，根据检测任务和患者个体特征自动生成个性化的采样操作和样本处理引导，并通过语音、屏幕动画等多种方式输出，降低了操作人员对不同检测项目和患者类型的操作难度。

33、第五，通过设置安全输出校验机制，对检测项目和引导信息进行白名单、设备能力、样本匹配和禁止性表述的多重过滤，确保人机交互输出不会包含确定性疾病诊断结论等不适当内容，提高了系统的安全性和可靠性。