针对医疗对话模型的评测方法和装置与流程

本说明书一个或多个实施例涉及医疗人工智能领域，尤其涉及针对医疗对话模型的评测方法和装置。

背景技术：

1、随着人工智能技术的快速发展，大语言模型（large language models, llms）在医疗领域的应用日益广泛，特别是在线上问诊、智能导诊及智能分诊等场景中，医疗对话模型被期望能够模拟专业医生的角色，通过与患者进行多轮自然语言交互来完成病史采集、病情分析及诊疗建议的生成。在这一过程中，模型不仅需要掌握丰富的医学知识，还需要具备处理复杂、非结构化医患对话的能力，特别是在面对表述不清、情绪波动或配合度低的患者时，能否保持稳健的问诊能力是衡量其实际可用性的关键指标。

2、现有的医疗对话模型评测体系主要依赖于静态问答或基于理想化患者的交互式测试。在典型的现有技术中，评测过程通常构建一个标准化的虚拟患者，该虚拟患者在对话中倾向于提供清晰、完整且符合医学逻辑的信息。例如，当医疗对话模型询问“您是否有药物过敏史”时，虚拟患者会直接回答“无”或明确列出过敏源；当医疗对话模型询问现病史细节时，虚拟患者会按照时间线有序地描述症状。这种评测机制通常将虚拟患者的反馈视为对医生提问的直接响应，在这种设定下，评测系统主要关注医疗对话模型是否覆盖了标准的问诊流程，以及最终诊断的准确率。

3、然而，在实际的临床医疗场景中，患者的表现往往并非总是理想化的。现实中的患者可能因为恐惧、疼痛、不信任或认知偏差，表现出防御、含糊、抗拒甚至情绪崩溃等行为。例如，同一位患有偏头痛的患者，有的会清晰地描述疼痛部位和持续时间，而有的患者可能会回避关键问题、反复强调无关细节，或者因焦虑而提出不合理的用药要求。这些差异构成了真实的困难患者交互场景。

4、因此，需要提供一种改进的方案，以模拟困难患者，并有效评测医疗对话模型的应对能力。

技术实现思路

1、本说明书一个或多个实施例描述了一种针对医疗对话模型的评测方法和装置，能够模拟困难患者，并有效评测医疗对话模型的应对能力。

2、第一方面，提供了一种针对医疗对话模型的评测方法，包括：

3、获取单个临床事实记录和多个交互画像；其中，所述临床事实记录用于表示病例在医学层面的客观事实，所述交互画像包括表征患者交互行为模式的交互特征；

4、将所述临床事实记录和所述多个交互画像中的目标交互画像绑定，构建患者仿真实例；

5、利用所述患者仿真实例驱动患者仿真模型与医疗对话模型进行多轮问诊交互，得到所述目标交互画像对应的问诊对话记录；

6、以所述临床事实记录为标准，对所述问诊对话记录进行多维度评分，得到各维度的模型表现指标；

7、对比分析不同交互画像下各维度的模型表现指标的差异，基于所述差异评测所述医疗对话模型各维度分别对应的鲁棒性。

8、在一种可能的实施方式中，所述临床事实记录包括如下至少一种问诊信息：

9、人口学信息、主诉、现病史、否认症状、既往史、用药与过敏史、家族史、社会史。

10、在一种可能的实施方式中，所述交互特征包括患者的对话议程、个人情绪特征和信息披露策略中的至少一项；所述多个交互画像包括至少一个合作型画像和至少一个困难型画像；

11、其中，所述合作型画像对应的对话议程为以解决临床问题为导向的目标；个人情绪特征为理性；信息披露策略为依据所述临床事实记录积极披露信息；

12、所述困难型画像对应的对话议程为以非医疗因素为核心的目标；或者，个人情绪特征为情绪化；或者，信息披露策略为依据所述临床事实记录延迟披露信息。

13、在一种可能的实施方式中，所述交互特征包括患者的个人情绪特征；所述利用所述患者仿真实例驱动患者仿真模型与医疗对话模型进行多轮问诊交互，包括：

14、在多轮问诊交互的每一轮交互中，所述患者仿真模型基于当前对话历史和患者的个人情绪特征推断患者的当前心理状态；

15、所述患者仿真模型基于所述患者仿真实例与所述当前心理状态，生成当前患者回复。

16、在一种可能的实施方式中，所述多维度评分包括如下维度中的至少两个评分：

17、问诊结构维度，用于评估所述问诊对话记录是否覆盖了所述临床事实记录对应的标准病史采集领域；

18、交互应对维度，用于结合所述临床事实记录中的预设病程节点，评估所述医疗对话模型识别患者情感状态或互动线索并调整沟通的能力，以及引导咨询向临床任务完成推进的能力；

19、信息获取维度，用于根据所述临床事实记录中包含的原子化信息，评估所述问诊对话记录是否获得了具有临床意义的原子化信息；

20、临床判断维度，用于基于所述临床事实记录确定的客观医学事实，评估所述医疗对话模型在面对误导性信息或施压时保持独立判断的能力；

21、医疗安全维度，用于依据所述临床事实记录中的关键约束条件，评估所述医疗对话模型的建议、边界设定及结案是否符合安全规范。

22、进一步地，所述对比分析不同交互画像下各维度的模型表现指标的差异，基于所述差异评测所述医疗对话模型各维度分别对应的鲁棒性，包括：

23、计算在合作型画像下的模型表现指标与困难型画像下的模型表现指标在各维度上的差值；

24、根据所述差值量化困难交互对模型各维度的问诊能力的影响程度，并将所述差值反映的指标显著下降的维度判定为模型的失效能力维度。

25、进一步地，所述获取单个临床事实记录和多个交互画像，包括：

26、从脱敏的真实病历、公开的医学数据集、临床专家构造的病例或经过审核的模型生成病例中提取原始对话文本；

27、基于所述原始对话文本，提取所述临床事实记录，并生成初始交互画像；

28、判断所述初始交互画像是否为合作型画像；

29、若判断结果为是，则基于所述初始交互画像，修改其对话议程、个人情绪特征或信息披露策略，生成至少一个困难型画像。

30、在一种可能的实施方式中，还包括：

31、根据所述问诊对话记录及其对应的各维度的模型表现指标，调整所述医疗对话模型的模型参数。

32、第二方面，提供了一种针对医疗对话模型的评测装置，包括：

33、获取单元，用于获取单个临床事实记录和多个交互画像；其中，所述临床事实记录用于表示病例在医学层面的客观事实，所述交互画像包括表征患者交互行为模式的交互特征；

34、构建单元，用于将所述获取单元获取的临床事实记录和所述多个交互画像中的目标交互画像绑定，构建患者仿真实例；

35、交互单元，用于利用所述构建单元构建的患者仿真实例驱动患者仿真模型与医疗对话模型进行多轮问诊交互，得到所述目标交互画像对应的问诊对话记录；

36、评分单元，用于以所述获取单元获取的临床事实记录为标准，对所述交互单元得到的问诊对话记录进行多维度评分，得到各维度的模型表现指标；

37、分析单元，用于对比分析不同交互画像下所述评分单元得到的各维度的模型表现指标的差异，基于所述差异评测所述医疗对话模型各维度分别对应的鲁棒性。

38、第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

39、第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

40、通过本说明书实施例提供的方法和装置，构建了“临床事实记录”与“交互画像”解耦的受控评测机制，利用固定不变的客观医学事实作为基准，仅通过切换不同的交互画像（如防御、模糊、抗拒等）来动态调整患者的交互行为模式，从而在严格隔离病例难度变量的前提下，精准模拟出真实世界中多样化的困难患者交互场景；这种设计使得系统能够量化同一病例在不同交互压力下的模型表现差异，有效识别并定位医疗对话模型在信息获取、临床判断及安全性等具体维度的失效点，进而全面、客观地评估模型在面对非理想化患者时的鲁棒性与应对能力，从而能够模拟困难患者，并有效评测医疗对话模型的应对能力。