一面向云边模型协同医学知识可靠回答的风险控制方法

本发明属于医学人工智能、医学大模型、自然语言处理、云边协同计算与智能风险控制，具体涉及一种面向云边模型协同医学知识可靠回答的风险控制方法。

背景技术：

1、随着人工智能技术的发展，基于大语言模型以及多模态医学大模型的智能问答方法已逐渐应用于医学知识咨询、网络在线问诊、医学教育及健康管理等场景中。医学问答模型能够根据用户输入的医学问题自动生成回答，从而为患者或医疗管理人员提供初步的信息支持，具有提高信息获取效率、缓解医疗资源紧张等优点。然而，医学问答场景属于高风险应用场景，模型一旦输出错误、误导性或不完整的回答，可能对后续诊疗判断、健康管理决策或患者认知产生不利影响，因此该类系统除关注回答质量外，还需要对输出结果的可靠性进行有效控制。

2、在实际部署中，不同计算资源和服务成本条件下的医学问答模型通常存在明显差异。部署于边缘端或本地设备的模型具有响应速度快、调用成本低、隐私友好等优势，但受限于模型规模、训练数据、知识更新能力和算力条件，其回答质量通常有限；部署于云端的专有医学大模型通常基于更大规模、更高质量、持续更新的医学语料、临床知识库或专有医学数据进行训练，回答质量更高，但调用代价较高，且在实时交互场景下不宜对所有问题均直接使用。因此，如何在边缘端模型、云端模型与人工专家之间建立合理的分级协同机制，在控制问答风险的同时尽量降低系统成本，已成为医学人工智能落地中的重要问题。

3、现有技术中，一类常见思路是利用模型输出的置信度、不确定性或评分函数对问题样本进行筛选与路由。例如，当本地模型对某医学问题生成的回答较为确定时，直接接受其结果；当本地模型不确定性较高时，再将该问题提交至性能更强但成本更高的云端模型继续回答；若云端模型仍缺乏足够置信度，则进一步交由人工专家进行解答或复核。该类方法能够在一定程度上兼顾系统成本与问答质量，因此在云边协同推理、选择性预测和拒识决策中具有较高应用价值。

4、与此同时，近年来选择性预测和共形预测相关研究表明，可以利用一批独立的校准数据，对模型在给定选择规则下的风险进行统计分析，并据此校准选择阈值，从而在测试数据与校准数据满足可交换性或独立同分布等条件时，实现用户指定风险水平下的统计保证。已有研究还提出，可基于校准集上的经验风险构造上置信界，并通过固定序列检验等方式选择阈值，以在较小校准集上实现对选择性风险的可证明控制；同时，相关框架也表明，可以在多级模型级联中根据置信度决定何时信任较弱模型、何时升级至较强模型，以在保证风险水平的同时降低调用成本。

5、但是，现有方法仍存在以下不足。首先，许多云边协同医学问答方法主要关注平均回答质量、平均成本或经验性的路由效果，缺少对最终被系统接受的回答结果集合进行严格风险约束的机制，尤其缺少对接受回答中错误比例即错误发现率进行系统级控制。其次，现有基于选择性预测或共形校准的研究多集中于单模型选择性接受，或面向一般级联框架给出原则性描述，而未针对医学问答场景下“边缘端回答—云端升级—专家兜底”这一特定流程，建立统一的系统级接受指示、错误指示和风险统计建模机制，因而难以直接用于对整个云边协同系统的错误发现率进行精确校准。再次，边缘端阈值与云端阈值之间存在耦合关系：边缘端阈值不仅决定哪些问题由本地模型直接回答，也决定哪些问题会流向云端，从而影响云端阶段的问题分布与整体系统风险；如果分别独立设置两个阈值，往往无法保证系统层面的总体风险满足预设要求。

6、此外，在医学问答场景中，仅仅追求严格的风险控制并不足够。若阈值设置过于保守，虽然可以降低错误风险，但会导致大量问题被送往云端甚至进一步转交人工专家，从而显著增加成本并降低系统自动化处理能力。因此，还需要在满足风险控制要求的前提下，尽可能提高系统对问题样本的接受率，以实现问答可靠性与资源消耗之间的平衡。

7、因此，亟需一种面向医学问答场景的云边协同回答与风险控制方法，能够基于边缘端模型和云端模型的不确定性信息，在校准数据上对系统整体错误发现率构建统计上界，并对多级阈值进行联合校准，使得系统在满足用户指定风险水平的同时，尽可能多地接受待回答问题，从而兼顾医学问答安全性、系统效率与服务成本。

技术实现思路

1、本发明旨在克服现有医学问答云边协同方法中缺乏系统级统计风险控制机制的不足。

2、为实现上述技术目的，达到上述技术效果，本发明提供如下技术方案：

3、一种面向云边模型协同医学知识可靠回答的风险控制方法，包括以下步骤：

4、s1：获取医学问答样本集，将样本集划分为用于统计风险上界估计与阈值校准的校准数据集和用于部署阶段验证的测试数据集，所述样本集中每个问题样本至少关联有参考答案、标准答案、专家答案或用于判断回答正确性的标注信息之一；

5、s2：对于任一输入医学问题，先由边缘端模型生成对应回答并采用预设的不确定性量化方法得到边缘端模型的不确定性分数，当该分数不超过第一阈值时直接接受边缘端回答，否则路由至云端模型；云端模型生成对应回答并采用相同不确定性量化方法得到云端不确定性分数，当该分数不超过第二阈值时接受云端回答，否则将问题提交至专家复核模块；

6、s3：构建模型级选择指示变量和模型级错误指示变量，分别表征问题是否被对应模型接受以及对应模型生成的回答是否出错；

7、s4：在模型级指示变量的基础上构建系统级选择指示变量和系统级错误指示变量，分别表征问题是否被整个云边协同系统接受以及问题被系统接受时是否发生错误；

8、s5：在给定第一阈值和第二阈值的条件下，基于校准数据集中各问题样本的系统级选择指示变量和系统级错误指示变量，统计系统接受问题数与系统接受且出错问题数，计算系统整体错误发现率的经验统计量；

9、s6：基于校准数据集的经验错误发现率，构建系统整体错误发现率的上置信界，所述上置信界满足预设的置信概率要求；

10、s7：根据用户设定的目标风险水平，针对多组候选第一阈值和第二阈值组合，逐一计算对应系统整体错误发现率的上置信界，筛选出上置信界不超过目标风险水平的候选阈值对集合；

11、s8：在满足风险约束的候选阈值对中，按照以下优先顺序确定最终阈值对：第一优化目标为使系统整体接受的问题样本数最多，第二优化目标为在系统整体接受样本数相同时，使边缘端模型接受的问题样本数最多；

12、s9：对待回答医学问题依次通过边缘端模型、云端模型进行分级处理，依据最终阈值对判断是否接受对应模型回答，未被接受的问题提交至专家复核模块。

13、具体的，步骤s1中，所述校准数据集与测试数据集满足可交换性条件或独立同分布条件。

14、具体的，步骤s2中，所述不确定性分量方法用于根据模型针对输入医学问题生成的回答结果，输出对应的不确定性分数，不确定性分数越大表示回答结果越不确定，越小表示回答结果越确定。

15、具体的，所述不确定性量化方法采用基于大语言模型最后一层logit信息得到的类别向量所计算的预测熵，对于多项选择医学问答任务，不确定性分数定义为：

16、

17、其中，表示候选选项个数，表示为模型对第个样本第个选项的预测概率。

18、具体的，步骤s3中：

19、边缘端模型的选择指示变量定义为：

20、

21、其中，为第个样本的边缘端不确定性分数，为第一阈值，表示指示函数；

22、边缘端模型的错误指示变量定义为：

23、

24、其中，为边缘端模型对第个样本的回答，为第个样本的标准答案，表示回答与标准答案不一致；

25、云端模型的选择指示变量定义为：

26、

27、其中，为第个样本的云端不确定性分数，为第二阈值；

28、云端模型的错误指示变量定义为：

29、

30、其中，为边缘端模型对第个样本的回答；

31、具体的，步骤s4中：

32、所述系统级选择指示变量由边缘端模型选择指示变量与云端模型选择指示变量组合得到，定义为：

33、

34、所述系统级错误指示变量由模型选择指示变量与对应模型的预测错误指示变量组合得到，定义为：

35、

36、具体的，步骤s5中，所述系统整体错误发现率为系统接受且出错的问题数与系统接受的问题总数之比，定义为：

37、

38、其中为校准数据集的样本总数。

39、具体的，步骤s6中，所述系统整体错误发现率的上置信界记为，该上置信界满足：

40、

41、其中，为给定第一阈值和第二阈值对下的系统整体错误发现率，为置信参数。

42、具体的，步骤s6中，采用clopper-pearson方法构建系统整体错误发现率的上置信界，当系统接受问题数时，上置信界为：

43、

44、其中为beta分布分位数函数，为系统接受且出错的问题数；当时，对应阈值对视为不可行解。

45、具体的，步骤s7中，所述候选第一阈值集合由校准数据集中所有边缘端模型的不确定性分数构成，所述候选第二阈值集合由校准数据集中所有云端模型的不确定性分数构成。

46、与现有技术相比，本发明的有益效果是：

47、1.实现系统级而非单模型级的风险控制。本发明并非仅针对单个模型输出进行经验性筛选，而是围绕边缘端模型与云端模型构建统一的系统级选择指示变量和系统级错误指示变量，并基于此对整个云边协同系统最终接受回答结果的错误发现率进行统一建模与控制。

48、2.具有明确的统计保证。本发明利用独立校准数据集上观测到的统计规律构建系统整体错误发现率的上置信界，并在校准数据与测试数据满足可交换性或独立同分布条件时，使测试阶段系统整体错误发现率能够满足用户设定的目标风险水平要求，从而提高医学问答系统在高风险场景下的可靠性。

49、3.通过联合阈值校准保证系统有效性。本发明采用边缘端阈值与云端阈值的联合更新机制，而不是分别对两个模型独立校准。这样能够准确反映问题在云边协同链路中的流转关系，避免因局部校准失效而破坏系统整体风险控制。

50、4.在风险可控前提下尽可能提高自动化处理能力。本发明以“系统整体接受问题数最多”为第一优化目标，以“边缘端模型接受问题数最多”为第二优化目标，在风险受控的前提下尽可能保留更多自动化处理问题，并在系统整体接受能力相同的情况下优先保留更多由边缘端模型处理的问题，从而减少云端调用成本，提高问答效率。

51、5.兼顾安全性、成本与部署实用性。本发明建立了“边缘端模型—云端模型—专家复核”的三级协同机制。当问题较容易时，由边缘端模型快速回答；当问题较复杂或模型不确定性较高时，升级到云端模型；当云端模型仍不满足风险要求时，再交由专家进行解答或复核。该结构能够兼顾医学问答安全性、云端调用成本和系统实际部署效率，具有较强的工程实用价值。