基于多模型合议分歧度的处方点评人机协同分级路由方法及系统与流程

本发明涉及医疗信息处理,具体涉及一种处方点评的人机协同分级路由方法及系统。

背景技术：

1、处方点评是指在药品调配完成之后,对已开具的处方进行回顾性评价,判断其用药是否合理,并对存在的问题予以分类记录。该项工作由药师承担,其结论具有专业责任属性。

2、在精神专科等特定诊疗领域,处方点评面临的困难尤为突出。一方面,处方总量大,单一医疗机构的月均门诊处方可达数万张;另一方面,该领域用药涉及大量超说明书用药、联合用药与剂量个体化调整,合理性判断高度依赖患者的既往就诊情况,不能仅凭单张处方的表面信息作出。受人力限制,现有做法通常只能按固定比例随机抽取少量处方进行人工点评,抽取比例往往低于百分之一。这种做法的问题在于,抽取是完全随机的,与处方本身是否可能存在问题无关,因而大量存在问题的处方不会被抽中,而大量明显无问题的处方却占用了宝贵的人工时间。

3、随着大语言模型技术的发展,已有将其用于辅助处方合理性判断的尝试。此类方案通常将处方数据连同判断规则送入单一模型,由模型返回是否合理的结论,再交由人工确认。然而,此种做法存在一个结构性的缺陷:模型给出的结论不附带任何可用于判断该结论本身是否可靠的信息。人工在面对模型输出时,无法区分哪些结论是可信的、哪些是模型在信息不足或任务困难时的勉强作答。其结果是,人工要么对全部模型输出逐一复核,则模型未能减轻负担;要么仅随机抽取一部分复核,则与不使用模型的情形并无实质差别。参见图1,现有技术的处方点评流程为:处方数据101送入单一大语言模型判定102,由该模型给出判定结论103,该结论直接呈现给药师104;由于该结论不附带任何可用于判断其自身可靠性的信息,药师只能对全部结论逐一复核,或按固定比例随机抽样105,二者均不能使人工投入与处方本身的判定难度相匹配。

4、为解决可靠性度量问题,现有技术中已出现若干思路。一类思路是利用模型自身输出的概率信息,例如取预测分布的熵或方差作为置信度。但此类方法在大语言模型场景下难以适用:多数大语言模型服务并不向调用方开放词元概率,即便开放,词元层面的概率与整体判定结论是否正确之间也不存在稳定的对应关系,模型以高置信度给出错误结论的情形十分常见。另一类思路是让同一模型对同一输入多次采样,以采样结果的离散程度作为不确定性度量;此种方法度量的是同一模型内部的随机性,无法反映不同模型在知识覆盖与判断倾向上的系统性差异。

5、另有一类思路是引入多个模型并比较其输出的一致性。此类方法在数据清洗、图像识别、遥感解译等领域均有应用,其共同做法是:当多个模型的输出不一致时,将该样本标记出来并提交人工处理;当多个模型的输出一致时,则认为该结果可靠,直接予以采信或自动定案。

6、上述做法虽然利用了模型间的分歧,但仍存在三方面不足:

7、其一,一致性的度量方式过于简单。现有做法多采用"是否一致"的二值判断,或采用类别一致率、差异计数一类的单一维度度量。而处方点评的模型输出并非单一标量,其至少包含两个性质完全不同的层面:一是整体是否合理的结论,该结论取值于一组具有严重程度顺序的枚举值,其分歧具有方向与幅度;二是具体存在哪些问题的分类编码集合,其分歧是集合成员的差异,不具有顺序。这两个层面的分歧不能用同一种方式度量,也不能简单相加,现有技术未提供将二者合成为单一可比标量的方案。

8、其二,人工介入的方式是开关式的,而非分级的。现有做法只区分"送人工"与"不送人工"两种处置,不区分人工介入的强度,也不区分承担复核的人员资历。在人工资源有限的实际场景中,真正需要解决的问题是如何在众多待处理对象之间分配不同强度的人工投入,而非简单地决定是否投入。

9、其三,也是最关键的一点:现有技术在多个模型意见一致时,一律直接采信或自动放行。此种做法隐含一个未经检验的假设,即模型间的一致意味着结论正确。然而多个模型可能共享相似的训练语料与相似的偏差,从而在同一类问题上共同犯错。此类错误恰恰不产生任何分歧,因而在上述机制下将永远不会进入人工视野,也不可能通过对分歧样本的复核而被发现。其结果是,分级机制自身会持续累积一个不可察觉的系统性盲区,且该盲区随着系统运行时间的增长而扩大。

10、此外,在调用外部大语言模型服务的场景下,还存在一个现有技术未予处理的问题:服务提供方可能在接口名称不变的前提下更换其底层模型。此种更换对调用方不可见,却会使判定标准在使用者毫无察觉的情况下发生漂移,导致前后时期的点评结果不具可比性。

11、综上,现有技术尚缺乏一种能够对多个大语言模型的双层输出进行分歧量化,并据此对有限人工复核资源进行分级调度,同时对分级机制自身的盲区予以控制的技术方案。

技术实现思路

1、3.1 要解决的技术问题

2、本发明所要解决的技术问题是:在处方点评场景下,如何将有限的人工复核资源在大量待点评处方之间进行有差别的分配,使需要人工投入的处方优先且以更高强度获得人工投入,同时避免该分配机制自身产生不可察觉的系统性盲区。

3、3.2 技术方案

4、为解决上述技术问题,本发明采用如下技术方案。

5、本发明提供一种处方点评的人机协同分级路由方法,包括以下步骤。

6、步骤一,数据接入。 获取待点评处方的处方数据,所述处方数据至少包括患者的基本人口学信息、本次就诊的诊断信息以及本次处方所含药品的名称、剂型、规格、用法用量与数量。

7、步骤二,上下文组装与去标识化。 按预设时间窗组装该处方对应患者的既往就诊上下文,得到点评对象数据;并对所述点评对象数据进行去标识化处理,剥离其中的患者标识信息与医务人员标识信息。

8、所述预设时间窗以所述处方的业务日期为锚点,即以处方开具当日为基准向前回溯,而非以数据处理当日为基准,从而使同一张处方在任何时刻被处理都得到相同的上下文,保证结果可重现。所述时间窗取左闭右开的区间,即包含区间起始日而不包含处方当日,从而避免将同日的其他就诊记录混入历史上下文。在一种实施方式中,所述时间窗取六十日。

9、所述去标识化处理剥离的对象包括但不限于:患者姓名、患者标识号、门诊号、就诊流水号、处方号、身份证件号、联系方式、详细住址。所述去标识化处理同时剥离医务人员标识信息,包括开具处方的医师姓名与工号。剥离医务人员标识信息的作用在于,避免模型的判定受到特定医师身份的影响,使判定仅基于处方内容本身。

10、步骤三,统一提示词构建与并行下发。 构建统一的提示词模板与统一的调用参数,并依据该提示词模板与调用参数,将去标识化后的点评对象数据并行下发至 n 个相互独立的大语言模型,n 为不小于 3 的整数。

11、所述"相互独立"是指该 n 个模型由不同的提供方提供,或基于不同的训练语料与架构,而非同一模型的多次调用或同一模型的多个随机化副本。

12、所述"统一"是本发明的一项关键限定。该 n 个模型接收到的提示词内容、上下文范围、输出格式要求与调用参数完全相同。其技术意义在于构成受控对照:由于输入端的一切变量均已固定,所观测到的输出差异可以唯一地归因于模型本身的判断差异,而非提示方式或参数设置的差异。若各模型接收的提示词或参数不同,则其输出差异中将混入无法分离的干扰成分,分歧度即不能作为判定难度的可靠信号。

13、在一种实施方式中,所述调用参数包括:采样温度取 0.1,单次响应的最大词元数取 512,单个模型调用失败时的重试次数取 2。采用较低的采样温度,目的是抑制同一模型自身的随机波动,使观测到的差异尽可能来自模型之间而非模型内部。

14、所述提示词模板中包含问题分类编码字典。该字典于运行时自数据表读取并拼接生成,而非硬编码于提示词文本之中。其作用在于,当分类标准依据法规或院内规定发生调整时,只需更新数据表即可使全部模型的判定口径同步改变,无需修改程序代码,亦可避免各模型使用不同版本字典所导致的口径不一致。在一种实施方式中,所述问题分类编码共二十八个,分属三个大类。

15、步骤四,双层结构化输出解析。 解析各模型返回的结构化输出。所述结构化输出包括两个层面:

16、结论层,为该处方整体是否合理的判定结果,取值于一组具有严重程度先后顺序的枚举值。在一种实施方式中,所述枚举值共四个,依严重程度由低至高依次为:合理、不规范、不适宜、超常。

17、所述严重程度的先后顺序由一张预先设定的赋分表确定,该赋分表将每一个枚举值显式对应到一个整数序数,而非依赖枚举值在定义中的书写次序。采用显式赋分表的作用在于,判定标准的严重程度关系被固定为一项可查、可核、可随法规调整而单独修改的配置,不因程序中枚举定义的书写顺序变动而改变。

18、编码层,为该处方所存在问题的分类编码集合。该集合可以为空集,表示该模型认为不存在可归类的问题;亦可包含多个编码,表示该模型认为同时存在多类问题。

19、采用双层输出的原因在于,结论与问题类型是两个正交的层面。两个模型可能同时判定某处方不合理,却指向完全不同的问题;亦可能指出相同的问题,却对其严重程度给出不同结论。仅取其一,均不能完整刻画模型之间的分歧。

20、步骤五,双层分歧度计算与加权合成。 分别计算结论层分歧度与编码层分歧度,再加权合成为综合分歧指数。

21、结论层分歧度的计算:依据所述赋分表将各模型的合理性判定结果映射为序数,设枚举值共 l 个,则序数取值于 0 至 l 减 1。取 n 个序数中的最大值与最小值之差,即序数极差,再除以最大可能序数差进行归一化,得到结论层分歧度 d1,其取值范围为 0 至1。

22、在一种实施方式中,l 取 4,四个枚举值合理、不规范、不适宜、超常依次赋分为0、1、2、3,最大可能序数差为 3,故所述归一化以 3 为除数。参与计算的模型数少于 2 时,结论层分歧度取 0。

23、采用极差而非方差或标准差,其技术效果在于:极差反映的是分歧的最大跨度。在安全相关的判定场景中,即便多数模型意见一致,只要存在一个模型给出了严重程度显著更高的结论,该处方就应当获得更高的人工关注。方差会因多数模型的一致而被稀释,极差不会。

24、编码层分歧度的计算:对 n 个模型的问题分类编码集合两两计算集合距离,共得到 n 乘以 n 减 1 再除以 2 个距离值,取其算术平均,得到编码层分歧度 d2,取值范围为 0 至 1。

25、在一种实施方式中,所述集合距离取 jaccard 距离,即两集合对称差的元素个数与其并集元素个数之比。两集合完全相同时距离为 0,完全不相交时距离为 1。当两个集合均为空集时,约定其距离为 0。采用集合距离而非逐元素比对,其原因在于编码集合的元素之间不存在顺序关系,且各模型给出的编码数量可能不同。

26、加权合成:按 d 等于 w1 乘以 d1 加 w2 乘以 d2,得到综合分歧指数 d,其中w1 与 w2 均大于零且二者之和为 1,故 d 的取值范围仍为 0 至 1。在一种实施方式中,w1 取 0.6,w2 取 0.4,即结论层的权重高于编码层。如此取值的理由是:结论层的分歧直接关系到该处方是否会被判为存在问题,其后果重于问题类型归类上的差异。

27、步骤六,共识编码、争议编码与分布形态的并行产出。 在计算分歧指数的同时,并行产出以下三项:

28、共识编码,为 n 个模型问题分类编码集合的交集,表示全部模型均认可的问题;

29、争议编码,为上述并集与交集之差,表示仅有部分模型指出的问题;

30、分布形态判定结果,为依据成功返回的模型家数与其结论分布结构所确定的离散标签。在一种实施方式中,所述分布形态分为六类:

31、一致合理,即全部成功返回的模型判定结果一致且均为合理,并且全部模型给出的问题分类编码集合均为空集;

32、一致有问题,即全部成功返回的模型判定结果一致,但该一致结论不为合理,或虽为合理但存在至少一个模型给出了问题分类编码;

33、轻争议,即成功返回的模型不少于三家,其结论不完全一致但存在多数派,即不同结论的种类数少于成功家数;

34、重争议,即成功返回的模型为三家以上而各家结论互不相同,或成功返回的模型恰为两家而两家结论不同形成平票;

35、仅单模型,即仅有一家模型成功返回;

36、全部失败,即无任何模型成功返回。

37、其中"一致合理"一类附加了"全部编码集合为空"的条件,其作用在于防止如下情形被误归为无问题:某一模型在给出合理结论的同时仍指出了具体问题。此种自相矛盾的输出本身即提示该处方存在不确定性,不应按无问题归档。

38、共识编码与争议编码的技术效果在于,将分歧从一个整体的标量定位到具体的问题条目。人工在复核时,可以直接看到分歧发生在哪一类问题上,而无需自行比对各模型的完整输出。在一种实施方式中,人工判定工作台对争议编码作区别显示,例如以不同颜色或加注标记的方式呈现。

39、分布形态与分歧指数并行产出而非由分歧指数推导得出,其原因在于二者携带的信息不同:分歧指数是连续量,反映分歧的幅度;分布形态是离散量,反映分歧的结构。相同的分歧指数可能来自完全不同的分布结构,例如"一个模型强烈反对其余模型"与"全部模型各执一词"可能得到相近的指数值,但二者所需的人工处置方式并不相同。

40、步骤七,分级路由。 依据综合分歧指数与各模型判定结果的一致状况,将该处方路由至人工介入强度不同的复核路径。所述路由包括以下分支:

41、分支一:若 n 个模型未全部成功返回结构化输出,则不采信本次模型输出,该处方进入常规人工复核。设置该分支的原因是,当部分模型因网络、限流或服务异常而未返回结果时,基于剩余模型计算的分歧指数不具有可比性,不能作为路由依据。

42、分支二:若全部模型的判定结果一致且均为合理,则将该处方归档,并按预设比例自归档的该类处方中随机抽取一部分进入人工复核。在一种实施方式中,所述预设比例取百分之五;并且,该分支进一步要求全部模型给出的问题分类编码集合均为空集,若存在任一模型在给出合理结论的同时仍给出了问题分类编码,则该处方不进入本分支,而按分支三处理。

43、分支三:若全部模型的判定结果一致且均为不合理,则该处方进入常规人工复核。此类处方虽无分歧,但因全部模型均指向问题,需由人工确认问题是否成立及其严重程度。

44、分支四:若各模型判定结果不一致,且综合分歧指数不高于预设阈值,则该处方进入常规人工复核,并在工作台中对争议编码作区别显示。

45、分支五:若各模型判定结果不一致,且综合分歧指数高于预设阈值,则该处方进入强制资深人员复核路径,即该处方不得由一般复核人员单独结案,须由具备相应资历的人员复核。

46、在一种实施方式中,所述预设阈值取 0.5。

47、分支二中的随机抽检是本发明的关键设置,其技术效果在于控制分级机制自身的盲区。若全体一致的处方一律直接归档,则多个模型共同持有的偏差所导致的误判将不产生任何分歧信号,从而永远不会被人工发现,该类误判在系统运行过程中持续累积而不可察觉。设置固定比例的随机抽检后,此类误判仍存在被发现的通道:一旦抽检中发现全体一致而实际不合理的处方,即可据以判断分级机制在该类处方上失效,并据此调整提示词、编码字典或阈值。换言之,该设置使分级机制本身成为可被持续检验的对象,而非一个不可观测的黑箱。

48、在各分支中,模型的结构化输出均仅作为参考信息呈现,该处方的最终点评结论由复核人员作出,并记录该复核人员的标识。系统不基于模型输出直接生成对外发布的点评结论。

49、步骤八,审计绑定。 将所述提示词模板、所述调用参数,以及各模型在其响应中实际返回的模型版本标识三者共同计算哈希值,并将该哈希值与本次的结构化输出及综合分歧指数绑定留存。

50、此处的关键在于,参与哈希计算的模型版本标识取自各模型响应报文中实际返回的字段,而非取自本地配置文件中所填写的接口名称。其技术效果在于:大语言模型服务的提供方可能在接口名称保持不变的前提下更换其底层模型,此种更换对调用方不可见。若哈希仅绑定本地配置,则底层模型更换后哈希值不变,判定标准已经漂移而系统无从察觉。绑定实际返回的版本标识后,一旦发生此种更换,哈希值随即改变,前后两个时期的记录即可被区分,从而使判定条件的漂移可被检出并可被追溯。

51、步骤九,多人独立复核时的呈现顺序控制。 当同一处方由两名以上人员分别独立复核时,按复核人员标识确定性地打乱各模型输出的呈现顺序。所述"确定性"是指,同一复核人员对同一处方每次看到的顺序相同,而不同复核人员看到的顺序不同。其技术效果在于,避免固定的呈现顺序使复核人员对排在前列的模型形成稳定的倾向性,同时保证同一人员重复查看时所见一致,不致引起混淆。

52、步骤十,平票处置。 当依据各模型判定结果作多数投票而出现平票时,取严重程度更高者。该设置使系统在无法形成多数意见时偏向更为审慎的一侧。

53、3.3 有益效果

54、本发明的有益效果如下。

55、第一,使人工复核资源的分配依据处方本身的判定难度而非随机抽取。分歧指数为连续标量且经归一化,因而不同处方之间可以横向比较并形成优先级顺序,这是"是否一致"的二值判断与未归一化的差异计数所不能提供的。

56、第二,采用双层异质度量并加权合成,使结论层面的分歧与问题类型层面的分歧均被纳入,二者的相对重要性由预先设定的权重体现。相较于单一维度的一致性度量,该方案对分歧的刻画更为完整。

57、第三,分歧不被消解而被保留并用于调度。与将多个模型的输出融合为单一"更可信答案"的做法不同,本发明不修正任何模型的结论,而是将分歧本身作为调度信号使用,同时通过争议编码将分歧定位到具体条目,使人工可以直接针对争议点展开工作。

58、第四,对分级机制自身的盲区予以控制。通过对全体一致且判定为合理的处方保留固定比例的随机抽检,使多个模型共同持有的偏差所导致的误判仍存在被发现的通道,从而使该分级机制成为可被持续检验的机制。

59、第五,使判定条件的漂移可被检出。通过将各模型实际返回的版本标识纳入哈希绑定,服务提供方在接口名称不变前提下更换底层模型的情形可被识别,不同时期的记录得以区分。

60、第六,判定权始终归属于人。系统在任何分支下均不自动生成对外发布的点评结论,模型输出仅作参考信息呈现,最终结论由具名的复核人员作出。这使本方案符合处方点评工作的专业责任要求。

61、上述有益效果基于所述机制的技术合理性,以及在真实数据环境中的运行观测。在一种实施环境中,已接入并结构化的真实门诊处方约十六万八千张,配套既往就诊上下文记录约六十万条,可供分析的处方池为二十五万零六百零九张,覆盖九个月,月均约二万七千八百四十五张。在该环境下已完成的三模型合议完整运行记录为五十二条,其综合分歧指数取值分布于 0.000 至 0.800 之间,其中分歧指数非零者三十九条,占百分之七十五点零;按分布形态划分,轻度分歧三十一条、全体一致且均为合理十二条、全体一致且均为不合理七条、重度分歧二条。该五十二条记录的版本哈希完全一致,表明在该期间内判定条件未发生漂移。就去标识化效果,已对三百张真实处方逐张核查,患者标识号、门诊号、就诊流水号与处方号进入模型调用内容的次数均为零。

62、上述数据表明,分歧指数在真实数据上呈现出足够的区分度而非趋于常量,从而具备用于分级调度的实际可行性。