面向数字医生的医疗大模型训练方法及装置与流程
本说明书中的一个或多个实施例涉及机器学习,尤其涉及一种面向数字医生的医疗大模型训练方法及装置,一种计算机可读存储介质,以及一种计算设备。
背景技术:
1、随着人工智能技术的飞速发展,大型语言模型(large language model, llm)在医疗健康领域的应用日益广泛。目前,业界基于通用大型语言模型,利用海量医学文献、临床指南及脱敏医患对话数据进行垂直领域的预训练或指令微调,从而构建出面向医疗健康场景的医疗大模型。
2、基于医疗大模型,出现了诸如数字医生、智能健康助手、语音问诊系统等产品。这些系统旨在通过自然语言交互,为用户提供初步的健康咨询、分诊建议、慢病管理及情感陪伴等服务。特别是在语音交互场景下,数字医生能够模拟真实医患对话,降低用户的使用门槛,提升医疗服务的可及性。
3、然而,在实际应用中发现,现有的医疗大模型难以满足真实线上场景中对用户体验等方面的更高要求。
技术实现思路
1、本说明书实施例描述一种面向数字医生的医疗大模型训练方法及装置,能够解决上述技术问题。
2、根据第一方面,提供了一种面向数字医生的医疗大模型训练方法。该训练方法包括:
3、获取用户与数字医生之间的历史会话样本集,所述历史会话样本集包括高分样本和低分样本。利用第一大模型处理所述历史会话样本集,生成针对数字医生服务的评价规则集,所述评价规则集包括医学准确性类规则和交互体验类规则。利用实现所述数字医生的医疗大模型,处理第一用户与所述数字医生之间的第一会话上下文,得到对应的候选回复。基于所述第一会话上下文、所述候选回复以及所述评价规则集,确定所述候选回复的奖励信号。基于所述候选回复和奖励信号,采用强化学习算法训练所述医疗大模型。
4、在一个实施例中,所述历史会话样本集来源于历史语音通话,所述第一会话上下文包括当前轮次及历史多轮语音对话的转录文本。其中,所述交互体验类规则包括以下中的一种或多种:语音中断修复规则、自动语音识别容错规则和口语化表达自然度规则。
5、在一个实施例中,获取用户与数字医生之间的历史会话样本集,包括:获取第一历史会话记录及对应的第一用户评价反馈;在所述第一用户评价反馈满足预设高分条件的情况下,将所述第一历史会话记录确定为高分样本;在所述第一用户评价反馈满足预设低分条件的情况下,将所述第一历史会话记录确定为低分样本。
6、在一个实施例中,获取用户与数字医生之间的历史会话样本集,包括:获取第二历史会话记录,并利用第二大模型分析所述第二历史会话记录;在所述分析结果指示所述第二历史会话记录符合高分标准的情况下,将其确定为高分样本;在所述分析结果指示所述第二历史会话记录符合低分标准的情况下,将其确定为低分样本。
7、在一个实施例中,利用第一大模型处理所述历史会话样本集,生成针对数字医生服务的评价规则集,包括:对所述高分样本和所述低分样本进行聚类处理,得到多个样本类簇;将同一样本类簇中的样本作为一个批次输入所述第一大模型,生成对应于该类簇的一条或多条评价规则,归入所述评价规则集。
8、在一个实施例中,基于所述第一会话上下文、所述候选回复以及所述评价规则集,确定所述候选回复的奖励信号,包括:确定所述第一会话上下文对应的用户意图;基于所述用户意图,从所述评价规则集中筛选出启用的评价规则子集;计算所述候选回复在所述启用的评价规则子集下的综合评分,将所述综合评分作为所述候选回复的奖励信号。
9、进一步地,在一个具体的实施例中,所述评价规则集中的评价规则包括通过标准、失败标准和权重;其中,计算所述候选回复在所述启用的评价规则子集下的综合评分,包括:
10、通过将该候选回复、所述第一会话上下文以及所述启用的评价规则子集输入第三大模型,判断该候选回复是否符合各条评价规则的通过标准或失败标准。若符合通过标准,则在对应的评价规则下赋予第一分值;若符合失败标准,则在对应的评价规则下赋予第二分值;其中,所述第一分值高于所述第二分值。利用所述启用的评价规则子集中各条评价规则对应的权重,对各条评价规则下的分值进行加权求和,以确定所述综合评分。
11、进一步,在一个例子中,所述加权求和的结果被作为初始综合评分,所述方法还包括:检测所述启用的评价规则子集中是否存在关键评价规则,所述关键评价规则包括医学准确性相关规则或医疗安全风险相关规则;若存在关键评价规则,且该关键评价规则下的分值低于第一预设阈值,则将所述初始综合评分与所述预设的低分值中的较小值作为最终的综合评分。
12、在一个实施例中,所述候选回复的数量为多个;其中,基于所述候选回复和奖励信号,采用强化学习算法训练所述医疗大模型,包括:基于多个候选回复及其对应的奖励信号构建训练组;采用组相对策略优化算法,计算所述训练组内各候选回复相对于组内平均水平的相对优势;利用所述相对优势作为优化信号,更新所述医疗大模型的参数。
13、在一个实施例中,所述方法还包括:获取针对所述候选回复的标注奖励信号作为基准信号;在所述奖励信号与所述基准信号的差异大于第二预设阈值的情况下,判定奖励信号生成异常;利用第四大模型处理所述第一会话上下文、候选回复、评价规则集、所述奖励信号和所述基准信号,生成针对所述奖励信号生成异常的原因分析结果;基于所述原因分析结果,对所述评价规则集进行调整。
14、根据第二方面,提供了一种面向数字医生的医疗大模型训练装置。该训练装置包括:会话样本集获取模块,配置为获取用户与数字医生之间的历史会话样本集,所述历史会话样本集包括高分样本和低分样本。评价规则集生成模块,配置为利用第一大模型处理所述历史会话样本集,生成针对数字医生服务的评价规则集,所述评价规则集包括医学准确性类规则和交互体验类规则。候选回复生成模块,配置为利用实现所述数字医生的医疗大模型,处理第一用户与所述数字医生之间的第一会话上下文,得到对应的候选回复。奖励信号确定模块,配置为基于所述第一会话上下文、所述候选回复以及所述评价规则集,确定所述候选回复的奖励信号。医疗大模型训练模块,配置为基于所述候选回复和奖励信号,采用强化学习算法训练所述医疗大模型。
15、根据第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当该计算机程序在计算机中执行时,令计算机执行第一方面提供的方法。
16、根据第四方面,提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,该处理器执行所述可执行代码时,实现第一方面提供的方法。
17、综上,采用本说明书实施例披露的上述方法及装置,通过构建基于历史会话数据挖掘的动态评价规则集,并利用多维度奖励信号驱动强化学习,实现了评价体系的自动化与动态更新,使数字医生能够快速适应动态变化的用户需求,显著提升了真实语音通话等复杂场景下的服务质量与用户满意度。
1.一种面向数字医生的医疗大模型训练方法,包括:
2.根据权利要求1所述的方法,其中,所述交互体验类规则包括以下中的一种或多种:语音中断修复规则、自动语音识别容错规则和口语化表达自然度规则。
3.根据权利要求1所述的方法,其中,获取用户与数字医生之间的历史会话样本集,包括:
4.根据权利要求1所述的方法,其中,获取用户与数字医生之间的历史会话样本集,包括:
5.根据权利要求1所述的方法,其中,利用第一大模型处理所述历史会话样本集,生成针对数字医生服务的评价规则集,包括:
6.根据权利要求1所述的方法,其中,基于所述第一会话上下文、所述候选回复以及所述评价规则集,确定所述候选回复的奖励信号,包括:
7.根据权利要求6所述的方法,其中,所述评价规则集中的评价规则包括通过标准、失败标准和权重;其中,计算所述候选回复在所述启用的评价规则子集下的综合评分,包括:
8.根据权利要求7所述的方法,其中,所述加权求和的结果被作为初始综合评分,所述方法还包括:
9.根据权利要求1所述的方法,其中,所述候选回复的数量为多个;其中,基于所述候选回复和奖励信号,采用强化学习算法训练所述医疗大模型,包括:
10.根据权利要求1至9中任一项所述的方法,其中,所述方法还包括:
11.一种面向数字医生的医疗大模型训练装置,包括:
12.一种计算机可读存储介质,其上存储有计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-10中任一项所述的方法。
13.一种计算设备,包括存储器和处理器,其中,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-10中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com