基于低秩多子空间的医疗大语言模型多维价值对齐方法及系统
本发明属于自然语言处理与人工智能安全对齐,特别是涉及一种面向因果大语言模型(causal large language models,因果大语言模型)的多维医疗伦理价值对齐方法,具体属于参数高效微调(parameter-efficient fine-tuning,参数高效微调,简称peft)与表示空间结构化几何控制技术。
背景技术:
1、大语言模型llm近年来在医疗临床决策、病历自动撰写以及患者交互问诊等高风险应用场景中展现出巨大潜力。然而,临床医疗对伦理的要求极为严格,远超普通自然语言生成任务。传统对齐方法,例如基于人类反馈的强化学习(reinforcement learning fromhuman feedback,基于人类反馈的强化学习,简称rlhf),以及直接偏好优化(directpreference optimization,直接偏好优化,简称dpo),通常将对齐任务简化为一维的"安全"或"无害"控制。但在真实临床实践中,合理的医疗决策远非回避有害输出即可达成,而是需要在多个互相不同、甚至彼此冲突的伦理维度之间做出微妙权衡。
2、典型的医疗伦理价值至少包含安全性(safety)、自主性(autonomy)、公平公正(justice)、诚实守信(integrity)以及尊严职责(dignity and duty)等多个相互独立的维度。这种多维度、异质性的医疗价值体系在应用于大语言模型对齐时,面临以下技术瓶颈。
3、第一,一维安全对齐导致过度硬拒绝。传统安全对齐采用单一全局安全向量约束模型,使其无法根据具体情境弹性分配对齐侧重点。当面对高风险治疗方案或敏感伦理话题的临床问答时,模型频繁产生大面积、无差别的硬拒绝,大大降低了医疗大语言模型的实用价值。
4、第二,模型内部表示空间存在价值泄露与维度相互干扰。已有研究表明,直接对大语言模型的高密度表示层施加干预,容易引起非目标价值维度的意外激活或抑制,即所谓"价值泄露(value leakage)"。例如,当单独增强模型的利他性或安全性倾向时,往往会在专业性或患者自主性上发生不可预测的滑坡。现有方法在不同价值维度之间缺乏数学意义上的解耦机制。
5、第三,灾难性遗忘与通用语言能力退化。为同时实现多维价值对齐,传统多目标训练通常对模型作全局参数微调,容易破坏大语言模型已具备的逻辑推理、常识问答以及医学计算等通用能力,导致对齐强度与通用性能之间形成此消彼长的零和困境。
技术实现思路
1、针对上述问题,本发明提出一种面向医疗大语言模型的多维低秩子空间协调对齐方法。本发明将多维伦理价值由抽象的语义概念,转化为大语言模型内部表示空间中可计算、可投影的几何低秩子空间,并引入跨子空间正交解耦机制与情境自适应的路由协调网络,从而在不损伤模型通用能力的前提下,解决了多维临床价值对齐中的冲突权衡与相互干扰难题。
2、为达到上述目的,本发明采用下述技术方案实现:
3、第一方面,本发明实现了一种基于低秩多子空间的医疗大语言模型多维价值对齐方法,其特征在于,包括以下步骤:
4、步骤1,构建多维医疗伦理价值偏好语料集,所述语料集定义了多个不同的医疗价值维度,并为每一医疗价值维度收集了对应的代表性文本样本;
5、步骤2,基于所述语料集,构建多个相互正交的低秩医疗价值子空间,所述多个子空间的数量与所述多个医疗价值维度的数量相等,且所述多个子空间与所述多个医疗价值维度一一对应;
6、步骤3,对于给定的临床输入文本,提取所述大语言模型在指定中间层的隐藏向量,并将所述隐藏向量分别投影至所述多个低秩医疗价值子空间,获取在所述多个价值维度上的当前价值状态向量;
7、步骤4,基于偏好回答和非偏好回答的隐藏向量,构造在所述多个低秩医疗价值子空间内的人类期望价值优化方向向量;
8、步骤5,在所述大语言模型的目标参数层中,为每一所述低秩医疗价值子空间构建一个受其对应子空间几何约束的低秩参数更新模块,使得该模块的参数更新量被严格限定在对应的子空间内;
9、步骤6,构建跨子空间协调门控网络,用于接收所述临床输入文本的全局特征向量,动态计算各价值维度的情境权重,并对各所述低秩参数更新模块的输出进行加权求和,得到针对当前情境的整体参数修正量;
10、步骤7,构造联合损失函数,对所述低秩参数更新模块的可训练参数与所述门控网络进行端到端微调,以实现大语言模型在所述多个医疗价值维度上的动态协调对齐。
11、在一些实施方式中,所述步骤2具体包括:
12、步骤21,特征提取与矩阵构建:将所述代表性文本样本输入参数冻结的大语言模型,提取指定中间层的隐藏向量,并进行均值池化处理,得到每一价值维度对应的句子级语义向量;基于所述每一价值维度对应的句子级语义向量,构成所述初始表示矩阵;
13、步骤22,单维度低秩基矩阵获取:对所述初始表示矩阵进行奇异值分解,截取前若干个最大奇异值对应的左奇异向量,作为所述每一价值维度的低秩基矩阵;
14、步骤23,全局正交化与子空间基底确定:
15、将所述多个价值维度对应的低秩基矩阵按列拼接,对拼接后的矩阵进行全局qr分解,获得正交矩阵;并从所述正交矩阵中切分得到与所述多个价值维度数量相等的列向量组,作为所述多个相互正交的低秩医疗价值子空间的基底。
16、在一些实施方式中,所述步骤s5中,所述低秩参数更新模块的参数更新量由下式确定:
17、
18、其中,为所述步骤s23得到的正交化低秩基矩阵,在训练时冻结,为可训练的低秩系数矩阵,为可训练的低秩基底转置矩阵。
19、在一些实施方式中,所述步骤s6中,所述跨子空间协调门控网络为双层多层感知机,其输出经过softmax函数归一化,得到各价值维度的情境权重,其和为1。
20、在一些实施方式中,所述步骤s7中的联合损失函数由下式确定:
21、
22、其中,为语言建模损失,为第个价值维度上的方向一致性损失,为正交约束惩罚项,为kl散度一致性损失,、、为平衡各部分损失的权重超参数。
23、在一些实施方式中,所述目标参数层为所述大语言模型自注意力机制中的查询向量投影层。
24、第二方面,本发明实现了一种基于低秩多子空间的医疗大语言模型多维价值对齐系统,包括:
25、语料构建模块,用于构建多维医疗伦理价值偏好语料集,所述语料集定义了多个不同的医疗价值维度,并为每一医疗价值维度收集了对应的代表性文本样本;
26、子空间构建模块,用于基于所述语料集,构建多个相互正交的低秩医疗价值子空间,所述多个子空间的数量与所述多个医疗价值维度的数量相等,且所述多个子空间与所述多个医疗价值维度一一对应;
27、价值状态获取模块,用于对于给定的临床输入文本,提取所述大语言模型在指定中间层的隐藏向量,并将所述隐藏向量分别投影至所述多个低秩医疗价值子空间,获取在所述多个价值维度上的当前价值状态向量;
28、优化方向构造模块,用于基于偏好回答和非偏好回答的隐藏向量,构造在所述多个低秩医疗价值子空间内的人类期望价值优化方向向量;
29、低秩参数更新模块,设置于所述大语言模型的目标参数层中,为每一所述低秩医疗价值子空间构建一个受其对应子空间几何约束的低秩参数更新模块,使得该模块的参数更新量被严格限定在对应的子空间内;
30、跨子空间协调门控网络,用于接收所述临床输入文本的全局特征向量,动态计算各价值维度的情境权重,并对各所述低秩参数更新模块的输出进行加权求和,得到针对当前情境的整体参数修正量;
31、联合微调模块,用于构造联合损失函数,对所述低秩参数更新模块的可训练参数与所述门控网络进行端到端微调,以实现大语言模型在所述多个医疗价值维度上的动态协调对齐。
32、在一些实施方式中,所述子空间构建模块具体包括:
33、特征提取单元,用于将所述代表性文本样本输入参数冻结的大语言模型,提取指定中间层的隐藏向量,并进行均值池化,得到每一价值维度对应的句子级语义向量,构成初始表示矩阵;
34、奇异值分解单元,用于对所述初始表示矩阵进行奇异值分解,截取前若干个最大奇异值对应的左奇异向量,作为该价值维度的低秩基矩阵;
35、正交化单元,用于将k个所述低秩基矩阵按列拼接,进行全局qr分解,获得正交矩阵,并从所述正交矩阵中切分出k段列向量,作为k个相互正交的低秩医疗价值子空间的基底。
36、第三方面,一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现任一项所述的基于低秩多子空间的医疗大语言模型多维价值对齐方法。
37、第四方面,一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现任一项所述的基于低秩多子空间的医疗大语言模型多维价值对齐方法。
38、本发明针对构建多个相互正交的低秩医疗价值子空间的技术方案,实现了从数学上彻底切断多维医疗伦理之间的表征纠缠,非目标价值的意外激活量大幅降低,相较于现有技术取得了显著技术效果
39、1、通过构建与多个医疗价值维度一一对应的相互正交的低秩医疗价值子空间,实现了不同伦理维度在模型内部表示空间中的完全解耦,从而大幅降低了非目标价值的意外激活量,提升了多维价值对齐的精度与稳定性。
40、2、通过提取临床输入的中间层隐藏向量并将其投影至各正交子空间,结合偏好与非偏好回答的隐藏向量差分构造优化方向,将抽象的多维伦理价值转化为模型内部可计算、可追踪的几何状态向量,使对齐目标由传统的静态标量升级为动态方向向量,实现了对齐过程的精细化与可量化。
41、3、通过在目标参数层为每一子空间构建受几何约束的低秩参数更新模块,将参数更新量严格限定于对应子空间内,从根源上消除了非目标区域的价值漂移,同时参与梯度训练的参数量仅占模型总参数量的极小部分,在实现精准对齐的同时极大降低了计算开销。
42、4、通过构建跨子空间协调门控网络并结合联合损失函数进行端到端微调,实现了根据临床情境自适应调配各价值维度的对齐权重,能够在高风险情境下生成温和、专业且富有伦理考量的应答,在显著提升多维对齐精度的同时维持了大语言模型的通用语言能力与医学常识能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com