一种基于大语言模型的眼底诊疗建议生成系统及方法与流程

本发明涉及人工智能医疗辅助决策，具体为一种基于大语言模型的眼底诊疗建议生成系统及方法。

背景技术：

1、眼底疾病诊疗依赖对多模态信息的综合分析，现有基于大语言模型的生成式辅助系统尝试结合眼底图像与临床文本，但普遍停留在对单帧图像和静态病历的浅层语义编码，缺乏对病灶空间分布与病史时间演变之间深层关联的建模能力。独立处理图像分支和文本分支后简单拼接的特征融合方式，无法捕捉病灶位置在时间维度上的进展规律与不同时间节点就诊记录之间的交互关系，造成生成的建议在病情连续性解释方面存在缺失，难以体现疾病动态演化的诊疗逻辑。在利用大语言模型生成诊疗文本时，现有方案大多直接将视觉与病史特征映射为提示上下文输入解码器，缺少对专科诊疗知识的结构化检索与可控融合机制。尽管大语言模型拥有丰富的参数化知识，但在细粒度专科场景下容易生成与标准诊疗指南不一致的内容，出现证据链不完整或风险判断失准等问题。静态的知识注入方式无法根据每个病例的病灶-病史关联特性动态选择适用的诊疗规则，导致生成结果的专业一致性不足，限制了在临床辅助场景中的实际应用价值。

2、针对上述不足，本方法需要解决的核心问题集中在两方面。一方面是如何构建病灶空间分布与病史时间节点之间的双向跨模态交互机制，使得图像侧的位置化病灶语义与文本侧的时序化病史状态能够在细粒度层面实现自动对齐与权重分配。另一方面是如何利用这种跨模态对齐结果驱动诊疗知识库的动态检索与融合，让大语言模型在生成诊疗建议时能够自适应地引用与当前病例特征高度相关的规范规则，从而提升生成内容的专业性与可信程度。

技术实现思路

1、本发明提供一种基于大语言模型的眼底诊疗建议生成系统及方法，旨在通过引入跨模态查询路由与知识库动态检索增强机制，实现对眼底图像病灶空间特征和临床病史时间序列的精细化融合，并在此基础上结合诊疗规则动态注入，生成诊断依据充分、风险分层合理、随访计划明确的诊疗建议文本，满足临床辅助决策对时空语义一致性和专业规范性的要求。

2、本发明的目的可以通过以下技术方案实现：

3、本发明提供一种基于大语言模型的眼底诊疗建议生成方法及系统，通过融合眼底多模态影像与患者临床文本记录，实现具有诊断依据、风险分层与随访计划的诊疗建议文本的自动生成。

4、在本发明的一个技术方案中，所述方法包括：响应于接收到的眼底图像集合与患者临床文本记录，调用预训练的眼底多模态特征提取网络对所述眼底图像集合进行病灶语义锚定处理，生成携带空间位置编码的病灶语义特征图集合；对所述患者临床文本记录执行时序化病史状态重构处理，生成具有时间连续性的病史动态特征序列；将所述病灶语义特征图集合与所述病史动态特征序列输入至跨模态查询路由层，所述跨模态查询路由层通过计算病灶空间分布与病史时间节点之间的双向注意力映射，生成查询路由权重矩阵；将所述查询路由权重矩阵与预构建的诊疗知识库中的诊疗规则向量进行动态检索增强融合，生成增强推理上下文；将所述增强推理上下文输入至经过指令微调的大语言模型解码器，自回归生成包含诊断依据、风险分层及随访计划的诊疗建议文本。由此，将影像中的病灶位置信息与病史时间演进的关联关系显式建模，并通过外部诊疗知识检索增强大语言模型的推理能力，提升了生成诊疗建议的准确性和临床可解释性。

5、作为本发明的一种优选技术方案，调用预训练的眼底多模态特征提取网络对所述眼底图像集合进行病灶语义锚定处理，生成携带空间位置编码的病灶语义特征图集合的过程包括：将所述眼底图像集合中的每一帧眼底图像输入至所述眼底多模态特征提取网络的病灶候选区域生成子网络，通过滑动窗口锚点机制提取病灶候选区域边界框及对应的区域置信度评分；针对每个所述病灶候选区域边界框，调用所述眼底多模态特征提取网络的语义分割头对所述病灶候选区域边界框内部的像素点进行逐像素语义分类，生成病灶类型概率图；根据所述病灶类型概率图中的最大概率值对应的病灶类型，为该病灶候选区域边界框分配病灶语义标签；将所述病灶候选区域边界框的几何中心坐标及其对应的病灶语义标签联合编码为所述空间位置编码，并将所述空间位置编码与所述病灶类型概率图进行特征图叠加，生成所述携带空间位置编码的病灶语义特征图集合。优选的，所述病灶候选区域生成子网络采用基于锚点框的区域提案网络，并通过非极大值抑制算法对重叠度超过预设阈值的候选区域边界框进行去重筛选，以在保证病灶召回率的同时减少冗余候选区域，提高病灶语义锚定的效率。

6、作为本发明的另一优选技术方案，对所述患者临床文本记录执行时序化病史状态重构处理，生成具有时间连续性的病史动态特征序列的过程包括：从所述患者临床文本记录中提取多个时间点的就诊记录字段，每个就诊记录字段包含就诊时间戳、主诉文本、既往病史文本及用药记录文本；按照所述就诊时间戳的先后顺序，将所述就诊记录字段排列为原始病史时间序列；调用预训练的病史特征编码器分别对所述原始病史时间序列中每个就诊记录字段内的主诉文本、既往病史文本及用药记录文本进行语义向量化处理，生成对应的主诉语义向量、既往病史语义向量及用药语义向量；将对应于同一个就诊记录字段的所述主诉语义向量、既往病史语义向量及用药语义向量进行横向拼接，并在拼接后的向量上附加所述就诊时间戳的位置编码，生成该就诊记录字段的病史状态向量；将所有就诊记录字段的病史状态向量按照所述就诊时间戳的顺序进行纵向堆叠，生成所述具有时间连续性的病史动态特征序列。该处理将离散的临床文本信息转化为连续时间线上的结构化特征表示，使得病史状态随时间演变的动态规律能够被后续模型捕获。

7、在本发明进一步的优选方案中，将所述病灶语义特征图集合与所述病史动态特征序列输入至跨模态查询路由层，生成查询路由权重矩阵的步骤包括：将所述病灶语义特征图集合中的每个病灶语义特征图展平为一维病灶特征向量，并将所有一维病灶特征向量按空间坐标顺序排列，构建病灶特征矩阵；其中，对所述病灶语义特征图集合中的第i个病灶语义特征图，记其高度为h、宽度为w、通道数为c，通过空间维度展平操作将其转换为长度为h×w×c的一维病灶特征向量；将所有n个病灶语义特征图对应的一维病灶特征向量按空间坐标顺序堆叠，构建维度为n×d的病灶特征矩阵f，d=h×w×c，所述空间坐标顺序定义为从左到右、从上到下的逐像素扫描顺序，并在此基础上按通道维度依次展开。将所述病史动态特征序列中的每个病史状态向量作为一行，构建病史特征矩阵；计算所述病灶特征矩阵与所述病史特征矩阵的转置之间的矩阵乘积，得到原始跨模态关联矩阵；对所述原始跨模态关联矩阵的每一行执行行维度归一化处理，生成表征每个病灶特征与所有病史状态之间关联强度的第一注意力权重矩阵；对所述原始跨模态关联矩阵的每一列执行列维度归一化处理，生成表征每个病史状态与所有病灶特征之间关联强度的第二注意力权重矩阵；将所述第一注意力权重矩阵与所述第二注意力权重矩阵进行逐元素相乘，生成所述查询路由权重矩阵。通过双向注意力映射得到的查询路由权重矩阵，能够同时反映病灶空间分布对病史时间节点的贡献以及病史时间节点对病灶位置的关注程度，从而为后续的知识检索提供精细化的跨模态路由依据。

8、作为一种优选实现方式，将所述查询路由权重矩阵与预构建的诊疗知识库中的诊疗规则向量进行动态检索增强融合，生成增强推理上下文的过程包括：从所述预构建的诊疗知识库中提取所有诊疗规则向量，每个诊疗规则向量对应一条包含疾病诊断标准与治疗建议映射关系的规则文本；根据所述查询路由权重矩阵中的权重分布，计算所述病灶特征矩阵与所述病史特征矩阵的加权和，生成综合查询向量。具体地，记所述病灶特征矩阵为f，维度为n×d，所述病史特征矩阵为h，维度为m×d，所述查询路由权重矩阵为w，维度为n×m；先计算病灶加权查询向量如下：

9、

10、其中：表示所述查询路由权重矩阵w中第i行第j列的元素值，表示所述病灶特征矩阵f中第i个病灶语义特征图对应的一维病灶特征向量。同时计算病史加权查询向量如下：

11、

12、其中表示所述病史特征矩阵h中第j个病史状态向量。将所述病灶加权查询向量与所述病史加权查询向量进行向量拼接，生成所述综合查询向量：

13、

14、其中：concat(·,·)表示向量在特征维度上的拼接操作。计算所述综合查询向量与每个所述诊疗规则向量之间的余弦相似度，并根据余弦相似度从高到低排序，选取前若干个诊疗规则向量作为候选检索规则向量；将所述候选检索规则向量与所述综合查询向量进行跨注意力融合，具体为以所述综合查询向量作为查询项，以所述候选检索规则向量作为键值项，计算注意力加权后的规则增强向量；将所述规则增强向量与所述综合查询向量进行残差连接，生成所述增强推理上下文。优选的，所述预构建的诊疗知识库中的每条规则文本预先通过对比学习目标训练的规则编码器映射为所述诊疗规则向量，使得相似诊疗情景的规则向量在嵌入空间中彼此靠近，提升检索的准确性。该方案将影像与病史的联合表达作为查询，自适应地从外部知识库中检索最相关的诊疗规则，并通过跨注意力机制将查询与规则深度融合，生成信息更加丰富、逻辑更加完备的推理上下文，从而增强大语言模型生成诊疗建议时的事实一致性和专业性。

15、在本发明的另一优选方案中，将所述增强推理上下文输入至经过指令微调的大语言模型解码器，自回归生成包含诊断依据、风险分层及随访计划的诊疗建议文本的过程包括：在所述增强推理上下文的前端拼接预设的系统角色提示向量，所述系统角色提示向量用于约束所述大语言模型解码器按照眼科专家角色的语气生成输出；在所述增强推理上下文的后端拼接预设的输出格式约束向量，所述输出格式约束向量用于指示所述大语言模型解码器依次生成诊断依据段落、风险分层段落及随访计划段落；将拼接后的完整输入序列输入至所述大语言模型解码器的自注意力计算层，通过因果掩码机制逐位置预测下一个token的概率分布；在每个生成步骤中，根据当前已生成的token序列与所述完整输入序列，计算下一个token的生成概率，并选择概率最大的token作为当前步骤的输出token；重复执行逐位置预测步骤，直到生成预设的结束符token或达到最大生成长度，将生成的所有输出token按照输出顺序组合为所述诊疗建议文本。优选的，所述自回归生成过程中采用集束搜索策略，在每个生成步骤中保留概率最高的k个候选序列，并在生成结束时选择整体对数概率最大的序列作为最终输出的诊疗建议文本，从而在生成质量与多样性之间取得平衡，使输出的诊疗建议既符合医学逻辑又完整覆盖所需内容。

16、本发明还包括一种基于大语言模型的眼底诊疗建议生成系统，该系统包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于大语言模型的眼底诊疗建议生成方法的步骤。该系统能够在眼科临床场景下，自动综合利用多模态患者数据，高效生成结构化的精准诊疗建议，辅助医生进行决策。

17、本发明的有益效果：

18、跨模态查询路由层通过建立病灶空间分布与病史时间节点之间的双向注意力映射，生成查询路由权重矩阵。具体地，将携带空间位置编码的病灶语义特征图展平为病灶特征矩阵，将具有时间连续性的病史动态特征序列构建为病史特征矩阵，通过计算两个模态间原始交叉关联矩阵并在行与列维度分别执行归一化处理，得到分别表征病灶特征与所有病史状态关联强度以及病史状态与所有病灶特征关联强度的两组注意力权重，再经逐元素相乘获得最终的查询路由权重矩阵。这一结构使得每个病灶区域能够自适应地聚焦于与其语义相关的时间节点病史状态，同时每个时间节点病史状态也能精准关注有因果联系的病灶空间位置，从而形成病灶演变时序动态与空间形态变化的双向对齐表征，为后续推理提供时空耦合的融合依据，改善了传统方法中跨模态交互仅停留在全局语义层面的缺陷，使得生成诊疗建议能够更准确地捕捉病情进展的关键节点及对应的病变特征。动态检索增强融合过程利用查询路由权重矩阵将病灶特征矩阵与病史特征矩阵加权融合为综合查询向量，实现从交互矩阵到统一查询表征的压缩。该综合查询向量同时携带病灶空间信息和病史时间信息的加权细节，随后作为查询项在预构建的诊疗知识库中计算与各诊疗规则向量的余弦相似度，筛选出与当前病例跨模态特征高度匹配的候选规则向量。进一步以综合查询向量为查询，候选规则向量为键值，执行跨注意力融合并辅以残差连接生成规则增强向量，形成增强推理上下文。此机制将知识库检索的触发条件与跨模态对齐结果深度耦合，使得每次检索出的适用规则内在地对应于病灶和病史的联合特征，避免无关规则引入噪声。大语言模型解码器基于增强推理上下文自回归生成文本时，能够动态依托专业规则约束生成过程，有效减少不符合眼底专科临床路径的内容输出，提升诊断依据的条理性、风险分层的梯度性以及随访计划的可执行性。