一种基于规则引擎与大语言模型协同的医学指南结构化及临床信息抽取方法及系统与流程

摘要: 背景技术:1、临床实践指南是医师进行疾病诊疗决策的核心依据,在临床决策支持、医学知识库构建及智能问答等场景中具有重要作用。中文医学指南通常以pdf文档形式发布,...
一种基于规则引擎与大语言模型协同的医学指南结构化及临床信息抽取方法及系统与流程

背景技术:

1、临床实践指南是医师进行疾病诊疗决策的核心依据,在临床决策支持、医学知识库构建及智能问答等场景中具有重要作用。中文医学指南通常以pdf文档形式发布,篇幅长且结构复杂:双栏或多栏排版导致正文段落跨栏断裂;多级编号体系并存,如点分编号1.1.1、中文数字章节及数字主题式编号;节标题与正文频繁粘连在同一文本块中;推荐意见分散于正文段落、要点框及表格中;大量分组清单如危险因素、靶器官损害、临床并发症等内容以非标准表格形式呈现,即伪表格。此外,通用pdf版面解析工具输出的原始结果常伴随光学字符识别噪声、latex数学符号残留等质量问题。

2、通用pdf版面解析工具,例如mineru等,可将pdf转换为包含类型标记、文本内容、页码和边界框坐标的内容块序列。但此类工具面向通用文档设计,对医学指南存在系统性不足:其一,列表块合并——整页要点条目被合并为一个列表块,丢失条目边界;其二,标题与正文粘连——节标题与随后正文位于同一文本块中未被分离;其三,标题层级误判——小节被误标为一级标题,或统计数字如15.5个月中的数值被误识别为节号;其四,页脚断裂——双栏排版下不完整页脚句与正文分离导致语义断裂;其五,表格质量参差不齐——html表格跨行跨列属性混乱,且伪表格未被结构化为标准网格表。

3、在信息抽取层面,现有从指南文本中提取临床知识的方法主要采用基于一级标题的章节聚类策略:将整章内容拼接后按固定字符数上限截断,直接输入大语言模型进行抽取。该方案存在以下不足:一是目录理解粒度较粗,仅依据一级标题选取章节,无法感知多级目录结构及要点、表格等高价值信息的分布;二是固定字符数截断导致章节后半段及深层子节的关键内容丢失;三是缺乏系统的质量控制与可溯源的评估体系,抽取结果的正确性和完整性无法得到有效保障。

4、因此,亟需一种专门针对中文医学指南的两阶段处理方法:第一阶段对通用版面解析工具的原始输出进行深度规则修复和语义结构化;第二阶段基于完整目录树智能分析驱动大语言模型进行定向临床信息抽取,实现从pdf到结构化知识单元再到原子级临床事实和检索增强生成卡片的全链路自动化处理。

技术实现思路

1、针对现有技术的不足,本发明的目的在于提供一种基于规则引擎与大语言模型的医学指南结构化及临床信息抽取方法及系统,以解决通用版面解析工具对医学指南输出质量低、标题正文粘连、表格与列表处理失当的问题,同时解决现有临床信息抽取方案目录理解粗糙、深层子节信息丢失及跨病种泛化能力不足的行业痛点。

2、为实现上述目的,本发明采用如下技术方案。

3、技术方案一

4、一种基于规则引擎的医学指南文档结构化后处理方法,以通用pdf版面解析工具输出的内容块序列为输入,在不依赖大语言模型和不绑定特定疾病词表的条件下,通过规则引擎进行深度后处理,输出结构化语义块序列与可读标记文档,包括以下步骤:

5、步骤1,文档类型识别与配置自适应:扫描文档前若干个文本块,识别编号形态特征,推断文档配置档案;所述配置档案包含编号模式提示、参考文献截断页阈值及编委会噪声跳过页信息;所述编号模式至少包括点分编号模式、中文章节编号模式和数字主题式编号模式。

6、步骤2,预处理修复:对所述内容块序列执行以下至少一项修复操作——将列表类型块的条目展开为独立处理单元;检测同一列表块内的要点边界并切分;识别并拆分嵌入文本中的连续节号;标记编号清单条目以区别于要点无序列表;将不完整页脚文本按边界框坐标拼接至后续连续阅读的首个正文段落之前;过滤页眉、页脚、页码及侧栏文本噪声;保留图片类型块以直通后续阶段。

7、步骤3,双源节标题目录构建:分别在预处理后的内容项和原始内容项上各构建一次节标题目录,再按照结构完整性与标题长度进行合并,得到规范节标题目录映射表;构建过程中依据标题尾部句读符号、括号平衡性、标点密度及虚词尾部等多重质量门控条件过滤无效候选标题。

8、步骤4,版面条带化与栏位分析:基于每页所有内容块的边界框坐标,估计页面有效区域的中线横坐标、行间距及正文区域上下界,为每个内容块标注所在栏位,所述栏位至少包括左栏、右栏和通栏三种类型。

9、步骤5,主语义循环处理,由以下子步骤组成:

10、步骤5-1,表格转换:将html格式表格转换为结构化表格,展开跨行跨列单元格,重建单元格网格,基于行宽一致性指标、空单元格率、跨行跨列属性及列数计算得出表格质量分,取值范围为0至100分;若探测到包含多个表号标题且同页出现短分组标题的伪表格场景,触发伪表格重建流程,所述伪表格重建流程结合原始pdf文本层提取的条目信息进行补充。

11、步骤5-2,语义切分:对每个内容块执行标题与正文的语义切分。切分前首先执行独立标题尾部检测:若文本块尾部本身已为独立标题形态,则不执行切分,直接将尾部标记为标题。当需要切分时,切分引擎遵循优先级策略,依次尝试定义句式切分、ocr重复标题切分、词干重复切分、基于目录字典匹配的目录对齐切分、主语引导切分和基于启发式特征的空格边界切分,每种切分策略均通过高置信门控校验。所述高置信门控仅在标题无句读符号、长度在预设阈值内且正文具有结构起点或足够标点密度的条件下允许切分,切分不确定时保留原块不予切分。同时检测正文中嵌入的节号并进行条件性拆分,对引号或参见引用窗口内的节号、后缀计量单位的数字、统计时长表达式及括号内编号,均不予拆分。

12、步骤5-3,段落合并:将语义连续的段落片段合并为单个正文块,合并条件包括同栏位内的垂直间距不超过页面行间距的预设倍数、左栏未闭合括号的内容与右栏首段跨栏合并、跨页且前段无终止标点符号的段落合并、编号条目以分号或冒号结尾的续句合并;同时对编委会名单块、前言机构行和页码碎片执行防误合并拦截。

13、步骤5-4,文本规范化:在切分与合并过程中对文本执行清洗,包括latex符号与引用标记清洗、医学单位修复、中文空格折叠以及标题正文分界空格保护。

14、步骤6,图片块集成与要点块合并:将预处理阶段保留的图片块按原始来源顺序插入语义块序列;将同一章节路径下连续的要点块合并为要点组。

15、步骤7,质量校验与报告生成:对处理结果进行latex残留计数、标题粘连疑似标记、空语义块检测及低质量表格统计,生成结构化语义块序列、可读标记文档及包含量化指标和修复案例的质量分析报告。

16、技术方案二

17、一种利用技术方案一所述后处理方法输出的语义块序列进行临床信息智能抽取的方法,通过目录树驱动的大语言模型定向抽取策略,从语义块序列中提取原子级临床事实和检索增强生成卡片,包括以下步骤:

18、步骤a,多级目录树构建:从所述语义块序列中提取所有标题块及其章节路径,按章节路径层级关系挂接父子节点,构建完整多级目录树;为每个目录树节点聚合子树统计数据,所述子树统计数据至少包括子树总字数、是否包含要点块、是否包含表格块、所含语义块标识列表及起始页码。

19、步骤b,目录智能分析与抽取计划生成:将所述多级目录树的缩进大纲文本连同低价值节关键词提示输入大语言模型,所述低价值节关键词提示包括参考文献、致谢、编委会、编写说明、研究展望、目录及缩略语表等通用结构关键词,经单次调用获得指南文档画像及包含多条计划项的定向抽取计划;每条计划项至少包含章节路径、优先级、是否包含子节以及中文选取理由;所述文档画像至少包含指南全称、疾病领域、覆盖范围及核心主题。

20、步骤c,抽取计划规则增强:对所述定向抽取计划执行以下至少一项增强操作——对未被计划选中但含要点块或表格块的一级目录节点强制补入;对标题含可操作关键词的一级目录节点赋予更高优先级,所述可操作关键词包括推荐、诊断、治疗、筛查、随访、禁忌、用药、手术等通用临床关键词;在计划项总数超出预设上限时按文档起始页码顺序截断并优先保留强制纳入的一级目录节点;对父级一级目录节点已在计划中且某二级子节含要点块或表格块的,将该二级子节单独列为计划项。

21、步骤d,定向子节原子级临床事实抽取:针对每条计划项,根据所述章节路径选取对应子树的语义块,并与该计划项所属一级章节内的要点块及表格块执行规则并集合并,得到计划源文本;在输入大语言模型之前按照要点块和表格块优先于段落块的优先级排序,并注入父级章节标题及同级章节标题作为上下文;约束抽取结果的溯源锚点须来自有效块标识白名单,约束临床事实类别须来自预设的固定临床信息本体分类体系。

22、步骤e,稀疏节二次补抽:若某计划项首轮抽取产出的事实条数低于预设阈值且源文本包含表格块或要点块,自动触发第二轮抽取,侧重抽取表格中的结构化数值与要点中的推荐条目。

23、步骤f,跨章节综合:将所有计划项的抽取结果进行跨章节语义综合,识别并合并跨章节的语义重复或互补事实,按临床逻辑组织决策路径,生成若干用于外部检索增强生成(rag)系统的检索增强生成卡片,每张卡片至少包含标题、摘要、临床要点提示、关联事实标识和多锚点溯源信息。

24、步骤g,质量门控:对综合后的事实依次执行锚点有效性校验、陈述长度过滤和语义相似度去重;所述语义相似度去重对同类别内文本相似度超过预设阈值的事实进行合并,保留重要性更高者并合并双方锚点。

25、步骤h,双层输出:输出原子级临床事实集合和检索增强生成卡片集合;每条原子级临床事实至少包含类别、标题、完整临床陈述、重要性等级、推荐等级与证据等级、结构化数值键值对、适用人群、溯源锚点及检索问句。

26、步骤i,两层质量评估:在步骤h输出结果后,执行两层质量评估——第一层为大语言模型逐点评分,以人工标注的金标准临床知识点为基准,由大语言模型按预设评分制逐点评审,输出完整覆盖率、部分覆盖率及缺失率统计;第二层为抽取事实样本质量评估,由大语言模型从临床完整性、准确性和非碎片化三个维度对抽样事实进行评分,输出综合质量分。

27、技术方案三

28、一种基于规则引擎与大语言模型的医学指南结构化及临床信息抽取系统,用于实现技术方案一和技术方案二所述的方法,包括:

29、结构化后处理子系统,包含:文档类型识别与配置自适应模块;预处理模块,配置为对通用pdf版面解析工具输出的内容块序列执行列表展开、要点边界切分、页脚拼回、编号清单标记及噪声过滤;双源目录构建模块,配置为分别在预处理后和原始内容项上构建节标题目录并按结构完整性与标题长度合并;版面条带化模块,配置为估计页面栏位与行间距并为内容块标注栏位信息;语义切分模块,配置为通过多策略优先级引擎执行标题与正文的分离,并通过高置信门控保证切分可靠性;段落合并模块,配置为执行跨栏、跨页段落合并及防误合并拦截;表格处理模块,配置为转换html表格并可选地执行伪表格重建;质量报告模块,配置为生成量化指标与修复案例报告。

30、临床信息抽取子系统,包含:目录树构建模块,配置为从语义块序列构建多级目录树并聚合子树统计;目录智能分析模块,配置为将目录大纲输入大语言模型获得文档画像与定向抽取计划;计划增强模块,配置为对抽取计划执行规则增强;定向抽取模块,配置为按计划路径组装源文本并调用大语言模型抽取原子级临床事实;二次补抽模块,配置为针对稀疏节的表格和要点块进行补抽;跨章节综合模块,配置为合并语义重复事实并生成检索增强生成卡片;质量门控模块,配置为执行锚点校验、长度过滤与语义去重;质评估模块,执行两层质量评估。

31、所述结构化后处理子系统的输出端与所述临床信息抽取子系统的输入端连接;各模块通过处理器执行存储在存储器中的程序指令实现各自的功能。

32、技术方案一的进一步细化

33、进一步,技术方案一所述步骤2中的预处理修复,所述标记编号清单条目以区别于要点无序列表具体包括:检测以括号数字开头的连续条目,将其标记为编号清单类型而非要点无序列表类型,以保留原文的结构化语义。

34、进一步,技术方案一所述步骤3中的双源节标题目录构建,信号来源按优先级依次包括:版面解析工具标记为标题级别且尾部为独立标题形态的最高优先级信号、粘连行空格处最长合法独立标题的次高优先级信号、普通短独立标题行的一般优先级信号及列表条目中的节号行次高优先级信号;所述合并规则为优先选取结构完整标题,当两源标题均完整时选取更短的标题以减少正文粘连。

35、进一步,技术方案一所述步骤5-1中,所述伪表格重建流程具体包括:当探测到同一表格标题包含多个表号且后续同页出现短分组标题或分组条目时触发伪表格重建流程;可选地从原始pdf文本层提取条目信息进行补充;将版面解析工具的内容块与pdf文本层条目进行对齐合并,输出具有分组结构和质量标记的伪表格类型语义块。

36、进一步,技术方案一所述步骤5-2中的语义切分,所述目录对齐切分具体包括:在粘连行内部的空格位置枚举所有候选切分点,为每个候选点生成候选标题;将候选标题与所述节标题目录映射表中对应标准标题进行严格匹配;若存在精确匹配的目录条目,则选取该候选点作为切分边界,优先选取匹配且标题最长的候选方案。

37、进一步,技术方案一所述步骤5-2中的语义切分,所述空格边界切分具体包括:当目录对齐切分未命中时,在粘连行内部的空格位置枚举所有候选切分点,为每个候选点生成候选标题和候选正文;在不依赖所述节标题目录映射表的条件下,评估候选标题的合法性与候选正文的独立性,所述合法性至少包括标题长度在预设阈值内、无句读符号且不以虚词结尾,所述独立性包括候选正文具有足够的标点密度或结构起点;优先选取标题最长且正文独立性得分最高的候选方案;在中文空格规范化之前用特殊标记保护标题与正文分界处的空格,规范化完成后再恢复分界。

38、进一步,技术方案一所述步骤5-2中的语义切分,还包括医学单位分隔符与要点符号消歧:在要点无序列表切分之前,识别医学单位中的中点分隔符模式并进行掩码保护,切分完成后再还原掩码,以避免单位表达式被误拆为多条并列要点。

39、技术方案二的进一步细化

40、进一步,技术方案二所述步骤a中,还包括生成目录大纲文本:将所述多级目录树以缩进文本形式输出,每个节点注有层级标记、标题、页码范围、子树字数及是否含要点块和表格块的结构信号,作为步骤b中大语言模型的输入。

41、进一步,技术方案二所述步骤d中,所述预设的固定临床信息本体分类体系包括以下十九个类别:流行病学与疾病负担、定义诊断标准与分类、筛查与早期发现、诊断评估与检查、分期分级与危险分层、治疗策略与方案、药物治疗、手术介入放疗器械治疗、生活方式与非药物干预、监测指标与随访、特殊人群管理、禁忌证与注意事项、并发症与合并症管理、一级二级预防、证据等级与推荐强度、预后与风险评估、转诊与多学科协作团队、患者教育与自我管理以及其他高价值临床信息。

42、采用上述技术方案,本发明取得的有益效果是:

43、(1)本发明采用两阶段协同架构:第一阶段通过纯规则引擎实现从通用版面解析结果到高质量结构化语义块的转换,不依赖大语言模型和特定疾病词表;第二阶段通过目录树智能驱动的大语言模型定向抽取从语义块中提取原子级临床事实和检索增强生成卡片。两个阶段输入输出衔接、职责分明,输出附带章节路径、溯源锚点和检索问句,可直接支撑临床决策支持、指南智能问答和知识库构建等场景。

44、(2)本发明提出的结构驱动标题正文切分方法,基于节号形态、标点密度、括号完整性和词干重复等多信号融合,配合少切偏置与高置信门控机制,无需依赖中文正文起首词表或疾病后缀词表即可实现跨多种编号体系的标题正文准确分离。

45、(3)本发明提出的双源节标题目录构建与合并方法,分别在预处理后和原始内容项上各建一次目录再按结构完整性和标题长度择优合并,为语义切分提供高质量目录对齐依据;在此基础上,通过将多级目录树的缩进大纲输入大语言模型进行单次智能分析,生成附带中文选取理由的定向抽取计划,使抽取粒度与指南真实目录结构对齐,有效解决了传统一级标题聚类方案中深层子节遗漏的问题。

46、(4)本发明在定向抽取阶段提出的临床块优先级排序与上下文注入机制,将要点块和表格块优先置于大语言模型输入窗口前端,有效提升高价值结构化信息的抽取完整性;配合全链路质量标记与大语言模型逐点评审和抽取事实样本质量评估两层评估体系,使得每个处理步骤的决策可追溯、不同版本的处理效果可量化比较。

47、(5)本发明具有优秀的跨病种泛化能力:第一阶段通过配置档案自适应不同编号体系,同一套规则引擎即可处理双栏点分编号和通栏中文章节等风格迥异的指南;第二阶段采用固定十九类临床本体分类体系并依赖通用结构信号进行计划增强,不绑定任何特定疾病关键词,可推广至心血管、肿瘤、感染、代谢等不同疾病领域的临床指南,全面适配各专科临床指南的结构化处理与临床信息抽取任务。