基于LLM-VL的后处理图像和测量值提取方法及系统与流程

本发明涉及医疗信息化、影像后处理数据采集、计算机视觉识别和结构化医学文档生成领域，更具体地，涉及一种基于llm-vl的后处理图像和测量值提取方法及系统。

背景技术：

1、在介入诊疗、超声检查、血管造影、三维重建、术前规划和术后评估过程中，临床人员会使用不同厂家的影像分析软件。这些软件通常能够完成测量、标注、三维显示、血管路径分析、病灶评估等工作，但其测量结果和关键图像多数停留在软件界面或本机文件中。

2、现有的工作方式一般有两类：一类是人工将测量值抄录到术中记录、结构化报告或科研表格中；另一类是在软件内手工保存关键图像，再由人工整理目录、命名、归类和补充说明。上述方式存在以下缺陷：第一，不同软件接口不统一，医院难以逐一做接口改造；第二，测量值容易抄错、漏填或单位不一致；第三，关键图像保存位置分散，后续追溯和科研复用成本高；第四，临床现场不适合频繁切换系统或额外录入。

技术实现思路

1、有鉴于此，本发明的主要目的在于提供一种基于llm-vl的后处理图像和测量值提取方法及系统，采用非侵入式采集方法，避免逐个改造不同厂家的影像后处理软件，在窗口切换和界面稳定后自动截取目标软件界面，减少人工保存图片和抄录测量值；通过llm-vl模型识别界面场景、测量区域和关键图像区域，将界面信息转成结构化字段；建立复核阈值和人工确认流程，保证结果可以用于临床记录、教学归档和科研资料整理。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、一方面，本发明提供了一种基于llm-vl的后处理图像和测量值提取方法，包括：预配置多类型医学影像后处理软件对应的软件识别规则、场景识别规则、字段映射规则以及提示词模板；根据所述软件识别规则监听前台窗口并匹配目标医学影像后处理软件窗口；对匹配成功的所述目标医学影像后处理软件窗口执行稳定校验，自动截取稳定后的所述目标医学影像后处理软件窗口的图像；调用llm-vl模型基于所述场景识别规则判断截取的图像是否为核心场景，若是，则根据所述提示词模板提取患者信息、测量参数、关键图像并输出结构化数据；若否，则丢弃或缓存；基于所述字段映射规则对所述结构化数据做字段合规校验，将存在异常的数据推送到人工复核；将复核完成或校验通过的结构化数据、原始截图、以及审计日志统一归档输出。

4、优选地，所述软件识别规则包括后处理软件名称、进程名、窗口标题关键字、窗口类名、可选控件树特征、屏幕分辨率适配规则；所述场景识别规则包括核心场景名称、适用软件、前置操作、稳定等待时长、采集区域、排除区域；所述字段映射规则包括界面字段名称、标准字段名称、数据类型、单位、必填标识、数值合理范围、复核触发标识；所述提示词模板则按照所述软件识别规则、所述场景识别规则来配置llm-vl模型提示词，设置llm-vl模型输出字段表、关键图像以及无法确认项目。

5、优选地，所述根据所述软件识别规则监听前台窗口并匹配目标医学影像后处理软件窗口包括：实时采集当前窗口句柄、窗口标题、进程id、窗口类名、窗口位置、窗口尺寸；将当前窗口信息与所述软件识别规则进行匹配，匹配成功，则输出目标医学影像后处理软件窗口，匹配失败，则终止采集。

6、优选地，所述对匹配成功的所述目标医学影像后处理软件窗口执行稳定校验的步骤包括：将所述目标医学影像后处理软件窗口保持在前台窗口达到预设时长；连续多次截图比对图像哈希差值，所述哈希差值低于预设阈值，且无弹窗遮挡、无黑屏、白屏、无过渡画面加载时，判断所述目标医学影像后处理软件窗口稳定；若当前窗口未切换但图像或测量区域内容发生变动，则重新执行稳定校验。

7、优选地，所述llm-vl模型执行的具体步骤包括：依据当前匹配的诊疗场景加载该诊疗场景的提示词；判定场景类型，丢弃或缓存非预设核心场景的截图；对核心场景截图分区域识别，输出结构化数据，包括：患者检查信息、场景类型、带置信度的测量字段数组、关键图像坐标数组、低置信度项目、无法确定项目、需要审计的相关信息。

8、优选地，所述诊疗场景至少包括超声测量场景、dsa造影关键帧场景、三维影像后处理测量场景；不同诊疗场景设置差异化提取字段，其中所述超声测量场景提取检查部位、测量项目、测量值及单位、关键图像区域、无法确定项目；所述dsa造影关键帧场景提取造影阶段、血管或部位、病灶/靶血管描述、测量值、关键图像区域；所述三维影像后处理场景提取重建类型、解剖部位、测量项目、测量值及单位、关键图像。

9、优选地，所述字段合规校验包括：校验必填字段完整性、数值与单位合法性、测量值是否超出合理范围、同一检查多次采集字段数值冲突、患者检查信息一致性；满足关键字段缺失、置信度低于阈值、数值异常、同字段冲突、患者信息不一致任一条件，则触发人工复核。

10、另一方面，本发明还提供了一种基于llm-vl的后处理图像和测量值提取系统，该系统包括：规则配置模块、窗口匹配模块、图像截取模块、数据提取模块、数据合规校验模块和数据输出模块，其中，所述规则设置模块，与所述窗口匹配模块相连，用于预配置多类型医学影像后处理软件对应的软件识别规则、场景识别规则、字段映射规则以及提示词模板；所述窗口匹配模块，分别与所述规则配置模块、所述图像截取模块相连，用于根据所述软件识别规则监听前台窗口并匹配目标医学影像后处理软件窗口；所述图像截取模块，分别与所述窗口匹配模块和所述数据提取模块相连，用于对匹配成功的所述目标医学影像后处理软件窗口执行稳定校验，自动截取稳定后的所述目标医学影像后处理软件窗口的图像；所述数据提取模块，分别与所述图像截取模块、数据合规校验模块相连，用于调用llm-vl模型基于所述场景识别规则判断截取的图像是否为核心场景，若是，则根据所述提示词模板提取患者信息、测量参数、关键图像并输出结构化数据；若否，则丢弃或缓存；所述数据合规校验模块，分别与所述数据提取模块、所述数据输出模块相连，用于基于所述字段映射规则对所述结构化数据做字段合规校验，将存在异常的数据推送到人工复核；所述数据输出模块，与所述数据合规校验模块相连，用于将复核完成或校验通过的结构化数据、原始截图、以及审计日志统一归档输出。

11、优选地，所述软件识别规则包括后处理软件名称、进程名、窗口标题关键字、窗口类名、可选控件树特征、屏幕分辨率适配规则；所述场景识别规则包括核心场景名称、适用软件、前置操作、稳定等待时长、采集区域、排除区域；所述字段映射规则包括界面字段名称、标准字段名称、数据类型、单位、必填标识、数值合理范围、复核触发标识；所述提示词模板则按照所述软件识别规则、所述场景识别规则来配置llm-vl模型提示词，设置llm-vl模型输出字段表、关键图像以及无法确认项目。

12、优选地，所述窗口匹配模块还包括采集单元和结果输出单元，其中，所述采集单元，用于实时采集当前窗口句柄、窗口标题、进程id、窗口类名、窗口位置、窗口尺寸；所述结果输出单元，用于将当前窗口信息与所述软件识别规则进行匹配，匹配成功，则输出目标医学影像后处理软件窗口，匹配失败，则终止采集。

13、优选地，所述图像截取模块还包括窗口维持单元和判断单元，其中，所述窗口维持单元，用于将所述目标医学影像后处理软件窗口保持在前台窗口达到预设时长；所述判断单元，用于连续多次截图比对图像哈希差值，所述哈希差值低于预设阈值，且无弹窗遮挡、无黑屏、白屏、无过渡画面加载时，判断所述目标医学影像后处理软件窗口稳定；若当前窗口未切换但图像或测量区域内容发生变动，则重新执行稳定校验。

14、优选地，所述数据提取模块还包括：提示词加载单元、场景判定单元和结构化数据输出单元，其中：所述提示词加载单元，用于依据当前匹配的诊疗场景加载该诊疗场景的提示词；所述场景判定单元，用于判定场景类型，丢弃或缓存非预设核心场景的截图；所述结构化数据输出单元，用于对核心场景截图分区域识别，输出结构化数据，包括：患者检查信息、场景类型、带置信度的测量字段数组、关键图像坐标数组、低置信度项目、无法确定项目、需要审计的相关信息。

15、本发明的技术效果：

16、1、本发明的方法在目标计算机上部署窗口采集程序，采集程序监听前台窗口变化，识别目标影像软件及其核心工作场景。当窗口满足稳定条件后，系统截取窗口图像，并结合窗口标题、进程名称、控件树、分辨率、采集时间等元数据生成一次采集记录。随后调用llm-vl模型对截图进行场景判断、字段提取和关键图像定位，最后将结果写入结构化文档模板或数据库，并对低置信度结果进入人工复核，不需要目标软件开放数据库或接口，适合多厂家、多类型影像后处理软件并存的环境；

17、2、本发明的方法采集过程跟随临床现有操作流程，在窗口切换和界面稳定后自动完成，不要求医生额外录入；输出结果包含字段值、关键图像、来源区域和审计信息，便于复核和追溯；

18、3、本发明的方法通过场景专用配置和人工复核策略，减少单纯ocr或普通截图带来的字段错配、单位遗漏和图片归类混乱问题；为高质量的构建临床诊疗过程文档，积累医教研的大数据资料打下基础。这在中低端医疗机构的介入诊疗过程中尤其重要，可以快速提升其工作质量和诊疗能力。