一种基于多模态大语言模型的保险单证处理方法及系统与流程

本发明涉及保险数据处理，尤其涉及一种基于多模态大语言模型的保险单证处理方法及系统。

背景技术：

1、在保险出单业务中，投保资料的录入是出单流程的关键环节。以货运险为例，其具有保单量大、出单频次高的显著特征，日常日均出单量可达数百单。传统出单模式下，业务人员需要逐字段人工阅读投保单、货物清单、发票、运输合同等纸质或电子影像资料，将投保人名称、被保险人名称、保险金额、起运地、目的地、货物名称及数量等信息手动录入出单系统，单份投保资料的平均处理耗时较长，工作耗时巨大且易出错。

2、为提升录入效率，现有技术中较为常用的是基于光学字符识别（ocr）加规则匹配的信息提取方法，该方法先通过ocr对投保资料影像进行逐字识别，再将识别出的文本与预设字段规则进行匹配，实现部分信息的自动提取，在格式规范的单一单证场景中得到了一定应用。

3、然而，该现有技术存在以下缺陷：一方面，ocr逐字识别后再做规则匹配的方式，仅能处理版面结构固定、格式统一的单证，无法理解投保资料的版面布局、视觉元素和语义关系，面对版面结构异构、单证种类繁多的投保资料时，识别准确率低、泛化能力差；另一方面，通用大模型或规则引擎缺乏保险业务领域知识，无法理解出单所需的字段定义、取值约束和各字段之间的业务逻辑关系，抽取结果往往不符合出单系统的业务要求，仍需人工大量复核修正。

技术实现思路

1、本发明实施例提供一种基于多模态大语言模型的保险单证处理方法、系统、电子设备及存储介质，能够解决现有技术中ocr加规则匹配方式无法理解版面结构与语义关系、以及缺乏保险领域知识导致抽取结果不符合业务要求的问题。

2、为达到上述目的，本发明的实施例采用如下技术方案：

3、第一方面，提供一种基于多模态大语言模型的保险单证处理方法，所述方法包括：接收投保资料影像，识别所述投保资料影像的文档类型；根据所述文档类型和险种分类，从预先构建的领域知识库中检索对应的字段定义和业务规则，生成自适应识别指令；将所述投保资料影像和所述自适应识别指令输入多模态大语言模型，由所述多模态大语言模型根据所述自适应识别指令对所述投保资料影像进行多模态语义理解，输出结构化抽取结果，所述结构化抽取结果为从所述投保资料影像中提取的预设字段及所述预设字段对应的取值；对所述结构化抽取结果执行业务规则校验，校验通过后生成暂存单数据。

4、本发明提供的方法通过接收投保资料影像并识别其文档类型，为后续差异化处理提供基础；通过根据文档类型和险种分类从领域知识库中检索字段定义和业务规则并生成自适应识别指令，将保险领域知识注入识别任务，使模型理解出单业务要求；通过将影像和指令输入多模态大语言模型进行语义理解，直接输出预设字段及取值的结构化抽取结果，无需经过独立的ocr预处理流程；通过对结构化抽取结果执行业务规则校验，校验通过后生成暂存单数据，实现了投保资料从影像到结构化数据的端到端自动处理。

5、在第一方面的一种可能的实现方式中，所述接收投保资料影像，识别所述投保资料影像的文档类型，包括：接收单张或多张投保资料影像文件，对所述投保资料影像文件进行版面分析，自动判定各影像页面所属的文档类型，所述文档类型包括投保单首页、货物清单页、发票页和运输合同页中的至少一种。

6、本发明提供的方法通过对投保资料影像文件进行版面分析自动判定文档类型，能够区分投保单首页、货物清单页、发票页和运输合同页等不同类型的单证，为后续根据文档类型检索对应领域知识提供了基础，使不同类型单证能够采用差异化的识别策略。

7、在第一方面的一种可能的实现方式中，所述领域知识库包括险种字段知识图谱和业务规则约束库；所述险种字段知识图谱按险种维度维护各出单所需字段的字段名称、数据类型、取值约束和枚举字典；所述业务规则约束库定义字段之间的逻辑约束关系。

8、本发明提供的方法通过构建包含险种字段知识图谱和业务规则约束库的领域知识库，将险种维度下的字段定义、取值约束、枚举字典以及字段间的逻辑约束关系统一沉淀为可检索的领域知识，解决了通用模型不懂保险业务、不懂出单规则的问题。

9、在第一方面的一种可能的实现方式中，所述根据所述文档类型和险种分类，从预先构建的领域知识库中检索对应的字段定义和业务规则，生成自适应识别指令，包括：根据所述文档类型和所述险种分类，从所述险种字段知识图谱中检索对应的字段定义，从所述业务规则约束库中检索对应的业务规则；将检索到的所述字段定义和所述业务规则组装为自然语言格式的所述自适应识别指令，所述自适应识别指令描述需要从所述投保资料影像中提取的各字段及各字段的业务含义。

10、本发明提供的方法通过根据文档类型和险种分类动态检索领域知识并组装为自然语言格式的自适应识别指令，使识别指令与当前待处理的投保资料和险种精准匹配，避免了使用固定模板无法适配异构单证和不同险种的问题。

11、在第一方面的一种可能的实现方式中，所述将所述投保资料影像和所述自适应识别指令输入多模态大语言模型，由所述多模态大语言模型根据所述自适应识别指令对所述投保资料影像进行多模态语义理解，输出结构化抽取结果，包括：对所述投保资料影像提取视觉特征，对所述自适应识别指令提取文本特征；将所述视觉特征和所述文本特征通过交叉注意力机制进行多模态融合，基于融合后的多模态特征逐令牌生成所述结构化抽取结果。

12、本发明提供的方法通过对影像提取视觉特征、对指令提取文本特征，并通过交叉注意力机制进行多模态融合，使模型能够同时理解影像的版面内容、视觉元素和指令中的业务语义，实现了对异构投保资料的结构化字段抽取，无需经过独立的ocr预处理流程。

13、在第一方面的一种可能的实现方式中，所述对所述结构化抽取结果执行业务规则校验，包括必填校验、类型校验、范围校验、逻辑一致性校验和跨文档一致性校验中的至少一种：所述必填校验用于检查所述预设字段中必填字段是否存在空值；所述类型校验用于检查各预设字段的取值类型是否符合预设数据类型；所述范围校验用于检查各预设字段的取值是否在预设取值范围内；所述逻辑一致性校验用于检查不同预设字段之间是否满足预设逻辑约束关系；所述跨文档一致性校验用于检查同一保单的多份文档中相同字段的取值是否一致。

14、本发明提供的方法通过在数据进入出单系统之前执行业务规则校验，从必填、类型、范围、逻辑一致性和跨文档一致性多个维度对抽取结果进行质量把关，大幅降低了后续核保环节的返工率，确保了进入暂存单的数据质量。

15、在第一方面的一种可能的实现方式中，所述方法还包括：当所述结构化抽取结果中存在置信度低于预设阈值的字段时，对所述字段对应的影像区域进行局域精细化再抽取，得到再抽取结果；将所述再抽取结果更新至所述结构化抽取结果。

16、本发明提供的方法通过以字段级别置信度为驱动，对低置信度字段进行局域精细化再抽取，能够针对模型识别不确定的局部区域进行二次精细化处理，提升了整体抽取结果的准确性和完整性。

17、在第一方面的一种可能的实现方式中，所述校验通过后生成暂存单数据，包括：将所述结构化抽取结果中的通用字段名映射为出单系统的预设标准字段编码，将自然语言值转换为所述出单系统的字典编码；调用所述出单系统的接口创建暂存单数据，根据险种代码加载对应的出单页面模板，将所述暂存单数据回填至录入界面。

18、本发明提供的方法通过字段映射和字典码转换，将模型输出的通用字段名和自然语言值转换为出单系统的内部标准编码，实现了本方案与现有出单系统的无缝对接；通过创建暂存单数据并回填录入界面，业务人员可在页面上进行复核修正后提交，在不改变现有上下游对接方式的前提下完成能力嵌入。

19、在第一方面的一种可能的实现方式中，所述方法还包括：在出单完成后，将所述投保资料影像、所述结构化抽取结果、所述业务规则校验的校验结果、人工修正记录和最终出单数据建立关联，存储为处理链路信息。

20、本发明提供的方法通过在出单完成后将原始影像、模型输出、校验结果、人工修正和最终数据建立关联并存储为处理链路信息，实现了投保资料处理全流程的可审计追溯，便于按保单号进行问题排查和责任认定。

21、第二方面，本发明提供了一种基于多模态大语言模型的保险单证处理系统，所述系统包括：影像接收模块，用于接收投保资料影像，识别所述投保资料影像的文档类型；指令生成模块，用于根据所述文档类型和险种分类，从预先构建的领域知识库中检索对应的字段定义和业务规则，生成自适应识别指令；模型识别模块，用于将所述投保资料影像和所述自适应识别指令输入多模态大语言模型，由所述多模态大语言模型根据所述自适应识别指令对所述投保资料影像进行多模态语义理解，输出结构化抽取结果，所述结构化抽取结果为从所述投保资料影像中提取的预设字段及所述预设字段对应的取值；校验输出模块，用于对所述结构化抽取结果执行业务规则校验，校验通过后生成暂存单数据。

22、第三方面，提供一种电子设备，电子设备包括存储器、一个或多个处理器；存储器与处理器耦合；其中，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得电子设备执行如第一方面任一实现方式中的方法。

23、第四方面，提供一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面任一实现方式中的方法。

24、第五方面，提供计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行第一方面任一实现方式中的方法。

25、可以理解地，上述提供的第二方面的系统，第三方面的电子设备，第四方面的计算机可读存储介质，第五方面的计算机程序产品所能达到的有益效果，可参考第一方面及其任一种可能的设计方式中的有益效果，此处不再赘述。