一种基于语义级原子化检测的智能审核方法及系统与流程

本发明涉及智能审核与自然语言处理，具体涉及一种基于语义级原子化检测的智能审核方法及系统。

背景技术：

1、随着运营商数字化转型的深入推进，合同、财务报表、项目审批文件、用户资质材料等各类业务文档的审核工作量呈指数级增长，现有智能审核方法未能将文档预处理、配置化任务编排和异构能力原子化执行进行有机整合，导致审核流程割裂、扩展性差、准确率低，难以满足运营商业务的实际需求。具体而言，现有文档预处理环节缺乏针对性，对所有来源的pdf文档采用统一处理流程，既浪费计算资源又无法保证处理质量；审核逻辑多采用硬编码方式与代码深度耦合，每次新增审核场景或调整检查规则都需要经历完整的开发发布流程，响应速度慢，无法适配运营商业务快速迭代的特点；不同审核技术能力独立运行，外部api调用、知识库检索和大语言模型推理之间缺乏协同，无法根据任务需求灵活组合优势能力，导致整体审核效率和准确率均不理想，严重制约了运营商业务的数字化进程。

技术实现思路

1、本发明所要解决的技术问题是现有运营商业务智能审核技术存在多源文档处理低效、审核逻辑硬编码扩展性差、api/知识库/大模型能力割裂的问题，导致整体审核效率和准确率难以满足业务需求。

2、本发明解决上述技术问题的技术方案如下：一种基于语义级原子化检测的智能审核方法，包括以下步骤：s1、对待审核文档进行预处理，将所述待审核文档转换为向量表示并存入向量数据库，并建立向量索引，得到向量化的结构化数据；s2、从配置数据库中读取预配置的场景、规则和原子检查项关联关系，生成包含各原子检查项调用顺序和依赖关系的执行计划；s3、按照所述执行计划，并基于所述向量化的结构化数据依次调用各原子检查项执行器，每个原子检查项执行器通过融合外部应用程序编程接口调用、向量知识库检索和大语言模型推理中至少一种能力完成单项检查，并汇总所有检查结果并生成审核报告。

3、本发明的有益效果是：将智能审核流程划分为文档预处理、执行计划生成和原子化检查执行三个核心阶段，实现了从文档输入到审核报告输出的端到端自动化处理，显著提升审核效率，通过将审核任务拆解为不可再分的原子检查项并支持多种异构能力的灵活组合，能够根据不同审核任务的特点选择最优的技术方案，大幅提高审核准确率，通过配置化方式管理审核逻辑，实现了新增审核场景的零代码开发，显著提升了系统对业务迭代的响应速度，通过统一的向量数据库存储文档信息，为语义级审核提供了高质量的数据基础，解决了传统关键词匹配技术无法理解语义的问题。

4、进一步，所述s1具体包括：s11、对输入的pdf文档执行源类型自适应检测，判定所述pdf文档属于预设的多种文档来源类型中的一种；s12、根据检测结果自适应选择处理策略，将所述pdf文档转换为预设的轻量级标记格式，并在转换过程中保留原始文档中的表格结构以及标题层级信息；s13、对所述轻量级标记格式内容进行语义分片，使用文本嵌入模型将每个分片转换为向量表示，将所述向量表示存入所述向量数据库，并建立所述向量索引。

5、采用上述进一步方案的有益效果是：通过源类型自适应检测技术，能够自动识别pdf文档的来源类型，并选择最优的处理策略，在保证处理准确率的前提下，大幅缩短文档预处理平均时间，降低计算资源消耗，同时采用轻量级标记格式保留文档的结构信息，为后续的语义理解提供了更丰富的上下文，显著提升语义检索的准确率。

6、进一步，所述s11具体包括：s101、提取所述pdf文档的元数据，通过匹配预设的关键词计算第一得分；分析所述pdf文档各页面的宽高比，计算第二得分；统计所述pdf文档中的文字密度，计算第三得分；s102、对所述第一得分、第二得分和第三得分分别赋予第一权重、第二权重、第三权重进行加权求和，并得到综合得分；s103、设定第一阈值和第二阈值，将所述综合得分与所述第一阈值和所述第二阈值比较，判定所述pdf文档属于第一类型、第二类型或第三类型；s104、根据判定结果自适应选择后续处理策略：对于所述第一类型文档，按照预设处理流程直接提取文本；对于所述第二类型文档，直接提取文本而跳过光学字符识别步骤；对于所述第三类型文档，启用高精度光学字符识别模块进行文字提取。

7、采用上述进一步方案的有益效果是：采用三维特征加权检测算法，综合考虑元数据、页面宽高比和文字密度三个维度的特征，大幅提高pdf源类型检测的准确率，通过为不同特征赋予不同的权重，能够更准确地反映各特征对源类型判定的贡献程度，同时采用双阈值判定机制，有效避免了单一阈值带来的误判问题，确保不同类型的文档都能得到正确的处理。

8、进一步，所述s2具体包括：s21、从所述配置数据库中读取场景配置信息，解析场景层、规则层、原子检查项层完全解耦的表结构，其中所述场景层用于存储业务领域边界和适用范围，所述规则层用于将检查项按业务逻辑分组并定义执行顺序，所述原子检查项层用于存储最小执行单元及对应的执行参数；s22、根据当前审核所对应的场景适用范围，从所述配置数据库中筛选出所述场景下需要执行的所有规则，再进一步解析每条规则下挂载的原子检查项列表；s23、针对每个原子检查项，读取所述原子检查项配置的检查项类型、能力组合模式、条件类型和条件值；根据所述条件类型和所述条件值生成执行计划，明确各个原子检查项之间的调用顺序以及可能存在的依赖关系。

9、采用上述进一步方案的有益效果是：采用场景层、规则层与原子检查项层的三层完全解耦的配置架构，实现了审核逻辑的清晰分层和独立管理，大幅提升配置管理效率，场景层定义业务边界，规则层负责业务逻辑分组，原子检查项层定义具体的执行单元，各层之间通过唯一标识进行关联，互不影响，这种架构不仅便于配置管理和维护，还能够实现新增审核场景的零代码开发，显著提升了系统对业务迭代的响应速度。

10、进一步，所述s3具体包括：s31、按照所述执行计划，并基于所述向量化的结构化数据依次调用各原子检查项执行器，每个原子检查项执行器均继承自一个统一的执行器基类，所述执行器基类通过依赖注入方式统一声明外部应用程序编程接口调用接口、向量知识库检索接口、大语言模型推理接口以及多模态大语言模型接口；s32、每个原子检查项执行器遵循以下标准化执行流程：解析输入数据，根据能力组合模式调用相应接口判定结果，将结果封装为标准输出格式；s33、所述原子检查项执行器支持多种能力组合模式，所述多种能力组合模式包括但不限于单一能力型、两种能力混合型以及三种能力融合型；s34、所有原子检查项执行完毕后，汇总各个原子检查项的执行结果，生成完整的审核报告；所述审核报告包含每个检查项的通过状态、提取的关键信息点、详细的风险说明以及作为审核依据的证据来源。

11、采用上述进一步方案的有益效果是：通过依赖注入方式声明所有可用的技术能力接口，实现了能力的解耦和灵活组合，显著提高代码复用率，降低维护成本，每个原子检查项执行器都继承自该基类，遵循统一的标准化执行流程，显著提高了系统的可维护性和可扩展性，同时支持多种能力组合模式，能够根据不同的审核任务需求，选择最优的技术能力组合，在保证审核准确率的前提下，最大限度地提高执行效率，此外系统生成的审核报告包含详细的检查结果、关键信息点、风险说明和证据来源，为审核人员提供全面、准确的决策依据，减少人工复核的工作量。

12、进一步，所述s32中的原子检查项执行器在执行过程中，若需要从所述向量数据库中检索信息，则执行以下步骤：s301、根据所述原子检查项配置的查询条件，在所述向量数据库中执行相似度检索，返回与所述查询条件相关的文本片段以及所述文本片段中内嵌的图片引用标识；s302、若所述文本片段中包含图片引用标识，则自动解析所述图片引用标识，提取对应的图片标识并获取图片数据，然后将所述文本片段和所述图片联合输入多模态大语言模型进行分析，输出融合语义与视觉信息的分析结果。

13、采用上述进一步方案的有益效果是：实现了语义检索与多模态大语言模型的自动联动，能够自动识别文本片段中内嵌的图片引用标识，并将文本和对应的图片联合输入多模态大语言模型进行分析，这种方式能够充分利用文本和图片的互补信息，显著提高对包含非文本内容的文档的理解能力和审核准确率，大幅减少人工复核工作量。

14、进一步，所述s301与s302之间通过联动机制衔接，所述联动机制具体包括：s311、在获得文本片段后，自动解析所述文本片段中以预设格式存在的图片引用标识，提取出图片的唯一标识列表；s312、将召回得到的文本内容和对应的图片数据作为联合输入，调用多模态大语言模型接口；s313、在多模态大语言模型调用过程中采用可靠性保障机制，所述可靠性保障机制包括：采用流式输出方式接收结果；设置心跳检测，若连续预设时间阈值未收到新令牌则视为超时；在超时或接口异常时自动重试，最多重试预设次数；若所有重试均失败，则降级为仅使用纯文本进行推理。

15、采用上述进一步方案的有益效果是：设计了完善的多模态大语言模型调用可靠性保障机制，包括流式输出、心跳检测、自动重试和降级策略，能够有效应对各种异常情况，大幅提高多模态调用的成功率，确保审核任务的顺利完成，当多模态大语言模型调用失败时，系统能够自动降级为纯文本模式，保证审核过程不中断，显著提升系统可用性，同时采用流式输出方式，能够让用户实时看到审核结果的生成过程，显著提升用户体验。

16、进一步，所述条件类型包括但不限于数值比较、字符串匹配、正则表达式、存在性校验；所述条件值用于为所述条件类型提供具体的比较阈值或匹配模板。

17、采用上述进一步方案的有益效果是：将条件类型和条件值作为配置参数存储在数据库中，支持多种常用的条件类型，能够满足绝大多数审核场景的需求，当需要新增条件类型时，只需在数据库中添加相应的配置，无需修改代码，显著提高了系统的灵活性和可扩展性，能够快速响应运营商业务不断变化的审核需求。

18、进一步，本技术还提供一种基于语义级原子化检测的智能审核系统，包括：文档预处理模块，用于对待审核文档进行预处理，将所述待审核文档转换为向量表示并存入向量数据库，并建立向量索引，得到向量化的结构化数据；配置与计划生成模块，用于从配置数据库中读取预配置的场景、规则和原子检查项关联关系，生成包含各原子检查项调用顺序和依赖关系的执行计划；执行与汇总模块，分别与所述文档预处理模块和所述配置与计划生成模块连接，用于按照所述执行计划，并基于所述向量化的结构化数据依次调用各原子检查项执行器，每个原子检查项执行器通过融合外部应用程序编程接口调用、向量知识库检索和大语言模型推理中至少一种能力完成单项检查，并汇总所有检查结果并生成审核报告。

19、进一步，所述文档预处理模块包括：源类型检测单元，用于对输入的pdf文档执行源类型自适应检测，判定所述pdf文档属于预设的多种文档来源类型中的一种；格式转换单元，与所述源类型检测单元的输出端连接，用于根据检测结果自适应选择处理策略，将所述pdf文档转换为预设的轻量级标记格式，并在转换过程中保留原始文档中的表格结构以及标题层级信息；向量化存储单元，与所述格式转换单元的输出端连接，用于对所述轻量级标记格式内容进行语义分片，使用文本嵌入模型将每个分片转换为向量表示，将所述向量表示存入所述向量数据库，并建立所述向量索引。

20、进一步，所述源类型检测单元包括：特征提取子单元，用于提取所述pdf文档的元数据，通过匹配预设的关键词计算第一得分；分析所述pdf文档各页面的宽高比，计算第二得分；统计所述pdf文档中的文字密度，计算第三得分；加权计算子单元，与所述特征提取子单元的输出端连接，用于对所述第一得分、第二得分和第三得分分别赋予第一权重、第二权重、第三权重进行加权求和，并得到综合得分；阈值判定子单元，与所述加权计算子单元的输出端连接，用于设定第一阈值和第二阈值，将所述综合得分与所述第一阈值和所述第二阈值比较，判定所述pdf文档属于第一类型、第二类型或第三类型；策略选择子单元，与所述阈值判定子单元的输出端连接，用于根据判定结果自适应选择后续处理策略：对于所述第一类型文档，按照预设处理流程直接提取文本；对于所述第二类型文档，直接提取文本而跳过光学字符识别步骤；对于所述第三类型文档，启用高精度光学字符识别模块进行文字提取。

21、进一步，所述配置与计划生成模块包括：配置读取单元，用于从所述配置数据库中读取场景配置信息，解析场景层、规则层、原子检查项层完全解耦的表结构，其中所述场景层用于存储业务领域边界和适用范围，所述规则层用于将检查项按业务逻辑分组并定义执行顺序，所述原子检查项层用于存储最小执行单元及对应的执行参数；规则筛选单元，与所述配置读取单元的输出端连接，用于根据当前审核所对应的场景适用范围，从所述配置数据库中筛选出所述场景下需要执行的所有规则，再进一步解析每条规则下挂载的原子检查项列表；计划生成单元，与所述规则筛选单元的输出端连接，用于针对每个原子检查项，读取所述原子检查项配置的检查项类型、能力组合模式、条件类型和条件值；根据所述条件类型和所述条件值生成执行计划，明确各个原子检查项之间的调用顺序以及可能存在的依赖关系。

22、进一步，所述执行与汇总模块包括：原子执行器调用单元，用于按照所述执行计划，并基于所述向量化的结构化数据依次调用各原子检查项执行器，每个原子检查项执行器均继承自一个统一的执行器基类，所述执行器基类通过依赖注入方式统一声明外部应用程序编程接口调用接口、向量知识库检索接口、大语言模型推理接口以及多模态大语言模型接口；标准化流程控制单元，与所述原子执行器调用单元连接，用于使每个原子检查项执行器遵循以下标准化执行流程：解析输入数据，根据能力组合模式调用相应接口判定结果，将结果封装为标准输出格式；能力模式配置单元，与所述标准化流程控制单元连接，用于配置所述原子检查项执行器支持多种能力组合模式，所述多种能力组合模式包括但不限于单一能力型、两种能力混合型以及三种能力融合型；结果汇总单元，与所述原子执行器调用单元连接，用于所有原子检查项执行完毕后，汇总各个原子检查项的执行结果，生成完整的审核报告；所述审核报告包含每个检查项的通过状态、提取的关键信息点、详细的风险说明以及作为审核依据的证据来源。

23、进一步，所述原子执行器调用单元内部还设置有语义检索与多模态联动子单元，所述语义检索与多模态联动子单元用于在原子检查项执行器需要从所述向量数据库中检索信息时执行以下操作：根据所述原子检查项配置的查询条件，在所述向量数据库中执行相似度检索，返回与所述查询条件相关的文本片段以及所述文本片段中内嵌的图片引用标识；若所述文本片段中包含图片引用标识，则自动解析所述图片引用标识，提取对应的图片标识并获取图片数据，然后将所述文本片段和所述图片联合输入多模态大语言模型进行分析，输出融合语义与视觉信息的分析结果。

24、进一步，所述语义检索与多模态联动子单元内部还设置有：图片解析组件，用于在获得文本片段后，自动解析所述文本片段中以预设格式存在的图片引用标识，提取出图片的唯一标识列表；联合调用组件，与所述图片解析组件连接，用于将召回得到的文本内容和对应的图片数据作为联合输入，调用多模态大语言模型接口；可靠性保障组件，与所述联合调用组件连接，用于在多模态大语言模型调用过程中采用可靠性保障机制，所述可靠性保障机制包括：采用流式输出方式接收结果；设置心跳检测，若连续预设时间阈值未收到新令牌则视为超时；在超时或接口异常时自动重试，最多重试预设次数；若所有重试均失败，则降级为仅使用纯文本进行推理。

25、进一步，本技术还提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现所述的基于语义级原子化检测的智能审核方法。

26、进一步，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现所述的基于语义级原子化检测的智能审核方法。