审计文本的多维度智能处理方法及系统与流程

摘要: 本技术涉及数据处理,尤其涉及一种审计文本的多维度智能处理方法及系统。背景技术:1、在企业内部审计工作中,审计部门针对审计发现的问题向整改责任部门提出整改要求,整...
审计文本的多维度智能处理方法及系统与流程

本技术涉及数据处理,尤其涉及一种审计文本的多维度智能处理方法及系统。

背景技术:

1、在企业内部审计工作中,审计部门针对审计发现的问题向整改责任部门提出整改要求,整改责任部门据此撰写整改措施文本并报送至审计部门进行审核。

2、整改措施文本通常包含问题应对方案、责任分工、时间安排等内容,审计人员需对整改措施文本逐条审阅并提出修改意见。

3、该审核过程依赖于审计人员对问题描述与整改措施文本的阅读理解与经验判断,涉及对文本语义的多维度分析与反复比对。

4、在实际工作中,审计人员需同时参考多类知识文档,包括问题分类指引文档、评价规则文档、常见问题汇总文档以及历史审计案例文档等,上述文档以电子文件形式分散存储于办公系统中。

5、审计人员在审阅过程中需人工检索历史案例文档,定位与当前问题描述相似的历史案例作为参考,并将各文档中的评价要点与待审整改措施进行逐项比对,完成审核意见的撰写与格式排版后反馈至整改责任部门。

6、现有技术中,上述文本处理与检索过程依赖人工操作完成,对问题描述文本与整改措施文本的特征提取缺乏自动化手段,不同审计人员对同一文本的语义理解存在差异;同时,历史案例文档的检索依赖人工翻阅或关键词匹配,未对案例文本进行向量化编码与语义相似度计算,难以从大量历史案例中精准定位语义相关的内容;此外,知识文档的更新与案例积累缺乏闭环迭代机制,历史案例库无法随着新案例的确认而自动更新检索索引,导致案例检索的覆盖度与准确度受限。

技术实现思路

1、本技术的主要目的在于提供一种审计文本的多维度智能处理方法及系统,以解决现有技术中审计人员对文本处理与检索过程依赖人工操作完成,对问题描述文本与整改措施文本的特征提取缺乏自动化手段,不同审计人员对同一文本的语义理解存在差异,容易造成审计误差、降低工作效率的问题。

2、为了实现上述目的,本技术提供了如下技术方案:

3、一种审计文本的多维度智能处理方法,所述多维度智能处理方法包括:

4、步骤s1,获取待处理审计文本与问题描述文本,对所述待处理审计文本进行分词与词性标注,提取名词性词汇与动词性词汇构建文本特征向量,并对所述问题描述文本执行相同操作构建问题特征向量;

5、步骤s2,对预配置的静态知识文档集合进行全量文本提取,得到静态知识文本序列,并将所述问题特征向量与预配置的动态案例库进行匹配检索,得到检索案例文本序列;

6、步骤s3,将所述文本特征向量、所述问题特征向量、所述静态知识文本序列、所述检索案例文本序列按预设模板拼接为结构化输入序列,将所述结构化输入序列输入至私有化部署语言模型,并获取所述私有化部署语言模型输出的结构化文本序列;

7、步骤s4,提取所述结构化文本序列的标题层级标记与表格结构标记,并按所述标题层级标记与所述表格结构标记将所述结构化文本序列转换为目标格式文档;

8、步骤s5,响应于所述目标格式文档的人工确认标记,将带有所述人工确认标记的目标格式文档所对应的待处理审计文本与问题描述文本作为新增案例,对所述新增案例进行向量化编码并写入所述动态案例库,触发所述动态案例库的增量更新;

9、步骤s6,统计预设时间窗口内所述动态案例库中新增案例的数量,当所述新增案例的数量超过预设迭代阈值时,对所述动态案例库执行全量重建,将全量重建后的动态案例库用于下一轮匹配检索。

10、步骤s1至步骤s6有益效果:

11、本方法针对审计文本处理过程依赖人工操作、历史案例检索精度不足以及知识库更新缺乏闭环迭代等问题,通过对待处理审计文本与问题描述文本自动化分词、词性标注与向量化编码构建文本特征向量与问题特征向量,消除不同审核人员主观判断差异,将静态知识文档全量提取与动态案例库语义检索相结合,通过余弦相似度计算与重排序模型筛选实现历史案例的精准召回,并将结构化输入序列输入私有化部署语言模型获取结构化文本序列,经格式解析转换为目标格式文档供直接使用,同时将人工确认的新增案例向量化写入动态案例库触发增量更新,当新增案例累积超过迭代阈值时对动态案例库执行全量重建,形成案例检索精度持续提升的闭环迭代机制。

12、其中,步骤s1通过分词与词性标注提取名词性词汇与动词性词汇构建特征向量,实现审计文本的自动化结构化表示;步骤s2通过静态知识全量提取与动态案例库匹配检索,兼顾评价框架完整性与历史经验精准复用;步骤s3通过预设模板拼接与私有化语言模型推理,实现多源知识的融合处理与结构化输出;步骤s4通过标题层级标记与表格结构标记的提取与转换,实现输出文档的自动格式排版;步骤s5通过人工确认标记触发新增案例的向量化写入与增量索引更新,实现案例库的动态扩展;步骤s6通过新增案例数量统计与全量重建,实现案例向量索引的周期性优化与检索精度持续提升。

13、作为本技术的进一步改进,步骤s1,获取待处理审计文本与问题描述文本,对所述待处理审计文本进行分词与词性标注,提取名词性词汇与动词性词汇构建文本特征向量,并对所述问题描述文本执行相同操作构建问题特征向量,包括:

14、步骤s1.1,获取待处理审计文本与问题描述文本,对所述待处理审计文本进行分词处理,得到分词结果;

15、步骤s1.2,对所述分词结果进行词性标注,筛选名词性词汇与动词性词汇,得到候选词汇集合;

16、步骤s1.3,对所述候选词汇集合中的各词汇进行向量化编码,得到词汇向量序列;

17、步骤s1.4,对所述词汇向量序列执行均值池化,得到所述待处理审计文本的文本特征向量;

18、步骤s1.5,对所述问题描述文本执行与所述待处理审计文本相同的分词、词性标注、向量化编码、均值池化操作,得到问题特征向量。

19、步骤s1.1至步骤s1.5有益效果:

20、本系列步骤针对审计文本缺乏自动化特征提取手段的问题,通过分词处理、词性标注筛选与向量化编码构建文本特征向量与问题特征向量,实现审计文本从非结构化自然语言到结构化数值表示的自动转换,为后续匹配检索与模型推理提供标准化输入。

21、其中,步骤s1.1通过分词处理将连续文本切分为独立词汇单元,得到分词结果;步骤s1.2通过词性标注筛选名词性词汇与动词性词汇,去除功能词噪声,得到候选词汇集合;步骤s1.3通过对各词汇进行向量化编码,将离散词汇映射为连续数值向量,得到词汇向量序列;步骤s1.4通过对词汇向量序列执行均值池化,将变长序列压缩为固定维度向量,得到文本特征向量;步骤s1.5通过对问题描述文本执行相同处理流程,得到问题特征向量,为后续步骤s2的匹配检索提供检索依据。

22、作为本技术的进一步改进,步骤s2,对预配置的静态知识文档集合进行全量文本提取,得到静态知识文本序列,并将所述问题特征向量与预配置的动态案例库进行匹配检索,得到检索案例文本序列,包括:

23、步骤s2.1,遍历预配置的静态知识文档集合中各文档,对各文档执行文本提取操作,得到各文档对应的纯文本内容;

24、步骤s2.2,将各文档对应的纯文本内容按文档顺序拼接,得到静态知识文本序列;

25、步骤s2.3,对预配置的动态案例库中各案例文本分别进行向量化编码,得到案例向量集合;

26、步骤s2.4,计算所述问题特征向量与所述案例向量集合中各案例向量的余弦相似度,按相似度降序排列,选取前k条案例作为候选案例集;

27、步骤s2.5,对所述候选案例集调用重排序模型计算各候选案例的相关性分数,筛选相关性分数超过预设阈值的目标案例;

28、步骤s2.6,将所述目标案例的案例文本按相关性分数降序拼接,得到检索案例文本序列。

29、步骤s2.1至步骤s2.6有益效果:

30、本系列步骤针对历史案例检索依赖人工翻阅与关键词匹配、检索精度不足的问题,通过对静态知识文档集合全量文本提取与动态案例库语义匹配检索的混合策略,实现知识获取的完整性与检索精准性的兼顾,为后续模型推理提供全面且高相关性的参考文本。

31、其中,步骤s2.1通过对各文档执行文本提取操作,将不同格式的知识文档统一转换为纯文本内容;步骤s2.2通过将各文档纯文本内容按文档顺序拼接,得到连续的静态知识文本序列;步骤s2.3通过对各案例文本分别进行向量化编码,将案例语义信息映射为数值向量,得到案例向量集合;步骤s2.4通过计算问题特征向量与各案例向量的余弦相似度并按降序选取前k条,实现案例的初步语义召回;步骤s2.5通过重排序模型计算相关性分数并筛选超过预设阈值的目标案例,滤除低相关性案例提升检索精度;步骤s2.6通过将目标案例文本按相关性分数降序拼接,得到检索案例文本序列,为后续步骤s3的提示词组装提供高相关性参考内容。

32、作为本技术的进一步改进,步骤s3,将所述文本特征向量、所述问题特征向量、所述静态知识文本序列、所述检索案例文本序列按预设模板拼接为结构化输入序列,将所述结构化输入序列输入至私有化部署语言模型,并获取所述私有化部署语言模型输出的结构化文本序列,包括:

33、步骤s3.1,将所述文本特征向量与所述问题特征向量拼接为问题表征向量;

34、步骤s3.2,将所述静态知识文本序列与所述检索案例文本序列分别添加段首标记符,得到标记后的知识文本与标记后的案例文本;

35、步骤s3.3,按预设模板将所述问题表征向量、所述标记后的知识文本与所述标记后的案例文本拼接为结构化输入序列;

36、步骤s3.4,将所述结构化输入序列输入至私有化部署语言模型,获取所述私有化部署语言模型对所述结构化输入序列执行自回归解码生成的结构化文本序列。

37、步骤s3.1至步骤s3.4有益效果:

38、本系列步骤针对多源知识文本与待处理文本缺乏自动化融合手段的问题,通过将文本特征向量、问题特征向量、静态知识文本序列与检索案例文本序列按预设模板拼接为结构化输入序列并输入私有化部署语言模型,实现多源信息的标准化融合与模型推理的自动化执行,为后续格式转换提供结构化的文本输出。

39、其中,步骤s3.1通过将文本特征向量与问题特征向量拼接为问题表征向量,实现待处理文本与问题描述信息的统一表示;步骤s3.2通过对静态知识文本序列与检索案例文本序列分别添加段首标记符,实现不同来源文本的边界标识;步骤s3.3通过按预设模板将问题表征向量与标记后的知识文本、案例文本拼接,得到结构完整的结构化输入序列;步骤s3.4通过将结构化输入序列输入私有化部署语言模型执行自回归解码,实现多源知识融合条件下的文本生成,得到结构化文本序列。

40、作为本技术的进一步改进,步骤s4,提取所述结构化文本序列的标题层级标记与表格结构标记,并按所述标题层级标记与所述表格结构标记将所述结构化文本序列转换为目标格式文档,包括:

41、步骤s4.1,对所述结构化文本序列执行标记符扫描,识别标题标记符与表格标记符;

42、步骤s4.2,根据所述标题标记符的层级嵌套关系,确定各标题对应的文档标题层级;

43、步骤s4.3,根据所述表格标记符解析表格行数、列数、单元格内容,构建表格结构数据;

44、步骤s4.4,按所述文档标题层级与所述表格结构数据将所述结构化文本序列写入目标格式模板,生成目标格式文档。

45、步骤s4.1至步骤s4.4有益效果:

46、本系列步骤针对模型输出文本需人工整理排版的问题,通过对结构化文本序列的标题层级标记与表格结构标记进行提取与格式转换,实现从模型输出到可交付文档的自动化排版,消除人工调整格式的环节。

47、其中,步骤s4.1通过对结构化文本序列执行标记符扫描,识别标题标记符与表格标记符,为后续格式映射提供结构标记;步骤s4.2通过根据标题标记符的层级嵌套关系确定文档标题层级,实现标题层级的自动识别;步骤s4.3通过根据表格标记符解析表格行数、列数与单元格内容,构建表格结构数据,实现表格结构的自动还原;步骤s4.4通过按文档标题层级与表格结构数据将结构化文本序列写入目标格式模板,生成目标格式文档,实现输出文档的自动格式排版。

48、作为本技术的进一步改进,步骤s5,响应于所述目标格式文档的人工确认标记,将带有所述人工确认标记的目标格式文档所对应的待处理审计文本与问题描述文本作为新增案例,对所述新增案例进行向量化编码并写入所述动态案例库,触发所述动态案例库的增量更新,包括:

49、步骤s5.1,检测所述目标格式文档是否携带人工确认标记,若携带则提取所述目标格式文档对应的待处理审计文本与问题描述文本;

50、步骤s5.2,将所述待处理审计文本与所述问题描述文本按预设案例格式组装,得到新增案例;

51、步骤s5.3,对所述新增案例执行向量化编码,得到新增案例向量;

52、步骤s5.4,将所述新增案例向量写入所述动态案例库,并对所述动态案例库执行增量索引更新。

53、步骤s5.1至步骤s5.4有益效果:

54、本系列步骤针对知识库更新缺乏闭环迭代机制的问题,通过响应人工确认标记将新增案例向量化写入动态案例库并触发增量索引更新,实现案例库的动态扩展与检索覆盖度的持续提升。

55、其中,步骤s5.1通过检测目标格式文档是否携带人工确认标记并提取对应的待处理审计文本与问题描述文本,实现确认案例的自动识别与原始文本回收;步骤s5.2通过将待处理审计文本与问题描述文本按预设案例格式组装,得到新增案例,实现案例数据的标准化封装;步骤s5.3通过对新增案例执行向量化编码,得到新增案例向量,为索引更新提供向量数据;步骤s5.4通过将新增案例向量写入动态案例库并执行增量索引更新,实现案例库的实时扩展与检索范围的动态扩大。

56、作为本技术的进一步改进,步骤s6,统计预设时间窗口内所述动态案例库中新增案例的数量,当所述新增案例的数量超过预设迭代阈值时,对所述动态案例库执行全量重建,将全量重建后的动态案例库用于下一轮匹配检索,包括:

57、步骤s6.1,统计预设时间窗口内所述动态案例库中新增案例的数量,得到新增案例计数;

58、步骤s6.2,将所述新增案例计数与预设迭代阈值进行比对,判断所述新增案例计数是否超过预设迭代阈值;

59、步骤s6.3,若所述新增案例计数超过所述预设迭代阈值,则对所述动态案例库中的全部案例重新执行向量化编码,得到全量重建后的案例向量集合;

60、步骤s6.4,将所述全量重建后的案例向量集合替换所述动态案例库中现有的案例向量,用于下一轮匹配检索。

61、步骤s6.1至步骤s6.4有益效果:

62、本系列步骤针对案例向量索引随增量更新累积偏差导致检索精度下降的问题,通过统计预设时间窗口内新增案例数量并在超过迭代阈值时对动态案例库执行全量重建,实现案例向量索引的周期性优化与检索精度的持续维持。

63、其中,步骤s6.1通过统计预设时间窗口内动态案例库中新增案例的数量,得到新增案例计数,为迭代判定提供量化依据;步骤s6.2通过将新增案例计数与预设迭代阈值比对,判断是否触发全量重建,避免频繁重建或延迟重建;步骤s6.3通过对动态案例库中全部案例重新执行向量化编码,得到全量重建后的案例向量集合,消除增量更新累积的索引偏差;步骤s6.4通过将全量重建后的案例向量集合替换现有案例向量,用于下一轮匹配检索,实现检索精度的周期性恢复与提升。

64、为了实现上述目的,本技术还提供了如下技术方案:

65、一种审计文本的多维度智能处理系统,所述多维度智能处理系统应用于如上述的多维度智能处理方法,所述多维度智能处理系统包括:

66、审计文本向量构建模块,用于获取待处理审计文本与问题描述文本,对所述待处理审计文本进行分词与词性标注,提取名词性词汇与动词性词汇构建文本特征向量,并对所述问题描述文本执行相同操作构建问题特征向量;

67、检索案例文本序列获取模块,用于高对预配置的静态知识文档集合进行全量文本提取,得到静态知识文本序列,并将所述问题特征向量与预配置的动态案例库进行匹配检索,得到检索案例文本序列;

68、结构化文本序列获取模块,用于将所述文本特征向量、所述问题特征向量、所述静态知识文本序列、所述检索案例文本序列按预设模板拼接为结构化输入序列,将所述结构化输入序列输入至私有化部署语言模型,并获取所述私有化部署语言模型输出的结构化文本序列;

69、目标格式文档转换模块,用于提取所述结构化文本序列的标题层级标记与表格结构标记,并按所述标题层级标记与所述表格结构标记将所述结构化文本序列转换为目标格式文档;

70、动态案例库增量更新模块,用于响应于所述目标格式文档的人工确认标记,将带有所述人工确认标记的目标格式文档所对应的待处理审计文本与问题描述文本作为新增案例,对所述新增案例进行向量化编码并写入所述动态案例库,触发所述动态案例库的增量更新;

71、动态案例库全量重建模块,用于统计预设时间窗口内所述动态案例库中新增案例的数量,当所述新增案例的数量超过预设迭代阈值时,对所述动态案例库执行全量重建,将全量重建后的动态案例库用于下一轮匹配检索。

72、为了实现上述目的,本技术还提供了如下技术方案:

73、一种电子设备,包括处理器,以及与所述处理器耦接的存储器,所述存储器存储有可被所述处理器执行的程序指令;所述处理器执行所述存储器存储的所述程序指令时实现如上述的审计文本的多维度智能处理方法。

74、为了实现上述目的,本技术还提供了如下技术方案:

75、一种计算机可读存储介质,所述计算机可读存储介质内存储有程序指令,所述程序指令被处理器执行时能够实现如上述的审计文本的多维度智能处理方法。‌