文本异常检测方法、装置、计算机设备和存储介质与流程

摘要: 本技术涉及计算机,特别是涉及一种文本异常检测方法、装置、计算机设备和存储介质。背景技术:1、随着自然语言处理技术与人工智能安全领域的发展,出现了基于深度学习模型...
文本异常检测方法、装置、计算机设备和存储介质与流程

本技术涉及计算机,特别是涉及一种文本异常检测方法、装置、计算机设备和存储介质。

背景技术:

1、随着自然语言处理技术与人工智能安全领域的发展,出现了基于深度学习模型的文档语义理解技术。该技术能够通过神经网络模型捕捉文档中文本的上下文信息和序列关系,相较于传统的关键词匹配、正则表达式或自定义规则解析方式,具备更强的语义理解能力,从而能够更精准地发现文档中的异常信息。

2、传统技术中,对非结构化文档进行异常检测时,通常采用基于大语言模型(largelanguage model,llm)的异常事件归因方法。该方法利用llm提取文本的主题标签和性质标签,将文本内容转为结构化向量后进行异常识别与归因分析。实际操作中,系统先将文档语义间接地转为结构化标签,再基于统计方法进行判断,从而得出异常检测结果。

3、然而,大语言模型虽然能够理解文本语义,但其本质是概率生成模型,在推理过程中极易产生脱离文档事实的情况,难以定位文档中真正深层的语义矛盾、逻辑谬误或风格异变等根本性问题。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高文本检测准确度的文本异常检测方法、装置、计算机设备和存储介质。

2、第一方面,本技术提供了一种文本异常检测方法,包括:

3、获取待检测的目标文本;目标文本为按照实体序列进行排序的结构化文本;实体包括篇章或者句子中的至少一种;

4、对目标文本中的实体序列进行异常检测,确定目标文本中存在异常的异常位置,以及,相应异常位置处存在的异常类型;异常检测包括逻辑异常检测、查询异常检测或者结构异常检测中的至少一种;

5、根据不同异常位置以及相应异常位置处存在的异常类型在预设知识图谱中的节点顺序,确定目标文本的异常序列,并显示异常序列;

6、其中,预设知识图谱中的节点为异常类型;连接两节点的边为有向连线,且,方向由先出现的节点所对应异常类型指向后出现的节点所对应的异常类型。

7、在其中一个实施例中,在异常检测为逻辑异常检测的情况下,对目标文本中的实体序列进行异常检测,确定目标文本中存在异常的异常位置,以及,相应异常位置处存在的异常类型,包括:

8、将目标文本中包含预设维度关键词的句子序列作为目标句子序列;预设维度包括数值维度、状态维度或者时间维度中的至少一种;

9、对描述相同事件的目标句子序列进行组合处理,得到目标句子对;

10、确定预设维度关键词不一致的目标句子对为异常句子对;

11、将异常句子对中的各句子序列在目标文本中位置作为异常位置,并确定相应异常位置处存在的异常类型为逻辑异常。

12、在其中一个实施例中,在异常检测为查询异常检测的情况下,对目标文本中的实体序列进行异常检测,确定目标文本中存在异常的异常位置,以及,相应异常位置处存在的异常类型,包括:

13、确定目标文本中各篇章序列的文本描述数据;

14、基于用于描述文本描述数据的关键词,确定文本描述数据的查询向量;

15、从预设参考文本库中确定是否存在与查询向量的相似度高于预设相似阈值的参考文本;

16、针对不存在参考文本的查询向量,根据查询向量对应关键词在目标文本中位置作为异常位置,并确定相应异常位置处存在的异常类型为查询异常。

17、在其中一个实施例中,在异常检测为结构异常检测的情况下,对目标文本中的实体序列进行异常检测,确定目标文本中存在异常的异常位置,以及,相应异常位置处存在的异常类型,包括:

18、对目标文本中的实体序列进行语义识别处理,得到语义向量;

19、确定各实体序列对应语义向量之间的欧式距离;

20、将欧式距离大于预设距离阈值的实体序列在目标文本中位置作为异常位置,并确定相应异常位置处存在的异常类型为结构异常。

21、在其中一个实施例中,根据不同异常位置以及相应异常位置处存在的异常类型在预设知识图谱中的节点顺序,确定目标文本的异常序列,包括:

22、将各异常位置所对应的异常类型在预设知识图谱中匹配为对应的目标节点;

23、获取各目标节点在预设知识图谱中的拓扑排序序号;拓扑排序序号为对预设知识图谱中全部异常类型节点按照有向边的指向进行拓扑排序后所分配的序号;

24、按照拓扑排序序号从小到大的顺序,对各异常位置进行重新排序,得到目标文本的异常序列。

25、在其中一个实施例中,方法还包括:

26、在存在两个目标节点的拓扑排序序号相同的情况下,按照两个异常位置在目标文本中的原始顺序进行排序。

27、第二方面,本技术还提供了一种文本异常检测装置,包括:

28、获取模块,用于获取待处理的目标文本;

29、检测模块,用于对目标文本进行异常检测,得到异常检测结果;

30、显示模块,用于根据异常检测结果,对各异常检测结果进行关联处理,得到目标文本的异常链路,并显示异常链路。

31、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

32、获取待检测的目标文本;目标文本为按照实体序列进行排序的结构化文本;实体包括篇章或者句子中的至少一种;

33、对目标文本中的实体序列进行异常检测,确定目标文本中存在异常的异常位置,以及,相应异常位置处存在的异常类型;异常检测包括逻辑异常检测、查询异常检测或者结构异常检测中的至少一种;

34、根据不同异常位置以及相应异常位置处存在的异常类型在预设知识图谱中的节点顺序,确定目标文本的异常序列,并显示异常序列;

35、其中,预设知识图谱中的节点为异常类型;连接两节点的边为有向连线,且,方向由先出现的节点所对应异常类型指向后出现的节点所对应的异常类型。

36、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

37、获取待检测的目标文本;目标文本为按照实体序列进行排序的结构化文本;实体包括篇章或者句子中的至少一种;

38、对目标文本中的实体序列进行异常检测,确定目标文本中存在异常的异常位置,以及,相应异常位置处存在的异常类型;异常检测包括逻辑异常检测、查询异常检测或者结构异常检测中的至少一种;

39、根据不同异常位置以及相应异常位置处存在的异常类型在预设知识图谱中的节点顺序,确定目标文本的异常序列,并显示异常序列;

40、其中,预设知识图谱中的节点为异常类型;连接两节点的边为有向连线,且,方向由先出现的节点所对应异常类型指向后出现的节点所对应的异常类型。

41、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

42、获取待检测的目标文本;目标文本为按照实体序列进行排序的结构化文本;实体包括篇章或者句子中的至少一种;

43、对目标文本中的实体序列进行异常检测,确定目标文本中存在异常的异常位置,以及,相应异常位置处存在的异常类型;异常检测包括逻辑异常检测、查询异常检测或者结构异常检测中的至少一种;

44、根据不同异常位置以及相应异常位置处存在的异常类型在预设知识图谱中的节点顺序,确定目标文本的异常序列,并显示异常序列;

45、其中,预设知识图谱中的节点为异常类型;连接两节点的边为有向连线,且,方向由先出现的节点所对应异常类型指向后出现的节点所对应的异常类型。

46、上述文本异常检测方法、装置、计算机设备和存储介质,通过依次执行目标文本获取、多维度异常检测以及异常结果间的关联处理与链路可视化,实现了从孤立异常点到结构化异常链路的分析跃升。该方案能够将原本分散、独立的各类异常检测结果(如逻辑冲突、事实偏差、结构语义异常等)进行有机融合与因果关联,突破单一维度检测的局限性,系统性地还原文档中异常产生的完整因果路径;同时,通过直观显示异常链路,使审核人员能够快速定位文档中深层的根本性缺陷,而非仅停留在表层的异常告警,从而显著提升异常检测的全面性、准确性与可解释性,大幅降低人工逐项排查的时间成本与漏判风险,为大规模文档合规审查与风险分析提供高效、可信的自动化决策支持。