一种批量被评对象自动评估方法与流程
本技术属于人工智能数据处理,具体涉及一种批量被评对象自动评估方法。
背景技术:
1、随着人工智能模型在企业管理软件、知识管理系统和自动化评估系统中的应用,针对批量被评对象材料进行自动评估的需求逐渐增加。所述被评对象材料通常包括文本材料、知识库材料、截图附件或图文混合材料等多种形态,不同材料之间在数据格式、内容长度、证据类型和表达结构上存在差异,因此评估系统需要对批量异质材料进行统一处理、结构化评估和复核输出。
2、现有技术中,通常采用单一评估模型直接读取被评对象材料并输出评估结果,或者采用多个评估代理分别读取同一被评对象材料后输出多个评估结果,再由复核代理或聚合单元基于多个评估结果和原始材料进行二次复核。部分方案还会根据历史评估结果或复核意见对评估规则进行迭代更新,以适应不同批次材料的评估需求。
3、然而,在批量异质材料场景下,若复核处理阶段同时加载多个评估结果和被评对象材料原始内容,容易使复核输入数据规模增大,尤其在材料包含截图附件、嵌入图像或知识库页面时,会增加上下文处理负载。同时,复核处理重新读取原始材料后,复核结果可能受原始材料二次解析结果影响,难以充分基于多个评估结果之间的结构化差异进行一致性复核。此外,现有评估规则迭代方式通常缺少对不同版本评估规则之间一致性的自动判定机制,候选评估规则在多批次运行中可能导致评估结果异常波动。
技术实现思路
1、本技术提供了一种批量被评对象自动评估方法,以解决上述技术问题之一。
2、本技术所采用的技术方案为:
3、本技术实施例提供一种批量被评对象自动评估方法,应用于评估处理设备,所述方法包括:
4、获取批量被评对象材料以及与所述批量被评对象材料对应的评估规则,并为各被评对象材料建立对象标识,所述被评对象材料包括至少一种材料形态;
5、针对每一被评对象材料,调用多个相互隔离的评估代理分别基于同一评估规则对该被评对象材料进行评估处理,得到多个结构化评估结果,所述结构化评估结果包括评估维度数据、评估值以及与所述评估值对应的证据关联数据;
6、根据同一被评对象材料对应的多个结构化评估结果生成复核输入数据,并在生成所述复核输入数据时排除该被评对象材料的原始内容,使复核处理基于所述复核输入数据执行;
7、基于所述复核输入数据,对同一评估维度下的多个评估值进行差异识别,并根据所述证据关联数据确定所述多个结构化评估结果中的异常评估结果;
8、对所述被评对象材料进行材料证据判定,得到材料证据判定结果,并根据所述差异识别结果、所述异常评估结果和所述材料证据判定结果,生成该被评对象材料的复核评估结果;
9、基于所述复核评估结果和历史评估数据确定所述评估规则的版本一致性,并在所述版本一致性满足预设回退条件的情况下,基于回退后的评估规则重新生成所述复核评估结果。
10、根据本技术的一个实施例,获取批量被评对象材料以及与所述批量被评对象材料对应的评估规则,包括:
11、获取各被评对象材料的材料形态标识、材料内容索引和附件索引,并根据所述材料形态标识确定该被评对象材料对应的材料装载策略;
12、其中,所述材料装载策略用于指示各评估代理在评估处理时加载所述被评对象材料的原始内容,并用于指示复核处理在生成复核输入数据时排除所述被评对象材料的原始内容。
13、根据本技术的一个实施例,针对每一被评对象材料,调用多个相互隔离的评估代理分别基于同一评估规则对该被评对象材料进行评估处理之前,包括:
14、对所述被评对象材料进行材料解析,得到材料正文索引、附件内容索引和材料形态数据;
15、根据所述材料正文索引、所述附件内容索引和所述材料形态数据,生成与所述被评对象材料对应的评估任务描述数据;
16、将所述评估任务描述数据分别写入多个相互隔离的评估代理的任务输入中,使各评估代理基于相同的材料装载范围和相同的评估规则生成结构化评估结果。
17、根据本技术的一个实施例,所述结构化评估结果中的证据关联数据包括证据摘要数据和证据占比数据;
18、其中,所述证据摘要数据用于表征所述评估值对应的证据内容,所述证据占比数据用于表征与对应评估维度相关联的有效证据在该评估维度的证据数据中的占比,所述证据占比数据被用于后续确定所述多个结构化评估结果中的异常评估结果。
19、根据本技术的一个实施例,根据同一被评对象材料对应的多个结构化评估结果生成复核输入数据,并在生成所述复核输入数据时排除该被评对象材料的原始内容,包括:
20、从所述多个结构化评估结果中提取评估代理标识、评估维度数据、评估值和证据关联数据;
21、获取与所述评估规则对应的评估维度元定义和异常判定阈值;
22、基于所述评估代理标识、所述评估维度数据、所述评估值、所述证据关联数据、所述评估维度元定义和所述异常判定阈值,生成所述复核输入数据;
23、其中,所述复核输入数据不包括所述被评对象材料的正文内容、附件二进制数据、嵌入图像以及由所述被评对象材料直接截取的文本片段。
24、根据本技术的一个实施例,基于所述复核输入数据,对同一评估维度下的多个评估值进行差异识别,并根据所述证据关联数据确定所述多个结构化评估结果中的异常评估结果,包括:
25、针对同一被评对象材料的同一评估维度,计算多个评估代理输出的评估值之间的离散程度参数;
26、在所述离散程度参数满足预设差异条件的情况下,将对应评估维度确定为差异评估维度;
27、将所述差异评估维度下各结构化评估结果中的证据关联数据与对应的异常判定阈值进行比较,并根据比较结果从所述多个结构化评估结果中确定异常评估结果。
28、根据本技术的一个实施例,对所述被评对象材料进行材料证据判定,得到材料证据判定结果,包括:
29、对所述被评对象材料分别执行图像质量判定、业务字段真实性判定、内容矛盾判定、截图水印判定和叙述深度判定中的至少三种判定,得到多个证据判定子结果;
30、根据所述多个证据判定子结果生成材料证据命中向量,所述材料证据命中向量中的各分量用于表示对应证据判定是否命中;
31、其中,所述材料证据命中向量作为所述材料证据判定结果被输入至反凑数处理流程,所述反凑数处理流程根据所述材料证据命中向量对基于所述多个结构化评估结果得到的基线评估结果进行修正。
32、根据本技术的一个实施例,基于所述复核评估结果和历史评估数据确定所述评估规则的版本一致性,并在所述版本一致性满足预设回退条件的情况下,基于回退后的评估规则重新生成所述复核评估结果,包括:
33、基于当前候选评估规则对应的复核评估结果和历史评估数据,确定同一历史样本集合在不同版本评估规则下的排序一致性参数和/或档位重合参数
34、根据所述排序一致性参数和/或所述档位重合参数确定所述版本一致性;
35、在所述版本一致性低于预设一致性阈值的情况下,将所述当前候选评估规则标记为异常版本,并调用回退后的评估规则对当前批次对应的复核输入数据重新执行差异识别、异常评估结果确定和复核评估结果生成。
36、本技术实施例还提供了一种批量被评对象自动评估装置,包括:
37、材料获取单元,用于获取批量被评对象材料以及与所述批量被评对象材料对应的评估规则,并为各被评对象材料建立对象标识,所述被评对象材料包括至少一种材料形态;
38、代理评估单元,用于针对每一被评对象材料,调用多个相互隔离的评估代理分别基于同一评估规则对该被评对象材料进行评估处理,得到多个结构化评估结果,所述结构化评估结果包括评估维度数据、评估值以及与所述评估值对应的证据关联数据;
39、复核输入生成单元,用于根据同一被评对象材料对应的多个结构化评估结果生成复核输入数据,并在生成所述复核输入数据时排除该被评对象材料的原始内容;
40、复核处理单元,用于基于所述复核输入数据,对同一评估维度下的多个评估值进行差异识别,并根据所述证据关联数据确定所述多个结构化评估结果中的异常评估结果;
41、材料证据判定单元,用于对所述被评对象材料进行材料证据判定,得到材料证据判定结果,并根据所述差异识别结果、所述异常评估结果和所述材料证据判定结果,生成该被评对象材料的复核评估结果;
42、版本控制单元,用于基于所述复核评估结果和历史评估数据确定所述评估规则的版本一致性,并在所述版本一致性满足预设回退条件的情况下,基于回退后的评估规则重新生成所述复核评估结果。
43、本技术实施例还提供了一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时实现如所述的批量被评对象自动评估方法。
44、由于采用了上述技术方案,本技术所取得的有益效果为:
45、本技术通过获取批量被评对象材料及对应评估规则,并调用多个相互隔离的评估代理分别基于同一评估规则对同一被评对象材料进行评估处理,可以得到多个相互独立的结构化评估结果。由于各评估代理之间相互隔离,多个结构化评估结果能够从不同评估代理的独立处理结果中形成可比较的数据基础,从而为后续复核处理提供结构化输入。
46、本技术通过根据多个结构化评估结果生成复核输入数据,并在生成复核输入数据时排除被评对象材料的原始内容,使复核处理不再直接加载正文内容、附件二进制数据、嵌入图像或原始文本片段。由此,复核处理可以基于评估维度数据、评估值和证据关联数据等结构化数据执行,减少复核阶段的数据装载量,并使复核判断集中于多个评估结果之间的差异关系和证据关联关系。
47、本技术通过基于复核输入数据对同一评估维度下的多个评估值进行差异识别,并根据证据关联数据确定异常评估结果,使复核处理不仅比较评估值之间的差异,还结合评估值对应的证据关联情况确定异常来源。由此,可以避免仅根据分值高低进行机械聚合,使异常评估结果的确定具有明确的数据依据。
48、通过将证据关联数据设置为包括证据摘要数据和证据占比数据,可以使每一评估值与其对应证据之间建立结构化关联。证据占比数据被用于后续异常评估结果确定,使复核处理能够识别评估值与证据支撑程度不匹配的情况,从而提高结构化复核过程的可追踪性。
49、通过对被评对象材料进行材料证据判定,得到材料证据判定结果,并将材料证据判定结果与差异识别结果、异常评估结果共同用于生成复核评估结果,可以使复核评估结果同时考虑评估代理之间的评分差异、结构化证据关联情况以及材料本身的证据状态。由此,材料证据判定不再作为孤立的检测结果,而是参与复核评估结果生成过程。
50、通过执行图像质量判定、业务字段真实性判定、内容矛盾判定、截图水印判定和叙述深度判定中的至少三种判定,并根据多个证据判定子结果生成材料证据命中向量,可以将不同维度的材料证据状态转换为可被反凑数处理流程使用的结构化输入。反凑数处理流程基于材料证据命中向量对基线评估结果进行修正,使材料证据异常能够作用于复核评估结果。
51、通过基于复核评估结果和历史评估数据确定评估规则的版本一致性,并在版本一致性满足预设回退条件时基于回退后的评估规则重新生成复核评估结果,可以使评估规则的更新过程受到历史评估数据约束。当候选评估规则导致历史样本排序一致性或档位重合程度异常时,可以触发回退处理,避免异常版本评估规则继续参与后续批次评估。
52、通过将复核评估结果、历史评估数据和回退后的评估规则形成反馈关系,使当前批次的复核结果能够参与评估规则版本控制,且回退后的评估规则可以用于重新执行差异识别、异常评估结果确定和复核评估结果生成。由此,评估处理过程形成“结构化评估—复核判断—材料证据判定—版本一致性判断—回退复核”的闭环处理链条,提高批量异质材料自动评估过程的一致性和可控性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com