基于风险评分的人工智能动态审核流程编排方法及系统与流程
本发明涉及智能内容审核，特别是一种基于风险评分的人工智能动态审核流程编排方法及系统。
背景技术：
1、随着新闻媒体、政务发布和内容平台发布规模持续增长，文稿、图片、视频等内容的审核成为发布流程中不可或缺的环节。目前，审核系统普遍采用“检测模型+人工审核流程”的架构：先由文本审核模型、图像审核模型等对内容进行检测，再由审核人员按预先配置的流程完成审核。现有的审核流程组织方式主要存在以下几类：
2、（1）固定模板流程。审核流程由运营人员预先配置为固定模板，待审内容无论风险特征如何，均沿相同路径流转；部分系统在固定流程基础上设置了机器评分的简单分支，例如评分超过预设阈值的内容转入人工审核。
3、（2）多模态检测结果并列呈现。文本、图像、视频的检测由相互独立的模型完成，检测结果以列表形式并列展示给审核人员，由审核人员结合各模态结果自行判断后续处理方式。
4、（3）多模型结论汇总。对同一内容部署多个检测模型，以投票或加权方式输出综合结论，模型置信度仅用于界面展示。
5、上述方案在运行中存在的问题包括：
6、1、审核流程与内容风险静态绑定，系统整体处理时延与资源占用不合理。无论内容风险高低，均经过相同的审核节点，大量低风险内容排队等待，占用审核资源、延长发布周期；而少数高风险内容无法获得与其风险程度相称的深入审核，处理时延与风险状态长期失配。
7、2、多源检测结果之间缺乏可计算的统一度量。文本、图像、视频的检测结果形式异构、尺度不一，系统仅能将其并列呈现，而无法转换为可用于流程计算的量，流程决策仍依赖人工完成，无法实现自动化处理。
8、3、固定阈值分支无法适应运行时变化。流程分支阈值由人工设定后长期保持不变；当内容在流程执行期间被修改、传播范围扩大或外部环境变化时，已经生成的流程无法随之调整，只能依赖人工重新配置，响应存在明显滞后，且调整过程难以追溯。
9、此外，现有技术还存在审核模型置信度不足或不同模型结论相互冲突时，系统缺乏相应的流程处置机制，模型误判无法通过流程环节得到弥补的问题，且人工审核结论、驳回原因与发布结果未被用于修正检测参数与流程阈值，系统在业务数据分布发生变化后，检测结果与流程配置持续偏离实际风险状态，性能逐渐退化。
10、综上所述，由于上述问题相互叠加，使得现有审核系统在审核处理时延、审核资源分配与内容实际风险状态三者之间长期处于失配状态，且无法在流程执行过程中适应风险状态的变化，导致系统难以同时满足发布时效与审核质量的要求。
技术实现思路
1、为了解决上述技术问题，本发明提供一种基于风险评分的人工智能动态审核流程编排方法及系统，旨在解决现有审核系统中审核流程与内容风险状态静态绑定、多源检测结果无法统一量化、固定阈值流程无法适应运行时变化、模型不确定性信息未被利用以及审核结果不回流的问题，使审核流程的生成与调整能够与待审核内容的实际风险状态及其动态变化相匹配，在满足审核质量要求的前提下降低系统整体处理时延、实现审核资源的按需分配，并通过审核结果的持续回流保持系统在业务环境变化下的长期有效性。
2、为实现上述目的，本技术提出一种基于风险评分的人工智能动态审核流程编排方法，由计算机系统执行，所述计算机系统与多个审核模型及多个审核终端通信连接，包括：
3、s1：接收待审核对象及其业务上下文，对所述待审核对象的文本、图像、视频和音频数据进行多模态分析，获得多个风险维度的维度风险得分；
4、s2：对所述审核模型输出的类别分布执行概率运算得到综合不确定性，对所述维度风险得分按场景权重加权求和得到综合风险分，根据所述综合风险分与经不确定性惩罚系数调节的所述综合不确定性计算审核强度需求；
5、s3：为候选审核节点配置拦截率参数与资源占用参数，根据候选审核流程中各审核节点的拦截率参数聚合计算流程强度，所述流程强度随参与聚合的审核节点增多而单调上升且不超过1；
6、s4：基于约束优化算法，在流程强度不小于所述审核强度需求且满足预设硬性规则的候选审核流程中，以审核资源占用总量最小为目标自动求解目标审核流程，并按所述目标审核流程向各审核节点对应的审核终端自动分发审核任务；
7、s5：在执行所述目标审核流程期间，持续获取与所述待审核对象关联的监测数据并重新计算审核强度需求，当满足预设调整条件时，根据已执行审核节点的流程强度确定剩余强度需求，自动重新求解尚未执行的剩余子流程，以调整所述目标审核流程；
8、s6：汇集人工审核结论，基于所述人工审核结论与对应审核强度需求之间的偏差，按预设校准损失函数对场景权重、强度阈值和拦截率参数进行更新，并反馈至s2至s5。
9、作为更进一步的解决方案，所述综合不确定性由模型输出不确定性、模型间分歧度和缺失维度惩罚项加权组合得到；其中，所述模型输出不确定性为各审核模型输出的类别分布的归一化熵按模态权重加权求和得到，所述模型间分歧度为任意两个审核模型输出的类别分布之间的差异度的均值，所述缺失维度惩罚项为缺失的风险维度对应的场景权重之和。
10、作为更进一步的解决方案，求解所述目标审核流程时还包括：
11、按所述审核强度需求落入的强度区间映射审核强度等级；命中关键风险标签时，将所述审核强度等级约束为不低于该标签对应的最低审核强度等级；
12、当所述综合不确定性超过不确定性阈值，或任意两个审核模型输出的类别分布之间的差异度超过分歧阈值时，将人工复核节点作为必须包含的审核节点加入所述目标审核流程，并将各审核模型的结论、置信度及命中的文本片段、视频帧或信源标注随审核任务发送至所述人工复核节点对应的审核终端。
13、作为更进一步的解决方案，所述拦截率参数为审核节点独立拦截违规内容的概率，其初始值按专业分工及历史审核表现预设，并在运行后按滑动窗口内实际拦截且确认违规的内容数与进入该审核节点且确认违规的内容总数之比自动更新；
14、当存在由多个审核员并行审核的会签组时，会签组作为等效审核节点参与流程强度计算，其等效拦截率高于会签组内任一审核员的拦截率参数；所述预设硬性规则包括必须包含或禁止包含的审核节点及租户业务规则；所述审核资源占用总量的计算还包括时延项。
15、作为更进一步的解决方案，所述预设调整条件包括：重新计算的审核强度需求与编排时的审核强度需求之差超过增量阈值、审核强度等级跨档、新增所述关键风险标签的命中或所述待审核对象以新版本重新提交中的任一项；
16、满足预设调整条件时，所述剩余子流程需满足的剩余强度需求随已执行审核节点的流程强度增大而减小，并据此自动重新求解所述剩余子流程；
17、当与编排时的审核强度需求之差超过退回阈值时，将所述待审核对象退回上一审核节点重新审核并附风险证据；
18、当下降导致审核强度等级降档时，取消尚未启动的资源占用参数高于预设资源阈值的审核节点；
19、每次调整所述目标审核流程时，将预设调整条件、风险增量及被增加或取消的审核节点及其风险依据写入审计链记录，用于按审核节点回溯所述目标审核流程的调整源由。
20、作为更进一步的解决方案，将所述审核强度需求按风险维度分解为维度化审核强度需求分量，各需求分量随维度风险得分和维度不确定性增大而增大，且维度不确定性的影响程度随维度风险得分升高而减小，各需求分量之和为所述审核强度需求；
21、所述维度不确定性由各审核模型输出的类别分布中映射至该风险维度的类别组的熵贡献、所述模型间分歧度中映射至该风险维度的分量以及该风险维度的缺失维度惩罚项构成；为候选审核节点配置维度拦截能力向量；
22、以能力子空间为约束单位，将映射至同一能力子空间的各需求分量之和作为子空间强度需求，根据各审核节点的维度拦截能力聚合计算各能力子空间上的子空间流程强度，并以每个活跃子空间的子空间流程强度不小于对应的子空间强度需求为约束求解所述目标审核流程；
23、所述能力子空间由多个风险维度按专业分工聚合形成，所述活跃子空间为子空间强度需求超过维度参与阈值的子空间。
24、作为更进一步的解决方案，求解所述目标审核流程时，计算各活跃子空间的强度缺口，并优先选择在未闭合的强度缺口上维度拦截能力更高且资源占用参数更低的候选审核节点加入所述目标审核流程，直至全部强度缺口闭合；
25、当存在会签组时，选择各活跃子空间上能力互补的组合；遍历可用候选审核节点后仍存在未闭合的强度缺口时，自动插入外部送审节点；
26、执行期间，若当前审核节点在某活跃子空间上的维度拦截能力低于能力下限，且存在该子空间维度拦截能力比当前审核节点高出预设能力增量的空闲候选审核节点，则自动转审至该空闲候选审核节点；
27、执行结束后，各审核节点的维度拦截能力按滑动窗口内实际拦截且确认违规的内容数与进入该审核节点且确认在对应能力子空间上违规的内容总数之比逐子空间自动更新；
28、当能力子空间在预设时间窗内超过预设次数出现子空间流程强度满足约束但仍漏放时，对所述子空间内各审核节点的维度拦截能力按预设收缩因子下调。
29、作为更进一步的解决方案，所述预设调整条件的判断基于时间外推需求进行，所述时间外推需求的计算包括：
30、维护风险采样序列，根据相邻采样时点的审核强度需求的变化估计风险漂移率；根据人工审核结论的量化值与对应审核强度需求之差的时间加权均值更新系统级基准偏差，仅当所述系统级基准偏差超出预设控制带时计入所述时间外推需求；
31、以当前采样时点的审核强度需求、所述风险漂移率与剩余处理时间的乘积经截断处理后的值以及计入的系统级基准偏差之和作为所述时间外推需求；以所述时间外推需求替换重新计算的审核强度需求执行审核强度等级判定与所述预设调整条件的判断；
32、当所述时间外推需求超过当前审核强度等级对应区间的强度阈值时提前升级审核流程；当所述剩余处理时间小于新增审核节点所需时延时，暂停所述待审核对象的发布直至补强审核完成；
33、当所述时间外推需求低于当前审核强度等级下限且持续预设时长时，取消尚未启动的资源占用参数高于预设资源阈值的审核节点；对风险漂移率绝对值超过漂移关注线的待审核对象缩短风险采样周期。
34、作为更进一步的解决方案，所述预设校准损失函数根据人工审核结论为拦截但审核强度需求低于对应强度阈值的漏放项、人工审核结论为通过但审核强度需求不低于对应强度阈值的误拦项、以及审核资源占用总量构造，漏放项、误拦项和审核资源占用总量分别按漏放惩罚系数、误拦惩罚系数和审核资源占用系数加权，并包含场景权重与场景权重先验之间偏差的正则项；
35、对所述强度阈值采用一维搜索、对所述场景权重采用梯度更新交替迭代求解；拦截率参数按滑动窗口统计自动更新；所述校准还包括对不确定性惩罚系数及模态权重的更新，所述模态权重为各审核模型在所述综合不确定性中的权重；
36、审核意见、驳回原因和发布结果写入审计链记录，用于所述预设校准损失函数的计算；当窗口内人工审核结论的量化值与对应审核强度需求之差的时间加权均值在预设时长内保持偏离零时，将所述时间加权均值作为所述预设校准损失函数的附加项。
37、另一方面，本发明还提供一种基于多模态风险评分的人工智能动态审核流程编排系统，用于执行如上任一项所述的人工智能动态审核流程编排方法，包括：
38、特征获取模块，用于接收待审核对象及其业务上下文，对文本、图像、视频和音频数据进行多模态分析，获得多个风险维度的维度风险得分；
39、风险计算模块，用于对审核模型输出的类别分布执行概率运算得到综合不确定性，对所述维度风险得分按场景权重加权求和得到综合风险分，并根据所述综合风险分与经不确定性惩罚系数调节的所述综合不确定性计算审核强度需求；
40、流程编排模块，用于为候选审核节点配置拦截率参数与资源占用参数，根据各审核节点的拦截率参数聚合计算流程强度，并在流程强度不小于所述审核强度需求且满足预设硬性规则的候选审核流程中，以审核资源占用总量最小为目标自动求解目标审核流程；
41、流程执行模块，用于按所述目标审核流程向各审核节点对应的审核终端自动分发审核任务，执行期间持续获取关联监测数据并重新计算审核强度需求，当满足预设调整条件时，根据已执行审核节点的流程强度确定剩余强度需求并自动重新求解剩余子流程；
42、校准模块，用于汇集人工审核结论，按预设校准损失函数对场景权重、强度阈值和拦截率参数进行更新，并反馈至所述风险计算模块、流程编排模块和流程执行模块；
43、审计记录模块，用于在每次调整所述目标审核流程时，将预设调整条件、风险增量及被增加或取消的审核节点及其风险依据写入审计链记录，并将审核意见、驳回原因和发布结果写入所述审计链记录。
44、与相关技术相比较，本发明能提供的一种基于风险评分的人工智能动态审核流程编排方法及系统具备如下优势：
45、1、本发明将多模态检测所得维度风险得分与模型不确定性合成为审核强度需求，并以流程强度不小于审核强度需求为约束、以审核资源占用总量最小为目标自动求解审核流程，使低风险内容快速流转、高风险内容自动获得与其风险相称的审核深度，降低了系统整体处理时延与审核资源占用总量，解决了现有固定流程中审核深度与风险程度失配的问题。
46、2、本发明在流程执行期间持续获取监测数据并重新计算审核强度需求，自动重新求解尚未执行的剩余子流程（包括插入审核节点、退回重审、取消高资源节点），并基于时间外推需求在风险实际跨档之前完成升级、触发发布闸门或执行前瞻减配，消除了现有技术依赖人工重新配置流程的滞后，使流程在风险状态变化过程中持续保持匹配。
47、3、本发明将模型输出熵、模型间分歧度与缺失维度惩罚量化为综合不确定性并计入审核强度需求，模型结论冲突时自动触发附带证据的人工复核，弥补了现有技术中模型误判无法由流程机制补偿的缺陷；同时通过维度化需求分量与维度拦截能力向量的逐能力子空间约束，使审核资源投放至风险实际所在的维度，避免了名义强度满足而实际拦截不足的情形。
48、4、本发明按代价敏感的预设校准损失函数，利用人工审核结论反馈更新场景权重、强度阈值、拦截率参数、不确定性惩罚系数与模态权重，并吸收系统级基准偏差，使系统在业务数据分布变化后自动修正、无需人工调参；审计链记录全程记载调整条件、风险增量及审核节点增减依据，支持逐节点回溯审核流程的生成与调整源由，满足审核审计要求。