一种基于事件时间水位和增量模式状态的可疑交易子图识别方法、系统、计算机程序产品及计算机可读存储介质与流程

摘要: 本发明涉及计算机数据流处理、动态图计算、复杂事件处理和金融交易风险识别,具体涉及一种在多数据源、多消息分区和乱序到达条件下,利用分层事件时间水位确定状态提交边界...
一种基于事件时间水位和增量模式状态的可疑交易子图识别方法、系统、计算机程序产品及计算机可读存储介质与流程

本发明涉及计算机数据流处理、动态图计算、复杂事件处理和金融交易风险识别,具体涉及一种在多数据源、多消息分区和乱序到达条件下,利用分层事件时间水位确定状态提交边界,利用事件指纹倒排依赖索引和增量模式状态更新局部动态图,并对迟到或订正交易执行局部重放以生成可疑交易子图的方法、系统、计算机程序产品及计算机可读存储介质。

背景技术:

1、反洗钱交易监测系统通常需要从核心银行、银行卡、支付、清算、证券、保险、商户收单、客户身份管理、受益所有人登记、设备风险和外部名单等多个数据源接收数据。不同数据源可能采用实时消息、准实时文件或批量接口,具有不同的网络延迟、批处理周期、时区精度和故障恢复方式;同一资金链上的前序交易、后序交易及身份关联信息因而可能以不同顺序到达监测平台。

2、若直接按照处理时间触发交易规则,迟到的前序交易可能被划入错误的监测窗口,导致链式过渡、拆分归集或者闭环回流模式被分割。若为全部数据源配置统一且较大的等待时间,又会使低延迟数据源无法及时输出状态,降低实时处理能力。实际流式系统还可能将同一数据源划分为多个消息分区;仅使用整个数据源的最大事件时间时,快速分区会掩盖慢分区,使窗口被过早结算。

3、现有滑动窗口监测通常在窗口推进时重新扫描窗口内交易,或者为每个客户计算固定聚合指标。当需要识别多跳资金链、闭环结构、多个关联实体共同控制的交易结构时,全窗口或者全图重算会产生较高的处理器占用、状态读取和跨分区通信开销。固定聚合指标又难以保留导致风险结论的具体交易路径。

4、部分动态图增量计算方案能够在新增边后更新局部图结构,但窗口失效、迟到新增、字段订正和交易撤销并非均可通过简单加减处理。例如,不同对手方数量、首末事件时间、最大金额及部分匹配路径通常需要可删除数据结构或桶级重算。如果不保存事件到模式状态的依赖关系,删除或订正一笔交易时仍需搜索大范围图数据。

5、此外,在分布式处理过程中,模式状态、增量日志和告警输出可能分别写入不同存储。若计算节点在写入部分结果后发生故障,会出现状态已经更新而告警未生成、告警已经生成而状态版本未提交或者重放后重复告警等不一致。因此,需要使事件时间边界、局部依赖更新、迟到订正和告警版本提交形成一个可验证的技术闭环。

6、基于上述问题,需要一种能够保证水位不回退、区分临时发射边界和不可逆提交边界、准确定位图变化影响范围、对可逆与不可逆状态采用不同更新方式、并能够在故障和迟到事件条件下按确定的源偏移重放的可疑交易子图识别技术方案。

技术实现思路

1、本发明的目的在于至少部分解决多源多分区交易事件乱序造成的窗口边界不一致、动态图模式重复计算量大、部分状态不能安全撤销、迟到事件订正范围过大、跨分区状态与告警提交不一致以及输出证据路径过于冗余的问题。

2、为实现上述目的,如图1所示,本发明提供一种基于事件时间水位和增量模式状态的可疑交易子图识别方法。该方法可以由单个计算节点执行,也可以由多个流式计算节点和图状态存储节点协同执行。

3、在步骤s101中,接收来自多个交易数据源及其消息分区的交易事件,保存数据源标识、源分区标识、源事件序号、事件版本、事件时间、处理时间、交易端点、金额、币种、渠道和其他扩展属性;对时区、金额精度、币种代码、实体标识和事件时间语义进行规范化。

4、在步骤s102中,针对每一活动源分区维护最大事件时间、允许迟到时长和前一分区水位,将最大事件时间减去允许迟到时长得到候选水位,并将候选水位与前一分区水位中的较大值作为当前分区水位,使水位保持单调不回退;再按源分区、交易数据源的层级聚合得到提交水位。

5、在步骤s103中,根据需要生成高于或者等于提交水位的发射水位。发射水位用于低延迟的临时状态或临时告警,提交水位用于不可逆清理、最终快照和最终告警。位于两水位之间的结果保持可修订状态,从而同时控制处理延迟和最终一致性。

6、在步骤s104中,对交易事件的规范化字段进行确定性编码并生成事件指纹,将交易事件映射为动态交易图中的交易边,根据事件时间写入一个或者多个时间窗口对应的事件时间桶,并记录源偏移、桶版本、边引用和增量日志位置。

7、在步骤s105中,响应于交易事件插入、窗口失效、交易撤销或交易订正,生成带正负符号的图变化记录;利用模式依赖描述符和事件指纹倒排依赖索引确定受影响的状态拥有者、部分匹配记录及其递归依赖闭包,只对依赖闭包内的状态执行更新。

8、在步骤s106中,对计数、金额和流量残差等可逆字段直接施加带符号增量;对精确对手方集合、极值和首末时间等字段使用支持删除的索引;对不能直接求逆的摘要或组合状态,通过重新合并有限数量的桶级子状态完成更新,从而避免错误地对不可逆状态执行减法。

9、在步骤s107中,当迟到新增事件、事件订正或者撤销事件早于提交水位但仍位于回溯范围内时,定位事件所在桶之前的状态检查点,从事件指纹倒排依赖索引出发计算依赖闭包,仅重放检查点之后与该依赖闭包相关的日志,并产生新的状态和告警版本。

10、在步骤s108中,根据完成预设模式的部分匹配记录引用的交易事件构造候选交易子图;可进一步根据缓存风险分量与可测量处理成本扩展候选子图,并按照预设顺序对非必要证据边逐边执行删除尝试,得到删减后的证据子图。最终将模式状态、依赖索引、增量日志、源偏移向量和告警对象在同一事务或检查点周期提交。

11、本发明还提供实现上述方法的可疑交易子图识别系统、计算机程序产品以及计算机可读存储介质。

12、与全窗口或全图重算相比,本发明通过分层水位限定可计算边界,通过事件指纹倒排依赖索引直接定位需要回退的部分匹配记录,能够使更新量主要与图变化影响范围相关,而非与完整交易图规模相关。

13、本发明对可逆字段、可删除字段和不可直接求逆字段采用不同状态结构,避免将不支持删除的基数摘要或者路径状态错误地作为可减状态,提高窗口失效和交易订正结果的正确性。

14、本发明利用发射水位和提交水位区分可修订结果与不可逆结果,在源分区空闲、恢复或延迟分布变化时保持提交水位不回退,并允许早到的临时告警被后续事件修订。

15、本发明将模式状态、依赖索引、源偏移和告警版本作为同一提交单元,计算节点发生故障后可以从已完成检查点重放,降低重复计数、重复告警和状态告警不一致的概率。

16、本发明输出具有事件指纹、模式阶段、时间范围、检查点和版本链的可疑交易子图,能够在不携带全部原始交易内容的情况下重建导致告警的路径,并可通过访问控制标识查询原文。

1.一种基于事件时间水位和增量模式状态的可疑交易子图识别方法,其特征在于,由至少一个处理器执行,所述方法包括:接收来自多个交易数据源的交易事件,每一交易数据源包括至少一个源分区,每一交易事件至少携带数据源标识、源分区标识、源事件序号、事件时间、交易发起实体、交易接收实体和交易属性,并记录对应的处理时间;针对每一处于活动状态的源分区,维护已观测最大事件时间、允许迟到时长和前一分区水位,根据所述前一分区水位以及所述已观测最大事件时间与允许迟到时长之差中的较大值确定不回退的当前分区水位,并依次聚合源分区水位和交易数据源水位得到提交水位;对所述交易事件执行字段规范化并生成事件指纹,将动态交易图按照至少一个事件时间窗口组织且将每一事件时间窗口划分为多个事件时间桶,将规范化后的交易事件映射为所述动态交易图中的交易边并写入由事件时间确定的事件时间桶,记录桶版本和对应的源偏移;维护预设可疑交易模式对应的模式状态记录和部分匹配记录;响应于交易事件的插入、因事件时间窗口推进产生的失效或者交易事件的订正,生成包含事件指纹、事件时间桶标识、操作符号和状态基准版本的图变化记录;根据所述预设可疑交易模式的模式依赖描述符以及事件指纹倒排依赖索引,确定受所述图变化记录影响的模式状态记录及部分匹配记录的依赖闭包,对所述依赖闭包内的可逆状态字段施加与所述操作符号对应的带符号增量,对不可直接求逆的状态字段根据与当前事件时间窗口相交的桶级子状态执行重算,并更新所述部分匹配记录以及所述事件指纹倒排依赖索引;基于所述提交水位确认状态检查点;当目标交易事件的事件时间早于所述提交水位且位于预设回溯范围内时,定位所述目标交易事件所在事件时间桶之前最近的已完成状态检查点,区分迟到新增事件与已有事件订正,仅重放所定位状态检查点之后与所述依赖闭包相关联的增量日志,生成新状态版本;根据达到模式完成条件的部分匹配记录所引用的交易事件构造候选交易子图并生成对应的告警对象,根据各源分区的已处理源偏移形成源偏移向量,并在同一事务或同一检查点提交周期内提交更新后模式状态对应的状态版本、所述源偏移向量、检查点标识和所述告警对象。

2.根据权利要求1所述的方法,其特征在于,第n次更新时源分区(s,p)的当前分区水位ws,p(n)=max(ws,p(n-1),tmax,s,p(n)-ls,p(n)),其中tmax,s,p(n)为所述源分区已观测最大事件时间,ls,p(n)为允许迟到时长;交易数据源s的源水位为该交易数据源处于活动状态的各源分区水位的最小值,所述提交水位为处于活动状态的各交易数据源的源水位的最小值。

3.根据权利要求2所述的方法,其特征在于,所述允许迟到时长根据对应源分区在滑动统计周期内的处理延迟样本分位数确定,并限制在预设最小迟到时长和预设最大迟到时长之间;在样本量未达到冷启动数量时采用预设初始迟到时长,在样本量达到所述冷启动数量后对分位数结果执行平滑和变化率限制,允许迟到时长增加导致的早于当前分区水位的事件按照迟到事件处理而不使当前分区水位回退。

4.根据权利要求2所述的方法,其特征在于,还根据处于活动状态的源分区水位的预设次序统计值或加权分位数确定高于或等于所述提交水位的发射水位;基于所述发射水位生成可修订的临时状态或临时告警,基于所述提交水位执行事件时间桶的不可逆清理和最终状态提交;当所述发射水位大于所述提交水位时,将位于所述提交水位与所述发射水位之间的事件时间区间标记为待决区间,并允许在所述提交水位越过所述待决区间前撤回或者修订所述临时状态或临时告警。

5.根据权利要求2所述的方法,其特征在于,当源分区的无事件持续时间超过空闲阈值时,将该源分区从活动源分区集合中隔离并冻结其分区水位;当所述源分区恢复时,将恢复事件写入隔离缓冲区,早于当前提交水位的恢复事件作为迟到事件处理,在恢复源分区的分区水位达到重新加入阈值后,才将该源分区重新加入活动源分区集合。

6.根据权利要求1所述的方法,其特征在于,所述动态交易图为异构有向图并按照多个事件时间窗口组织,每一事件时间窗口被划分为多个事件时间桶;不同事件时间窗口共享不可变交易边对象和事件指纹,各事件时间窗口分别维护边引用、桶级聚合状态、失效队列、状态检查点指针和增量日志;当事件时间窗口中的边引用失效时,减少对应不可变交易边对象的引用计数,仅在所述引用计数为零、所述提交水位越过由预设回溯范围确定的回溯截止位置且不存在告警证据引用时,释放所述不可变交易边对象。

7.根据权利要求1所述的方法,其特征在于,所述模式状态字段被划分为:能够通过加减运算更新的可逆聚合字段;通过带引用计数的精确多重集合、支持删除的计数结构或者有序索引维护的可删除字段;以及不能通过单次加减运算正确撤销事件贡献的不可直接求逆字段;其中,为所述不可直接求逆字段保存与事件时间窗口对应的桶级子状态,在交易事件失效或被订正时重新合并仍与当前事件时间窗口相交的桶级子状态。

8.根据权利要求1所述的方法,其特征在于,针对至少一种预设可疑交易模式建立模式状态机和部分匹配表;每一部分匹配记录至少包括模式标识、模式阶段、终点节点、事件时间桶标识、依赖事件指纹集合、状态版本和剩余有效时间,并以模式标识、模式阶段、终点节点和事件时间桶标识的组合为状态键;对于具有相同状态键的部分匹配记录,根据时间跨度、路径长度和金额误差执行支配剪枝,并通过有效期、最大扇出或预设保留数量限制部分匹配记录的数量。

9.根据权利要求8所述的方法,其特征在于,所述事件指纹倒排依赖索引将事件指纹映射至依赖该事件指纹的部分匹配记录标识、模式状态拥有者和桶版本;所述依赖闭包包括图变化记录的交易端点、在模式依赖描述符允许的边类型、边方向、事件时间顺序和最大路径长度下可到达的状态拥有者,以及通过所述事件指纹倒排依赖索引递归定位的部分匹配记录,直至不存在新的依赖记录或者达到模式依赖上限。

10.根据权利要求1所述的方法,其特征在于,对于迟到新增事件,仅生成操作符号为正的图变化记录;对于已有事件订正,依据数据源标识、源分区标识、源事件序号和事件版本定位旧事件,先生成撤销旧事件贡献的负图变化记录,再生成加入订正后事件贡献的正图变化记录;对于撤销交易或冲正交易,生成引用原事件指纹的负图变化记录,并保存撤销原因和外部业务版本。

11.根据权利要求1所述的方法,其特征在于,状态版本提交采用包含状态检查点标识、源偏移向量、模式定义版本、配置版本和风险模型版本的提交记录;模式状态写入、事件指纹倒排依赖索引写入、增量日志写入以及告警对象写入在同一键控事务或同一检查点提交周期内完成;所述告警对象至少包括告警标识、告警类型、状态版本、检查点标识、源偏移向量和证据事件指纹列表;模式状态由未满足告警条件变为满足告警条件时生成新增告警,仍满足告警条件但证据、风险分量或模式阶段发生变化时生成修订告警,由满足告警条件变为不满足告警条件时生成撤销告警,所述修订告警和撤销告警携带前一告警标识,重放时依据告警标识和状态版本执行幂等比较。

12.根据权利要求1所述的方法,其特征在于,所述预设可疑交易模式由模式依赖描述符定义,所述模式依赖描述符至少包括允许的节点类型、允许的边类型、边方向、事件时间顺序、最大路径长度、窗口集合、状态字段、完成谓词和必要证据字段;所述预设可疑交易模式包括多笔转入后集中转出模式、分散转入后集中转出模式、链式过渡模式、闭环回流模式、拆分归集模式、休眠突发模式、跨币种快速过渡模式和关联实体协同转移模式中的至少一种。

13.根据权利要求1所述的方法,其特征在于,以达到预设模式阶段的节点或者图变化记录的交易端点为种子建立前沿候选边集合,根据候选边对应的增量风险分量和可测量处理成本确定候选边的扩展优先级;其中,所述增量风险分量根据当前模式状态中缓存的风险分量以及受候选边影响的局部分量确定,所述可测量处理成本包括计算成本和通信成本中的至少一种,所述计算成本根据状态读取次数和模式谓词求值次数确定,所述通信成本根据远程读取字节数、远程调用次数和分区跳数确定;从优先队列中选择扩展优先级较高的候选边加入候选交易子图,并仅刷新与所加入候选边端点相关的前沿记录和风险分量。

14.根据权利要求13所述的方法,其特征在于,在前沿候选边集合中的最高扩展优先级低于预设优先级阈值、连续预设次数扩展的增量风险低于收敛阈值、候选交易子图的节点数或边数达到图规模预算、处理时长达到时间预算、远程调用次数达到通信预算或者模式依赖描述符中的必要证据已完整时停止扩展。

15.根据权利要求1所述的方法,其特征在于,在输出可疑交易子图之前,按照预设顺序从候选交易子图中选取非必要证据边并逐边执行删除尝试;若删除一条非必要证据边后候选交易子图仍保持连通、模式完成谓词仍成立且删除前后风险差不超过预设容差,则确认删除该非必要证据边,否则恢复该非必要证据边;完成所述删除尝试后,将删减后的候选交易子图作为证据子图输出。

16.一种基于事件时间水位和增量模式状态的可疑交易子图识别系统,其特征在于,包括至少一个处理器、存储器、流式事件接收接口、版本化动态图状态存储、依赖索引存储、增量日志存储和事务输出接口;所述存储器中存储有由所述至少一个处理器执行的程序指令,所述程序指令使所述系统:通过所述流式事件接收接口接收携带数据源标识、源分区标识、源事件序号和事件时间的交易事件;维护不回退的源分区水位并聚合得到提交水位;将规范化交易事件写入所述版本化动态图状态存储中的事件时间桶;响应于交易事件插入、失效或订正,利用所述依赖索引存储中的事件指纹倒排依赖索引确定受影响模式状态和部分匹配记录的依赖闭包,并对所述依赖闭包执行带符号增量更新或桶级子状态重算;对于早于提交水位且处于回溯范围内的交易事件,从状态检查点开始仅重放所述依赖闭包关联的增量日志;根据完成模式的部分匹配记录构造候选交易子图并生成告警对象;以及通过所述事务输出接口在同一事务或同一检查点提交周期内提交模式状态、依赖索引、增量日志、源偏移向量、检查点标识和所述告警对象。

17.根据权利要求16所述的系统,其特征在于,所述系统还包括分层水位管理器,所述分层水位管理器针对每一源分区保存已观测最大事件时间、允许迟到时长、活动状态和前一分区水位,并输出用于临时状态发射的发射水位以及用于不可逆清理和最终提交的提交水位;所述版本化动态图状态存储在提交水位越过由预设回溯范围确定的回溯截止位置后释放对应的状态检查点和增量日志,并在相关事件时间窗口的边引用均已失效且不存在告警证据引用时释放对应的不可变交易边对象。

18.根据权利要求16所述的系统,其特征在于,所述版本化动态图状态存储按照交易实体标识的哈希值或所属机构标识分布于多个计算分区,在分区边界维护镜像节点和边界部分匹配摘要;跨分区图变化消息携带事件指纹、源偏移、源状态版本、目标分区序号、操作符号和模式标识,接收分区根据事件指纹、操作符号、源状态版本和目标分区序号形成幂等键,在所述幂等键已经存在时不再施加对应增量;各计算分区在同一检查点屏障下提交本地状态和边界状态,失败分区根据最近完成的检查点以及对应源偏移向量恢复并重放。

19.一种计算机程序产品,包括计算机程序指令,其特征在于,所述计算机程序指令被至少一个处理器执行时,实现权利要求1至15中任一项所述方法的步骤。

20.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被至少一个处理器执行时,实现权利要求1至15中任一项所述方法的步骤。