一种基于调用链上下文关联的业务信息采集方法及相关装置与流程
本技术涉及计算机应用监控与数据处理,尤其涉及一种基于调用链上下文关联的业务信息采集方法及相关装置。
背景技术:
1、随着分布式系统、微服务架构和异步任务框架的广泛应用,一次完整的业务交易通常会在同一进程内依次或并行执行多个方法,比如,控制器方法(controller)、服务方法(service)、远程调用适配方法(如 rpc / http 客户端适配)及数据访问方法(如 dao /repository)。这些方法在调用过程中会产生大量与业务过程相关的业务字段信息,诸如交易码、交易渠道、交易机构、终端、地域、返回码、场景码、全局流水号及子流水号等。
2、为了获得上述业务字段信息,以便进行交易追踪、链路分析、监控告警、风险识别或业务审计,现有系统通常采用硬编码埋点与日志解析结合、网关报文采集或java探针字节码增强等方式。然而,这些方式在应对复杂调用场景下的字段完整性、关联准确性与系统侵入性方面,仍存在各自的局限性。
3、比如,硬编码埋点与日志解析结合方式与业务代码耦合度高,字段变更或口径调整需修改并重新发布应用,维护成本高,且跨线程、跨阶段的字段关联不够准确。网关报文采集方式未将处理结果与方法调用及调用树节点、阶段相绑定,在字段重复出现时易发生错配或覆盖,字段的一致性和准确性难以保证。java探针字节码增强方式侧重于通用的链路追踪与性能遥测,对业务字段的采集多局限于入参和返回值,难以完整、准确地还原业务字段在调用过程中的真实来源与归属。
4、综上,目前亟需设计一种能够降低采集逻辑与业务代码的耦合度,准确采集业务过程中的业务字段信息,并将业务字段信息与具体方法调用、调用树来源节点及来源阶段进行准确绑定和关联的业务信息采集方案。
技术实现思路
1、本技术实施例提供一种基于调用链上下文关联的业务信息采集方法及相关装置,以解决相关技术存在的问题,技术方案如下:
2、第一方面,本技术实施例提供了一种基于调用链上下文关联的业务信息采集方法,包括:
3、获取带有版本标识的采集规则,并将所述采集规则预编译为可执行的采集计划;
4、加载java探针,调用所述java探针根据所述采集计划动态匹配目标方法,并在所述目标方法的入口处理位置、正常出口处理位置和异常出口处理位置插入增强采集逻辑;
5、当所述目标方法被调用执行所述采集计划,进入所述入口处理位置时,调用所述java探针取得或创建业务调用链的tracestate,并为本次方法调用执行生成链路内唯一的nodeid,以及确定所述nodeid对应的parentnodeid,其中,tracestate是指调用链状态对象,用于承载一条业务调用链的共享状态,nodeid是指调用节点标识,parentnodeid是指父调用节点标识;
6、调用所述java探针采用所述入口处理位置插入的增强采集逻辑建立所述nodeid对应的nodeframe,采集受限参数投影,将所述nodeframe写入所述tracestate的节点注册表并压入当前执行分支逻辑栈,其中,nodeframe是指调用节点帧,为一次方法执行的运行时上下文载体,用于记录节点标识、参数或结果投影及闭合状态;
7、当所述目标方法正常返回或异常退出时,调用所述java探针根据所述nodeid定位所述nodeframe并写入结果投影,闭合调用节点并移除所述nodeframe,生成包括父子关系、输入输出投影和完整性状态的原始业务事件;
8、调用所述java探针按照所述采集计划从所述原始业务事件中提取带有sourcenodeid和sourcephase的fieldcandidate,并执行裁剪、类型转换和资源边界控制,生成受资源边界约束的结构化业务字段,其中,sourcenodeid是指来源调用节点标识,sourcephase是指来源或调用阶段,fieldcandidate是指业务字段候选项;
9、在所述业务调用链对应的根节点已经闭合且活动调用节点满足预设闭合条件时,根据所述原始业务事件中的nodeid和parentnodeid重建方法调用树,并沿所述方法调用树按照固定顺序和冲突规则对所述结构化业务字段进行合并,生成能够还原真实执行路径的结构化业务记录,并按幂等键存储所述结构化业务记录。
10、在一种实施方式中,所述采集规则包括方法匹配条件、组件及路径范围、采集位置、字段选择器、资源限制和保护规则;调用所述java探针根据所述采集计划动态匹配目标方法,并在所述目标方法的入口处理位置、正常出口处理位置和异常出口处理位置插入增强采集逻辑包括:
11、调用所述java探针根据所述采集计划对应的方法匹配条件,动态匹配目标方法;
12、调用所述java探针向instrumentation注册类文件转换器,对所述目标方法执行字节码增强,以在所述目标方法的入口处理位置插入onenter,在所述目标方法的正常出口处理位置插入onreturn,在所述目标方法的异常出口处理位置插入onthrow,其中,instrumentation是指插桩,为向程序代码中插入额外代码来收集运行状态、性能数据或进行调试的技术,onenter是指入口增强采集逻辑函数,onreturn是指正常出口增强采集逻辑函数,onthrow是指异常出口增强采集逻辑函数;
13、其中,在对所述目标方法执行字节码增强中,所述java探针的自身异常由增强代码捕获并以限频方式记录,不改变所述目标方法的参数、返回值、异常类型及控制流。
14、在一种实施方式中,当所述目标方法被调用执行所述采集计划,进入所述入口处理位置时,调用所述java探针取得或创建业务调用链的tracestate,并为本次方法调用执行生成链路内唯一的nodeid,以及确定所述nodeid对应的parentnodeid包括:
15、当所述目标方法被调用执行所述采集计划,进入所述入口处理位置时,调用所述java探针获取当前的executionscope,其中,executionscope是指执行作用域,为所述目标方法执行所述采集计划过程中当前所处的作用域环境,用于存储当前执行上下文的相关状态信息;
16、若当前的executionscope不存在所述tracestate,则调用所述java探针创建所述tracestate,或者,若当前的executionscope已存在所述tracestate,则调用所述java探针从当前的executionscope中获取所述tracestate;
17、调用所述java探针基于所述业务调用链共享的atomicnextsequence获取单调递增序号,并结合所述单调递增序号和所述tracestate,为本次方法调用执行生成所述nodeid,其中,atomicnextsequence是指链路共享的原子单调序号计数器;
18、调用所述java探针基于所述业务调用链的逻辑栈栈顶或异步载体中的sourcenodeid,确定所述nodeid对应的parentnodeid。
19、在一种实施方式中,所述受限参数投影包括:traceid、nodeid、parentnodeid、methodkey、depth、sequence、entertime、parameterprojection、ruleversion和closeflag,其中,traceid是指调用链标识,methodkey是指方法标识键,用于唯一标识所述目标方法,depth是指调用深度,为节点在调用树中的层级深度,sequence是指链路内单调序号,entertime是指进入时间,为方法入口时间戳,parameterprojection是指参数投影,为受限采集的入参字段快照,ruleversion是指采集规则版本标识,closeflag是指节点闭合标志;
20、不同执行分支逻辑栈共享所述tracestate中的节点注册表、单调序号和原子计数,但各自维护独立logicalstack,其中,logicalstack是指执行分支逻辑栈;
21、所述java探针严格执行规则一致性策略:同一业务调用链固定使用根节点进入时取得的ruleversion,同时,采集规则热更新仅对新建立的业务调用链生效。
22、在一种实施方式中,当所述目标方法正常返回或异常退出时,调用所述java探针根据所述nodeid定位所述nodeframe并写入结果投影,闭合调用节点并移除所述nodeframe,以生成包括父子关系、输入输出投影和完整性状态的原始业务事件包括:
23、当所述目标方法正常返回或异常退出时,调用所述java探针根据所述nodeid定位所述nodeframe,并通过closeflag的原子比较更新,以保证同一调用节点仅被闭合一次,其中,closeflag是指节点闭合标志;
24、若所述目标方法正常返回,则调用所述java探针写入returnprojection作为结果投影,或者,若所述目标方法异常退出,则调用所述java探针写入exceptionprojection和throw结果状态作为结果投影,其中,returnprojection是指返回值投影,为受限采集的返回结果快照,exceptionprojection是指异常投影,为受限采集的异常信息快照,throw是指异常退出阶段;
25、完成结果投影写入后,调用所述java探针将所述nodeframe从当前执行分支逻辑栈移除,activenodecount原子减一,并在所述nodeid对应的调用节点为根节点时,设置rootclosed;其中,若当前执行分支逻辑栈的栈顶与待闭合nodeid不一致,调用所述java探针在当前执行分支逻辑栈内查找所述待闭合nodeid对应的nodeframe,并将其上方尚未闭合的调用节点标记为incomplete,其中,activenodecount是指活动调用节点计数,为已进入但尚未闭合的调用节点数量,rootclosed是指根节点已闭合标志,指示根方法是否已正常返回或异常退出,incomplete是指未完整闭合;
26、完成调用节点闭合并移除所述nodeframe后,生成所述原始业务事件。
27、在一种实施方式中,调用所述java探针按照所述采集计划从所述原始业务事件中提取带有sourcenodeid和sourcephase的fieldcandidate,并执行裁剪、类型转换和资源边界控制,生成受资源边界约束的结构化业务字段包括:
28、调用所述java探针按照所述采集计划的各个预编译字段路径从所述原始业务事件中提取带有sourcenodeid和sourcephase的fieldcandidate,在此过程中,所述java探针通过循环引用检测、最大对象深度、集合元素数量、单事件字节量及解析时限来控制提取fieldcandidate时所消耗的资源;
29、当所述采集计划中的某个预编译字段路径不存在、类型不匹配或访问失败时,调用所述java探针将该预编译字段路径对应的fieldcandidate标记为无效并记录限频诊断;
30、在完成fieldcandidate提取后,调用所述java探针按照预设裁剪规则删除不需要离开当前进程的fieldcandidate,对需要保护的fieldcandidate执行丢弃、掩码或哈希处理后转换为对应的标准业务要素,生成所述结构化业务字段。
31、在一种实施方式中,在所述业务调用链对应的根节点已经闭合且活动调用节点满足预设闭合条件时,根据所述原始业务事件中的nodeid和parentnodeid重建方法调用树,并沿所述方法调用树按照固定顺序和冲突规则对所述结构化业务字段进行合并,生成能够还原真实执行路径的结构化业务记录,并按幂等键存储所述结构化业务记录包括:
32、调用所述java探针为所述业务调用链维护链路聚合状态机,所述链路聚合状态机至少包括开放状态、根节点已返回状态、可闭合状态和已聚合状态;
33、在所述开放状态下,调用所述java探针持续接收所述业务调用链中的调用节点、结果投影以及结构化业务字段,并为所述业务调用链维护rootclosed、activenodecount以及pendingcarriercount,其中,rootclosed是指根节点已闭合标志,指示根方法是否已正常返回或异常退出,activenodecount是指活动调用节点计数,为已进入但尚未闭合的调用节点数量,pendingcarriercount是指待消费异步上下文载体计数,为已捕获但尚未由工作线程执行、取消或释放的载体数量;
34、当所述目标方法正常返回或异常退出时,调用所述java探针将所述 rootclosed设置为真,并将所述链路聚合状态由所述开放状态迁移至根节点已返回状态;
35、在所述根节点已返回状态下,调用所述java探针持续根据所述业务调用链中的节点闭合事件对所述activenodecount执行原子减一操作,并根据异步上下文载体的创建、恢复、拒绝、取消或释放事件对所述pendingcarriercount执行原子加一或原子减一操作;
36、当所述rootclosed为真、所述activenodecount为零且所述pendingcarriercount为零时,调用所述java探针判定所述业务调用链满足所述预设闭合条件,并将所述链路聚合状态由所述根节点已返回状态迁移至可闭合状态;
37、在所述可闭合状态下,调用所述java探针根据所述原始业务事件中的nodeid和parentnodeid重建方法调用树,并沿所述方法调用树按照预设固定顺序和字段冲突规则对所述结构化业务字段进行合并,生成所述结构化业务记录;
38、调用所述java探针将所述链路聚合状态迁移至已聚合状态,并按照预设幂等键存储所述结构化业务记录。
39、在一种实施方式中,所述方法还包括:
40、当所述目标方法触发在工作线程提交异步任务时,调用所述java探针创建只读contextcarrier,并在所述异步任务执行时,创建独立的executionscope,由所述executionscope恢复所述工作线程的原有调用链上下文,以及,在完成所述异步任务后,清理或释放executionscope中恢复的调用链上下文,其中,contextcarrier是指异步上下文载体,为异步任务提交时捕获的调用链上下文,用于跨线程恢复,executionscope是指执行作用域,为所述目标方法执行所述采集计划过程中当前所处的作用域环境,用于存储当前执行上下文的相关状态信息。
41、第二方面,本技术实施例还提供了一种基于调用链上下文关联的业务信息采集装置,包括:
42、规则管理与编译模块,用于获取带有版本标识的采集规则,并将所述采集规则预编译为可执行的采集计划;
43、探针加载与字节码增强模块,用于加载java探针,调用所述java探针根据所述采集计划动态匹配目标方法,并在所述目标方法的入口处理位置、正常出口处理位置和异常出口处理位置插入增强采集逻辑;
44、上下文和调用节点管理模块,用于当所述目标方法被调用执行所述采集计划,进入所述入口处理位置时,调用所述java探针取得或创建业务调用链的tracestate,并为本次方法调用执行生成链路内唯一的nodeid,以及确定所述nodeid对应的parentnodeid,其中,tracestate是指调用链状态对象,用于承载一条业务调用链的共享状态,nodeid是指调用节点标识,parentnodeid是指父调用节点标识;
45、节点事件生成模块,用于调用所述java探针采用所述入口处理位置插入的增强采集逻辑建立所述nodeid对应的nodeframe,采集受限参数投影,将所述nodeframe写入所述tracestate的节点注册表并压入当前执行分支逻辑栈,其中,nodeframe是指调用节点帧,为一次方法执行的运行时上下文载体,用于记录节点标识、参数或结果投影及闭合状态;
46、字段投影与解析模块,用于当所述目标方法正常返回或异常退出时,调用所述java探针根据所述nodeid定位所述nodeframe并写入结果投影,闭合调用节点并移除所述nodeframe,生成包括父子关系、输入输出投影和完整性状态的原始业务事件;调用所述java探针按照所述采集计划从所述原始业务事件中提取带有sourcenodeid和sourcephase的fieldcandidate,并执行裁剪、类型转换和资源边界控制,生成受资源边界约束的结构化业务字段,其中,sourcenodeid是指来源调用节点标识,sourcephase是指来源或调用阶段,fieldcandidate是指业务字段候选项;
47、链路闭合与聚合模块,用于在所述业务调用链对应的根节点已经闭合且活动调用节点满足预设闭合条件时,根据所述原始业务事件中的nodeid和parentnodeid重建方法调用树,并沿所述方法调用树按照固定顺序和冲突规则对所述结构化业务字段进行合并,生成能够还原真实执行路径的结构化业务记录;
48、存储与检索模块,用于按幂等键存储所述结构化业务记录。
49、第三方面,本技术实施例还提供了一种电子设备,该电子设备包括:存储器和处理器,所述存储器中存储指令,所述指令由所述处理器加载并执行,以实现上述各方面任一种实施方式中的方法,其中,所述存储器和所述处理器通过内部连接通路互相通信。
50、第四方面,本技术实施例还提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,当计算机程序在计算机上运行时,实现上述各方面任一种实施方式中的方法。
51、上述技术方案中的优点或有益效果至少包括:
52、本技术可以在业务应用运行过程中动态匹配业务方法,在方法入口、正常出口和异常出口插入采集逻辑,并可以通过调用链共享状态和执行分支逻辑调用栈,为每次实际方法执行建立独立调用节点,以及通过入口保存的调用节点标识将参数、返回值或异常结果绑定至同一调用节点;在调用节点后代满足闭合条件后,根据节点父子关系重建方法调用树,并将带来源信息的业务字段按照确定性规则聚合为能够还原真实执行路径的结构化业务记录,形成了以调用节点标识、逻辑调用栈、入口出口配对、异步上下文载体、链路闭合条件及带来源字段聚合构成相互配合的数据处理闭环链,能够降低采集逻辑与业务代码的耦合度,可以准确地采集业务过程中的业务字段信息,并可以将业务字段信息与具体方法调用、调用树来源节点及来源阶段进行准确绑定和关联的业务信息采集方案,从而可以实现在不同方法、不同执行阶段采集的参数字段、返回字段及执行结果持续归属于正确的方法调用节点,并在相关节点全部完成后形成能够还原真实执行路径的结构化业务记录。
53、上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本技术进一步的方面、实施方式和特征将会是容易明白的。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com